一、为什么需要分片上传？

当文件体积超过5GB时，单次上传可能面临以下问题：
1. 网络抖动导致上传失败需重新开始
2. 内存溢出风险（尤其传统SpringMVC文件上传）
3. 无法实现上传进度监控

MinIO作为S3兼容的对象存储服务，提供标准的分片上传API，允许将大文件拆分为多个5MB-5GB的分片独立上传，最后合并成完整文件。

二、环境准备

1. 依赖引入

xml <dependency> <groupId>io.minio</groupId> <artifactId>minio</artifactId> <version>8.5.7</version> </dependency>

2. MinIO客户端初始化

java MinioClient minioClient = MinioClient.builder() .endpoint("https://play.min.io") .credentials("Q3AM3UQ867SPQQA43P2F", "zuf+tfteSlswRu7BJ86wekitnifILbZam1KYY3TG") .build();

三、分片上传核心实现

1. 初始化上传任务

java String uploadId = minioClient.initiateMultipartUpload( InitiateMultipartUploadArgs.builder() .bucket("my-bucket") .object("large-file.zip") .build() );

2. 分片切割与上传

java
// 模拟100MB文件分片（实际场景使用FileInputStream）
byte[] fileData = new byte[100 * 1024 * 1024];
int partSize = 10 * 1024 * 1024; // 10MB分片
List partList = new ArrayList<>();

for (int partNumber = 1; partNumber <= 10; partNumber++) {
int start = (partNumber - 1) * partSize;
int end = Math.min(start + partSize, fileData.length);
byte[] partData = Arrays.copyOfRange(fileData, start, end);

UploadPartResponse response = minioClient.uploadPart(
    UploadPartArgs.builder()
        .bucket("my-bucket")
        .object("large-file.zip")
        .uploadId(uploadId)
        .partNumber(partNumber)
        .stream(new ByteArrayInputStream(partData), partData.length, -1)
        .build());

partList.add(new Part(partNumber, response.etag()));

}

3. 完成分片合并

java minioClient.completeMultipartUpload( CompleteMultipartUploadArgs.builder() .bucket("my-bucket") .object("large-file.zip") .uploadId(uploadId) .parts(partList) .build());

四、高级功能实现

1. 断点续传方案

java
// 查询已上传分片
ListPartsResponse partsResponse = minioClient.listParts(
ListPartsArgs.builder()
.bucket("my-bucket")
.object("large-file.zip")
.uploadId(uploadId)
.build());

// 跳过已上传分片编号
Set uploadedParts = partsResponse.partList().stream()
.map(Part::partNumber)
.collect(Collectors.toSet());

2. 上传进度监控

java
ProgressListener progressListener = progress -> {
System.out.printf("上传进度: %d/%d bytes (%.2f%%)%n",
progress.bytes(),
progress.objectSize(),
progress.ratio() * 100);
};

minioClient.uploadPart(..., progressListener);

五、常见问题处理

1. 分片大小选择：

   
   
   
   • 建议5-15MB（需要平衡网络开销和并发效率）
   • 最大分片数不能超过10,000

2. 异常重试机制：java
   RetryPolicy retryPolicy = new RetryPolicy()
   .withMaxAttempts(3)
   .withDelay(Duration.ofSeconds(1));

Failsafe.with(retryPolicy).run(() -> {
// 上传操作代码
});

1. 跨域配置：
   bash mc admin config set my-minio/ cors allow_origin="*" allow_methods="PUT,POST,GET"

六、性能优化建议

1. 使用多线程并行上传分片（注意partNumber顺序要求）
2. 对分片计算MD5校验值（MinIO自动验证etag）
3. 客户端采用NIO方式读取文件（避免内存溢出）

完整示例代码已托管至GitHub：minio-multipart-upload-demo

延伸阅读：
- MinIO官方Java API文档
- AWS S3分片上传规范（MinIO完全兼容）