如何在 Java 中直接将数据流式写入 Amazon S3（无需本地临时文件）

告别临时文件：用AWS SDK for Ja va V2将数据直传S3

在处理海量动态数据时，你是否还在沿用“先落本地盘，再传云端”的老办法？这种模式不仅拖慢整体流程，更会在磁盘I/O和存储空间上埋下性能瓶颈的隐患。今天，我们就来聊聊如何利用AWS SDK for Ja va V2，将内存中的数据（比如刚从数据库查出的结果集）直接、高效地送入Amazon S3存储桶，彻底告别临时文件的束缚。

想象一下Spring Boot应用中的典型场景：需要将大批量查询结果（例如一个List>）持久化到S3。传统做法无异于在高速公路上设置一个收费站——数据必须先减速写入本地文件，然后再重新加速上传。这不仅效率低下，当面临海量小文件或单次数据体量巨大时，甚至可能直接导致磁盘满载，让整个系统戛然而止。好消息是，AWS SDK for Ja va V2原生提供了基于内存字节数组或输入流的直接上传能力，让我们能轻松绕过文件系统这座“收费站”。

✅ 推荐方案：使用 RequestBody.fromBytes() 直传字节数组

核心思路非常清晰：先将业务数据在内存中序列化为字节（例如转换成JSON字符串），然后通过S3Client.putObject()方法，配合RequestBody.fromBytes()直接完成上传。下面是一个可直接落地的代码示例：

import software.amazon.awssdk.core.RequestBody;
import software.amazon.awssdk.services.s3.S3Client;
import software.amazon.awssdk.services.s3.model.PutObjectRequest;
import software.amazon.awssdk.services.s3.model.S3Exception;
import com.fasterxml.jackson.databind.ObjectMapper;

public class S3Uploader {
    private final S3Client s3Client;
    private final ObjectMapper objectMapper = new ObjectMapper();

    public S3Uploader(S3Client s3Client) {
        this.s3Client = s3Client;
    }

    /**
     * 将数据库查询结果（List>）序列化为 JSON 并上传至 S3
     * @param jsonData 数据列表
     * @param bucketName S3 存储桶名
     * @param folderName 目标路径（可选，如 "exports/2024/10/"）
     * @param fileName 文件名（如 "report.json"）
     */
    public void uploadJsonData(List> jsonData,
                               String bucketName,
                               String folderName,
                               String fileName) {
        String objectKey = String.format("%s/%s", folderName.trim().replaceAll("/+$", ""), fileName);
        try {
            // 1. 序列化为 UTF-8 字节数组（不生成本地文件）
            byte[] jsonBytes = objectMapper.writeValueAsBytes(jsonData);

            // 2. 构建上传请求并直传内存数据
            PutObjectRequest putRequest = PutObjectRequest.builder()
                    .bucket(bucketName)
                    .key(objectKey)
                    .contentType("application/json; charset=utf-8")
                    .build();

            s3Client.putObject(putRequest, RequestBody.fromBytes(jsonBytes));
            System.out.println("✅ Uploaded to s3://" + bucketName + "/" + objectKey);
        } catch (Exception e) {
            throw new RuntimeException("Failed to upload data to S3: " + e.getMessage(), e);
        }
    }
}

⚠️ 注意事项与最佳实践

方案虽好，但魔鬼藏在细节里。采用内存直传，以下几点必须牢记：

• 内存安全是第一要务：fromBytes()方法会将整个数据加载到JVM堆内存。如果单次上传的数据量超过100MB，就需格外警惕，建议改用RequestBody.fromInputStream()配合ByteArrayInputStream，或者考虑采用分块流式处理（例如结合BufferedInputStream与TransferManager），以避免潜在的堆内存溢出（OOM）风险。
• 别忘了编码与Content-Type：显式设置.contentType("application/json; charset=utf-8")至关重要。这能确保S3正确标记文件类型，方便后续通过Web直接访问或被下游系统准确解析。
• 异常处理要周全：除了捕获通用的Exception，应特别注意处理S3Exception这类SDK特定异常，并将其转化为业务层能理解的错误信息。同时，序列化过程中可能抛出的JsonProcessingException等也不容忽视。
• 客户端务必复用：S3Client是一个线程安全但重量级的对象。最佳实践是将其作为单例（例如在Spring中配置为Bean）注入使用，绝对避免在每次上传调用时都创建新的实例，这是性能优化的关键一步。
• 权限与配置是基石：确保执行代码的IAM角色或凭证拥有目标S3存储桶的s3:PutObject权限。同时，创建S3Client时指定的Region必须与存储桶所在的区域保持一致，否则上传必定失败。

? 进阶：超大结果集流式上传（可选）

面对千万级别记录的导出场景，上述方法可能仍有内存压力。此时可以考虑进阶方案：结合Jackson的JsonGenerator与RequestBody.fromInputStream()，实现真正的、零内存缓冲的流式上传。这通常需要自定义一个InputStream包装器，将数据的序列化与上传流管道化，虽然开发复杂度显著提升，但能彻底解决内存瓶颈。不过话说回来，对于绝大多数应用场景，通过合理控制批次大小（例如每5000条记录生成一个文件），再结合fromBytes()方法，就已经能够在效率、稳定性和开发成本之间取得极佳的平衡。

总而言之，摒弃本地文件中转的冗余步骤，拥抱内存直传的高效路径，无疑是构建高吞吐、低资源依赖的现代化S3数据管道的决定性一步。

立即学习“Ja va免费学习笔记（深入）”；