Golang高效处理JSON：json.Encoder与Decoder解析技巧

作者：OpenWorld 时间：2025-08-14 来源：正软商城浏览：4

json.Encoder和json.Decoder适合处理大数据量或流式数据，1.节省内存，2.支持逐条读写，3.适用于大文件、HTTP流、日志处理；使用decoder.Decode()可逐个解析对象，注意EOF判断；使用encoder.Encode()可边构造边输出，避免内存溢出；小数据或结构简单时仍推荐json.Marshal/json.Unmarshal。

本文目录

json.Encoder 和 json.Decoder 适合处理大数据量或流式数据，1. 节省内存，2. 支持逐条读写，3. 适用于大文件、HTTP 流、日志处理；使用 decoder.Decode() 可逐个解析对象，注意 EOF 判断；使用 encoder.Encode() 可边构造边输出，避免内存溢出；小数据或结构简单时仍推荐 json.Marshal/json.Unmarshal。

Golang处理JSON文件有哪些高效方法解析json.Encoder与json.Decoder

在处理 JSON 文件时，Golang 提供了标准库 encoding/json，其中的 json.Encoder 和 json.Decoder 是高效操作大文件或流式数据的常用工具。相比一次性读取整个文件再解析的方式，这两个结构体更适合处理大数据量的情况，既能节省内存又能提高效率。

一、为什么用 json.Encoder 和 json.Decoder？

当你要处理的 JSON 数据非常大（比如几百 MB 或上 GB 的日志文件），直接使用 json.Unmarshal 可能会导致内存占用过高甚至程序崩溃。这时候就需要用到 json.Decoder 来按行或按对象逐步读取，或者用 json.Encoder 来边生成数据边写入文件，避免一次性把所有内容加载到内存中。

适合场景：
- 大文件读写
- 流式处理（比如 HTTP 请求/响应）
- 需要逐条处理的数据（如日志、事件流）

二、json.Decoder：边读边解析

json.Decoder 主要是从 io.Reader 中读取 JSON 数据，并支持多次调用 Decode() 方法来逐个解析对象。适用于读取多个 JSON 对象拼接在一起的文件（也叫 JSON Lines）。

举个例子：

file, _ := os.Open("data.json")
defer file.Close()

decoder := json.NewDecoder(file)
var item MyStruct
for {
    if err := decoder.Decode(&item); err != nil {
        if err == io.EOF {
            break
        }
        log.Fatal(err)
    }
    // 处理 item
}

注意事项：
- 如果是数组格式的大文件，需要先解码整个数组，不太适合逐条读取。
- 每次调用 Decode() 会自动跳过空白字符，所以可以安全地处理换行和缩进。
- 要注意错误判断，特别是 EOF 结束标志。

三、json.Encoder：边构造边写入

如果你要写一个很大的 JSON 数组或对象，不要先把所有数据拼成字符串再写入，而是应该用 json.Encoder 边构造边输出，这样可以大大减少内存开销。

示例代码如下：

file, _ := os.Create("output.json")
defer file.Close()

encoder := json.NewEncoder(file)
// 可选：设置缩进
// encoder.SetIndent("", "  ")

for _, item := range items {
    encoder.Encode(item)
}