Golang 写入优化与并发阻塞解决

使用 bufio.Writer 减少系统调用，结合 channel 实现生产者-消费者模型，通过单协程串行写入文件，避免并发竞争，合理设置缓冲区大小并定期异步刷新，提升高并发下文件写入性能。

在 Golang 中进行文件写入时，频繁的系统调用和磁盘 I/O 容易造成阻塞，尤其在高并发场景下会影响程序性能。通过合理的并发控制与缓冲机制，可以显著降低阻塞风险，提升写入效率。

使用 bufio.Writer 减少系统调用

直接调用 os.File.Write 会频繁触发系统调用，每次写操作都可能涉及磁盘 I/O，导致性能下降。引入 bufio.Writer 可以将多次小写入合并为一次大写入，减少系统调用次数。

示例：

file, _ := os.Create("output.txt")
defer file.Close()
writer := bufio.NewWriter(file)
for i := 0; i < 1000; i++ {
writer.WriteString(fmt.Sprintf("line %d\n", i))
}
writer.Flush() // 确保数据写入磁盘

关键点：必须调用 Flush()，否则缓冲区数据不会落盘。

限制并发写入避免资源竞争

多个 goroutine 直接写同一个文件会导致数据错乱。虽然可以使用互斥锁保护文件写入，但高并发下锁争用会成为瓶颈。更优方案是采用“生产者-消费者”模型，由单一写入协程负责持久化。

实现方式：

• 启动一个专用写入 goroutine，监听 channel 获取待写数据
• 多个生产者将内容发送到 channel
• 消费者使用 bufio.Writer 批量写入文件

ch := make(chan string, 1000)
go func() {
file, _ := os.Create("log.txt")
defer file.Close()
writer := bufio.NewWriter(file)
for line := range ch {
writer.WriteString(line + "\n")
}
writer.Flush()
}()
// 多个协程发送数据
for i := 0; i < 10; i++ {
go func(id int) {
ch <- fmt.Sprintf("message from goroutine %d", id)
}(i)
}

这样既实现了并发输入，又避免了多协程直接操作文件。

合理设置缓冲区大小提升吞吐

默认的 bufio.Writer 缓冲区为 4KB，可根据实际写入模式调整大小。对于大量小文本写入，增大缓冲区能进一步减少 Flush 次数。

自定义缓冲区：

w := bufio.NewWriterSize(file, 64*1024) // 64KB

建议根据单次写入量和频率测试最优值，通常 32KB~128KB 是较合理范围。

异步刷盘与错误处理

Flush 调用是同步的，可能阻塞消费者协程。可在单独 goroutine 中定期 Flush，平衡实时性与性能。

例如每秒自动刷新：

go func() {
    ticker := time.NewTicker(time.Second)
    for range ticker.C {
        writer.Flush()
    }
}()
同时需监听 channel 关闭信号，在程序退出前手动 Flush 一次，防止数据丢失。
基本上就这些。核心思路是：用缓冲减少 I/O 次数，用通道解耦生产与写入，用单协程串行化落地操作。不复杂但容易忽略细节。