Golang并发读写文件技巧详解

使用互斥锁、独立文件或channel可安全处理Go并发文件读写。1. 用sync.Mutex串行化对同一文件的访问，防止数据竞争；2. 每个goroutine写入独立文件（如按ID命名），避免共享资源冲突；3. 通过channel将写请求集中由单一goroutine处理，实现生产者-消费者模型；4. 配合sync.WaitGroup确保所有写操作完成后再退出，防止资源泄漏。根据场景选择：简单用Mutex，高并发选channel，独立输出各自写文件。

在Go语言中处理并发文件读写，关键在于避免多个goroutine同时访问同一文件导致数据竞争或损坏。虽然文件本身是操作系统级别的共享资源，但Go提供了多种机制来协调并发访问，确保安全性和性能。

使用互斥锁保护文件操作

当多个goroutine需要对同一个文件进行读写时，最常见的方式是使用sync.Mutex来串行化访问。

这样可以确保任意时刻只有一个goroutine能执行写入（或读写）操作。

例如：

package main
import (
"os"
"sync"
)
var mu sync.Mutex
var file *os.File
func writeFile(data []byte) error {
mu.Lock()
defer mu.Unlock()
_, err := file.Write(data)
return err
}

这个模式适用于频繁写入日志文件等场景。注意：如果只读操作较多，可考虑sync.RWMutex，允许多个读操作并发执行。

每个goroutine操作独立文件

避免竞争的另一种思路是让每个goroutine写入不同的文件，完全绕开锁竞争。

比如按时间戳、ID或批次命名文件：

func writeToFileByWorker(id int, data []byte) error {
    filename := fmt.Sprintf("output_%d.txt", id)
    return os.WriteFile(filename, data, 0644)
}

这种方式扩展性好，适合并行处理任务后分别保存结果。最后可通过合并文件完成汇总。

通过channel集中管理文件写入

将所有写请求发送到一个channel，由单一goroutine负责实际写入，实现“生产者-消费者”模型。

这既保证了线程安全，又解耦了业务逻辑与IO操作。

示例：

type writeJob struct {
    data []byte
    err  chan error
}
var writerChan = make(chan writeJob)
func writer() {
file, _ := os.Create("output.log")
defer file.Close()
for job := range writerChan {
    _, err := file.Write(job.data)
    job.err <- err
}
}
func init() {
go writer()
}
func enqueueWrite(data []byte) error {
errCh := make(chan error, 1)
writerChan <- writeJob{data: data, err: errCh}
return <-errCh
}

这种方法结构清晰，易于控制写入顺序和频率，也方便添加缓冲或限流逻辑。

注意关闭资源与同步退出

并发写文件时，要确保所有写操作完成后再关闭文件或退出程序。

使用sync.WaitGroup等待所有任务结束：

var wg sync.WaitGroup
for i := 0; i < 10; i++ {
wg.Add(1)
go func(id int) {
defer wg.Done()
writeFile([]byte(fmt.Sprintf("worker %d\n", id)))
}(i)
}
wg.Wait() // 等待全部完成

若结合channel方案，记得关闭channel并在writer中检测退出信号，防止goroutine泄漏。

基本上就这些。选择哪种方式取决于具体需求：简单场景用Mutex，高并发推荐channel集中写入，独立输出则各自写文件更高效。核心是避免竞态，同时不牺牲太多性能。