Go高性能缓冲IO中bufio包的使用小结

bufio.Reader：高效读取数据

说到高效读取，bufio.Reader绝对是主力。它本质上是对io.Reader的一层智能封装，内部自带一个缓冲区。这个缓冲区的妙处在于，它能从底层数据源（比如文件或网络连接）中“批发”式地读取一大块数据，暂存起来，而不是每次读取都去麻烦操作系统。这样一来，频繁的系统调用次数就大大减少了。

最常见的应用场景莫过于逐行读取文件了，无论是分析日志还是处理文本数据，都离不开它。

package main
import (
	"bufio"
	"fmt"
	"os"
)
func main() {
	file, _ := os.Open("test.txt")
	defer file.Close()
	reader := bufio.NewReader(file)
	for {
		line, err := reader.ReadString('\n')
		if err != nil {
			break
		}
		fmt.Print(line)
	}
}

你看，像上面这样使用ReadString('\n')，它会一直读取直到遇见换行符，处理按行分隔的文本简直再合适不过了。

除了ReadString，还有个兄弟方法叫ReadBytes：

line, _ := reader.ReadBytes('\n')

两者的功能几乎一模一样，主要区别在于返回值类型，一个给你string，一个给你[]byte，按需选用即可。

当然，如果你需要更精细的控制，比如读取指定长度的字节，那么Read()方法就派上用场了：

buf := make([]byte, 1024)
n, _ := reader.Read(buf)
fmt.Println(string(buf[:n]))

这种方式在处理二进制文件或者大块数据时非常高效。

bufio.Writer：高效写入数据

有读就有写，bufio.Writer就是负责高效写入的搭档。它的工作逻辑正好相反：数据不是直接“扔”给底层IO，而是先写入内存中的缓冲区。等到缓冲区被填满，或者你主动发出指令时，它才会一次性把所有缓冲的数据“倒”出去。这个“倒出去”的动作，就是Flush()。

package main

import (
	"bufio"
	"os"
)

func main() {

	file, _ := os.Create("output.txt")
	defer file.Close()

	writer := bufio.NewWriter(file)

	writer.WriteString("Hello ")
	writer.WriteString("Go")

	writer.Flush()

}

这里有个关键点必须牢记：务必记得调用Flush()。否则，数据可能只是安静地躺在缓冲区里，永远不会真正落到磁盘上。在高频写入的场景下，比如构建日志系统，bufio.Writer带来的性能提升是立竿见影的。

bufio.Scanner：简洁文本扫描工具

如果任务纯粹是文本解析，那么bufio.Scanner可能是更优雅的选择。它提供了类似“迭代器”的体验，让逐行扫描的代码变得异常简洁。

package main

import (
	"bufio"
	"fmt"
	"os"
)

func main() {

	file, _ := os.Open("test.txt")
	defer file.Close()

	scanner := bufio.NewScanner(file)

	for scanner.Scan() {
		fmt.Println(scanner.Text())
	}

}

这种写法清晰明了，特别适合以下几种情况：

日志分析 CSV 解析 配置文件读取

默认情况下，Scanner就是以换行符作为分割标准。

自定义分割规则

Scanner的强大之处在于它的灵活性。除了按行分割，你完全可以自定义规则。比如，想按单词来分割文本？很简单：

scanner.Split(bufio.ScanWords)

来看个完整的例子：

scanner := bufio.NewScanner(file)
scanner.Split(bufio.ScanWords)

for scanner.Scan() {
	fmt.Println(scanner.Text())
}

标准库已经贴心地提供了几种常用的分割函数：

bufio.ScanLines
bufio.ScanWords
bufio.ScanRunes

如果这些都不满足你的需求，你甚至可以自己实现一个分割函数。这在解析一些自定义的复杂网络协议时非常有用。

处理大文件的注意事项

使用Scanner时需要注意一个默认限制：它的缓冲区初始大小和最大令牌（token）大小是有限制的（默认最大64KB）。如果某一行数据超长，你就会遇到这样的错误：

token too long

解决方法也不复杂，就是提前扩大缓冲区：

scanner.Buffer(make([]byte, 1024), 1024*1024)

上面这行代码将初始缓冲区设为1KB，最大允许的令牌大小设为1MB。当然，如果文件真的巨大，或者行长度完全不可预测，回归使用bufio.Reader可能是更稳妥的方案。

常见实战场景

纸上谈兵终觉浅，bufio在实战中究竟怎么用？举几个典型的例子：

场景一：日志文件分析

scanner := bufio.NewScanner(file)

for scanner.Scan() {
	line := scanner.Text()
	if strings.Contains(line, "ERROR") {
		fmt.Println(line)
	}
}

快速筛选出包含“ERROR”关键字的日志行，这在日常运维和调试中非常常见。

场景二：构建高性能写入

writer := bufio.NewWriter(file)

for i := 0; i < 100000; i++ {
	writer.WriteString("log line\n")
}

writer.Flush()

当需要批量写入成千上万条记录时，比如生成日志文件，先用Writer在内存中攒一波，最后一次性写入，效率远超逐条写入。

场景三：网络数据读取

conn, _ := net.Dial("tcp", "example.com:80")

reader := bufio.NewReader(conn)

line, _ := reader.ReadString('\n')
fmt.Println(line)

在处理TCP连接或解析像HTTP这样的基于文本的协议时，用bufio.Reader来读取数据流是标准做法。

bufio 与 io 区别

Go语言标准库中处理IO，最常打交道的两个包就是io和bufio。它们核心的区别可以概括为：

io
bufio

具体对比如下：

所以，选择的标准很清晰：

• 数据量小、操作简单的场景，直接用io就够了，代码更直接。
• 一旦涉及高频IO操作、大文件处理或者对性能有要求，bufio几乎是必然的选择。

使用建议

根据多年的实践经验，可以总结出几条实用的准则：

读取文本文件优先使用 Scanner，代码最简洁。 处理大文件或需要复杂控制读取时，用 Reader。 遇到高频写入场景，毫不犹豫地选择 Writer。 使用Writer时，写入完成一定要记得 Flush。

遵循这几条，通常能保证你的程序：

性能更高 代码更简洁 更稳定可靠

总结

总而言之，bufio包是Go语言标准库中提升IO性能的一把利器。其核心价值在于通过缓冲机制，将多次琐碎的系统调用合并为少数几次批量操作，从而显著提升效率。

它的三大核心组件各司其职：

Reader：专注于高效读取。 Writer：专注于高效写入。 Scanner：专注于便捷的文本扫描。

无论是日志处理、文件读写、网络通信还是数据解析，只要涉及IO，bufio都能大显身手。在构建日志系统、文件处理工具、网络爬虫或后端服务时，熟练掌握bufio，无疑能让你的程序在IO性能和代码可维护性上都更上一层楼。