C++高效读写大文件技巧分享

分块读取和mmap提升大文件处理效率。使用固定缓冲区循环读取避免内存溢出，通过gcount()处理末尾数据；mmap适用于随机访问，减少系统调用；写入时缓冲批量操作，避免频繁I/O；二进制文件需以binary模式打开，防止换行符转换。顺序处理用流式读取，随机访问用mmap，控制内存 usage 并优化性能。

处理大文件时，C++需要避免一次性加载整个文件到内存，防止内存溢出，同时提升读写效率。核心思路是分块读取、使用合适的I/O方法和优化缓冲机制。

使用文件流分块读取

避免使用std::ifstream::seekg和std::ifstream::read一次性读取大文件。应采用固定大小的缓冲区循环读取。

示例代码：

std::ifstream file("large_file.bin", std::ios::binary);
if (!file) { /* 处理错误 */ }
const size_t buffer_size = 1024 * 1024; // 1MB 缓冲区
char buffer[buffer_size];
while (file.read(buffer, buffer_size) || file.gcount() > 0) {
size_t bytes_read = file.gcount();
// 处理 buffer 中的 bytes_read 字节
}
file.close();

关键点：gcount() 返回最后一次 read() 实际读取的字节数，确保处理末尾不足缓冲区大小的数据。

使用 mmap 提高读写效率（仅限支持系统）

在 Linux 或 macOS 上，mmap 可将文件映射到内存地址空间，避免频繁系统调用，适合随机访问或多次扫描大文件。

优点：减少内存拷贝，系统自动管理页面加载。

示例（Linux）：

#include <sys/mman.h>
#include <fcntl.h>
#include <unistd.h>
int fd = open("large_file.bin", O_RDONLY);
off_t file_size = lseek(fd, 0, SEEK_END);
char mapped = (char)mmap(nullptr, file_size, PROT_READ, MAP_PRIVATE, fd, 0);
// 直接访问 mapped[0] 到 mapped[file_size-1]
// ...
munmap(mapped, file_size);
close(fd);

注意：mmap 不适合小文件或顺序写入场景，且需注意跨平台兼容性。

优化输出：缓冲写入

写大文件时，避免频繁调用std::ofstream::write。使用缓冲累积数据再批量写入。

建议：

• 设置文件流的缓冲区：file.rdbuf()->pubsetbuf(buffer, size)
• 或手动分块写入，每块 1MB~8MB，平衡内存与性能
• 写完后调用file.flush()确保数据落盘（非必需，析构时会自动 flush）

避免使用 string 或 getline 处理二进制大文件

对于文本大文件，std::getline 在行很长或换行符异常时可能性能差或崩溃。应使用缓冲读取并手动查找换行符。

二进制文件必须用std::ios::binary模式打开，防止换行符被自动转换。

基本上就这些。关键是控制内存用量、减少系统调用次数，并根据访问模式选择合适方法。mmap 适合随机访问，流式读取适合顺序处理。不复杂但容易忽略细节。