Python处理CSV文件的高效方法与技巧

Python 提供了高效的 csv 模块来处理 CSV 文件。可以通过以下步骤进行操作：安装 csv 模块。使用 csv.reader() 读取 CSV 文件。逐行高效处理大文件。读写内存中的 CSV 文件，提高处理速度。使用 csv.writer() 写出 CSV 文件。通过方言处理不同格式的 CSV 文件。自定义分隔符和引用符以读取非标准 CSV 文件。

Python 处理 CSV 文件的高效方法与技巧

实战案例：读取和分析销售数据 CSV 文件

1. 安装 csv 模块

使用 Python 的 pip 安装 csv 模块：

pip install csv

2. 读取 CSV 文件

使用 csv.reader() 读取 CSV 文件：

import csv

with open('sales_data.csv', 'r') as csv_file:
    csv_reader = csv.reader(csv_file)
    for row in csv_reader:
        print(row)  # 打印每一行数据

3. 逐行处理

使用逐行处理生成器，更高效地处理大文件：

import csv

with open('sales_data.csv', 'r') as csv_file:
    csv_reader = csv.reader(csv_file)
    for row in csv_reader:
        process_row(row)  # 调用自定义函数处理每一行

4. 读写内存中的 CSV

使用 StringIO 类将 CSV 数据加载到内存中，便于快速处理：

import csv
from io import StringIO

csv_data = """
1,John Doe,100
2,Jane Smith,200
"""

csv_file = StringIO(csv_data)
csv_reader = csv.reader(csv_file)
for row in csv_reader:
    print(row)

5. 写出 CSV 文件

使用 csv.writer() 写出 CSV 文件：

import csv

with open('output.csv', 'w', newline='') as csv_file:
    csv_writer = csv.writer(csv_file)
    csv_writer.writerow(['ID', 'Name', 'Sales'])
    csv_writer.writerow([1, 'John Doe', 100])

6. 使用方言

处理不同方言（如 Excel 或 Google Sheets）的 CSV 文件：

import csv

with open('sales_data.csv', 'r') as csv_file:
    csv_reader = csv.reader(csv_file, dialect='excel')
    for row in csv_reader:
        print(row)

7. 设置分隔符和引用符

自定义分隔符和引用符：

import csv

with open('custom_data.csv', 'r') as csv_file:
    csv_reader = csv.reader(csv_file, delimiter=';', quotechar='"')
    for row in csv_reader:
        print(row)