如何在Python中按每10个文件为一组批量处理CSV文件

本文介绍在Google Colab等环境中，对有序命名的CSV文件（如M0000.csv–M0099.csv）进行分块处理的方法：将100个文件按每10个一组归并，每组读取全部文本内容并存入独立列表，最终构建包含10个子列表的all_text结构。

本文介绍在Google Colab等环境中，对有序命名的CSV文件（如M0000.csv–M0099.csv）进行分块处理的方法：将100个文件按每10个一组归并，每组读取全部文本内容并存入独立列表，最终构建包含10个子列表的`all_text`结构。

要实现“每10个文件执行一次聚合操作”，关键在于按序分组而非简单计数——因为filenumber % 10 == 0仅能触发第10、20、30…个文件的边界动作，但无法自然构建分组容器（如all_text[0]对应前10个文件）。更健壮、可读性更强的做法是使用整除运算确定当前所属组索引，并动态初始化或追加到对应子列表中。

以下是完整、可直接运行的解决方案（适配Google Colab + Google Drive路径）：

import glob
import pandas as pd

dir_path = 'drive/My Drive/Tri/'
all_text = []  # 最终结构：all_text[i] 是第i组（共10组）的文本列表

# 按文件名排序确保M0000.csv, M0001.csv, ..., M0099.csv顺序正确
file_list = sorted(glob.glob(dir_path + "M*.csv"))

# 遍历所有匹配文件，按每10个一组组织
for idx, file in enumerate(file_list):
    # 计算当前文件属于第几组（0-indexed：0~9）
    group_idx = idx // 10

    # 确保 all_text 至少有 group_idx + 1 个空列表
    if len(all_text) <= group_idx:
        all_text.append([])

    print(f"Processing {file} → Group {group_idx} (file #{idx + 1})")

    try:
        # 读取CSV文件全部行作为纯文本（忽略列解析，适配fwf格式）
        df = pd.read_fwf(file, header=None, on_bad_lines='skip', delimiter="\n")
        # 提取每行文本（去除NaN和空白），转为字符串列表
        texts_in_file = [str(row.iloc[0]).strip() for _, row in df.iterrows() if not pd.isna(row.iloc[0])]
        all_text[group_idx].extend(texts_in_file)
    except Exception as e:
        print(f"⚠️ Warning: Failed to process {file}: {e}")

# 验证结果
print(f"\n✅ Done! Generated {len(all_text)} groups.")
for i, group in enumerate(all_text):
    print(f"Group {i}: {len(group)} text lines (files {i*10}–{i*10+9})")

? 关键说明与注意事项：

• ✅ idx // 10 是分组核心：0–9 → 0, 10–19 → 1, …, 90–99 → 9，天然对齐题目要求的10组结构；
• ✅ 动态扩容 all_text：避免预分配导致内存浪费或索引越界；
• ✅ 使用 pd.read_fwf(..., delimiter="\n") 确保将每行视为独立文本单元（符合原始需求中“save all text”语义）；
• ⚠️ 若文件实际数量不足100，请在循环前用 file_list = file_list[:100] 截断，防止最后一组不完整；
• ⚠️ Google Colab需先挂载Google Drive：from google.colab import drive; drive.mount('/content/drive')；
• ? 进阶优化：若需更高性能（尤其大文件），可用原生open()逐行读取替代pandas，避免DataFrame开销。

该方案结构清晰、容错性强，既满足题目中all_text[0]至all_text[9]的明确索引需求，也便于后续对每组文本统一做NLP清洗、向量化或批量保存等操作。