Pandas CSV分隔符设置详解

本文旨在深入解析Pandas read_csv 函数在处理包含引号和逗号的CSV文件时的默认行为。通过一个具体的示例，我们将揭示Pandas如何进行字段分割，以及如何通过调整doublequote 参数来避免非预期的分割结果，从而更精确地读取CSV数据。

Pandas read_csv 的默认行为

在使用 Pandas 读取 CSV 文件时，read_csv 函数会根据指定的 sep 参数（默认为逗号 ,）来分割字段。当字段中包含引号时，Pandas 还会根据 quotechar 参数（默认为双引号 "）和 escapechar 参数（默认为反斜杠 \）来处理转义字符。

在默认情况下，doublequote 参数为 True。这意味着，如果字段中出现连续的两个双引号 ""，Pandas 会将其解释为一个双引号字符 "，从而避免将其误认为是字段的开始或结束。

示例分析

考虑以下 CSV 文件 mycsv.csv 的内容：

"1,6 Engine DCT 18\"","1,6 Engine Luxury DCT"

如果我们使用以下代码读取该文件，并且不指定任何特殊参数：

import pandas as pd

df = pd.read_csv("mycsv.csv", header=None, sep=",")
print(df)

输出结果如下：

                      0                      1
0  1,6 Engine DCT 18\",1  6 Engine Luxury DCT"

这个结果可能令人困惑。为什么第一个字段的结尾会包含 ,1 呢？这是因为 Pandas 默认开启了 doublequote 选项，并且没有正确识别 \" 作为转义双引号。

具体来说，Pandas 认为第一个字段以 " 开始，直到遇到 \"" 中的第一个 " 时，认为字段结束。但是因为 doublequote=True，所以它会继续查找下一个 "，发现没有。因此，它会将 \" 当作一个普通的字符串，并继续读取，直到遇到下一个逗号 ,。因此，第一个字段被分割为 1,6 Engine DCT 18\",1。

解决方案：禁用 doublequote

为了避免这种非预期的分割，我们可以将 doublequote 参数设置为 False：

import pandas as pd

df = pd.read_csv("mycsv.csv", header=None, sep=",", doublequote=False)
print(df)

输出结果如下：

                     0                      1
0  1,6 Engine DCT 18\"  1,6 Engine Luxury DCT

通过禁用 doublequote，Pandas 不再将 "" 解释为转义的双引号，而是将其视为两个独立的双引号字符。这样，\" 就可以正确地被识别为转义的双引号，从而得到预期的分割结果。

其他注意事项

除了 doublequote 参数之外，还可以通过调整 quotechar 和 escapechar 参数来更精细地控制字段的分割行为。例如，如果 CSV 文件中使用单引号 ' 作为引号字符，可以使用 quotechar="'" 来指定。如果使用其他字符作为转义字符，可以使用 escapechar 参数来指定。

在处理复杂的 CSV 文件时，理解 Pandas read_csv 函数的默认行为以及各个参数的作用至关重要。通过灵活地调整这些参数，可以确保 CSV 文件被正确地解析，从而为后续的数据分析和处理奠定良好的基础。