Python Pandas 数据处理入门速成指南

pandas 是一个强大的 python 数据处理库，在数据分析、清洗和转换方面大放异彩。其灵活的数据结构和丰富的功能使其成为数据处理的利器。

数据结构：DataFrame

DataFrame 是 Pandas 的核心数据结构，类似于一个表格，由行和列组成。每一行表示一个数据记录，每一列表示该记录的一个属性。

数据加载和读取

• 从 CSV 文件加载：pd.read_csv("filename.csv")
• 从 Excel 文件加载：pd.read_excel("filename.xlsx")
• 从 JSON 文件加载：pd.read_JSON("filename.json")

数据清洗

• 处理缺失值：df.fillna(0)（用 0 填充缺失值）
• 去除重复项：df.drop_duplicates()
• 类型转换：df["column"].astype(int)（将一列从对象类型转换为整数类型）

数据转换

• 合并 DataFrame：pd.merge(df1, df2, on="column_name")
• 连接 DataFrame：pd.concat([df1, df2], axis=1)（按列连接）
• 分组运算：df.groupby("column_name").agg({"column_name": "mean"})（按列分组并计算平均值）

数据分析

• 描述性统计：df.describe()（计算均值、中位数、标准差等）
• 可视化：df.plot()（生成柱状图、折线图等）
• 数据聚合：df.agg({"column_name": "sum"})（计算一列的总和）

高级功能

• 条件筛选：df[df["column_name"] > 10]
• 正则表达式：df[df["column_name"].str.contains("pattern")]
• 自定义函数：df["new_column"] = df["old_column"].apply(my_function)

示例

import pandas as pd

# 从 CSV 文件加载数据
df = pd.read_csv("sales_data.csv")

# 清洗数据
df.fillna(0, inplace=True) # 填充缺失值

# 转换数据
df["sale_date"] = pd.to_datetime(df["sale_date"]) # 将日期列转换为 datetime 类型

# 分析数据
print(df.describe()) # 显示描述性统计

# 可视化数据
df.plot(x="sale_date", y="sales") # 生成折线图

# 导出数据
df.to_csv("sales_data_processed.csv", index=False) # 导出为 CSV 文件

结语

Pandas 使数据处理变得轻而易举，其强大的功能和灵活的数据结构使其成为数据科学家和分析师的必备工具。通过掌握 Pandas 的基础知识，您可以快速轻松地处理和分析复杂数据集。