Excel数据去重与清洗：自带功能、Power Query及OpenRefine实操指南
一款文字处理软件，一种订阅式的跨平台办公软件，基于云平台提供多种服务，通过将 Excel 和 Outlook 等应用与 OneDrive 和 Microsoft Teams 等强大的云服务相结合，Office 365 可让任何人使用任何设备随时随地创建和共享内容。
面向需要处理Excel重复记录及不规范文本的用户，本文介绍三种不同层级的数据清洗方案。针对简单去重，利用Excel自带的“删除重复项”功能并强调列选择的重要性；针对周期性报表整理，使用Power Query保存清洗步骤以实现自动化刷新；针对名称写法不统一等复杂情况，引入开源工具OpenRefine进行文本聚类与合并。文章详细说明了各工具的操作入口、注意事项及适用场景，帮助用户在保留数据完整性的前提下高效完成清洗工作。
Excel：先明确按哪些列判断重复
Excel 自带的“删除重复项”功能足以清理大多数简单的重复记录，无需立即安装额外软件。但在操作前，必须明确依据哪些列来判断数据是否重复。
在 Excel 中选中数据区域，点击菜单栏的“数据”选项卡，选择“删除重复项”。在弹出的对话框中，勾选用于判断重复的列。例如，判断一条订单是否重复，可能需要同时检查“订单号”和“明细项”；如果仅按“客户姓名”去重，可能会误删同一客户不同时间的真实交易记录。此外，如果表格包含标题行，务必确认对话框中的“数据包含标题”选项已勾选，以免标题被当作数据处理。
需要注意的是，“删除重复项”会直接修改原始数据。建议在操作前先复制一份工作表作为备份。如果仅希望找出潜在问题而不立即删除，可以先使用“条件格式”标记重复值，人工查看确认后再处理。视觉上相同的内容可能包含不可见的空格或属于不同的数据类型，因此不能直接将视觉相同等同于规则相同。
Power Query：把清洗步骤保存下来重复使用
对于需要定期整理结构相同的报表，Power Query 是更高效的选择。它允许用户统一列名和数据类型，整理空白单元格及错误值，最后按选定列删除重复行。所有操作步骤都会被保存，下次导入新数据时只需刷新即可，无需重复手工操作。
相关入口位于 Power Query 编辑器的“主页”选项卡下，选择“删除行”中的“删除重复项”，也可以根据所选列使用右键菜单中的对应功能。
在使用 Power Query 进行文本去重时需注意，其文本比较默认区分大小写。如果业务逻辑认为“ABC”与“abc”是同一个值，应先通过转换函数统一大小写，再执行去重操作。此外，不要依赖“删除重复项”功能必然保留你希望的那条记录（如最新日期或最高优先级数据）。若有此类需求，应在去重前设计明确的排序和筛选规则，确保保留的是正确的那一行。
辅助工具：记录数据一键导出 Excel/CSV
在清洗过程中或完成后，若需将处理好的记录数组导出为带样式的 Excel (.xlsx) 或带 BOM 的 CSV 文件，可使用支持列配置的工具。这类工具通常支持设置表头、列宽、列顺序，以及表头冻结首行、斑马纹样式、布尔值转“是/否”、数组换行显示等功能。对于 CSV 导出，还能有效防止中文乱码。此类零依赖的导出方式适用于 JSON 转表格、数据导出及表格美化等场景。
OpenRefine：适合清理不一致的名称和写法
当遇到公司名称、产品名称写法不统一（如“有限公司”与“有限责任公司”混用）时，免费的开源工具 OpenRefine 能提供强力辅助。这是一个本地运行、通过浏览器界面操作的软件。
将表格数据导入 OpenRefine 项目后，可以使用“文本分面”（Text Facet）快速检查列中存在的不同写法。接着，从列菜单进入“Edit cells” -> “Cluster and edit”，系统会自动查找相似的文本值并分组展示。用户可以逐组确认这些相似值是否指向同一对象，确认后将其合并为统一的写法。
需要强调的是，聚类功能并非自动判定业务上的完全相同，也不等于直接删除整行重复记录。名称相近的两个客户可能并非同一人，缩写也可能对应不同机构。因此，必须逐组人工确认后再执行合并。整理完毕的数据可导出为标准格式继续使用，但 OpenRefine 无法保留 Excel 文件中的公式、图表和页面布局，它专注于数据本身的清洗。
行数变少，不一定代表数据清理对了
数据清洗的核心在于理解业务逻辑，而非单纯减少行数。同一个客户下了两笔订单，这两行数据虽然部分字段相同，但并非重复记录；同一家公司的名称写了两种形式，也不一定需要删除其中一行，有时可能需要保留历史写法或进行映射。
在执行去重前，想清楚一条唯一记录由哪些字段共同确定，比选择哪个按钮更重要。建议在处理前后记录总行数和关键汇总值（如总金额），以便解释删掉了什么内容。此外，对于产品编码、身份证号等字段，应按文本格式处理，避免在清洗过程中因自动转换而丢掉前导零或改变长数字的科学计数法表示。
遇到Office无法登录到网络的问题，不要急于重装。本文指导你按顺序检查Windows网络连接、校准系统时间、清理冲突账号、调整代理设置以及使用内置修复工具，快速恢复Office正常登录。
学习在 Windows 上使用 Office Tool Plus 部署 Office。本文详解如何配置 Microsoft 365 商业版、选择语言和应用程序，解决下载失败、32/64位冲突及激活问题，确保 Word、Excel 等应用正常安装使用。
在 Windows 11 上安装 Microsoft 365 出现错误代码 0-1018？这通常由并行的安装任务引起。通过查看系统托盘进度、重启电脑或使用官方卸载疑难解答工具清理旧版本，即可解决冲突并成功安装。
想知道Office装在哪？无需翻找注册表，只需打开Word或Excel，通过任务管理器“打开文件所在位置”即可一键获取真实安装路径。本文详解操作步骤，区分文件夹与完整程序路径，助你快速完成软件配置或故障排查。
Microsoft 365 Office应用打不开？本文详解Windows 11下Word无法启动的排查步骤：包括使用安全模式诊断、禁用COM加载项、执行快速与联机修复，并通过标准测试文件验证恢复情况。
解决 Office 安装后桌面没有图标的问题。通过 Windows 开始菜单搜索 Word 等应用，创建快捷方式，检查安装状态，执行快速或联机修复，并验证文档编辑功能。适用于 Windows 11 环境下的 Microsoft 365 或 Office 2024。
Windows电脑Office登录出现0x80190001错误代码时，不要急于重装。本文指导您先通过网页端验证账号状态，再检查网络环境与代理设置，最后更新Office客户端并重新登录。适用于个人微软账号及企业/学校账户的初步故障排查，帮助快速定位是网络阻断、账号权限还是客户端版本问题。
遇到 Office 安装失败提示时，不要盲目重试。本文指导你在 Windows 11 环境下记录错误代码、解决 32/64 位版本冲突、使用官方工具清理残留，并正确重新安装激活 Microsoft 365 或零售版 Office。
解决Windows版Office打开时卡在“正在设置”或“正在配置”界面的问题。教程涵盖确认安装进度、正确取消当前向导、使用系统自带修复工具（快速修复/联机修复）以及验证文档保存功能的完整流程，适用于Word、Excel等桌面应用。
Excel表格打开后无法编辑？本文详解Windows环境下如何区分受保护视图、文件只读属性与工作表保护，提供逐步操作指南，帮助你在拥有权限时快速解除只读限制并保存修改。
火山引擎是字节跳动旗下企业级云与AI服务平台。聚焦大模型核心能力，依托字节自研豆包多模态大模型，凭借火山方舟一站式平台，提供模型精调、推理部署、智能应用搭建等全链路服务，结合高性能AI算力，助力各行业快速落地大模型数字化与智能化应用。
