Sublime怎么删除重复行？Sublime Text快速处理重复文本技巧

Sublime怎么删除重复行？Sublime Text快速处理重复文本技巧

说起在 Sublime Text 里删除重复行，很多人的第一反应就是使用内置的 Remove Duplicate Lines 命令。但结果往往让人困惑：明明肉眼可见的重复，怎么点了命令之后，文件里还剩一大堆？

问题就出在这个命令的名字上——它其实是个“标题党”。Remove Duplicate Lines 的底层逻辑非常“耿直”：它只会删除那些和**上一行**完全相同的、**紧挨着的**重复行。它既不会建立哈希表来全局扫描，也不会去记忆之前出现过的所有行。举个例子你就明白了：

apple
banana
apple

执行命令后，第二个 apple 会原封不动地留在那里。因为它的上一行是 banana，两者不同，所以它不会被视作“重复”。换句话说，如果你的重复行是分散在文件各处的，这个命令基本上就失效了。

此外，它对文本的“纯洁度”要求极高：行尾多一个空格或 Tab、大小写不一致、甚至混用了不同的换行符（\r\n 和 \n），都会被它判定为不同的行。更别提那些肉眼看不见的零宽字符了，一旦存在，去重操作几乎注定失败。

为什么 Remove Duplicate Lines 总是删不干净？

归根结底，这个命令的设计初衷可能只是为了处理临时产生的、连续的日志重复项。它的工作机制就是简单的“逐行比对上一行”，没有缓存，不扫描全文。所以，当你面对一个未经排序的、重复行随机分布的文件时，直接使用它，漏网之鱼可能高达九成以上。

• 它对空格、大小写、BOM、混合换行符（\r\n 和 \n 并存）极度敏感
• 行尾多一个空格或 Tab，就被视为不同行
• 文件含零宽字符（U+200B）时，肉眼不可见但判重失败

Sort Lines: Unique 是 Sublime 4.4+ 最省事的方案

如果你正在使用 Sublime Text 4.4 或更新的版本（目前最新为 4.4.1），那么恭喜，现在有了一个一劳永逸的官方方案。无需安装任何插件，也无需编写复杂的正则表达式，一条命令就能同时完成“排序”和“去重”。

这个命令就是 Sort Lines: Unique。它的效果类似于在 Linux 终端里执行 sort -u：首先将所有行按字典序排列，然后删除重复项，并且默认会保留每组重复行中的第一行。

操作方法很简单：

• 全选文本（Ctrl+A 或 Cmd+A）
• 调出命令面板（Ctrl+Shift+P / Cmd+Shift+P）
• 输入 Sort Lines: Unique，回车执行

如果这个操作你很常用，完全可以把它绑定到一个快捷键上。打开 Preferences → Key Bindings，在用户键绑定文件里添加如下规则即可：

[{"keys": ["ctrl+alt+u"], "command": "sort_lines", "args": {"unique": true}}]

要保留原始顺序？别碰 Sort Lines，用正则或插件

当然，Sort Lines: Unique 并非万能。对于代码、日志、配置文件这类对行顺序有严格要求的文本，排序无疑是场灾难。这时候，我们必须寻找不改变顺序的去重方法。

一种方案是使用正则表达式。打开替换面板（Ctrl+H），记得勾选 Regular Expression 和 . matches newline 这两个选项。

• 在查找框中填入：^(.*$)\n(?=.*^\1$)（注意：在 Sublime 中，^ 和 $ 默认是以 \n 作为行边界来匹配的）
• 替换框留空，点击 Replace All。

这个正则表达式的逻辑是：匹配那些“后面还存在相同内容”的行，并将其删除。由于是向前查找，每组重复行中第一次出现的那一行会被保留下来。不过，使用前有两点需要注意：

• 如果文件中的换行符不统一，建议先通过 File → Line Endings → Unix 将其统一。
• 这个正则对大型文件（比如超过10MB）可能不太友好，容易导致编辑器卡顿。此时，可以考虑安装 Filter Lines 插件（通过 Package Control 安装），然后使用它的 Filter Lines: Unique 命令，效率会高很多。

大文件、复杂规则、CSV 多列去重？别硬刚内置功能

无论是 Remove Duplicate Lines 还是 Sort Lines: Unique，Sublime Text 内置功能的核心判断标准都是“整行完全一致”。一旦遇到更复杂的需求，它们就束手无策了。比如：

• 两行内容是 "apple,123" 和 "apple, 123"（逗号后多了一个空格）。
• 你需要针对 CSV 文件的第二列进行去重，而不是整行。
• 你希望忽略大小写，让 Apple 和 apple 被视为重复。

面对这些情况，最明智的做法是跳出编辑器，借助更专业的命令行工具或脚本。毕竟，工具要用在刀刃上。

• 在 Linux 或 macOS 上：sort -uf file.txt > dedup.txt（-f 参数用于忽略大小写）。
• 在 Windows PowerShell 中：Get-Content file.txt | Sort-Object -Unique -CaseSensitive。
• 通用的 Python 一行命令：python3 -c "print(''.join(dict.fromkeys(open('file.txt'))))" > dedup.txt。

说到底，处理重复行的关键，往往不在于“怎么删”这个操作本身，而在于事前明确“什么是重复”。没有事先定义清楚字段边界、是否忽略空格和大小写、如何处理换行符，任何去重操作都像是在碰运气。先把规则理清，后面的步骤自然水到渠成。