Sublime Text如何删除重复行_Sublime Text去重复行教程【简明】

Sublime Text无原生保序去重功能：Remove Duplicate Lines仅删相邻重复，Sort Lines: Unique必打乱顺序；真正保序需用正则^(.*$)\n(?=.*^\1$)或外部命令如awk '!seen[$0]++'。

这里有个核心事实需要明确：Sublime Text 并没有真正意义上的“一键保序去重”功能。它自带的两个工具，一个只能处理相邻的重复行，另一个则必然会打乱你原有的行序。如果你想要的效果是“保留首次出现的行，删除后面所有重复项”，那就得借助正则表达式或者调用外部命令了。

为什么 Remove Duplicate Lines 总是删不干净？

这个命令的工作原理其实很简单：它只判断“当前行”和“紧挨着的上一行”是否完全一致。一旦两行相同的文本中间被其他内容隔开，它就无能为力了。举个例子：

apple
banana
apple

你看，第二个 apple 并不会被删除，因为它前面是 banana，而不是另一个 apple。

除此之外，这个命令还有一些“固执”的特性：

• 它对任何细微差别都零容忍，包括行尾的空格、制表符，甚至是不可见的零宽字符。只要多一个空格，就会被判定为不同的行。
• 它不支持忽略大小写，也不能自动跳过空行，更不用说按指定列进行匹配了。
• 默认情况下，它没有绑定快捷键，你需要手动在命令面板里搜索 Remove Duplicate Lines 才能调用它。

为什么 Sort Lines: Unique 会乱序？

这个命令的名字有点“误导性”。它本质上是一个组合操作：先对全文所有行进行字典序排序，然后再合并相邻的重复行。所以，无论原文中 zebra 出现在哪里，排序后它都会跑到 apple 前面去，原始顺序完全丢失。

这里有几个关键点需要注意：

• 它保留的是“排序后”每组重复行里的第一行，而不是“原文中”第一次出现的那一行。
• 如果你想使用它，通常需要手动配置快捷键，例如：{"keys": ["ctrl+alt+u"], "command": "sort_lines", "args": {"unique": true}}。
• 对于包含数字的字符串（比如 log2.txt 和 log10.txt），字典序排序会产生不符合直觉的结果（log10.txt 会排在 log2.txt 前面），这时可能需要借助 Natural Sort 这类插件来辅助。

怎么真正保序去重？用正则 ^(.*$)\n(?=.*^\1$)

要想在不打乱顺序的前提下删除重复行，正则表达式是一个强大而精准的工具。上面这个正则模式，能够匹配那些“在后面还会再次出现”的重复行（但会巧妙地跳过每组中的第一行）。这对于处理代码片段、配置文件等对行序有依赖的文本尤其有用。

操作步骤其实很清晰：

• 打开查找面板（Ctrl+F），务必勾选 Regular Expression（正则表达式）和 Whole Line（整行匹配）。
• 在查找框输入：^(.*$)\n(?=.*^\1$)，然后点击 Find All。
• 此时，所有后续的重复行都会被选中。按下 Ctrl+Shift+L 将它们转换为多个光标，再按一次 Delete 键，就大功告成了——首行会自动被保留下来。
• 有个细节值得注意：如果文件是Windows格式（\r\n换行），而正则只匹配了 \n，可能会导致失败。保险起见，可以先用 File → Line Endings → Unix 统一换行符格式。

大文件（>5 万行）别硬扛，换系统命令

当文本行数膨胀到数万甚至更多时，在Sublime Text内部使用正则或排序命令可能会感到明显的卡顿，内存占用也会飙升。这时候，把任务交给系统终端或脚本往往是更高效、更稳定的选择。

• Linux/macOS：保序去重可以交给经典的 awk 命令：awk '!seen[$0]++' file.txt > dedup.txt。如果不需要保序，直接用 sort -u file.txt > dedup.txt 更快。
• Windows PowerShell：实现保序去重需要稍微绕一下：Get-Content file.txt | ForEach-Object {$seen[$_.Trim()]++ -eq 1} | Set-Content dedup.txt。这里手动调用了 Trim() 来处理可能存在的尾部空格差异。
• 跨平台 Python：用一行Python脚本也能轻松搞定：python3 -c "import sys; seen=set(); [print(l.rstrip()) for l in sys.stdin if l not in seen and not seen.add(l)]" < file.txt > dedup.txt。

最后，分享一个经常被忽略却极其有效的预处理建议：很多所谓的“重复行”，其实罪魁祸首是行尾看不见的空格或特殊字符。在执行任何去重操作之前，不妨先用正则 \s+$ 全局替换一下，清理所有行的尾部空白。这个简单的步骤，往往比后续纠结选用哪个去重命令更能从根本上解决问题。