一块剪贴板ykjtb.com
文本处理

文本去重 / 去空行

把一段名单、日志或导出文本丢进来,去掉重复行、空行和多余空格,整理干净再发出去。

← 全部小工具

本工具 100% 在你的浏览器中运行,输入的内容不会上传到服务器,断网也能继续用。
等待输入
  • 顺序默认不变:去重保留每一行第一次出现的位置,剩下的按原顺序排列,需要按字典序再选「升序 / 降序」。

  • 空白不只是空格:行尾的 Tab、从网页复制带来的全角空格( )都会被一并处理。

  • 先小范围试:整理上万行文本前,建议先拿前几十行试一下选项组合,确认结果符合预期。

  • 整理完要发到手机上?用 贴一块,手机扫码或输入取件码即可取走。

什么时候需要给文本去重

最常见的场景是名单整理:从多个地方汇总来的手机号、邮箱、工号、关键词,重复条目往往比想象中多;直接发出去会显得很不专业,也会让后续的统计失真。其次是日志清洗:同一条报错在日志里刷了几百行,去重之后才能真正看清到底有几种错误。还有一类是导出的配置或词表,人工维护久了难免出现重复行。

这些场景的共同点是:数据量刚好卡在"手工处理太累、写脚本又不值当"的区间。写一段 Python 要开编辑器、装环境,而把文本粘进网页里点一下,几秒钟就完事了。

空行和多余空格是从哪来的

绝大多数不是你打出来的,而是复制粘贴带来的。从网页表格里复制,行尾常带一个换行符;从 Excel 复制,单元格之间可能夹着 Tab;从 Word 或 PDF 里复制,标点附近会混进全角空格( )。这些东西肉眼看不见,但一旦要做精确匹配、导入系统或者按行去重,它们就会让两行"看起来一样"的内容被判定成两行。

所以本工具默认把「去掉空行」和「去掉每行首尾空白」都打开了——绝大多数情况下这正是你想要的结果。如果你的文本里空格是有意义的(比如固定宽度的对齐文本),记得把对应选项关掉。

去重和排序要不要一起用

取决于目的。想保留原始顺序时不要排序——比如一份按提交时间排列的名单,去重后仍应保持先后关系。想快速肉眼核对时排序更好用:内容按字典序排好,重复项会挨在一起,遗漏一眼可见。需要注意的是,中文排序默认按拼音顺序,数字会按字符而非数值排列("10" 会排在 "9" 前面),如果要按数值排序,建议先补齐位数。

常见问题

去重会打乱我原来的顺序吗?

不会。默认保留每一行第一次出现的位置,其余重复行直接删除,剩下的内容维持原有先后顺序。只有你主动选择升序或降序时才会重排。

两行只差一个末尾空格,算重复吗?

算。勾选了「去掉每行首尾空白」后,会先去掉首尾空白再比较,因此 "abc" 和 "abc " 会被视为同一行。如果你需要严格区分,把这个选项取消即可。

忽略大小写有什么影响?

勾选后,"ABC" 与 "abc" 视为同一行,保留先出现的那个写法。处理邮箱、域名这类本就不区分大小写的文本时很有用。

一次能处理多少行?

本工具在浏览器本地处理,没有硬性上限,几万行以内通常几秒内完成。文本特别大时页面可能会有短暂卡顿,建议拆分处理。

我输入的内容会被保存到服务器吗?

不会。所有计算都在你的浏览器里完成,页面不会把输入内容发送到任何服务器。你可以打开本页后断开网络,工具依然正常工作。