JSON与表格 / 清理

数据去重工具：按列删除重复行

粘贴CSV数据或列表，按指定列或整行进行比较并删除重复行；可选择忽略大小写和多余空格，保留第一个或最后一个副本，还能查看哪些值重复以及重复次数。

数据去重工具：按列删除重复行: 工具会根据所选列为每一行生成键值，并按你的要求进行整理；对于每个键值，只保留第一行（或最后一行），同时保持原始顺序。在示例中，按电子邮件地址比较并忽略大小写后，会保留Ana和Ben，删除第二个Ana以及Cy，因为Cy的电子邮件地址与Ben的重复。 完全在浏览器中本地运行，文件不会上传到服务器。

类别
开发者工具
使用次数
在浏览器中
费用
免费·无需注册
可用性
可直接使用
数据去重工具本地处理

完全在浏览器中运行

比较依据（未勾选：整行）
保留的行数2共4项
已移除重复项2

结果

name,email
Ana,ana@example.com
Ben,ben@example.com
重复值时间
ana@example.com2
ben@example.com2

勾选的列内容相同时，这些行会被视为重复行；如果没有勾选任何列，则比较整行。忽略大小写和多余空格后，可以识别出“ANA ”和“ana”等条目。结果会保留原始顺序，也可以粘贴回电子表格。带引号且包含逗号或换行符的CSV字段也能正确处理。

匹配近似重复项

忽略大小写和空格即可识别“ANA ”和“ana”；拼写差异和昵称仍需要人工检查或使用模糊匹配工具。

纯文本列表

对于没有列的简单列表，删除重复行更快捷。

使用方法

  1. 粘贴CSV数据，可包含或不包含表头行。
  2. 勾选要比较的列，并选择大小写、空格处理方式以及要保留哪个副本。
  3. 复制去重后的CSV。

隐私与限制

你的数据保留在浏览器中，绝不会上传。

相关工具

删除重复项CSV转JSONCSV查看器

常见问题

这与删除重复行有什么不同？

它能够理解列：即使姓名不同，两行也可能因电子邮件地址相同而被视为重复；同时还能正确处理单元格中的带引号逗号。

应该保留哪个副本？

如果要保留最早的记录，请保留第一个副本；如果各行按日期排序并要保留最近的更新，请保留最后一个副本。

它能处理大型文件吗？

在浏览器中可以处理数万行；如果有数百万行，使用数据库或命令行工具会更合适。

免费工具·使用在浏览器中次·无需账户