重复数据清理器是什么
重复数据清理器用于批量清除重复内容，支持文本按行去重与 JSON 数组去重，处理过程全部在浏览器本地完成，便于在清洗数据时兼顾效率与隐私。
主要功能
- 支持文本按行去重，保留首次出现顺序。
- 支持 JSON 数组去重，可按指定字段去重。
- 支持区分大小写、去除首尾空格与忽略空行。
- 支持结果一键复制与下载，便于后续处理。
操作步骤
- 选择“文本去重”或“JSON 去重”模式。
- 将待处理数据粘贴到输入区。
- 根据需要设置选项，或填写 JSON 去重字段。
- 点击“开始去重”，查看右侧统计与结果。
- 按需复制结果或下载文件。
使用场景
- 名单整理：去除重复用户、重复邮箱、重复账号。
- 日志清洗：去除重复日志行，方便定位问题。
- 接口联调：清理返回数组中的重复对象。
- 数据预处理：为导入、比对、统计前做去重。
常见问题
文本去重后顺序会改变吗？
不会。结果按首次出现顺序保留，不会重排。
JSON 去重字段为空时按什么规则处理？
会按整个对象内容去重，内容完全一致才会被视为重复项。
数据会上传到服务器吗？
不会。所有计算都在本地浏览器中执行。