工具说明
文本去重工具可按行、按词或按行内词语执行去重，并支持排序与高级清洗选项，适合数据整理和关键词处理场景。
核心功能
- 支持按行去重、按词去重、行内词语去重
- 支持自定义输入/输出分隔符
- 支持频率、原始顺序、字母/数值排序
- 支持忽略大小写、去除首尾空白、移除空白行
- 提供原始条目数、重复数、去重率统计
使用方法
- 输入待处理文本
- 选择去重模式与分隔符
- 按需开启排序和高级选项
- 查看结果并复制输出
常见用例
- 数据清洗：删除重复记录
- 关键词整理：去重并排序标签
- 列表管理：联系人、邮件、商品清单去重
分隔符提示
\n：按行分割- 空格：按词分割
,：逗号分割|：竖线分割\t：制表符分割