文本去重工具使用指南
工具介绍
文本去重工具支持对文本行进行去重处理，可去除完全重复的行、忽略大小写去重、忽略首尾空格去重，同时保留原始顺序或按字母排序。适用于数据清洗、邮件列表去重、关键词去重、日志分析等场景。工具还支持统计重复次数、导出唯一行和重复行。
使用步骤
- 1在输入框中输入或粘贴要去重的文本（每行一条）
- 2选择去重选项：忽略大小写、忽略首尾空格、忽略空行
- 3选择输出顺序：保留原始顺序或按字母排序
- 4点击"去重"按钮，结果显示在输出框中
- 5可查看去重统计：总行数、唯一行数、重复行数，可分别导出唯一行和重复行
常见问题
Q：去重后顺序会变吗？
A：默认保留原始顺序（第一次出现的行保留，后续重复行删除）。如果选择"按字母排序"，则会对去重后的行进行 A-Z 排序。
Q：支持忽略标点符号去重吗？
A：目前支持忽略大小写和忽略首尾空格去重。如果需要忽略标点符号，可以先使用文本工具去除标点，再进行去重。后续版本会考虑加入更多去重选项。
Q：大文本去重会很慢吗？
A：不会。去重算法使用哈希表实现，时间复杂度为 O(n)，对于几万行的文本可以瞬时完成。即使是百万行级别的文本，也能在几秒内完成。