有一道校招生的面试题，是要给一个很大的文件（不能全部放内存，比如1t）按行来排序和去重。
一种简单解决方案就是分而治之，先打大文件分词大小均匀的若干个小文件，然后对小文件排好序，最后再Merge所有的小文件，在Merge的过程中去掉重复的内容。
在Linux下实现这个逻辑甚至不用自己写代码，只要用shell内置的一些命令: split, sort就足够了。我们把这个流程用脚本串起来，写到shell脚本文件里。文件名叫sort_uniq.sh.
#!/bin/bashlines=$(wc -l $1 | sed 's/ .*//g')lines_per_file=`expr $lines / 20`split -d -l $lines_per_file $1 __part_$1for file in __part_*do{ sort $file > sort_$file} &donewaitsort -smu sort_* > $2rm -f __part_*rm -f sort_*
登录后复制
使用方法：./sort_uniq.sh file_to_be_sort file_sorted
这段代码把大文件分词20或21个小文件，后台并行排序各个小文件，最后合并结果并去重。
如果只要去重，不需要排序，还有另外一种思路：对文件的每一行计算hash值，按照hash值把该行内容放到某个小文件中，假设需要分词100个小文件，则可以按照（hash % 100）来分发文件内容，然后在小文件中实现去重就可以了。
以上就是简单实现大文件的排序和去重的详细内容，更多请关注【创想鸟】其它相关文章！
版权声明：本文内容由互联网用户自发贡献，该文观点仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌抄袭侵权/违法违规的内容， 请发送邮件至253000106@qq.com举报，一经查实，本站将立刻删除。
发布者：PHP中文网，转转请注明出处：https://www.chuangxiangniao.com/p/3165349.html
