sort

去除重复行  
sort file |uniq  
查找非重复行  
sort file |uniq -u  
查找重复行  
sort file |uniq -d  
统计  
sort file | uniq -c
 
忽略相同行使用-u选项或者 使用uniq去除重复行  
sort -u test.txt > test1.txt  
uniq test.txt > test1.txt