Is there a way to filter out all unique lines in a file via commandline tools without sorting the lines? I'd like to essentially do this:
sort -u myFile
without the performance hit of sorting.
Answer 1:
删除重复的行：
awk '!a[$0]++' file
这就是著名的AWK需要一行代码。 上有许多INET解释。 这里是一个解释：
这一个班轮是非常地道。 它注册关联阵列中看到的线“A”（数组始终缔在AWK中），并在同一时间测试，如果它以前见过的行。 如果它看到前行，然后是[线路]> 0和！一个[线路] == 0计算结果为假是一个空操作的任何表达式，任何表达式evals为true等于“{打印}”。
文章来源: How do you filter out all unique lines in a file?
