在Linux中，有多种方法可以用来去除重复的行
sort和uniq命令：sort input_file.txt | uniq > output_file.txt
这个命令首先使用sort对输入文件进行排序，然后通过管道（|）将排序后的结果传递给uniq，从而去除重复的行。最后将结果重定向（>）到输出文件。
awk命令：awk '!seen[$0]++' input_file.txt > output_file.txt
这个命令使用awk处理输入文件。!seen[$0]++表示对于每一行，如果它还没有出现在seen数组中，就将其添加到数组中并打印出来。这样就可以去除重复的行。结果重定向到输出文件。
uniq命令直接处理文件：uniq input_file.txt > output_file.txt
这个命令可以直接处理输入文件，去除重复的行，并将结果重定向到输出文件。需要注意的是，这个命令要求输入文件的行是已经排序的。如果输入文件未排序，可以使用sort命令先对文件进行排序，然后再使用uniq命令。
comm命令：comm -12 input_file.txt > output_file.txt
comm命令用于比较两个已排序的文件。-12选项表示只输出两个文件中都有的行（即去除重复的行）。将输入文件与一个空文件进行比较，即可去除重复的行。结果重定向到输出文件。
