温馨提示×

温馨提示×

您好,登录后才能下订单哦!

密码登录×
登录注册×
其他方式登录
点击 登录注册 即表示同意《亿速云用户服务条款》

使用linux的uniq命令去除文件中的重复行的方法

发布时间:2020-07-07 10:46:20 来源:亿速云 阅读:159 作者:小新 栏目:服务器

这篇文章主要介绍了使用linux的uniq命令去除文件中的重复行的方法,具有一定借鉴价值,需要的朋友可以参考下。下面就和我一起来看看吧。

uniq命令全称是“unique”,中文释义是“独特的,唯一的”。该命令的作用是用来去除文本文件中连续的重复行,中间不能夹杂其他文本行。去除了重复的,保留的都是唯一的,也就是独特的,唯一的了。

我们应当注意的是,它和sort的区别,sort只要有重复行,它就去除,而uniq重复行必须要连续,也可以用它忽略文件中的重复行。

语法格式:uniq [参数] [文件]

常用参数:

-c打印每行在文本中重复出现的次数
-d只显示有重复的纪录,每个重复纪录只出现一次
-u只显示没有重复的纪录

参考实例

删除连续文件中连续的重复行:

[root@linuxcool ~]# cat testfile 
test 30
test 30
test 30
Hello 95
Hello 95
Hello 95
Hello 95
Linux 85
Linux 85
[root@linuxcool ~]# uniq testfile
test 30
Hello 95
Linux 85

打印每行在文件中出现重复的次数:

[root@linuxcool ~]# uniq -c testfile 
3 test 30
4 Hello 95
2 Linux 85

只显示有重复的纪录,且每个纪录只出现一次:

[root@linuxcool ~]# uniq -d testfile 
test 30
Hello 95
Linux 85

只显示没有重复的纪录:

[root@linuxcool ~]# uniq -u testfile 
[root@linuxcool ~]#

以上就是使用linux的uniq命令去除文件中的重复行的方法的详细内容了,看完之后是否有所收获呢?如果想了解更多相关内容,欢迎来亿速云行业资讯!

向AI问一下细节

免责声明:本站发布的内容(图片、视频和文字)以原创、转载和分享为主,文章观点不代表本网站立场,如果涉及侵权请联系站长邮箱:is@yisu.com进行举报,并提供相关证据,一经查实,将立刻删除涉嫌侵权内容。

AI