收藏本站 收藏本站
积木网首页 - 技术学院 - 软件测试 - 网站黄页 - 常用手册 - 站长工具 - 技术社区
首页 > shell编程 > 正文

首页 - PHP - 数据库 - 操作系统 - 游戏开发 - JS - Android - MySql - Redis - MongoDB - Win8 - Shell编程 - DOS命令 - jQuery - CSS样式 - Python - Perl

Access - Oracle - DB2 - SQLServer - MsSql2008 - MsSql2005 - Sqlite - PostgreSQL - node.js - extjs - JavaScript vbs - Powershell - Ruby

Shell脚本去重的几种方法实例

测试文件

[root@bogon ~]# cat >test

jason

jason

jason

fffff

jason

按 Ctr + D保存

1、sort -u

[root@bogon ~]# sort -u test

fffff

jason

2、uniq
[root@bogon ~]# uniq test

jason

fffff

jason

由此可见,uniq需要先排序后才能去重

3、sort、管道和uniq结合运用
去除重复并保留一份重复的数据

[root@bogon ~]# sort test|uniq

fffff

jason

  去除所有重复的行(不保留重复的行),并计算行数
[root@bogon ~]# sort test|uniq -uc

      1 fffff

  找出所有重复的行,并计算行数
[root@bogon ~]# sort test|uniq -dc

      4 jason

根据某个字段去重

将原有数据改为

[root@bogon ~]# more test

jason 1

jason 2

jason 1

fffff 2

jason 3

[root@bogon ~]# sort -k 1,1 -u test

fffff 2

jason 1

  man sort查看sort的用法,-k参数是这么描述的:
    -k, --key=POS1[,POS2]

    start a key at POS1 (origin 1), end it at POS2 (default end of line)

  也就是说-k哪几个列进行排序,pos1是开始列,pos2是结束列

脚本实现SSH登录邮件报警
登录保护是一个非常重要的环节,下面通过图文并茂的方式给大家详细讲解下:前两天@cyy给我发了一个图然后我就想到USHQ的ssh登录app通知功能,然后就

Shell中eval的用法示例
功能说明:告知shell取出eval的参数,重新运算求出参数的内容。语法:eval[参数]补充说明:eval可读取一连串的参数,然后再依参数本身的特性来执行。

常用Linux Shell进阶部分小结
如何计算当前目录下的文件数和目录数#ls-l*|grep"^-"|wc-l----tocountfiles#ls-l*|grep"^d"|wc-l-----tocountdir如何只列子目录?ls-F|grep/$或者aliassub="ls-F|grep/$"(linux)ls-l

本周排行

更新排行

强悍的草根IT技术社区,这里应该有您想要的! 友情链接:b2b电子商务
Copyright © 2010 Gimoo.Net. All Rights Rreserved  京ICP备05050695号