linux去重命令

1. linux常用命令

linux常用命令如下：

1、查看内核版本：uname -a。

2、控制台-》图形界面：init 5或者startx。

3、图形界面-》控制台: init3或者直接注销。

4、如何查看ip地址：ifconfig。

5、配置ip:ifconfig eth0 ip地址。

6、重启：reboot 或者 shutdown -r now。

7、普通用户切换到系统用户:su。

8、注销用户指令：logout。

9、从子机退出：ctrl+alt。

10、全屏：ctrl+alt+enter 。

基本思想：

Linux的基本思想有两点：第一，一切都是文件；第二，每个文件都有确定的用途。其中第一条详细来讲就是系统中的所有都归结为一个文件，包括命令、硬件和软件设备、操作系统、进程等等对于操作系统内核而言，都被视为拥有各自特性或类型的文件。

完全免费：

Linux是一款免费的操作系统，用户可以通过网络或其他途径免费获得，并可以任意修改其源代码。这是其他的操作系统所做不到的。正是由于这一点，来自全世界的无数程序员参与了Linux的修改、编写工作，程序员可以根据自己的兴趣和灵感对其进行改变，吸收了无数程序员的精华。

以上内容参考：网络--Linux

2. linux文件行排序去重结果不同sort和uniq

骚年，你有仔细观察者两个命令吗？
举个例子：
文件filea为：
a
b
c
c
d
b
执行sort filea |uniq -u |wc -l，先排序，则删除了c和b的行；
执行sort -u filea |wc -l，排序，同时删除相同的行，则只删除c行。

3. 利用Linux命令行进行文本按行去重并按重复次数排序

利用linux命令行进行文本按行去重并按重复次数排序linux命令行提供了非常强大的文本处理功能，组合利用linux命令能实现好多强大的功能。本文这里举例说明如何利用linux命令行进行文本按行去重并按重复次数排序。主要用到的命令有sort，uniq和cut。其中，sort主要功能是排序，uniq主要功能是实现相邻文本行的去重，cut可以从文本行中提取相应的文本列(简单地说，就是按列操作文本行)。用于演示的测试文件内容如下：[plain]Hello
World.
Apple
and
Nokia.
Hello
World.
I
wanna
buy
an
Apple
device.
The
Iphone
of
Apple
company.
Hello
World.
The
Iphone
of
Apple
company.
My
name
is
Friendfish.
Hello
World.
Apple
and
Nokia.
实现命令及过程如下：[plain]1、文本行去重
(1)排序
由于uniq命令只能对相邻行进行去重复操作，所以在进行去重前，先要对文本行进行排序，使重复行集中到一起。
$
sort
test.txt
Apple
and
Nokia.
Apple
and
Nokia.
Hello
World.
Hello
World.
Hello
World.
Hello
World.
I
wanna
buy
an
Apple
device.
My
name
is
Friendfish.
The
Iphone
of
Apple
company.
The
Iphone
of
Apple
company.
(2)去掉相邻的重复行
$
sort
test.txt
|
uniq
Apple
and
Nokia.
Hello
World.
I
wanna
buy
an
Apple
device.
My
name
is
Friendfish.
The
Iphone
of
Apple
company.
2、文本行去重并按重复次数排序
(1)首先，对文本行进行去重并统计重复次数(uniq命令加-c选项可以实现对重复次数进行统计。)。
$
sort
test.txt
|
uniq
-c
2
Apple
and
Nokia.
4
Hello
World.
1
I
wanna
buy
an
Apple
device.
1
My
name
is
Friendfish.
2
The
Iphone
of
Apple
company.
(2)对文本行按重复次数进行排序。
sort
-n可以识别每行开头的数字，并按其大小对文本行进行排序。默认是按升序排列，如果想要按降序要加-r选项(sort
-rn)。
$
sort
test.txt
|
uniq
-c
|
sort
-rn
4
Hello
World.
2
The
Iphone
of
Apple
company.
2
Apple
and
Nokia.
1
My
name
is
Friendfish.
1
I
wanna
buy
an
Apple
device.
(3)每行前面的删除重复次数。
cut命令可以按列操作文本行。可以看出前面的重复次数占8个字符，因此，可以用命令cut
-c
9-
取出每行第9个及其以后的字符。
$
sort
test.txt
|
uniq
-c
|
sort
-rn
|
cut
-c
9-
Hello
World.
The
Iphone
of
Apple
company.
Apple
and
Nokia.
My
name
is
Friendfish.
I
wanna
buy
an
Apple
device.
下面附带说一下cut命令的使用，用法如下：[plain]cut
-b
list
[-n]
[file
...]
cut
-c
list
[file
...]
cut
-f
list
[-d
delim][-s][file
...]
上面的-b、-c、-f分别表示字节、字符、字段（即byte、character、field）；
list表示-b、-c、-f操作范围，-n常常表示具体数字；
file表示的自然是要操作的文本文件的名称；
delim（英文全写：delimiter）表示分隔符，默认情况下为TAB；
-s表示不包括那些不含分隔符的行（这样有利于去掉注释和标题）
三种方式中，表示从指定的范围中提取字节（-b）、或字符（-c）、或字段（-f）。
范围的表示方法：
n
只有第n项
n-
从第n项一直到行尾
n-m
从第n项到第m项(包括m)
-m
从一行的开始到第m项(包括m)
-
从一行的开始到结束的所有项
在写这篇文章的时候，用到了vim的大小写转化的快捷键：gu变小写，gU变大写。结合ctrl+v能够将一片文字中的字符进行大小写转换，非常好用。

4. Linux下， 启动、重启、停止， 服务的命令是多少

启动直接点开机键就可以。

重启reboot 就可以了。

关机,init3、shutdown -f now、halt 都可以关机。

重启服务services 服务 restart。

停止服务services 服务 stop。

开始服务services 服务 start。

服务状态services 服务 status。

(4)linux去重命令扩展阅读：

常用命令及技巧：通用命令。

1、date ：打印或者设置系统的日期和时间

2、 stty -a：可以查看或者打印控制字符(Ctrl-C、Ctrl-D、 Ctrl-Z等)

3、 passwd：用passwd -h查看

4、logout，login： 登录shell的登录和注销命令

5、 more， less， head tail： 显示或部分显示文件内容

6、 lp/lpstat/cancel， lpr/lpq/lprm： 打印文件

7、 chmod u+x：更改文件权限

8、 rm -fr dir：删除非空目录

9、cp -R dir：拷贝目录

10、 fg jobid ：可以将一个后台进程放到前台

5. Linux的重启命令有哪些

Linux的五个关机重启命令

1、shutdown

2、poweroff

3、init

4、reboot

5、halt

在linux下一些常用的关机/重启命令有shutdown、halt、reboot、及init，它们都可以达到重启系统的目的，但每个命令的内部工作过程是不同的。

(5)linux去重命令扩展阅读

1、cat命令

cat命令可以用来合并文件，也可以用来在屏幕上显示整个文件的内容。

catsnow.txt该命令显示文件snow.txt的内容，ctrl+D退出cat。

2、grep命令

grep命令的最大功能是在一堆文件中查找一个特定的字符串。

grepmoneytest.txt

以上命令在test.txt中查找money这个字符串，grep查找是区分大小写的。

6. linux去除重复行命令 重复行不固定。不是相邻的 求命令

awk '!a[$0]++' file 这个去重貌似挺好的。

再结合sort排序就好了。

awk '!a[$0]++' file | sort

举例：

cattest.txt
b
b
a
a
c
c

awk'!a[$0]++'test.txt|sort>sorted.txt

catsorted.txt
a
b
c

7. linux去重不要排序

写个脚本来做就是了. ruby, awk都成

awk'{if(!($0ina)){print$0};a[$0];}'

8. linux下c语言如何去重复读数据

文件中保存的数据有实型有整型，则在读取数据时，均按浮点数据读取就好了。
参考代码：
#include <stdio.h>
int main()
{
FILE *fp ;
int i,n;
double a[100];
fp=fopen("data.txt", "r") ;
if ( !fp )
{
printf("open file error");
return -1;
}

i=0;
while( i<100 ) //控制不能超过数组的大小
{
if ( fscanf(fp, "%lf",&a[i] )!= 1 ) //按浮点数读取数据
break;
i++;
}
n=i;
for( i=0;i<n;i++ ) //输出读到的结果
printf("%g\n", a[i] );
fclose(fp);
return 0;
}

9. linux中怎么按条件去重一个文件

请把要求写详细点儿:
若出现多条, 保留第几条?

10. linux：如何对文本里的相同行进行去重

①选中范围；②查找重复的文本内容，如“今天的大雾今天的大雾”；③替换，替换内容“今天的大雾”，全都替换、确定。