自動化awk命令

1. awk和sed有什麼區別

linux sed命令是利用腳本來處理文本文件。sed可依照腳本的指令來處理、編輯文本文件。sed主要用來自動編輯一個或多個文件、簡化對文件的反復操作、編寫轉換程序等。

Linux awk命令是一種處理文本文件的語言，是一個強大的文本分析工具。之所以叫AWK是因為其取了三位創始人Alfred Aho、Peter
Weinberger和Brian Kernighan的Family Name的首字元。

主要區別如下：

1、sed是一種非互動式且面向字元流的編輯器，awk則是一門模式匹配的編程語言，因為它的主要功能是用於匹配文本並處理，同時它有一些編程語言才有的語法，例如函數、分支循環語句、變數等等，當然比起我們常見的編程語言，AWK相對比較簡單。

2、sed一般對行進行操作，awk對列進行操作。

3、sed擅長數據修改，awk擅長數據切片，數據格式化，功能最復雜。

4、sed全稱Stream Editor，擅長對文件做數據做修改的操作，非常高效。

5、awk更適合格式化文本，對文本進行較復雜格式處理，awk程序對輸入文件的每一行進行操作;awk是一門解釋型的編程語言，文本處理、輸出格式化的文本報表、執行算數運算、執行字元串操作等等。

2. 有誰熟悉awk命令，在線等！

大概明白你的意思了。可以這樣解決：首先把第三列輸出到一個文件，然後用你自己的腳本轉成符合要求的時間格式；然後將原始文件和腳本生成的文件進行merge。merge的代碼比較簡單，我寫個例子給你看吧：
NR==FNR{
a[FNR]=$1
b[FNR]=$2
c[FNR]=$4
}
NR>FNR{
print a[FNR],b[FNR],$0,c[FNR]
}

3. Linux：為什麼我這樣使用awk就沒有輸出結果呢

awk的格式：

awk[選項]'BEGIN{編輯指令}{編輯指令}END{編輯指令}'文件

BEGIN{}，行前處理

——在讀入行之前的操作，通常用來初始化操作，是可選操作

只做預處理的時候，可以沒有操作文件。可以用這個

{}，行處理，

——awk處理讀入的行

END{}，行後處理

——awk把所有的行都處理完後執行的操作；一般輸出處理結果

這三個是可以獨立使用的。

val=$(awk
'BEGIN{print 7.01*5-4.01}')

echo $val

這個是行前處理，並沒有對文件進行讀取，它的效果就是對括起來的數進行運算

val=$(awk
'{print 7.01*5-4.01}')

echo $val

它是錯誤的寫法，按照格式來說應該是行處理，但後邊並沒有文件，所以它無法進行操作。

祝你好運~~~~

望採納~~~

4. 我輸入一個數字，想在awk里執行命令，把變數變為2進制，該如何做

不用awk的方法示例：
echo "ibase=10;obase=2; 123" | bc
則會輸出1111011
其中ibase表示輸入的進制，obase表示輸出的進制，123就是你要轉化的十進制數，

使用awk的方法,因為awk中有十進制、八進制、十六進制的格式化輸出，恰好沒有二進制的，所以需要自己轉化一下，其中一種方法如下：
echo 235 | awk 'BEGIN{m[0]="000";m[1]="001";m[2]="010";m[3]="011";m[4]="100";m[5]="101";m[6]="110";m[7]="111"}{ s = sprintf("%o",$0); for(i=1;i<=length(s);i++) printf ("%s", m[substr(s,i,1)]); printf("\n");}'

前面的echo 235 就是把輸入送給awk程序，235就是想要轉化的十進制數，上面結果的輸出為011101011
注意前置的0沒有去掉，若想要去掉，可以考慮後面在對01串稍微處理一下。

5. awk '{print $2}' 這個命令是什麼意思

linux中shell命令段awk '{print $2}'的意思是選取並輸出第二列的數據。

AWK是一個優良的文本處理工具，Linux及Unix環境中現有的功能最強大的數據處理引擎之一。這種編程及數據操作語言的最大功能取決於一個人所擁有的知識。awk經過改進生成的新的版本nawk,gawk，現在默認linux系統下日常使用的是gawk，用命令可以查看正在應用的awk的來源（ls -l /bin/awk ）

linux命令是對Linux系統進行管理的命令。對於Linux系統來說，無論是中央處理器、內存、磁碟驅動器、鍵盤、滑鼠，還是用戶等都是文件，Linux系統管理的命令是它正常運行的核心，與之前的DOS命令類似。linux命令在系統中有兩種類型：內置Shell命令和Linux命令。

(5)自動化awk命令擴展閱讀：

linux優點：

1、Linux由眾多微內核組成，其源代碼完全開源；

2、Linux繼承了Unix的特性，具有非常強大的網路功能，其支持所有的網際網路協議，包括TCP/IPv4、TCP/IPv6和鏈路層拓撲程序等，且可以利用Unix的網路特性開發成出新的協議棧；

3、Linux系統工具鏈完整，簡單操作就可以配置出合適的開發環境，可以簡化開發過程，減少開發中模擬工具的障礙，使系統具有較強的移植性；

參考資料來源：

網路-Awk

網路-linux命令

6. Linux裡面sed和awk命令哪個重要

你好很高興回答您的問題:

1. 既然接觸到了三劍客的sed和awk,對Linux應該是有些認知了吧.下面基於這個給您介紹下.

2. Linux的秘籍三劍客 grep,sed,awk是Linux命令,甚至是shell編程部分的核心技術.

3. 掌握與數量可以加速處理文本速度.

1. grep擅長過濾與正則

2. sed擅長替換與增刪改查

3. awk擅長統計計算與取行取列
   

4. 快收下下面的寶典修煉吧.

7. awk命令怎麼處理特殊字元

0x0A0D ，寫成兩個十六進制應該顛倒次序：RS="x0Dx0A" 這和數據存放的高位、底位有關，對應的字元就是 ，也就是通常說的Windows/DOS下面的回車換行符

測試：

8. Linux：awk指令的執行順序是這樣的嗎

正解。

awk[選項]'BEGIN{編輯指令}{編輯指令}END{編輯指令}'文件

BEGIN{}是行前處理，就是在讀入行之前的操作，通常用來初始化操作；

{}是行處理，awk處理讀入的行，有多少行就執行多少次；

END{}是行後處理，awk把所有的行都處理完後執行的操作，一般輸出處理結果，執行一次。

祝你好運~~~

望採納~~~

9. 30個必知的Linux命令技巧，你都掌握了嗎

在Unix/Linux下，高效工作方式不是操作圖形頁面，而是命令行操作，命令行意味著更容易自動化。使用過Linux系統的朋友應該都知道它的命令行強大之處。話說回來了，以下這些命令使用技巧你又知道多少呢？
1、Vim自動添加註釋及智能換行
# vi ~/.vimrc set autoindentset tabstop=4set shiftwidth=4function AddTitle()call setline(1,"#!/bin/bash")call append(1,"#====================================================")call append(2,"# Author: lizhenliang")call append(3,"# Create Date: " . strftime("%Y-%m-%d"))call append(4,"# Description: ")call append(5,"#====================================================")endfmap <F4> :call AddTitle()<cr>

打開文件後，按F4就會自動添加註釋，省了不少時間：

2、查找並刪除/data這個目錄7天前創建的文件
# find /data -ctime +7 -exec rm -rf {} \;# find /data -ctime +7 | xargs rm -rf

3、tar命令壓縮排除某個目錄
# tar zcvf data.tar.gz /data --exclude=tmp #--exclude參數為不包含某個目錄或文件，後面也可以跟多個

4、查看tar包存檔文件，不解壓
# tar tf data.tar.gz #t是列出存檔文件目錄，f是指定存檔文件
5、使用stat命令查看一個文件的屬性
訪問時間（Access）、修改時間（modify）、狀態改變時間（Change）stat index.phpAccess: 2018-05-10 02:37:44.169014602 -0500Modify: 2018-05-09 10:53:14.395999032 -0400Change: 2018-05-09 10:53:38.855999002 -0400

6、批量解壓tar.gz
方法1：# find . -name "*.tar.gz" -exec tar zxf {} \;方法2：# for tar in *.tar.gz; do tar zxvf $tar; done方法3：# ls *.tar.gz | xargs -i tar zxvf {}

7、篩除出文件中的注釋和空格
方法1：# grep -v "^#" httpd.conf |grep -v "^$"方法2：# sed -e 『/^$/d』 -e 『/^#/d』 httpd.conf > http.conf或者# sed -e '/^#/d;/^$/d' #-e 執行多條sed命令方法3：# awk '/^[^#]/|/"^$"' httpd.conf 或者# awk '!/^#|^$/' httpd.conf

8、篩選/etc/passwd文件中所有的用戶
方法1：# cat /etc/passwd |cut -d: -f1方法2：# awk -F ":" '{print $1}' /etc/passwd

9、iptables網站跳轉
先開啟路由轉發：echo "1" > /proc/sys/net/ipv4/ip_forward #臨時生效內網訪問外網（SNAT）：iptables –t nat -A POSTROUTING -s [內網IP或網段] -j SNAT --to [公網IP]#內網伺服器要指向防火牆內網IP為網關公網訪問內網（DNAT）（公網埠映射內網埠）：iptables –t nat -A PREROUTING -d [對外IP] -p tcp --dport [對外埠] -j DNAT --to [內網IP:內網埠]#內網伺服器要配置防火牆內網IP為網關，否則數據包回不來。另外，這里不用配置SNAT，因為系統服務會根據數據包來源再返回去。

10、iptables將本機80埠轉發到本地8080埠
# iptables -t nat -A PREROUTING -p tcp --dport 80 -j REDIRECT --to-ports 8080
11、find命令查找文件並復制到/opt目錄
方法1：# find /etc -name httpd.conf -exec cp -rf {} /opt/ \;: #-exec執行後面命令，{}代表前面輸出的結果，\;結束命令方法2：# find /etc -name httpd.conf |xargs -i cp {} /opt #-i表示輸出的結果由{}代替

12、查看根目錄下大於1G的文件
# find / -size +1024M 默認單位是b，可以使用其他單位如，C、K、M

13、查看伺服器IP連接數
# netstat -tun | awk '{print $5}' | cut -d: -f1 |sort | uniq -c | sort -n -tun：-tu是顯示tcp和udp連接，n是以IP地址顯示cut -d：-f1：cut是一個選擇性顯示一行的內容命令，-d指定：為分隔符，-f1顯示分隔符後的第一個欄位。uniq -c：報告或刪除文中的重復行，-c在輸出行前面加上出現的次數sort -n：根據不同類型進行排序，默認排序是升序，-r參數改為降序，-n是根據數值的大小進行排序

14、插入一行到391行，包括特殊符號"/"
# sed -i "391 s/^/AddType application\/x-httpd-php .php .html/" httpd.conf
15、列出nginx日誌訪問最多的10個IP
方法1：# awk '{print $1}' access.log |sort |uniq -c|sort -nr |head -n 10sort ：排序uniq -c：合並重復行，並記錄重復次數sort -nr ：按照數字進行降序排序方法2：# awk '{a[$1]++}END{for(v in a)print v,a[v] |"sort -k2 -nr |head -10"}' access.log

16、顯示nginx日誌一天訪問量最多的前10位IP
# awk '$4>="[16/May/2017:00:00:01" && $4<="[16/May/2017:23:59:59"' access_test.log |sort |uniq -c |sort-nr |head -n 10# awk '$4>="[16/Oct/2017:00:00:01" && $4<="[16/Oct/2017:23:59:59"{a[$1]++}END{for(i in a){print a[i],i|"sort -k1 -nr |head -n 10"}}' access.log

17、獲取當前時間前一分鍾日誌訪問量
# date=`date +%d/%b/%Y:%H:%M --date="-1 minute"` ; awk -vd=$date '$0~d{c++}END{print c}' access.log# date=`date +%d/%b/%Y:%H:%M --date="-1 minute"`; awk -vd=$date '$4>="["d":00" && $4<="["d":59"{c++}END{print c}' access.log # grep `date +%d/%b/%Y:%H:%M --date="-1 minute"` access.log |awk 'END{print NR}'# start_time=`date +%d/%b/%Y:%H:%M:%S --date="-5 minute"`;end_time=`date +%d/%b/%Y:%H:%M:%S`;awk -vstart_time="[$start_time" -vend_time="[$end_time" '$4>=start_time && $4<=end_time{count++}END{print count}' access.log

18、找出1-255之間的整數
方法1：# ifconfig |grep -o '[0-9]\+' #+號匹配前一個字元一次或多次方法2：# ifconfig |egrep -o '\<([1-9]|[1-9][0-9]|1[0-9][0-9]|2[0-4][0-9]|25[0-5])\>'

19、找出IP地址
# ifconfig |grep -o '[0-9]\{1,3\}\.[0-9]\{1,3\}\.[0-9]\{1,3\}\.[0-9]\{1,3\}' #-o只顯示匹配字元
20、給文檔增加開頭和結尾說明信息
# awk 『BEGIN{print "開頭顯示信息"}{print $1,$NF} END{print "結尾顯示信息"}』/etc/passwd# awk 'BEGIN{printf " date ip\n------------------\n"} {print $3,$4} END{printf "------------------\nend...\n"}' /var/log/messages date ip------------------03:13:01 localhost10:51:45 localhost------------------end...

21、查看網路狀態命令
# netstat -antp #查看所有網路連接# netstat -lntp #只查看監聽的埠信息# lsof -p pid #查看進程打開的文件句柄# lsof -i:80 #查看埠被哪個進程佔用

22、生成8位隨機字元串
方法1：# echo $RANDOM |md5sum |cut -c 1-8方法2：# openssl rand -base64 4方法3：# cat /proc/sys/kernel/random/uuid | cut -c 1-8

23、while死循環
while true; do #條件精確等於真，也可以直接用條件[ "1" == "1" ]，條件一直為真ping -c 2 www..comdone

24.awk格式化輸出
將文本列進行左對齊或右對齊。
左對齊：# awk '{printf "%-15s %-10s %-20s\n",$1,$2,$3}' test.txt右對齊：# awk '{printf "%15s %10s %20s\n",$1,$2,$3}' test.txt

25.整數運算保留小數點
方法1：# echo 'scale=2; 10/3;'|bc #scale參數代表取小數點位數方法2：# awk BEGIN'{printf "%.2f\n",10/3}'

26.數字求和
# cat a.txt10235356方法1：#!/bin/bashwhile read num;dosum=`expr $sum + $num`done < a.txtecho $sum方法2：# cat a.txt |awk '{sum+=$1}END{print sum}'

27、判斷是否為數字（字元串判斷也如此）
# [[ $num =~ ^[0-9]+$ ]] && echo yes || echo no #[[]]比[]更加通用，支持模式匹配=~和字元串比較使用通配符`^ $：從開始到結束是數字才滿足條件=~：一個操作符，表示左邊是否滿足右邊（作為一個模式）正則表達式

28、刪除換行符並將空格替換別的字元
# cat a.txt |xargs echo -n |sed 's/[ ]/|/g' #-n 不換行# cat a.txt |tr -d '\n' #刪除換行符

29、查看文本中20至30行內容（總共100行）
方法1：# awk '{if(NR > 20 && NR < 31) print $0}' test.txt方法2：# sed -n '20,30p' test.txt 方法3：# head -30 test.txt |tail

30、文本中兩列位置替換
# cat a.txt60.35.1.15 www..com45.46.26.85 www.sina.com.cn# awk '{print $2"\t"$1}' a.txt

10. 利用awk命令提取其中一列包括特定字元的所有行怎麼辦

在Unity3d游戲程序運行時所有附加到游戲對象上的腳本組件都會運行， Awake方法和Start方法都只會運行一次，多用於數據初始化。 這兩個方法的執行順序是： 先執行Awake方法，再執行Start方法

當腳本設置為不可用時

Awake方法仍然會執行一次，而Start方法則不會執行！

在游戲開始之前Awake用來初始化變數或游戲狀態。 Awake方法在腳本生命周期中只會被調用一次。Awake方法在所有游戲對象初始化完之後才會被調用，所以可以安全的在Awake方法中引用或請求其它游戲對象數據。 所有游戲對象的Awake方法調用順序是隨機的。所以應該全用Awake方法來設置腳本之間的引用，而使用Start方法來互相來回傳遞信息。Awake方法總是在任何的Start方法調用之前調用。Awake不能做為協同(coroutine)使用

在Unity中使用Awake方法做為初始化器，而不是使用C#語法中的構造函數。在構造函數中進行初始化組件的序列化狀態是未定義的。就像構造函數一樣，Awake只調用一次。