實用linuxshell編程

⑴ 學生信的那些事兒之七 - linux基礎之Shell腳本編程

沿著前面的軌跡，接下來是Linux中shell腳本的學習。這對於生信工程師後續處理大量 (海量更合適些) 數據是非常非常脊碼重要的，但是同樣的，作為一個有點古板的人，對於"腳本"是什麼意思我都死磕了好久。主要覺得有些抽象，尤其是跟生信的同事討論項目分析部分的問題時，他們經常會說道這個詞，在他們意識里這是個不言自明的術語，殊不知對外行人而言 (比如我)，那簡直就是無情的"知識的詛咒"。經常是我假裝聽懂了，然後繼續討論下面的問題，形成一個模糊的印象。

網路上的解釋是：腳本（Script）是一種批處理文件的延伸，是一種純文本保存的程序，一般來說的計算機腳本程序是確定的一系列控制計算機進行運算操作動作的組合，在其中可以實現一定的邏輯分支等。不知道你能不能看懂，反正我開始的時候真是一知半解。

鳥哥私房菜的解釋是：shell script是利用 shell 的功能所寫的一個"程序"，這個程序是使用純文本文件，將一些shell的語法與命令(含外部命令)寫在裡面，搭配正則表達式、管道命令與數據流重定向等功能，以達到我們所想要的處理的目的。不明覺厲，好像更看不懂了···

Jude 的簡單粗暴大白話解釋是：腳本就是Linux中很多命令按照一定規則的組合，以實現某個特定的功能。Linux中有很多簡單的命令，往往只是進行了簡單的對話，比如 cd 就是進入到某個目錄，簡單直接。但是如果我想進入某個目錄A，然後在目錄A中創建目錄B，再在目錄B中創建文本C呢？當然可以一步一步操作，如果想要一步到位呢，那就可以用腳本，把三個命令寫在一起，一起執行。好像有點啰嗦···

或者從英語的角度去理解，腳本的對應英文是Script，而這個單詞的中文釋義中還有劇本的意思。劇本就好理解了啊，劇本就是導演(生信工程師)基於某個主旨(要實現的目標)按照一定的手法(規則)所寫的一個故事。不管是哪個演員，都得按照劇本演。所以，學好英語對於生信也是有幫助的~

按照腳本的復雜程度可以分為：

這個無需多說，其實就是若干個簡單命令的順序排列，執行腳本後會按照命令的前後關系從前往後一一執行。

相對於簡單的基本腳本，結構化的命令腳本可以施加邏輯流程式控制制，從而改變程序(命令)執行的順序。基本腳本中的命令就是從上往下執行，但兄野迅是結構化的命令腳本可以根據邏輯判斷重復或者跳過某些命令。

常用的結構化命令(語句)有：

後面還有什麼嵌套循環啊啥的，不過我覺得上面的7中命令學到家了，應該可以應付大部分在生信分析裡面的應用了。

記得高中的時候，物理老師(也是班主任)在給我們講解習題時有個有意思的套路：不管什麼難題現在下面寫個"答："，以示自己解決問題的決心，也是一種正向的心理暗示。腳本編寫也是有套路的，不過總的來說還是比較簡單。

對於簡單的腳本(超級簡單的那種)，直接幾個命令連在一起即可，中間用"；"隔開。

對於更長更復雜的腳本，一般需要創建一個文本，並在裡面編輯。這就涉及到了文本編輯器，比較常用和簡單的一般有nano和vim，實在羨此很簡單，規則也容易理解，教程隨手可得，不多說。

比如用vim創建了一個腳本之後，具體的語法(套路)：

ok，腳本寫完了，怎麼讓腳本開始工作呢？這有涉及到之前講過的環境變數和相對路徑、絕對路徑了。方法有三：

就這么多吧，應該有點感覺到了，剩下的就是狂練狂練了~

⑵ Linux Shell 腳本編程最佳實踐

IT路邊社

前言

與其它的編碼規范一樣，這里所討論的不僅僅是編碼格式美不美觀的問題， 同時也討論一些約定及編碼標准。這份文檔主要側重於我們所普遍遵循的規則，對於那些不是明確強制要求的，我們盡量避免提供意見。

編碼規范對於程序員而言尤為重要，有以下幾個原因：

本文檔中的准則致力於最大限度達到以下原則：

盡管本文檔涵蓋了許多基礎知識，但應注意的是，沒有編碼規范可以為我們回答所有問題，開發人員始終需要再編寫完代碼後，對上述原則做出正確的判斷。

注 ：未明確指明的則默認為必須（Mandatory）

主要參考如下文檔:

僅建議Shell用作相對簡單的實用工具或者包裝腳本。因此單個shell腳本內容不宜太過復雜。

在選擇何時使用shell腳本時時應遵循以下原則：

可執行文件不建議有擴展名，庫文件必須使用 .sh 作為擴展名，且應是不可執行的。

執行一個程序時，無需知道其編寫語言，且shell腳本並不要求具有擴展名，所以更傾向可執行文件沒有擴展名。

而庫文件知道其編寫語言十分重要，使用 .sh 作為特定語言後綴的擴展名，可以和其他語言編寫的庫文件加以區分。

文件名要求全部小寫, 可以包含下劃線 _ 或連字元 - , 建議可執行文件使用連字元，庫文件使用下劃線。

正例:

反例：

源文件編碼格式為UTF-8。避免不同操作系統對文件換行處理的方式不同，一律使用 LF 。

每行最多不超過120個字元。每行代碼最大長度限制的根本原因是過長的行會導致閱讀障礙，使得縮進失效。

除了以下兩種情況例外：

如出現長度必須超過120個字元的字元串，應盡量使用here document或者嵌入的換行符等合適的方法使其變短。

示例：

除了在行結束使用換行符，空格是源文件中唯一允許出現的空白字元。

對從來沒有用到的或者被注釋的方法、變數等要堅決從代碼中清理出去，避免過多垃圾造成干擾。

Bash 是唯一被允許使用的可執行腳本shell。

可執行文件必須以 #!/bin/bash 開始。請使用 set 來設置shell的選項，使得用 bash echo "Process $: Done making $$$."
# 示例7：命令參數及路徑不需要引號 grep -li Hugo /dev/ "$1"
# 示例8：常規變數用雙引號，ccs可能為空的特殊情況可不用引號 git send-email --to "${reviewers}" ${ccs:+"--cc" "${ccs}"}
# 示例9：正則用單引號，$1可能為空的特殊情況可不用引號 grep -cP '([Ss]pecial||?characters*) ${1:+"$1"}
# 示例10：位置參數傳遞推薦帶引號的"$@"，所有參數作為單字元串傳遞用帶引號的"$*" # content of t.sh func_t { echo num: $# echo args: 1:$1 2:$2 3:$3 }
func_t "$@" func_t "$*" # 當執行 ./t.sh a b c 時輸出如下： num: 3 args: 1:a 2:b 3:c num: 1 args: 1:a b c 2: 3:

使用 $(command) 而不是反引號。

因反引號如果要嵌套則要求用反斜杠轉義內部的反引號。而 $(command) 形式的嵌套無需轉義，且可讀性更高。

正例：

反例：

條件測試

使用 [[ ... ]] ，而不是 [ , test , 和 /usr/bin/[ 。

因為在 [[ 和 ]] 之間不會出現路徑擴展或單詞切分，所以使用 [[ ... ]] 能夠減少犯錯。且 [[ ... ]] 支持正則表達式匹配，而 [ ... ] 不支持。參考以下示例：

盡可能使用變數引用，而非字元串過濾。

Bash可以很好的處理空字元串測試，請使用空/非空字元串測試方法，而不是過濾字元，讓代碼具有更高的可讀性。正例：

反例：

正例：

反例：

正例：

反例：

文件名擴展

當進行文件名的通配符擴展時，請指定明確的路徑。

當目錄中有特殊文件名如以 - 開頭的文件時，使用帶路徑的擴展通配符 ./* 比不帶路徑的 * 要安全很多。

應該避免使用eval。

Eval在用於分配變數時會修改輸入內容，但設置變數的同時並不能檢查這些變數是什麼。反例：

請使用進程替換或者for循環，而不是通過管道連接while循環。

這是因為在管道之後的while循環中，命令是在一個子shell中運行的，因此對變數的修改是不能傳遞給父shell的。

這種管道連接while循環中的隱式子shell使得bug定位非常困難。反例：

如果你確定輸入中不包含空格或者其他特殊符號（通常不是來自用戶輸入），則可以用for循環代替。例如：

使用進程替換可實現重定向輸出，但是請將命令放入顯式子 shell，而非 while 循環創建的隱式子 shell。例如：

總是檢查返回值，且提供有用的返回值。

對於非管道命令，使用 $? 或直接通過 if 語句來檢查以保持其簡潔。

例如：

當內建命令可以完成相同的任務時，在shell內建命令和調用外部命令之間，應盡量選擇內建命令。

因內建命令相比外部命令而言會產生更少的依賴，且多數情況調用內建命令比調用外部命令可以獲得更好的性能（通常外部命令會產生額外的進程開銷）。

正例：

反例：

載入外部庫文件不建議用使用.，建議使用source，已提升可閱讀性。正例：

反例：

除非必要情況，盡量使用單個命令及其參數組合來完成一項任務，而非多個命令加上管道的不必要組合。常見的不建議的用法例如：cat和grep連用過濾字元串; cat和wc連用統計行數; grep和wc連用統計行數等。

正例：

除特殊情況外，幾乎所有函數都不應該使用exit直接退出腳本，而應該使用return進行返回，以便後續邏輯中可以對錯誤進行處理。正例：

反例：

推薦以下工具幫助我們進行代碼的規范：

原文鏈接：http://itxx00.github.io/blog/2020/01/03/shell-standards/

獲取更多的面試題、腳本等運維資料點擊: 運維知識社區 獲取

腳本之---簡訊轟炸機

腳本之---QQ微信轟炸機

ansible---一鍵搭建redis5.0.5集群

elk7.9真集群docker部署文檔

全球最全loki部署及配置文檔

最強安全加固腳本2.0

一鍵設置iptbales腳本

⑶ Linux下的shell編程 如何替換文件中的內容

可以這樣做：

方法1：sed -i 's/被替換的內容/要替換成的內容/' file

方法2：sed 's/被替換的內容/要替換成的內容/g' file > file.out；mv file.out file。

(3)實用linuxshell編程擴展閱讀：

Shell編程的常用技巧：

一、自動補齊：在linux中對於命令或路徑，可以TAB鍵進行自動補全，以下事項需要注意：

1、只存在一個該輸入字元開頭的命令或路徑，此時自動補全；

2、存在多個該輸入字元開頭的命令或路徑，此時第一次點擊TAB鍵無效廳鍵中，此時再次點扮山擊TAB會羅列出所有該字元開頭的命令或路徑，繼續輸入直到僅僅剩一個時自動補全；

3、如果命令已經是完整的，TAB鍵則是本來的移動功能；而路徑的話要看命令自身的行為決定後續動作。

二、歷史命令

1、history命令可以顯示歷史執行過的命令；

2、使用！+序號執行該序號對應的命令；

3、使用！+字元執亮岩行該字元開頭的最後一次執行的指令。

三、命令別名

1、實現別名：alias ddd="df -Th"；

2、刪除別名：unalias ddd；

3、顯示所有別名命令列表：alias；

4、存放位置：~/.bashrc (加入該文件後，重啟後不會消失)。

四、重定向

1、重定向標准輸入：< 命令接收輸入的途徑由鍵盤改為文件；

2、重定向標准輸出：> 將命令的執行結果輸出到指定文件，而不是直接顯示到屏幕；

3、重定向標准輸出：>> 將命令的執行結果追加輸出到指定文件；

4、重定向標准錯誤：2> 清除指定文件的內容，並把標准錯誤信息保存到指定文件；

5、重定向標准錯誤：2>> 標准錯誤信息追加到指定文件；

6、重定向標准輸出和標准錯誤：&> 將標准輸出、標准錯誤信息全部保存到指定文件，而不是直接顯示在屏幕上。

⑷ LINUX快速入門第八章：Shell基礎

我們平時所說的 Shell 可以理解為 Linux 系統提供給用戶的使用界面。Shell 為用戶提供了輸入命令和參數並可得到命令執行結果的環境。當一個用戶登錄 Linux 之後，系統初始化程序 init 就根據 /etc/passwd 文件中的設定，為每個用戶運行一個被稱為 Shell（外殼）的程序。

確切地說，Shell 是一個命令行解釋器，它為用戶提供了一個向 Linux 內核發送請求以便運行程序的界面系統級程序，用戶可以用 Shell 來啟動、掛起、停止甚至編寫一些程序。

Shell 處在內核與外層應用程序之間，起著協調用戶與系統的一致性、在用戶與系統之間進行交互的作用。圖 1 是 Linux 系統層次結構圖，Shell 接收用戶輸入的命令，並把用戶的命令從類似 abed 的 ASCII 碼解釋為類似 0101 的機器語言，然後把命令提交到系統內核處理；當內核處理完畢之後，把處理結果再通過 Shell 返回給用戶。

換句話說：

Shell 是一個用 C 語言編寫的程序，它是用戶使用 Linux 的橋梁。Shell 既是一種命令語言，又是一種程序設計語言。

Shell 是指一種應用程序，這個應用程序提供了一個界面，用戶通過這個界面訪問操作系統內核的服務。

Ken Thompson 的 sh 是第一種 Unix Shell，Windows Explorer 是一個典型的圖形界面 Shell。

Shell 與其他 Linux 命令一樣，都是實用程序，但它們之間還是有區別的。一旦用戶注冊到系統後，Shell 就被系統裝入內存並一直運行到用戶退出系統為止；而一般命令僅當被調用時，才由系統裝入內存執行。

與一般命令相比，Shell 除了是一個命令行解釋器，同時還是一門功能強大的編程語言，易編寫，易調試，靈活性較強。作為一種命令級語言，Shell 是解釋性的，組合功能很強，與操作系統有密切的關系，可以在 Shell 腳本中直接使用系統命令。大多數 Linux 系統的啟動相關文件（一般在 /etc/rc.d 目錄下）都是使用 Shell 腳本編寫的。

同傳統的編程語言一樣，Shell 提供了很多特性，這些特性可以使 Shell 腳本編程更為有用，如數據變數、參數傳遞、判斷、流程式控制制、數據輸入和輸出、子程序及中斷處理等。

說了這么多，其實我們在 Linux 中操作的命令行界面就是 Linux 的 Shell，也就是 Bash，但是我們的圖形界面是 Shell 嗎？其實從廣義講，圖形界面當然也是 Shell，因為它同樣用來接收用戶的操作，並傳遞到內核進行處理。不過，這里的 Shell 主要指的是 Bash。

Shell 腳本

Shell 腳本（shell script），是一種為 shell 編寫的腳本程序。

業界所說的 shell 通常都是指 shell 腳本，但讀者朋友要知道，shell 和 shell script 是兩個不同的概念。

由於習慣的原因，簡潔起見，本文出現的 "shell編程" 都是指 shell 腳本編程，不是指開發 shell 自身。

Shell的分類

目前 Shell 的版本有很多種，如 Bourne Shell、C Shell、Bash、ksh、tcsh 等，它們各有特點，下面簡要介紹一下。

最重要的 Shell 是 Bourne Shell，這個命名是為了紀念此 Shell 的發明者 Steven Bourne。從 1979 年起，UNIX 就開始使用 Boume Shell。Bourne Shell 的主文件名為 sh，開發人員便以 sh 作為 Bourne Shell 的主要識別名稱。

雖然 Linux 與 UNIX 一樣，可以支持多種 Shell，但 Boume Shell 的重要地位至今仍然沒有改變，許多 UNIX 系統中仍然使用 sh 作為重要的管理工具。它的工作從開機到關機，幾乎無所不包。在 Linux 中，用戶 Shell 主要是 Bash，但在啟動腳本、編輯等很多工作中仍然使用 Bourne Shell。

C Shell 是廣為流行的 Shell 變種。C Shell 主要在 BSD 版的 UNIX 系統中使用，發明者是柏克萊大學的 Bill Joy。C Shell 因為其語法和 C 語言類似而得名，這也使得 UNIX 的系統工程師在學習 C Shell 時感到相當方便。

Bourne Shell 和 C Shell 形成了 Shell 的兩大主流派別，後來的變種大都吸取這兩種 Shell 的特點，如 Korn、 tcsh 及 Bash。

Bash Shell 是 GNU 計劃的重要工具之一，也是 GNU 系統中標準的 Shell。Bash 與 sh 兼容，所以許多早期開發出來的 Bourne Shell 程序都可以繼續在 Bash 中運行。現在使用的 Linux 就使用 Bash 作為用戶的基本 Shell。

Bash 於 1988 年發布，並在 1995-1996年推出Bash 2.0。在這之前，廣為使用的版本是1.14，Bash 2.0增加了許多新的功能，以及具備更好的兼容性。表 2 中詳細列出了各版本的具體情況。

注意，Shell 的兩種主要語法類型有 Bourne 和 C，這兩種語法彼此不兼容。Boume 家族主要包括 sh、ksh、Bash、psh、zsh；C 家族主要包括 csh、tcsh（Bash 和 zsh 在不同程序上支持 csh 的語法）。

本章講述的腳本編程就是在 Bash 環境中進行的。不過，在 Linux 中除了可以支持 Bash，還可以支持很多其他的 Shell。我們可以通過 /etc/shells 文件來査詢 Linux 支持的 Shell。命令如下：

在 Linux 中，這些 Shell 是可以任意切換的，命令如下：

用戶信息文件 /etc/passwd 的最後一列就是這個用戶的登錄 Shell。命令如下：

大家可以看到，root 用戶和其他可以登錄系統的普通用戶的登錄 Shell 都是 /bin/bash，也就是 Linux 的標准 Shell，所以這些用戶登錄之後可以執行許可權允許范圍內的所有命令。不過，所有的系統用戶（偽用戶）因為登錄 Shell 是 /sbin/ndogin，所以不能登錄系統。

筆記：

sh/bash/csh/Tcsh/ksh/pdksh等shell的區別

⑸ Linux編寫簡單的shell腳本

新建一個文件shell腳本一般用×.sh作為後綴當然勇氣他的也可以。打開終端輸入touch first.sh 新建一個名為first的shell腳本。
編寫一個簡單的linuxshell腳本

使用vim 編輯first.sh也可以用其他的文本編輯器，推薦使用vim

使用命令 vim first.sh打開，輸入i進入編輯模式。
編寫一個簡單的linuxshell腳本

我們寫入一個簡單的shell腳本，注意第一行的代碼解釋器的指定，這里使用的是/bin/bash/ 解釋器 也可用其他的根據個人情況自己選擇。

腳本解釋：

echo //顯示一串字元並自動換行

read NAME //從屏幕獲取一段字元，並賦予NAME

$NAME //取NAME變數的值

# //只用一個#表示注釋文本
編寫一個簡單的linuxshell腳本

文件寫完後按下esc鍵 退出插入模式，接著輸入：wq 保存文本並退出文本編輯。
編寫一個簡單的linuxshell腳本

輸入sh + 腳本名稱 運行腳本，或給文件可運行許可權 chmod +x 然後輸入./first.sh運行腳本。
編寫一個簡單的linuxshell腳本
編寫一個簡單的linuxshell腳本