实用linuxshell编程

⑴ 学生信的那些事儿之七 - linux基础之Shell脚本编程

沿着前面的轨迹，接下来是Linux中shell脚本的学习。这对于生信工程师后续处理大量 (海量更合适些) 数据是非常非常脊码重要的，但是同样的，作为一个有点古板的人，对于"脚本"是什么意思我都死磕了好久。主要觉得有些抽象，尤其是跟生信的同事讨论项目分析部分的问题时，他们经常会说道这个词，在他们意识里这是个不言自明的术语，殊不知对外行人而言 (比如我)，那简直就是无情的"知识的诅咒"。经常是我假装听懂了，然后继续讨论下面的问题，形成一个模糊的印象。

网络上的解释是：脚本（Script）是一种批处理文件的延伸，是一种纯文本保存的程序，一般来说的计算机脚本程序是确定的一系列控制计算机进行运算操作动作的组合，在其中可以实现一定的逻辑分支等。不知道你能不能看懂，反正我开始的时候真是一知半解。

鸟哥私房菜的解释是：shell script是利用 shell 的功能所写的一个"程序"，这个程序是使用纯文本文件，将一些shell的语法与命令(含外部命令)写在里面，搭配正则表达式、管道命令与数据流重定向等功能，以达到我们所想要的处理的目的。不明觉厉，好像更看不懂了···

Jude 的简单粗暴大白话解释是：脚本就是Linux中很多命令按照一定规则的组合，以实现某个特定的功能。Linux中有很多简单的命令，往往只是进行了简单的对话，比如 cd 就是进入到某个目录，简单直接。但是如果我想进入某个目录A，然后在目录A中创建目录B，再在目录B中创建文本C呢？当然可以一步一步操作，如果想要一步到位呢，那就可以用脚本，把三个命令写在一起，一起执行。好像有点啰嗦···

或者从英语的角度去理解，脚本的对应英文是Script，而这个单词的中文释义中还有剧本的意思。剧本就好理解了啊，剧本就是导演(生信工程师)基于某个主旨(要实现的目标)按照一定的手法(规则)所写的一个故事。不管是哪个演员，都得按照剧本演。所以，学好英语对于生信也是有帮助的~

按照脚本的复杂程度可以分为：

这个无需多说，其实就是若干个简单命令的顺序排列，执行脚本后会按照命令的前后关系从前往后一一执行。

相对于简单的基本脚本，结构化的命令脚本可以施加逻辑流程控制，从而改变程序(命令)执行的顺序。基本脚本中的命令就是从上往下执行，但兄野迅是结构化的命令脚本可以根据逻辑判断重复或者跳过某些命令。

常用的结构化命令(语句)有：

后面还有什么嵌套循环啊啥的，不过我觉得上面的7中命令学到家了，应该可以应付大部分在生信分析里面的应用了。

记得高中的时候，物理老师(也是班主任)在给我们讲解习题时有个有意思的套路：不管什么难题现在下面写个"答："，以示自己解决问题的决心，也是一种正向的心理暗示。脚本编写也是有套路的，不过总的来说还是比较简单。

对于简单的脚本(超级简单的那种)，直接几个命令连在一起即可，中间用"；"隔开。

对于更长更复杂的脚本，一般需要创建一个文本，并在里面编辑。这就涉及到了文本编辑器，比较常用和简单的一般有nano和vim，实在羡此很简单，规则也容易理解，教程随手可得，不多说。

比如用vim创建了一个脚本之后，具体的语法(套路)：

ok，脚本写完了，怎么让脚本开始工作呢？这有涉及到之前讲过的环境变量和相对路径、绝对路径了。方法有三：

就这么多吧，应该有点感觉到了，剩下的就是狂练狂练了~

⑵ Linux Shell 脚本编程最佳实践

IT路边社

前言

与其它的编码规范一样，这里所讨论的不仅仅是编码格式美不美观的问题， 同时也讨论一些约定及编码标准。这份文档主要侧重于我们所普遍遵循的规则，对于那些不是明确强制要求的，我们尽量避免提供意见。

编码规范对于程序员而言尤为重要，有以下几个原因：

本文档中的准则致力于最大限度达到以下原则：

尽管本文档涵盖了许多基础知识，但应注意的是，没有编码规范可以为我们回答所有问题，开发人员始终需要再编写完代码后，对上述原则做出正确的判断。

注 ：未明确指明的则默认为必须（Mandatory）

主要参考如下文档:

仅建议Shell用作相对简单的实用工具或者包装脚本。因此单个shell脚本内容不宜太过复杂。

在选择何时使用shell脚本时时应遵循以下原则：

可执行文件不建议有扩展名，库文件必须使用 .sh 作为扩展名，且应是不可执行的。

执行一个程序时，无需知道其编写语言，且shell脚本并不要求具有扩展名，所以更倾向可执行文件没有扩展名。

而库文件知道其编写语言十分重要，使用 .sh 作为特定语言后缀的扩展名，可以和其他语言编写的库文件加以区分。

文件名要求全部小写, 可以包含下划线 _ 或连字符 - , 建议可执行文件使用连字符，库文件使用下划线。

正例:

反例：

源文件编码格式为UTF-8。避免不同操作系统对文件换行处理的方式不同，一律使用 LF 。

每行最多不超过120个字符。每行代码最大长度限制的根本原因是过长的行会导致阅读障碍，使得缩进失效。

除了以下两种情况例外：

如出现长度必须超过120个字符的字符串，应尽量使用here document或者嵌入的换行符等合适的方法使其变短。

示例：

除了在行结束使用换行符，空格是源文件中唯一允许出现的空白字符。

对从来没有用到的或者被注释的方法、变量等要坚决从代码中清理出去，避免过多垃圾造成干扰。

Bash 是唯一被允许使用的可执行脚本shell。

可执行文件必须以 #!/bin/bash 开始。请使用 set 来设置shell的选项，使得用 bash echo "Process $: Done making $$$."
# 示例7：命令参数及路径不需要引号 grep -li Hugo /dev/ "$1"
# 示例8：常规变量用双引号，ccs可能为空的特殊情况可不用引号 git send-email --to "${reviewers}" ${ccs:+"--cc" "${ccs}"}
# 示例9：正则用单引号，$1可能为空的特殊情况可不用引号 grep -cP '([Ss]pecial||?characters*) ${1:+"$1"}
# 示例10：位置参数传递推荐带引号的"$@"，所有参数作为单字符串传递用带引号的"$*" # content of t.sh func_t { echo num: $# echo args: 1:$1 2:$2 3:$3 }
func_t "$@" func_t "$*" # 当执行 ./t.sh a b c 时输出如下： num: 3 args: 1:a 2:b 3:c num: 1 args: 1:a b c 2: 3:

使用 $(command) 而不是反引号。

因反引号如果要嵌套则要求用反斜杠转义内部的反引号。而 $(command) 形式的嵌套无需转义，且可读性更高。

正例：

反例：

条件测试

使用 [[ ... ]] ，而不是 [ , test , 和 /usr/bin/[ 。

因为在 [[ 和 ]] 之间不会出现路径扩展或单词切分，所以使用 [[ ... ]] 能够减少犯错。且 [[ ... ]] 支持正则表达式匹配，而 [ ... ] 不支持。参考以下示例：

尽可能使用变量引用，而非字符串过滤。

Bash可以很好的处理空字符串测试，请使用空/非空字符串测试方法，而不是过滤字符，让代码具有更高的可读性。正例：

反例：

正例：

反例：

正例：

反例：

文件名扩展

当进行文件名的通配符扩展时，请指定明确的路径。

当目录中有特殊文件名如以 - 开头的文件时，使用带路径的扩展通配符 ./* 比不带路径的 * 要安全很多。

应该避免使用eval。

Eval在用于分配变量时会修改输入内容，但设置变量的同时并不能检查这些变量是什么。反例：

请使用进程替换或者for循环，而不是通过管道连接while循环。

这是因为在管道之后的while循环中，命令是在一个子shell中运行的，因此对变量的修改是不能传递给父shell的。

这种管道连接while循环中的隐式子shell使得bug定位非常困难。反例：

如果你确定输入中不包含空格或者其他特殊符号（通常不是来自用户输入），则可以用for循环代替。例如：

使用进程替换可实现重定向输出，但是请将命令放入显式子 shell，而非 while 循环创建的隐式子 shell。例如：

总是检查返回值，且提供有用的返回值。

对于非管道命令，使用 $? 或直接通过 if 语句来检查以保持其简洁。

例如：

当内建命令可以完成相同的任务时，在shell内建命令和调用外部命令之间，应尽量选择内建命令。

因内建命令相比外部命令而言会产生更少的依赖，且多数情况调用内建命令比调用外部命令可以获得更好的性能（通常外部命令会产生额外的进程开销）。

正例：

反例：

加载外部库文件不建议用使用.，建议使用source，已提升可阅读性。正例：

反例：

除非必要情况，尽量使用单个命令及其参数组合来完成一项任务，而非多个命令加上管道的不必要组合。常见的不建议的用法例如：cat和grep连用过滤字符串; cat和wc连用统计行数; grep和wc连用统计行数等。

正例：

除特殊情况外，几乎所有函数都不应该使用exit直接退出脚本，而应该使用return进行返回，以便后续逻辑中可以对错误进行处理。正例：

反例：

推荐以下工具帮助我们进行代码的规范：

原文链接：http://itxx00.github.io/blog/2020/01/03/shell-standards/

获取更多的面试题、脚本等运维资料点击: 运维知识社区 获取

脚本之---短信轰炸机

脚本之---QQ微信轰炸机

ansible---一键搭建redis5.0.5集群

elk7.9真集群docker部署文档

全球最全loki部署及配置文档

最强安全加固脚本2.0

一键设置iptbales脚本

⑶ Linux下的shell编程 如何替换文件中的内容

可以这样做：

方法1：sed -i 's/被替换的内容/要替换成的内容/' file

方法2：sed 's/被替换的内容/要替换成的内容/g' file > file.out；mv file.out file。

(3)实用linuxshell编程扩展阅读：

Shell编程的常用技巧：

一、自动补齐：在linux中对于命令或路径，可以TAB键进行自动补全，以下事项需要注意：

1、只存在一个该输入字符开头的命令或路径，此时自动补全；

2、存在多个该输入字符开头的命令或路径，此时第一次点击TAB键无效厅键中，此时再次点扮山击TAB会罗列出所有该字符开头的命令或路径，继续输入直到仅仅剩一个时自动补全；

3、如果命令已经是完整的，TAB键则是本来的移动功能；而路径的话要看命令自身的行为决定后续动作。

二、历史命令

1、history命令可以显示历史执行过的命令；

2、使用！+序号执行该序号对应的命令；

3、使用！+字符执亮岩行该字符开头的最后一次执行的指令。

三、命令别名

1、实现别名：alias ddd="df -Th"；

2、删除别名：unalias ddd；

3、显示所有别名命令列表：alias；

4、存放位置：~/.bashrc (加入该文件后，重启后不会消失)。

四、重定向

1、重定向标准输入：< 命令接收输入的途径由键盘改为文件；

2、重定向标准输出：> 将命令的执行结果输出到指定文件，而不是直接显示到屏幕；

3、重定向标准输出：>> 将命令的执行结果追加输出到指定文件；

4、重定向标准错误：2> 清除指定文件的内容，并把标准错误信息保存到指定文件；

5、重定向标准错误：2>> 标准错误信息追加到指定文件；

6、重定向标准输出和标准错误：&> 将标准输出、标准错误信息全部保存到指定文件，而不是直接显示在屏幕上。

⑷ LINUX快速入门第八章：Shell基础

我们平时所说的 Shell 可以理解为 Linux 系统提供给用户的使用界面。Shell 为用户提供了输入命令和参数并可得到命令执行结果的环境。当一个用户登录 Linux 之后，系统初始化程序 init 就根据 /etc/passwd 文件中的设定，为每个用户运行一个被称为 Shell（外壳）的程序。

确切地说，Shell 是一个命令行解释器，它为用户提供了一个向 Linux 内核发送请求以便运行程序的界面系统级程序，用户可以用 Shell 来启动、挂起、停止甚至编写一些程序。

Shell 处在内核与外层应用程序之间，起着协调用户与系统的一致性、在用户与系统之间进行交互的作用。图 1 是 Linux 系统层次结构图，Shell 接收用户输入的命令，并把用户的命令从类似 abed 的 ASCII 码解释为类似 0101 的机器语言，然后把命令提交到系统内核处理；当内核处理完毕之后，把处理结果再通过 Shell 返回给用户。

换句话说：

Shell 是一个用 C 语言编写的程序，它是用户使用 Linux 的桥梁。Shell 既是一种命令语言，又是一种程序设计语言。

Shell 是指一种应用程序，这个应用程序提供了一个界面，用户通过这个界面访问操作系统内核的服务。

Ken Thompson 的 sh 是第一种 Unix Shell，Windows Explorer 是一个典型的图形界面 Shell。

Shell 与其他 Linux 命令一样，都是实用程序，但它们之间还是有区别的。一旦用户注册到系统后，Shell 就被系统装入内存并一直运行到用户退出系统为止；而一般命令仅当被调用时，才由系统装入内存执行。

与一般命令相比，Shell 除了是一个命令行解释器，同时还是一门功能强大的编程语言，易编写，易调试，灵活性较强。作为一种命令级语言，Shell 是解释性的，组合功能很强，与操作系统有密切的关系，可以在 Shell 脚本中直接使用系统命令。大多数 Linux 系统的启动相关文件（一般在 /etc/rc.d 目录下）都是使用 Shell 脚本编写的。

同传统的编程语言一样，Shell 提供了很多特性，这些特性可以使 Shell 脚本编程更为有用，如数据变量、参数传递、判断、流程控制、数据输入和输出、子程序及中断处理等。

说了这么多，其实我们在 Linux 中操作的命令行界面就是 Linux 的 Shell，也就是 Bash，但是我们的图形界面是 Shell 吗？其实从广义讲，图形界面当然也是 Shell，因为它同样用来接收用户的操作，并传递到内核进行处理。不过，这里的 Shell 主要指的是 Bash。

Shell 脚本

Shell 脚本（shell script），是一种为 shell 编写的脚本程序。

业界所说的 shell 通常都是指 shell 脚本，但读者朋友要知道，shell 和 shell script 是两个不同的概念。

由于习惯的原因，简洁起见，本文出现的 "shell编程" 都是指 shell 脚本编程，不是指开发 shell 自身。

Shell的分类

目前 Shell 的版本有很多种，如 Bourne Shell、C Shell、Bash、ksh、tcsh 等，它们各有特点，下面简要介绍一下。

最重要的 Shell 是 Bourne Shell，这个命名是为了纪念此 Shell 的发明者 Steven Bourne。从 1979 年起，UNIX 就开始使用 Boume Shell。Bourne Shell 的主文件名为 sh，开发人员便以 sh 作为 Bourne Shell 的主要识别名称。

虽然 Linux 与 UNIX 一样，可以支持多种 Shell，但 Boume Shell 的重要地位至今仍然没有改变，许多 UNIX 系统中仍然使用 sh 作为重要的管理工具。它的工作从开机到关机，几乎无所不包。在 Linux 中，用户 Shell 主要是 Bash，但在启动脚本、编辑等很多工作中仍然使用 Bourne Shell。

C Shell 是广为流行的 Shell 变种。C Shell 主要在 BSD 版的 UNIX 系统中使用，发明者是柏克莱大学的 Bill Joy。C Shell 因为其语法和 C 语言类似而得名，这也使得 UNIX 的系统工程师在学习 C Shell 时感到相当方便。

Bourne Shell 和 C Shell 形成了 Shell 的两大主流派别，后来的变种大都吸取这两种 Shell 的特点，如 Korn、 tcsh 及 Bash。

Bash Shell 是 GNU 计划的重要工具之一，也是 GNU 系统中标准的 Shell。Bash 与 sh 兼容，所以许多早期开发出来的 Bourne Shell 程序都可以继续在 Bash 中运行。现在使用的 Linux 就使用 Bash 作为用户的基本 Shell。

Bash 于 1988 年发布，并在 1995-1996年推出Bash 2.0。在这之前，广为使用的版本是1.14，Bash 2.0增加了许多新的功能，以及具备更好的兼容性。表 2 中详细列出了各版本的具体情况。

注意，Shell 的两种主要语法类型有 Bourne 和 C，这两种语法彼此不兼容。Boume 家族主要包括 sh、ksh、Bash、psh、zsh；C 家族主要包括 csh、tcsh（Bash 和 zsh 在不同程序上支持 csh 的语法）。

本章讲述的脚本编程就是在 Bash 环境中进行的。不过，在 Linux 中除了可以支持 Bash，还可以支持很多其他的 Shell。我们可以通过 /etc/shells 文件来査询 Linux 支持的 Shell。命令如下：

在 Linux 中，这些 Shell 是可以任意切换的，命令如下：

用户信息文件 /etc/passwd 的最后一列就是这个用户的登录 Shell。命令如下：

大家可以看到，root 用户和其他可以登录系统的普通用户的登录 Shell 都是 /bin/bash，也就是 Linux 的标准 Shell，所以这些用户登录之后可以执行权限允许范围内的所有命令。不过，所有的系统用户（伪用户）因为登录 Shell 是 /sbin/ndogin，所以不能登录系统。

笔记：

sh/bash/csh/Tcsh/ksh/pdksh等shell的区别

⑸ Linux编写简单的shell脚本

新建一个文件shell脚本一般用×.sh作为后缀当然勇气他的也可以。打开终端输入touch first.sh 新建一个名为first的shell脚本。
编写一个简单的linuxshell脚本

使用vim 编辑first.sh也可以用其他的文本编辑器，推荐使用vim

使用命令 vim first.sh打开，输入i进入编辑模式。
编写一个简单的linuxshell脚本

我们写入一个简单的shell脚本，注意第一行的代码解释器的指定，这里使用的是/bin/bash/ 解释器 也可用其他的根据个人情况自己选择。

脚本解释：

echo //显示一串字符并自动换行

read NAME //从屏幕获取一段字符，并赋予NAME

$NAME //取NAME变量的值

# //只用一个#表示注释文本
编写一个简单的linuxshell脚本

文件写完后按下esc键 退出插入模式，接着输入：wq 保存文本并退出文本编辑。
编写一个简单的linuxshell脚本

输入sh + 脚本名称 运行脚本，或给文件可运行权限 chmod +x 然后输入./first.sh运行脚本。
编写一个简单的linuxshell脚本
编写一个简单的linuxshell脚本