编译Prometheus

‘壹’ 安全开发你必须使用的28个DevSecOps工具

将安全融入开发过程，更早捕获并修复应用漏洞，你需要这五类共28款DevSecOps工具。

DevSecOps 是将安全集成到整个应用开发周期的过程，是从内到外强化应用，使其能够抵御各种潜在威胁的理想方式。因为很多公司企业不断开发应用以满足客户和商业合作伙伴的需求，DevSecOps的吸引力也与日俱增。

敏捷开发方法与DevOps操作帮助公司企业达成持续开发的目标。云原生应用架构也成为了DevSecOps运动的有力贡献者，推动采用公共云提供商、容器技术和容器平台为应用提供计算能力。DevSecOps将安全过程与工具集成进工作流并加以自动化，摆脱了传统方法按时间点进行的潜在干扰，是个无缝且持续的过程。

咨询公司 Data Bridge Market Research 称，鉴于网络安全威胁数量与危害性的持续上升，全球DevSecOps市场预计将从2018年的14.7亿美元增长至2026年的136.3亿美元。

市场繁荣之下，DevSecOps工具必将呈现百花齐放百家争鸣的局面。下面就按核心门类为您呈上多款优秀DevSecOps工具。

开发应用的时候很容易忽略掉安全漏洞。下面的工具为开发人员提供了潜在安全异常及缺陷的警报功能，可供开发人员及时调查并修复这些漏洞，不至于走得太远回不了头。有些工具专用于警报功能，比如开源的Alerta 。其他工具则兼具测试等别的功能，比如 Contrast Assess。

1. Alerta

(https://alerta.io/)

该开源工具可将多个来源的信息整合去重，提供快速可视化功能。Alerta与Prometheus、Riemann、Nagios、Cloudwatch及其他监视/管理服务集成，开发人员可通过API按需定制Alerta。

2. Contrast Assess

(https://www.contrastsecurity.com/interactive-application-security-testing-iast)

作为一款互动应用安全测试(IAST)工具，Contrast Assess 与用户应用集成，在后台持续监视代码，并在发现安全漏洞时发出警报。据称即便是非安全开发人员也可使用 Contrast Assess 自行识别并修复漏洞。

3. Contrast Protect

(https://www.contrastsecurity.com/runtime-application-self-protection-rasp)

该运行时应用自保护(RASP)工具采用了 Contrast Assess 同款嵌入式代理。Contrast Protect 在生产环境中查找漏洞利用程序和未知威胁，并将结果提交给安全信息及事件管理(SIEM)控制台、防火墙或其他安全工具。

4. ElastAlert

(https://elastalert.readthedocs.io/en/latest/)

ElastAlert提供近实时接收警报的框架，可接收来自Elasticsearch数据的安全异常、流量激增及其他模式。ElastAlert查询Elasticsearch并根据一系列规则比较这些数据。一旦出现匹配，ElastAlert便发出警报并随附建议动作。

大多数DevSecOps工具都提供一定程度的自动化。此类工具自动扫描、发现并修复安全缺陷，只是自动化程度各有不同，从条件式事件驱动的自动化到运用深度学习技术的自动化都有。

1. CodeAI

(http://www.qbitlogic.com/codeai/)

旨在通过深度学习技术自动查找并修复源代码中的安全漏洞，号称可为开发人员提供可供参考的解决方案列表，而不仅仅是安全问题列表。其供应商QbitLogic宣称，已为CodeAI馈送了数百万个现实世界漏洞修复样本供训练。

2. Parasoft tool suite

(https://www.parasoft.com/)

Parasoft提供包括应用开发安全测试在内的多种自动化工具：

1）Parasoft C/C++test

(https://www.parasoft.com/procts/ctest)

用于开发过程早期缺陷识别；

2）Parasoft Insure++

(https://www.parasoft.com/procts/insure)

可以查找不规范编程及内存访问错误；

3）Parasoft Jtest

(https://www.parasoft.com/procts/jtest)

用于java软件开发测试；

4) Parasoft dotTEST

(https://www.parasoft.com/procts/jtest)

以深度静态分析和高级覆盖作为 Visual Studio 工具的补充。

3. Red Hat Ansible Automation

(https://www.redhat.com/en/technologies/management/ansible)

该工具包含三个模块——Ansible Tower、Ansible Engine 和 Red Hat Ansible Network Automation，可作为无代理IT自动化技术单独或联合使用。尽管不是专门的安全工具，Ansible Automation 却可供用户定义规则以确定自身软件开发项目中哪些部分是安全的。

4. StackStorm

(https://stackstorm.com)

该开源工具号称“可进行条件式运营”，其事件驱动的自动化能在检测到安全漏洞时提供脚本化的修复与响应，并附有持续部署、ChatOps优化等功能。

5. Veracode

(https://www.veracode.com/devsecops)

该公司提供DevSecOps环境中广泛使用的一系列自动化安全工具，包括在代码编写时即时自动扫描的Greenlight；在沙箱中扫描代码漏洞的 Developer Sandbox；识别漏洞组件的 Software Composition Analysis (SCA)；以及识别应用缺陷的 Static Analysis。

专用DevSecOps仪表板工具可使用户在同一图形界面中查看并共享从开发伊始到运营过程中的安全信息。有些DevSecOps应用，比如ThreatModeler和Parasoft已自带仪表板。

1. Grafana

(https://grafana.com/)

该开源分析平台允许用户创建自定义仪表板，聚合所有相关数据以可视化及查询安全数据。如果不想自行构建，还可以在其网站上选用社区构建的仪表板。

2. Kibana

(https://www.elastic.co/procts/kibana)

如果你使用Elasticsearch，该开源工具可在统一图形界面中集成成千上万的日志条目，包括运营数据、时间序列分析、应用监视等等。

威胁建模DevSecOps工具用以在复杂的攻击界面中识别、预测并定义威胁，以便用户可以做出主动安全决策。有些工具可根据用户提供的系统及应用信息自动构建威胁模型，并提供可视化界面以帮助安全及非安全人员 探索 威胁及其潜在影响。

1. IriusRisk

(https://continuumsecurity.net/threat-modeling-tool/)

出自 Continuum Security 的解决方案，既可云部署，也可现场部署，能以基于问卷的界面自动化风险及需求分析，并设计出威胁模型和技术性安全要求。IriusRisk还可帮助用户管理代码构建及安全测试阶段。

2. ThreatModeler

(https://threatmodeler.com/)

该自动化威胁建模系统有两个版本：AppSec版和云版。在提供了用户应用或系统的功能性信息后，ThreatModeler会基于更新的威胁情报自动就整个攻击界面进行数据分析和潜在威胁识别。

3. OWASP Threat Dragon

(https://www.owasp.org/index.php/OWASP_Threat_Dragon)

一款基于Web的开源工具，提供系统图解和用于自动化威胁建模与缓解的规则引擎。Threat Dragon 承诺可与其他软件开发生命周期(SDLC)工具无缝集成，且界面易于使用。

在开发过程中测试应用以找出潜在漏洞是DevSecOps的关键部分，能够事先发现安全漏洞，避免漏洞被黑客利用。尽管其他工具往往包含了测试功能，比如Parasoft出品的那些，下列工具仍然在应用安全测试上表现强劲。

1. BDD-Security

(https://continuumsecurity.net/bdd-security/)

该出自 Continuum Security 的开源框架可使安全人员在敏捷开发过程中测试行为驱动开发(BDD)语言编写的功能及非功能性安全场景。此BDD框架旨在使安全功能独立于应用特定的导航逻辑，让同样的安全要求能够更容易地应用到多个应用程序上。

2. Checkmarx CxSAST

(https://www.checkmarx.com/procts/static-application-security-testing/)

可对25种编程及脚本语言进行未编译/未构建源代码扫描的静态应用安全测试(SAST)工具，能在SDLC早期发现成百上千种安全漏洞。CxSAST兼容所有集成开发环境(IDE)，是Checkmarx软件暴露平台的一部分——该平台可在DevOps所有阶段植入安全。Checkmarx的交互式应用安全测试(IAST)工具可检测运行中应用的安全漏洞。

3. Chef InSpec

(https://github.com/inspec/inspec)

整个开发过程中的每一阶段都可以运用该开源工具自动化安全测试以确保针对传统服务器及容器和云API的合规、安全及其他政策要求。

4. Fortify

(https://www.microfocus.com/en-us/solutions/application-security)

Micro Focus 出品，提供端到端应用安全，可供进行覆盖整个软件开发生命周期的现场及按需测试。Fortify on Demand 是 Micro Focus 的应用安全即服务产品，提供静态、动态和移动应用安全测试，以及生产环境中Web应用的持续监视。

5. Gauntlt

(http://gauntlt.org/)

流行测试框架，旨在推动易操作的安全测试及安全、开发和运营团队间的沟通。GauntIt便于产生攻击测试用例，且能方便地钩入现有工具及进程。

6. Synopsys suite

(https://www.synopsys.com/)

Synopsys提供多个应用安全测试工具，包括：

1）SAST工具Coverity

(https://www.synopsys.com/software-integrity/security-testing/static-analysis-sast.html)

自动化测试且融入持续集成/持续交付(CI/CD)管道；

2）SCA工具 Black Duck

(https://www.synopsys.com/software-integrity/security-testing/software-composition-analysis.html)

采用容器及应用中的开源和第三方代码检测并管理安全；

3）SeekerIAST

(https://www.synopsys.com/software-integrity/security-testing/interactive-application-security-testing.html)

识别可暴露敏感数据的运行时安全漏洞；

以及一系列用于应用安全测试的托管服务。

以下DevSecOps工具同样含有上述工具提供的功能，但或多或少略有不同。

1. Aqua Security

(https://www.aquasec.com/)

在整个CI/CD管道和运行时环境中管理端到端安全，可用于所有平台和云环境的容器及云原生应用。

2. Dome9 Arc

(https://www.checkpoint.com/solutions/devops-security/)

被 Check Point 收购，提供自动化测试及安全实施，使开发人员能够将安全及合规融入公共云应用的构建、部署及运营。

3. GitLab

(https://about.gitlab.com/)

该工具可将DevSecOps架构融入CI/CD过程，在提交时测试每一块代码，使开发人员能够在编程期间缓解安全漏洞，并提供涵盖所有漏洞的仪表板。

4. Red Hat OpenShift

(https://www.redhat.com/en/technologies/cloud-computing/openshift)

为基于容器的应用提供内置安全，比如基于角色的访问控制、以安全增强的linux(SELinux)实现隔离，以及贯穿整个容器构建过程的核查。

5. RedLock

(https://www.paloaltonetworks.com/procts/secure-the-cloud/redlock/cloud-security-governance)(前身为Evident.io)

Palo Alto Networks 出品，适用于部署阶段，帮助开发人员快速发现并缓解资源配置、网络架构及用户活动中的安全威胁，尤其是在亚马逊S3存储桶和弹性块存储(EBS)卷上。

6. SD Elements

(https://www.securitycompass.com/sdelements/)

出品自 Security Compass 的自动化平台，旨在收集客户软件信息，发现威胁及对策，突出相关安全控制措施以帮助公司企业实现其安全和合规目标。

7. WhiteHat Sentinel 应用安全平台

(https://www.whitehatsec.com/procts/solutions/devsecops/)

该解决方案提供贯穿整个SDLC的应用安全，适用于需将安全集成进工具中的敏捷开发团队，以及需持续测试以保证生产环境应用安全的安全团队。

8. WhiteSource

(https://www.whitesourcesoftware.com/)

用于解决开源漏洞，可集成进用户的生成过程，无论用户采用什么编程语言、生成工具或开发环境。WhiteSource使用经常更新的开源代码数据库持续检查开源组件的安全及授权。

‘贰’ 关于诗人 文学

珀西·比西·雪莱（Percy Bysshe Shelley）

生卒：1792年8月4日-1822年7月8日

一般译作雪莱，英国浪漫主义诗人，出生于英格兰萨塞克斯郡霍舍姆附近的沃恩汉，其祖父是受封的男爵，其父是议员。

主要作品

诗歌
爱尔兰人之歌（The Irishman`s Song，1809）
战争（War，1810）
魔鬼出行（The Devil`s Walk，1812）
麦布女王（Queen Mab，1813）
一个共和主义者有感于波拿巴的倾覆（Feelings Of A Republican On The Fall Of Bonaparte，1816）
玛丽安妮的梦（Marianne`s` Dream，1817）
致大法官（To The Lord Chancellor，1817）
奥西曼迭斯（Ozymandias，1817）
逝（The Past，1818）
一朵枯萎的紫罗兰（On A Faded Violet，1818）
召苦难（Invocation To Misery，1818）
致玛丽（To Mary，1818）
伊斯兰的反叛（The Revolt of Islam，1818）
西风颂（Ode To The West Wind，1819）
饥饿的母亲（A Starving Mother，1819）
罗萨林和海伦（Rosalind and Helen，1819）
含羞草（The Sensitive Plant，1820）
云（The Cloud，1820）
致云雀（To A Skylark，1820）
自由颂（Ode To Liberty，1820）
解放的普罗米修斯（Prometheus Unbound，1820）
阿多尼（Adonais，1821）
一盏破碎的明灯（Lines，1822）

‘叁’ 推荐如何系统的学习JAVA

如何系统学习java体系

学java首先要学 J2SE，它是java体系的基础，也是重中之重。很多人往往不重视基础，其实这是舍本逐末的做法。说这么多就是希望大家能重视基础，能在这条路上走的更远。

学j2se有下面几个目标：
1、你要能真正理解面向对象的优势，理解为什么不是面向过程。
2、掌握java语法基础。包括异常处理、多线程、网络编程、GUI编程等
3、如果你对swing不感兴趣，可以跳过它。
这一阶段结束后，你需要能独立写一个小游戏，比如坦克大战、俄罗斯方块、贪吃蛇等。
当你完成J2SE的学习之后，你就要开始学习java web了。
你需要掌握web基础知识：html、css、javascript、ajax、jQuery。
别怕，这些技术看起来很多，其实也没要你精通它们，只是要你能在用到它们的时候，能通过快速查阅相关文档，能正确使用它们。如果这一阶段顺利的话，你可能还用不到一个月。
学习servlet、jsp、jdbc。
这些是javaweb的基础，如果你自学有难度，可以在网上下载一些相关视频，帮助理解，降低学习难度曲线。
当你完成上一阶段的学习后，你就可以进入J2EE的阶段了。
这一阶段，你可能会见到很多各种各样的框架，会让你眼花缭乱，头晕目眩。不过别担心，你只需要学习三个就足够了。它们是struts2、hibernate、spring。这些框架为搭建具有可伸缩性、灵活性、易维护性的商务系统提供了良好的机制。
首先你需要学习三个框架的基本配置和使用，直到你能熟练搭建一个ssh项目。
如果学有余力，你可以深入学习这些框架的设计模式。
学习完三大框架之后，其实你学的已经足够多了。如果对移动应用的开发感兴趣，你可以接着学习安卓开发。安卓开发不需要其他知识，只要你j2se学的不错，学安卓开发对你就没太大难度了。

‘肆’ 2020-08-25

Prometheus 实现邮件告警（Prometheus+Alertmanager+QQ邮箱或者网易163邮箱，目前测试过这两种邮箱都可以发送告警邮件）

Prometheus实现邮件告警原理如下：

Prometheus官方有一个附带的中间件：alertmanager，通过设置rules规则和路由转发可以实现邮件告警，前提是你需要有一个可以发送邮件的邮件服务端（可以自建或者使用互联网公司提供的免费邮箱）

告警原理图

Prometheus完整架构图

我之前得出的错误结论如下：

推荐直接在虚拟机操作系统上直接安装Prometheus和Alertmanager，不推荐其中任何一方在容器中运行，因为测试过在容器中运行Prometheus和alertmanager，结果出现如下错误情况

第一种情况是：我的node-exporter掉线跌机了（手动关机，模拟突然掉线跌机），Prometheus却提示节点依然在线？有时候却能够正常显示节点掉线跌机，生成告警发送邮件

第二种情况是：我的node-exporter掉线跌机了（手动关机，模拟突然掉线跌机），Prometheus提示节点掉线，告警生成，但是没有发送邮件，我手动恢复node-exporter后，告警解除，邮件能正常发送邮件提示告警已经解除。。。。

第三种情况是：我的node-exporter掉线跌机了（手动关机，模拟突然掉线跌机），Prometheus提示节点掉线，告警生成，正常成功发送邮件，我手动恢复node-exporter后，告警解除，邮件没有发送出来。。。。

以上三种情况之前经常出现，当时第一步以为是自己设置的scrape_interval不合理导致的，结果调试几次，问题没有解决，第二步以为是自己的服务器时间没有做到精确同步，然后我去设置和阿里云的ntp服务器同步，结果问题依然没有解决，第三步，换个方向，把alertmanager迁移到虚拟机操作系统上安装运行，问题解决！

北京时间是GMT+8小时，有些同志的时间可能是UTC的，但是如果是在要求不太十分精确的情况下，UTC时间是刚刚好等于GMT时间

为了避免时区的混乱，prometheus所有的组件内部都强制使用Unix时间，对外展示使用GMT时间。

要改时区有两个办法

1 .修改源码，重新编译。

2. 使用 docker 运行 Prometheus，挂载本地时区文件

docker run --restart always -e TZ=Asia/Shanghai --hostname prometheus --name prometheus-server -d -p 9090:9090 -v /data/prometheus/server/data:/prometheus -v /data/prometheus/server/conf/prometheus.yml:/etc/prometheus/prometheus.yml -u root prom/prometheus:v2.5.0

正文开始

安装alertmanager

容器安装方式：

docker run -d --name alertmanager -p 9093:9093 -v /usr/local/Prometheus/alertmanager/alertmanager.yml:/etc/alertmanager/alertmanager.yml prom/alertmanager:latest

先在宿主机/usr/local/Prometheus下创建一个文件夹alertmanager，然后在文件夹里创建alertmanager.yml配置文件，待会才能映射到alertmanager容器里的/etc/alertmanager目录下

global：全局配置

   resolve_timeout: 问题解决的超时时间

   smtp_from: 发送告警邮件的邮箱账号

   smtp_smarthost: 邮箱 SMTP 服务地址,这里是以QQ邮箱为例，也可以用网易163邮箱，这个和我之前设置zabbix邮件告警时的配置一样

   smtp_auth_username: 如果没有设置邮箱别名，那就是账户名

   smtp_auth_password:  邮箱的授权码，不是 账户密码，你可以在QQ邮箱或者网易163邮箱网页端设置，开启 POP3/SMTP 服务时会提示，和配置zabbix邮件告警的时候几乎一样

   smtp_require_tls: 是否使用 tls，根据环境不同，来选择开启和关闭。如果提示报错 email.loginAuth failed: 530 Must issue a STARTTLS command first，那么就需要设置为 true。着重说明一下，如果开启了 tls，提示报错 starttls failed: x509: certificate signed by unknown authority，需要在 email_configs 下配置 insecure_skip_verify: true 来跳过 tls 验证。

templates： 告警模板目录，可以不编写模板，有默认模板

    Subject: '{{ template "email.default.subject" . }}'

    html: '{{ template "email.default.html" . }}'

route：报警的分发设置

    group_by：分组

    group_wait: 分组等待时间

    group_interval: 5m 每组时间间隔

    repeat_interval: 10m 重复间隔

    receiver: 接收方式，请注意！这里的名字要对应下面receivers中的任何一个名字，不然会报错，这里其实就是选择方式，有邮箱，企业微信，wehook，victorops等等

receivers：接受方式汇总，即告警方式汇总

例子：

receivers:

- name:'default-receiver' 

email_configs:

- to:'[email protected]'    

  html: '{{ template "alert.html" . }}'    

  headers: { Subject: "[WARN] 报警邮件test"}

inhibit_rules:   抑制规则

当存在与另一组匹配的警报（源）时，抑制规则将禁用与一组匹配的警报（目标）。

包括源匹配和目标匹配

alertmanager官方是这样说的

Inhibition

Inhibition is a concept of suppressing notifications for certain alerts if certain other alerts are already firing.

Example:  An alert is firing that informs that an entire cluster is not reachable. Alertmanager can be configured to mute all other alerts concerning this cluster if that particular alert is firing. This prevents notifications for hundreds or thousands of firing alerts that are unrelated to the actual issue.

Inhibitions are configured through the Alertmanager's configuration file.

当存在与另一组匹配器匹配的警报（源）时，禁止规则会使与一组匹配器匹配的警报（目标）静音。目标警报和源警报的equal列表中的标签名称都必须具有相同的标签值。

在语义上，缺少标签和带有空值的标签是同一件事。因此，如果equal源警报和目标警报都缺少列出的所有标签名称，则将应用禁止规则。

为了防止警报禁止自身，与规则的目标和源端 都 匹配的警报不能被警报（包括其本身）为真来禁止。但是，我们建议选择目标匹配器和源匹配器，以使警报永远不会同时匹配双方。这很容易进行推理，并且不会触发此特殊情况。

接着是规则rules

不解释了，自己研究官方文档

alertmanager的非容器安装方式是

 wget https://github.com/prometheus/alertmanager/releases/download/v0.20.0/alertmanager-0.20.0.linux-amd64.tar.gz

tar xf alertmanager-0.20.0.linux-amd64.tar.gz

mv alertmanager-0.20.0.linux-amd64 /usr/local/alertmanager

vim /usr/lib/systemd/system/alertmanager.service

[Unit]

Description=alertmanager

Documentation=https://github.com/prometheus/alertmanager

After=network.target

[Service]

Type=simple

User=root

ExecStart=/usr/local/alertmanager/alertmanager --config.file=/usr/local/alertmanager/alertmanager.yml

Restart=on-failure

[Install]

WantedBy=multi-user.target

Alertmanager 安装目录下默认有 alertmanager.yml 配置文件，可以创建新的配置文件，在启动时指定即可。

其余方式和上面一样

接着是Prometheus，我之前的博客里有写了容器安装和非容器安装的方法，自己去翻阅

然后是在prometheus.yml里修改相关配置

首先去掉alertmanager的注释，改成IP加你设置的端口号，默认是9093

接着在rule_files: 下面写下规则文件的绝对路径，可以是具体文件名，也可以是*，也可以分几级文件，*默认是全部匹配

接着是被监控项的设置，这里设置完成可以在Prometheus网页里的targets里看得到

请注意，这里设置的参数名字要和rule规则中设置的参数名字一模一样，否则你的prometheus服务会无法启动，然后报错

如果不在特定的job下设置scrape_interval（优先级高于全局）,则默认采用gobal下的scrape_interval

最后模拟节点掉线，手动关闭node-exporter或者Cadvisor

docker stop node-exporter 或者容器ID

docker stop cadvisor 或者容器ID

或者把up{{job='prometheus'}} == 1 设置成1，反向设置，不用关掉服务，就可以看看告警成不成功

说明一下 Prometheus Alert 告警状态有三种状态：Inactive、Pending、Firing。

Inactive：非活动状态，表示正在监控，但是还未有任何警报触发。

Pending：表示这个警报必须被触发。由于警报可以被分组、压抑/抑制或静默/静音，所以等待验证，一旦所有的验证都通过，则将转到 Firing 状态。

Firing：将警报发送到 AlertManager，它将按照配置将警报的发送给所有接收者。一旦警报解除，则将状态转到 Inactive，如此循环。

没有配置告警模板时的默认告警格式是这样的

节点恢复后邮件告知是这样的

写了模板后是这样的

还要重新映射模板文件夹路径到alertmanager容器里的相对路径，然后重启alertmanager，当然，如果目录下没有模板文件，则不显示

告警模板

在alertmanager.yml中修改相关设置

重启alertmanager

docker restart alertmanager

最终效果不是很好

‘伍’ NPD原理解析

节点问题检测器（Node Problem Detector） 是一个守护程序，用于监视和报告节点的健康状况（包括内核死锁、OOM、系统线程数压力、系统文件描述符压力等指标）。 你可以将节点问题探测器以 DaemonSet 或独立守护程序运行。 节点问题检测器从各种守护进程收集节点问题，并以 NodeCondition 和 Event 的形式报告给 API Server。
您可以通过检测相应的指标，提前预知节点的资源压力，可以在节点开始驱逐 Pod 之前手动释放或扩容节点资源压力，防止 Kubenetes 进行资源回收或节点不可用可能带来的损失。

Git 仓库地址： https://github.com/kubernetes/node-problem-detector

当kubernetes中节点发生上述问题，在整个集群中，k8s服务组件并不会感知以上问题，就会导致pod仍会调度至问题节点。

为了解决这个问题，我们引入了这个新的守护进程node-problem-detector，从各个守护进程收集节点问题，并使它们对上游层可见。一旦上游层面发现了这些问题，我们就可以讨论补救措施。

NPD使用Go moles管理依赖，因此构建它需要Go SDK 1.11+：

构建节点问题检测器的 docker 镜像时，会嵌入 默认配置 。

不过，你可以像下面这样使用 ConfigMap 将其覆盖：

1、更改 config/ 中的配置文件

2、创建 ConfigMap node-strick-detector-config：

3、更改 node-problem-detector.yaml 以使用 ConfigMap:

4、使用新的配置文件重新创建节点问题检测器：

说明： 此方法仅适用于通过 kubectl 启动的节点问题检测器。

如果节点问题检测器作为集群插件运行，则不支持覆盖配置。 插件管理器不支持 ConfigMap。

通常这些错误是比较难真实测试，只能通过发送消息到journal来模拟。

然后通过k8s控制台，你可以看到对应的信息：

然后通过以下命令来对应的event

Problem Daemon 是监控任务子守护进程，NPD 会为每一个 Problem Daemon 配置文件创建一个守护进程，这些配置文件通过 --config.custom-plugin-monitor、--config.system-log-monitor、--config.system-stats-monitor 参数指定。每个 Problem Daemon监控一个特定类型的节点故障，并报告给NPD。目前 Problem Daemon 以 Goroutine 的形式运行在NPD中，未来会支持在独立进程（容器）中运行并编排为一个Pod。在编译期间，可以通过相应的标记禁用每一类 Problem Daemon。

ProblemDaemonHandler 定义了 Problem Daemon 的初始化方法

在NPD启动时，init()方法中完成了 ProblemDaemonHandler 的注册：

Exporter 用于上报节点健康信息到某种控制面。在 NPD 启动时，会根据需求初始化并启动各种 Exporter。Exporter 分为三类：

ExporterHandler 和 ProblemDaemonHandler 功能类似，其定义了 Exporter 的初始化方法。也是在NPD启动时，init()方法中完成了 ExporterHandler 的注册

K8s Exporter 获取到的异常 Condition 信息会上报给 Condition Manager， Condition Manager 每秒检查 Condition 的变化，并同步到 API Server 的 Node 对象中。

Problem Client 负责与 API Server 交互，并将巡检过程中生成的 Events 和 Conditions 上报给 API Server。

Problem Detector 是 NPD 的核心对象，它负责启动所有的 Problem Daemon（也可以叫做 Monitor），并利用 channel 收集 Problem Daemon中发现的异常信息，然后将异常信息提交给 Exporter，Exporter 负责将这些异常信息上报到指定的控制面（如 API Server、Prometheus、 Stackdriver 等）。

Status 是 Problem Daemon 向 Exporter 上报的异常信息对象。

用于从外部控制协程的生命周期， 它的逻辑很简单，准备结束生命周期时：

NPD 启动过程完成的工作有：

采集节点的健康状态是为了能够在业务Pod不可用之前提前发现节点异常，从而运维或开发人员可以对Docker、Kubelet或节点进行修复。在NPDPlus中，为了减轻运维人员的负担，提供了根据采集到的节点状态从而进行不同自愈动作的能力。集群管理员可以根据节点不同的状态配置相应的自愈能力，如重启Docker、重启Kubelet或重启CVM节点等。同时为了防止集群中的节点雪崩，在执行自愈动作之前做了严格的限流，防止节点大规模重启。同时为了防止集群中的节点雪崩，在执行自愈动作之前做了严格的限流。具体策略为：

在同一时刻只允许集群中的一个节点进行自愈行为，并且两个自愈行为之间至少间隔1分钟

当有新节点添加到集群中时，会给节点2分钟的容忍时间，防止由于节点刚刚添加到集群的不稳定性导致错误自愈

此Problem Daemon为NPD提供了一种插件化机制，允许基于任何语言来编写监控脚本，只需要这些脚本遵循NPD关于退出码和标准输出的规范。通过调用用户配置的脚本来检测各种节点问题

脚本退出码：

脚本输出应该小于80字节，避免给Etcd的存储造成压力

使用标记禁用：disable_custom_plugin_monitor

plugin 是NPD或用户自定义的一些异常检查程序，可以用任意语言编写。custom-plugin-monitor 在执行过程中会执行这些异常检测程序，并根据返回结果来判断是否存在异常。NPD提供了三个 plugin，分别是：

health-checker 的执行流程可以分为三个步骤：

依赖的插件是 journald，其作用是统计指定的 journal 日志中近一段时间满足正则匹配的历史日志条数。

检查 conntrack table 的使用率是否超过 90%

system-log-monitor 用于监控系统和内核日志，根据预定义规则来报告问题、指标。它支持基于文件的日志、Journald、kmsg。要监控其它日志，需要实现LogWatcher接口

LogWatcher 的主要作用的监听文件更新，并将追加的文件内容写入 LogBuffer 中供 LogMonitor 处理。NPD 中提供了三种 LogWatcher 的实现：

LogWatcher 也需要在 init() 方法中完成注册。

filelog 通过监控指定的文件更新，并对日志内容进行正则匹配，以发现异常日志，从而判断组件是否正常。

journald 底层依赖 sdjournal 包，监控系统日志的更新，并且可以从指定的历史时间点开始读取。如果未指定 journal 日志路径，则从系统默认路径读取。读取到的日志会转换成 logtypes.Log 对象，并写入 logCh 通道中。journal 通过监控 journal 文件更新，并对日志内容进行正则匹配，以发现异常日志，从而判断组件是否正常。

kmsg 和 journald 的实现原理类似，它底层依赖 kmsgparser 包，实现内核日志的监控更新和回溯。默认的文件路径是 /dev/kmsg。kmsg 通过监控系统日志文件更新，并对日志内容进行正则匹配，以发现异常日志，从而判断组件是否正常。

LogBuffer 是一个可循环写入的日志队列，max 字段控制可记录日志的最大条数，当日志条数超过 max 时，就会从头覆盖写入。LogBuffer 也支持正则匹配 buffer 中的日志内容。

将各种健康相关的统计信息报告为Metrics

目前支持的组件仅仅有主机信息、磁盘：

使用标记禁用：disable_system_stats_monitor

health-checker-kubelet.json

kernel-monitor.json

node-problem-detector使用 Event 和 NodeCondition 将问题报告给apiserver。

通过配置 metricsReporting 可以选择是否开启 System Log Monitor 的指标上报功能。该字段默认为 true。

临时异常只会上报 counter 指标，如下：

永久异常会上报 gauge 指标和 counter 指标，如下：

Counter是一个累计类型的数据指标，它代表单调递增的计数器。
Gauge是可以任意上下波动数值的指标类型。

NPD对指标这一概念也进行了封装，它依赖OpenCensus而不是Prometheus这样具体的实现的API。

所有指标如下：

其中ProblemCounterID 和 ProblemGaugeID 是针对所有Problem的Counter/Gauge，其他都是SystemStatsMonitor暴露的指标。

在NPD的术语中，治愈系统（Remedy System）是一个或一组进程，负责分析NPD检测出的问题，并且采取补救措施，让K8S集群恢复健康状态。

目前官方提及的治愈系统有只有Draino。NPD项目并没有提供对Draino的集成，你需要手工部署和配置Draino。

Draino 是Planet开源的小项目，最初在Planet用于解决GCE上运行的K8S集群的持久卷相关进程（mkfs.ext4、mount等）永久卡死在不可中断睡眠状态的问题。Draino的工作方式简单粗暴，只是检测到NodeCondition并Cordon、Drain节点。

基于Label和NodeCondition自动的Drain掉故障K8S节点：

Draino可以联用Cluster Autoscaler，自动的终结掉Drained的节点。

在Descheler项目成熟以后，可以代替Draino。

kubernetes addons之node-problem-detector

Kubernetes故障检测和自愈

‘陆’ go是什么编程语言主要应用于哪些方面

Go语言由Google公司开发，并于2009年开源，相比Java/Python/C等语言，Go尤其擅长并发编程，性能堪比C语言，开发效率肩比Python，被誉为“21世纪的C语言”。
Go语言在云计算、大数据、微服务、高并发领域应用应用非常广泛。BAT大厂正在把Go作为新项目开发的首选语言。
Go语言能干什么?
1、服务端开发：以前你使用C或者C++做的那些事情，用Go来做很合适，例如日志处理、文件系统、监控系统等;
2、DevOps：运维生态中的Docker、K8s、prometheus、grafana、open-falcon等都是使用Go语言开发;
3、网络编程：大量优秀的Web框架如Echo、Gin、Iris、beego等，而且Go内置的 net/http包十分的优秀;
4、Paas云平台领域：Kubernetes和Docker Swarm等;
5、分布式存储领域：etcd、Groupcache、TiDB、Cockroachdb、Influxdb等;
6、区块链领域：区块链里面有两个明星项目以太坊和fabric都使用Go语言;
7、容器虚拟化：大名鼎鼎的Docker就是使用Go语言实现的;
8、爬虫及大数据：Go语言天生支持并发，所以十分适合编写分布式爬虫及大数据处理。

‘柒’ 黑马程序员Linux运维培训怎么样

1、什么是运维工程师？

运维工程师，服务器与系统安全稳定的掌舵者！当一个产品（如Web网站、APP软件、网络游戏等）正式上线后，产品、开发、测试类的工作就正式结束了，接下来的维护和管理工作就会全部移交给运维工程师。

运维工程师的主要工作职责就是负责服务器的架构设计以及云计算平台管理，保障软件的稳定运行。没有开发以及测试类工作复杂且工作解决方案相对固定。更重要的是没有年龄以及学历的限制，随着工作年限和工作经验地增长，也会越老越吃香。

2、运维工程师工作场景

运维学科2019全年所有班级就业率93.5%，平均薪资8.7k起，最高薪资25k* 14薪

三、运维课程

1、第一阶段：Linux运维基础功

运维基础：运维发展史、计算机概述、计算机组成、操作系统学完此阶段可掌握的核心能力：熟练掌握Linux操作系统的安装(CentOS7.6)、配置、基础命令、VIM编辑器、用户管理、权限管理、自有服务、进程检测与控制、阿里云平台管理、开源CMS项目上线部署实战。

Linux操作系统：Linux系统概述、虚拟机、CentOS7.6系统安装，Linux基础命令

Linux下文件管理（上）：文件命名规则、目录管理、文件管理、文件复制与剪切、重命名、Linux文件打包与压缩、文件处理命令

Linux下文件管理（下）：VIM编辑器介绍、VI与VIM的区别、VIM安装与配置、四种工作模式（命令模式，编辑模式，末行模式，可视化模式）、相关VIM指令、VIM扩展功能、VIM总结

Linux下用户管理：用户和组的相关概念、用户组管理、用户管理、用户密码设置、切换用户、Linux用户管理实战

Linux下权限管理：权限的基本概念、权限在生产环境中的作用、Linux权限类别（rwx）、Linux文件所有者类别（ugo）、普通权限设置（字母+数字）、文件属主与属组设置、高级权限、ACL权限控制、umask

Linux下自有服务+软件包管理：自由服务概述、systemctl管理服务命令、ntp时间同步服务、firewalld防火墙、crond计划任务、设备挂载与解挂、rpm包管理工具

Linux进程检测与控制：进程与程序的概念、进程管理命令（top命令，free命令，df命令，ps命令，netstat命令，kill命令与killall命令）、进程优先级设置

阿里云平台管理与开发CMS项目上线部署实战：云计算平台概述、阿里云平台注册、登录与管理、项目背景、LAMP环境概述、YUM指令、LAMP环境搭建、开源CMS项目上线部署实战

学完此阶段可解决的现实问题：能够根据企业实际项目需求实现服务器部署与架构。

学完此阶段可拥有的市场价值：熟练掌握之后，可以满足市场对初级运维工程师的需求，但是市场就业工资相对较低，还是建议继续学习就业班课程。

2、第二阶段：Linux系统服务篇

Linux高级指令：基础命令回顾、find命令之高级搜索、tree命令、scp文件上传与下载、计划任务crontab + tar实现定时备份、用户管理高级、文件权限管理高级

Linux下软件包管理：软件包管理任务背景、Linux下软件包概述、RPM包管理工具、YUM包管理工具、YUM源配置（公网YUM源，本地YUM源、自建YUM源仓库）、源码安装概述、源码安装三步走、源码安装实战

Linux远程管理服务SSH：SSH任务背景、SSH服务概述，yum源配置，SSH服务安装与配置实战，公私钥概念，SSH免密码登录

Linux数据同步RSYNC：RSYNC任务背景、RSYNC介绍、RSYNC基本语法、本机同步与远程同步、把RSYNC作为系统服务、RSYNC结合INOTIFY实现实时同步、RSYNC托管XINETD

Linux下文件共享服务FTP、NFS、SAMBA：文件共享任务背景、FTP服务介绍、FTP工作模式（主动模式+被动模式）、FTP服务搭建、客户端工具（ftp、lftp使用）、FTP访问控制、NFS服务介绍、NFS服务搭建、配置文件详解、NFS任务背景及解决方案、SAMBA服务介绍、SAMBA服务搭建、配置文件详解、文件共享服务总结

DNS域名管理服务：DNS服务介绍、DNS的作用、DNS服务搭建、正向解析、反向解析、多域搭建、NTP时间服务器、主从DNS架构

源码构建LAMP环境及部署业务应用：LAMP任务背景、Web服务器环境准备、软件编译回顾、编译安装MySQL、编译安装Apache、编译安装PHP、后期配置、Web应用系统部署实战

Linux下日志管理服务RSYSLOG：日志管理任务背景、查看日志、日志管理服务（RSYSLOG概述，日志列表，日志级别，相关符号，配置文件）、RSYSLOG本地日志管理、RSYSLOG远程日志管理、日志管理应用实践

Linux 磁盘管理：磁盘管理任务背景、磁盘管理概述、fdisk命令详解、Linux分区概述、Linux分区实战、逻辑卷介绍、逻辑卷基本概念（PV、VG、PE、LV）、逻辑卷LVM应用操作实战、RAID介绍、RAID常见级别、软硬RAID、软RAID应用实践

Shell脚本编程：Shell概述、变量、Shell流程控制、Shell数组、Shell函数、Shell特殊用法、正则表达式、Shell编程实战

数据库DBA：MySQL概述，MySQL5.7安装，MySQL配置，MySQL基本操作、SQL语句详解、MySQL索引、MySQL备份与还原、MySQL主从复制、MHA高可用架构、MySQL企业级应用实战

学完此阶段课掌握的核心能力：

1、了解Linux系统运行原理，实现Linux服务器的维护与管理；

2、了解Linux系统相关服务，能根据企业需求实现企业运维工作。

学完此阶段可解决的现实问题：能实现企业Linux服务器的日常维护与管理，搭建SSH、文件共享、DNS、Apache等服务、能独立完成系统日志分析、Shell脚本编程、数据库DBA等相关工作。

学完此阶段可拥有的市场价值：熟练学习和掌握后，可满足企业运维的初中级需求。

3、第三阶段：千万级商城系统架构设计

源码构建企业级LNMP架构及电商系统上线部署：千万级商城系统架构设计任务背景、Web项目开发流程、Linux服务器环境准备、LNMP环境概述、MySQL数据库服务搭建、Nginx软件服务搭建、PHP软件服务搭建、Web商城项目部署上线

大型WEB服务软件Nginx部署介绍使用：Nginx软件概述、Nginx平滑升级、nginx.conf配置文件详解、虚拟主机配置、Nginx默认官方模块详解（GZIP压缩，客户端缓存，反向代理，基于IP/用户的访问控制，目录显示）、日志管理、日志轮转、第三方日志管理软件GoAccess、Location区块、URL重写、第三方模块安装与配置、Nginx安全管理、Nginx其他衍生版本（Tengine，OpenResty）

WEB高可用集群架构设计及实现（keepalived）：WEB高可用集群架构设计任务背景、单点数据库迁移、HA高可用集群概述、Keepalived软件介绍、Keepalived组成和原理、VRRP协议、安装与配置Keepalived、Nginx服务高可用实践、Keepalived扩展内容（非抢占模式、VIP脑裂、单播模式）

WEB负载均衡服务器集群架构设计及实现LB(Nginx/LVS/HAProxy)：WEB负载均衡服务器集群架构设计任务背景、为什么需要LB负载均衡技术、LB负载均衡架构图、负载均衡分类、常见负载均衡实现方式、LB负载均衡环境准备、Nginx负载均衡实现、负载均衡算法、Session共享解决方案、高可用负载实践; LVS概述、LVS工作原理、LVS核心组件、LVS三种工作模式（NAT模式、DR模式、TUN隧道模式）、LVS/NAT原理和特点、LVS/DR原理和特点、LVS/TUN原理和特点、LVS的十种调度算法、LVS/NAT模式部署实践、LVS/DR模式部署实践; HAProxy概述、HAProxy安装与部署、haproxy.cfg配置文件详解、常见问题分析、HAProxy调度算法、HAProxy负载均衡应用实践

MyCAT读写分离：MySQL读写分离任务背景、读写分离的目的、读写分离常见的实现方式、搭建M-S主从复制、代码实现读写分离、MyCAT实现读写分离实战（JDK配置、MyCAT配置文件详解、读写分离实践、高可用实践、分库分表、MyCAT企业级案例实践）

非关系型数据库NoSQL(Memcache/Redis/MongoDB)：非关系型数据库任务背景、Web项目访问流程、优化方案、缓存技术引入、memcached介绍、memcached安装与部署、telnet客户端使用、memcached指令详解、memcached tools工具使用、LRU失效机制、PHP memcached扩展安装、Session入memcached、缓存项目的热点数据; Redis介绍、Redis应用场景、Redis源码安装、客户端工具使用、Redis数据结构详解、数据持久化操作（快照+AOF）、企业级案例（主从，安全限制，PHP Redis扩展，Session入Redis）;MongoDB任务背景、MongoDB安装和配置、数据结构类型操作CURD、MongoDB安全设置、PHP扩展、桌面管理软件、企业级日志统计实践

JAVA项目架构设计实战（LNTM架构）：Java项目任务背景、Tomcat概述、Tomcat安装与部署、Tomcat企业级管理、Host虚拟主机配置、Server Status服务器状态、应用管理、Nginx动静分离、Nginx+Tomcat负载均衡、Maven概述、Maven项目打包、Maven项目部署

存储（NAS/SAN/GlusterFS/Ceph)：存储概述、Linux存储分层、存储的分类（DAS，NAS，SAN）、存储类型的分类（文件存储、块存储、对象存储）、SAN的分类、IP-SAN之iscsi实现; 分布式存储、Glusterfs介绍、raid级别回顾、常见卷的模式、Glusterfs集群、环境准备、集群部署、创建glusterfs存储卷、客户端使用、卷的删除、常见卷类型（stripe模式、distributed模式、distributed-replica模式、dispersed模式、distributed-dispersed模式）、其它卷类型、glusterfs分部署存储应用实战; 认识Ceph、Ceph架构原理图、Ceph集群、Ceph集群组件、Ceph集群环境准备、Ceph集群部署实践、RADOS原生数据存取、Ceph文件存储、Ceph块存储、Ceph对象存储、Ceph对象存储+owncloud打造云盘系统、Ceph Dashboard(拓展)

配置自动化（Ansible/SaltStack）：自动化运维任务背景、认识ansible、ansible安装与配置、服务器分组、ansible模块（hostname模块，file模块，模块，yum模块，service模块，command和shell模块，scriYAML格式pt模块）、playbook介绍、playbook实例、playbook编排应用、roles介绍、roles的目录结构、roles应用案例; saltstack介绍、saltstack安装与配置、saltstack远程执行命令、grains、pillar、配置管理文件、配置管理目录、配置管理命令、配置管理计划任务、其他命令、salt-ssh使用

企业级监控平台（Zabbix/Prometheus）：企业级监控任务背景、监控的目的、主流的开源监控平台、Zabbix概述、Zabbix服务器安装、Zabbix监控本机与远程主机、模板、监控项与应用集、图形、触发器、报警、Zabbix代理、主动监控与被动监控、Zabbix应用部署实战; 认识Prometheus、Prometheus原理架构图、Prometheus监控安装部署、Prometheus监控远程主机、远程MySQL、Grafana介绍、Grafana安装与登录、Prometheus结合Grafana实现Linux系统监控、CPU监控、MySQL监控等等、Grafana报警系统实践

企业级日志分析（ELK/Kafka)：ELK任务背景、ELK概述、elasticsearch部署、elasticsearch基础概念、elaticsearch基础API操作、ES查询语句、elasticsearch-head、logstash简介、logstash部署、日志采集、采集messages日志、采集多日志源、kibana介绍、kibana部署、kibana汉化、通过kibana查看集群信息、通过kibana查看logstash收集的日志索引、通过kibana做可视化图形、filebeat介绍、filebeat收集日志、filebeat传输给logstash、filebeat收集nginx日志、filebeat日志过滤

CI/CD（Git、Gitlab、Jenkins）：CI/CD任务背景、版本控制概念、Git安装、Git身份设置、Git创建本地仓库、Git暂存区、Git版本控制、Git分支管理、扩展：Windows版Git; Github概述、GitHub注册、创建项目、远程仓库、免密push、分支、多人协作; GitLab介绍、GitLab下载、安装与配置、GitLab配置、仓库管理、持续集成（CI）、持续交付（CD）、蓝绿部署、滚动更新、灰度发布

运维安全（SSL与CA认证/防火墙/ VPN/JumpServer与Teleport跳板机）：运维安全任务背景、运维安全概述、硬盘分区加密（扩展）、对称加密、非对称加密、数字签名、SSL与CA认证、SSL介绍、CA认证介绍、https应用实践; 防火墙概述、iptables的应用、iptables防火墙结构、iptables基本语法、iptables四表五链、企业级防火墙规则设置、firewalld包过滤、firewalld与iptables的区别、firewalld防火墙规则设置、firewall-config图形模式; VPN任务背景、隧道介绍、net-to-net隧道通讯、VPN介绍、IPSec协议、libreswan实现net-to-netVPN、三网络VPN互联、roadwarrior VPN（libreswan实现点对网VPN，openvpn实现点对网vpn，使用pptpd实现VPN），PAM认证，LDAP，开源堡垒机jumpserver，轻量级开源堡垒机teleport(拓展)

学完此阶段可掌握的核心能力：

1、 具备Linux服务器架构设计能力，保证应用架构合理可控；

2、具备监控检查系统软硬件运行状态，保证系统安全稳定运行的能力；

3、具备CI/CD持续集成/持续支付能力；

4、具备配置自动化以及日志分析能力；

5、具备解决复杂问题和技术难点的能力。

学完此阶段可解决的现实问题：

1、掌握Java、PHP服务器架构能力；

2、能够独立搭建企业级高可用服务器（集群、高可用、负载均衡、缓存、存储）；

3、掌握阿里云/华为云产品实战；

4、能使用Zabbix/Prometheus搭建企业级监控；

5、能够熟练掌握CI/CD持续集成/持续支付工具；

6、能够使用Ansible/SaltStack实现运维自动化；

7、能使用ELK实现企业级日志分析；

8、能够掌握常见运维安全防护手段。

学完此阶段可拥有的市场价值：熟练掌握和学习后，可满足Linux运维行业中高级需求。

4、第四阶段：Linux云计算运维

KVM虚拟化：KVM任务背景、计算机工作原理、虚拟化概述与分类、KVM环境准备、KVM安装、使用KVM安装虚拟机、KVM基础管理命令、KVM配置文件、KVM克隆、KVM网络管理、快照、设备管理、存储池管理、磁盘镜像管理、虚拟机快速创建脚本

公有云运维（阿里云[ECS/RDS/SLB/CDN/OSS/NFS]）：公有云任务背景、阿里云概述、VPC专有网络、阿里云安全组、云服务器ECS、自定义镜像、阿里云SLB、阿里云RDS、阿里云存储（NAS与OSS）、CDN、域名与域名解析、SSL证书、数据传输DTS、云监控、DDOS高防、容器服务、公有云企业级案例应用实践

私有云运维之OpenStack平台：私有云任务背景、OpenStack概述、OpenStack组件及其作用（Compute 计算服务、Networking 网络服务、Object Storage 对象存储、Block Storage 块存储服务、Identity 身份认证、Image Service 镜像服务、Dashboard UI页面、Metering 测量服务、Orchestration 编排部署、Database Service 云数据库）、OpenStack自动部署、OpenStack手工部署、OpenStack云平台应用实践

Docker容器技术：Docker容器技术任务背景、PAAS平台介绍、认识容器、Docker介绍、Docker内核技术（NameSpace，Control Group，LXC与docker区别）、Docker环境准备、Docker软件安装、Docker Daemon管理、镜像、容器、仓库、Docker存储驱动、Docker应用实践、Dockerfile概述、使用Dockerfile构建镜像、单宿主机容器互联方式、Docker网络、Docker的Web管理平台、Docker三剑客（Docker machine、Docker compose、Docker swarm）、Docker容器应用部署实践

Kubernetes(K8S)容器编排工具：Kubernetes(K8S)容器编排任务背景、认识容器编排、Kubernetes概述、Kubernetes架构、集群部署方式、Kubeadm部署Kubernetes集群、集群与节点信息、节点标签、namespace命名空间、工作负载(workloads)、pod概述、pod分类、pod的YAML格式、pod资源限制、pod调度、pod生命周期、pod控制器、service、ingress controller、kubernetes存储卷、ceph集群部署、ConfigMap、Secret、PV与PVC、API网关 kong、包管理方案 helm2、存储解决方案 GlusterFS、服务网格 istio、监控解决方案 heapster、应用实践 gitlab-ce、应用实践 jenkins、应用实践 kafka、应用实践 zookeeper应用实践 配置中心Apollo

综合案例：Docker+K8S企业级项目应用实践

学完此阶段可掌握的核心能力：

1、熟练掌握虚拟化技术；

2、掌握公有云与私有云架构实战；

3、熟练使用容器与容器编排工具；

4、熟练掌握企业级云计算技术应用实践。

学完此阶段可解决的现实问题：

1、能够使用KVM实现虚拟化；

2、能够掌握公有云与私有云服务器架构实战；

3、能够熟练使用Docker容器；

4、能够熟练使用Kubernetes（K8S）容器编排工具；

5、能够熟练掌握Docker+Kubernetes（K8S）项目架构设计

学完此阶段可拥有的市场价值：熟练掌握和学习后，可满足Linux云计算架构工程师的高级需求。

5、第五阶段：Python CMDB运维开发（DevOps）

HTML5：HTML简介、HTML标签详解、字符编码的奥秘、HTML5新特性与常用标签

CSS3：CSS简介、CSS的引入方式、CSS基本选择器、CSS属性、盒子模型、CSS浮动、CSS3新特性与常用属性、CSS应用案例

Bootstrap：Bootstrap环境搭建、全局样式、网页排版、表单、图片及辅助类、网页布局、Bootstrap组件、CMDB后台布局实战

JavaScript/Ajax/jQuery：JavaScript简介、Javascipt语法基础、BOM模型、DOM模型、Ajax概述、Ajax中的get与post请求、Ajax案例、jQuery框架概述、jQuery选择器、jQuery事件、jQuery与Ajax、JavaScript应用实践

Python基础：Python概述、Python环境部署、变量、标识符和关键字、输入和输出、数据类型转换、条件控制语句和循环语句、容器类型、函数、文件操作

Python高级：面向对象、异常处理、模块和包、Python与MySQL应用实践

Django框架：Django框架介绍、Django模型、ORM及数据库操作、视图及模板、Django中间件

综合项目：Python+Django实现CMDB企业自动化运维平台

学完此阶段可掌握的核心能力：

1、掌握Web前端开发相关技术如HTML5/CSS3/JavaScript；

2、掌握Python运维相关模块；

3、掌握Python Django框架；

4、具备一定的Python运维开发能力。

学完此阶段可解决的现实问题：

1、具备一定的编程思维，为未来系统架构师铺路搭桥；

2、能够熟练掌握Python运维相关模块实现运维管理；

3、能够使用Python+Django开发企业自动化运维平台。

学完此阶段可拥有的市场价值：熟练掌握和学习后，可满足Linux运维行业的高级需求。