后端程序员运维必备

‘壹’ 运维工程师必须掌握的基础技能有哪些

技能：
1. linux基础
包括对Linux整体的理解/使用和基本命令：
了解Linux FHS : Filesystem Hierarchy Standard，国人写的这本书不错 Linux系统架构与目录解析 (豆瓣)
入门Linux：鸟哥的Linux私房菜.基础学习篇（第三版） (豆瓣) 个人认为鸟哥的这本书是一本非常好的入门书
基本操作命令：Google，如Linux command cheat sheet
熟悉至少一个内置编辑器: vi, nano
至少熟悉一个发行版(或系列)，建议作为服务器常用的如Centos, Debian, Ubuntu，可以了解多个常用发行版
2. 运维的命令：
运维相关的工具(命令)，了解它能解决很多问题。
前几天刚回答了一个问题：如何才能更深入的学习linux？
里面的图在这里也可以用到：

可以对着图对学习了解这些命令。
另外我个人也会对平时用到的这些工具做一个整理和记录，总结到我的个人维基上：Wiki · Tanky Woo
3. 基础服务：
LAMP或LNMP ：Apache/Nginx，MySQL，php/Python/Perl LAMP (software bundle)
FTP
DNS
SAMBA
EMAIL
NTP
DHCP
...
可以本地搭建练练手
这里推荐鸟哥另外一本书 服务器架设篇： 鸟哥的Linux私房菜 (豆瓣)
4. 运维平台工具:
也在这个问题 如何才能更深入的学习linux？ 里提到了：
Nagios
Puppet
Zabbix
Cacti
SaltStack
....
可以选择性的折腾下，因为这个涉及到业务，没有实际环境，很难去理解他们的功能和特点。
5. 脚本:
必备：Shell
额外：Python，Perl...
6. 底层:
Linux C，内核
7. 网络:
网络是非常重要的一块
把《TCP/IP协议详解》多看几遍，理解。
熟练使用tcpmp等抓包工具
8. 安全:
防火墙配置，如 iptables
9. 硬件：
接口类型
查看硬件信息
知道各类型服务器，如塔式、机架式、刀片式
10. 其它：
了解更多特定技能要求的方式：
Google搜"Linux运维工程师 招聘"，看看他们的需求。
最后推荐一本书：Unix/Linux系统管理技术手册 UNIX/Linux 系统管理技术手册 (豆瓣)
后续想到再做补充
素养/处理方式：
除了技能，我觉得素养(态度)也可以谈谈
这个正好看到右边相关问题：运维工程师需要具备哪些性格特质？
1. 安全
运维人员的权限很大，所以一定要保证帐号/私钥的安全。
最好使用加密工具存储。比如truecrypt，1password
基于本地存储。切勿用网盘，也不建议用lastpass等
ssh私钥添加密码
以上任何一点都很重要，否则弄丢了，风险会非常大。
2. 责任心
如上面那个帖子里 @山大 提到的 Owner 意识
遇到报警，第一时间处理，而不要等着他人去处理
如果无法处理，应该第一时间让同事协助帮忙，而不要禁止报警，让问题掩盖
3. 细心
你的任何一个操作，都可能造成系统的损坏、业务出问题。所以敲命令时一定要细心、再三确认。你敲的再快，也就节省那么一点时间，出了问题才是大事。
4. 推进/改善
如果代码有问题，导致系统开销很大，比如负载，io等。应该第一时间和开发部门确认，要求优化代码。
5. 进取心/不断学习
运维的知识范围很广，要不断学习。遇到问题，做好分析记录，事后还可以在部门内分享交流。
这也是我为什么热衷于写技术博客和维基的原因，好记性不如烂笔头。记录整理的过程也是一个思考升华的过程。
再给一个干货，我们公司（知道创宇）的技能表：http://blog.knownsec.com/Knownsec_RD_Checklist/v2.2.html
里面涵盖了部分Linux SA需要的技能。

http://www.secpulse.com/archives/5287.html

‘贰’ 优秀的运维工程师需要具备哪些能力和素质

耐得住寂寞，受得起欺负，干的了杂事

‘叁’ 后端程序员平常工作中需要处理的内容

1.数据库。包括使用场景和性能调参这些。
2.服务器。能针对不同的限制选择不同的响应模式(同步还是异步、cache设置)，并管理状态(持久化还是透明化)，等等。
3.脚本。包含简单的文本处理。
其他的技能树就可以自己去点儿了，可以去搞网络，也可以去搞内核，当然也可以去做分布式。。。欢迎补充:)

‘肆’ 2017年，Web 后端出现了哪些新的思想和技术

1. 网络交互的多样性
1.1 Http1.1协议日渐式微,Http2和websocket,以及更多的自定义协议将会成为主流。
Web后端将不仅仅是一个web后端，而变成一个大后端，或者叫 中端+后端(这个概念阿里巴巴很早就有了)。随着移动互联网的发展，以及物联网的兴起(在这里我把mobike的单车看作是物联网的一个终端)，用户的接入方式由单纯的浏览器，向着多种接入设备进行演进。 在这个概念之下，用户的定义会更广泛，站在后端的角度看来，连接上服务器的不再是一个个的用户，而是一个个的终端，并存在多个终端同享一个用户的情况(多端登录)。 因此在这个趋势之下，整个后端的接入层(比如nginx之于web)将会走向更广阔的天地，对于任意一个设备来说，他将同时利用多种协议和多种方式连接到不同的接入点来达成自身的功能。
1.2 网络协议与网络信息交互的样式多样性
从最早的webService,到后来的json-rpc，和thrift再到如今的 protobuf(grpc)等等，我们开始为不同的数据交互设计了不同的序列化协议和调用协议，然而受到环境(移动终端的弱网络状态)，性能(网关服务,与网络调用)的影响,我们开始使用大量容错性更强，数据量更小的数据传输方式，来满足我们的需求。
在早先的web中，http+from表单的提交成为我们的标配，然而在今天，TCP都不一定成为必选项，UDP和UDP的改进协议都在被不同的公司进行尝试，甚至于KCP都有可能成为大家考虑的方案之一。
2.数据多样性开始成为设计的焦点。
2.1 在早先的web后端中，表设计和功能开发构成了日常工作的绝大部分，所有的后端人员都在试图让一切的用户操作落入CRUD的抽象范畴里(比如 Restful)，然而CRUD怎么会满足我们的抽象需求呢。
自从memcached和redis在被大量引入后端开发之后，我们可以看到，后端人员在对数据的理解上有了大量的改变，我们不再单单把数据视为RDBMS里面的一行，而是围绕着业务本身对数据进行了分类。最明显的是，状态数据的引入，在开发中，我们将用户的部分信息，视为一个用户的状态，在状态数据的基础上，让用户的行为变成状态迁移的触发，在表现上看我们让用户的信息存储到redis和memcached 里就是最RDMBS不能有效满足我们的抽象需求的一次改进。
2.2 从狂热的Nosql到Nosql和RDBMS的共存，代表了后端开发人员对数据这一个方式的新理解，而传统的行存储到列存储，到监控常用的基于时间序列的数据库都开始进入了我们的视野。
几年来，大量的开发者，开始将用户产生的数据进行了更详细的归类，不再是rdbms一刀切的方式， 我们会详细地划分出用户的状态数据落入到Nosql，将用户的操作数据落入到RDBMS(表述不一定全，但在类似于订单支付之类的具有幂等性要求的操作中要求事务的完备等)，将用户的行为统计落入时间序列数据库， 将用户的大量相关资源(如头像图片)将会落入到我们的对象存储中。在后端开发的手册里，数据格式的多样性成为了必须考虑的问题。

3.围绕着数据的收集,存储，计算，索引查询，分析 成为后端的常态
3.1 后端角色的含义，在人手不足的公司里，很难存在一个专注于后端业务开发的开发人员了，在大数据的浪潮下，后端开发人员开始兼职起了数据系统的开发工程师。 随着互联网大量技术的演进和发展，任何一个职业都很难找到一个明确的界限，因此围绕着数据的收集，存储，计算，分析，和索引查询都会成为后端开发人员的必备技能。
3.2 数据收集
(1) 随着分布式，集群化，多IDC的发展，不同于运维的系统性能收集，后端开发开始着重于收集与应用运营过程相关的各类指标和数据，
除了日常的业务开发，同时还会伴随着应用调用过程的耗时，目标服务可用性等数据的收集，常见的如java的 metrics,zipkin等开源第三方的工具开始被广泛借鉴和引用。
(2) 用户行为和终端信息的上报收集，随着大数据的开展，以及精细化运营的要求，后端逐渐开始接触到用户相关信息和终端运行状态的信息上报，
收集上来的数据不仅用于用户的画像分析，同时也为客服的用户追踪，用户的操作行为做出决策，通常表现在当用户投诉某一笔业务的失败时，便于开发人员的快速定位和排错。
3.3 数据存储
接着上面的数据收集，数据的传输和存储成为了绕不开的功能，kafka的大规模运用，HDFS,HBase等工具也开始成为了后端开发日常的一部分。
3.4 数据计算
然而存储的原始数据是没有价值的，后端又开始了他们的数据清洗和数据处理的道路，storm,spark成为了后端的新秀，与用户运营统计分析(俗称跑策略跑算法)不同，当前语境下的后端数据计算，更多是一个短耗时,小规模的计算，典型的则比如风控系统，和预警系统，针对用户的行为和流量的多少，对恶意用户进行甄别和快速干预。
3.5 数据索引查询
(1) 随着业务的扩充，任意一个app几乎都内置了相应的搜索引擎，Lucene,solr也成为了后端程序员必备的技能之一，不管是精确搜索，还是模糊匹配，后端身上背负的业务也越来越多。
(2) 准实时数据的搜索也将成为常态，在近几年的发展中，如何快速地在一个巨量的数据中，完成RDBMS中的 join,distinct统计等成为后端工程师不得不面对的问题

3.6 数据分析查询
AI和深度学习已经拉开了序幕，围绕着数据本身的挖掘，学习，也开始成为了产品侧的需求，但理想归理想，现实归现实，后端的同学们在这个方向上仍然还是摸索状态，但长远来说跑不了了。

4.架构设计的更进一步

2017年里，SOA的名词正在淡出视野，微服务成了替代SOA的高频词，Serverless也开始走向了广大后端的知识技能图谱，不管是追新也好，满足需求也罢，我也向诸位举例一些常见的单词，然而挂一漏万请诸位担待
4.1 CQRS(命令查询职责分离模式)
将传统CRUD的写操作，进行异步化,后端配合读写数据库的分离。以及消息队列的引入，将写操作相关的一些耗时操作(验证，走流程)等进行异步化，常见的如电商中的订单。
4.2 actor
Erlang的actor的兴起，不管是golang Goroutine，还是scala/java的akka，都在深刻地影响着后端系统的架构设计。
4.3 CRDT和最终一致性
分布式系统的兴起，也带来了可用性和一致性的矛盾问题，协同两个进程间的数据成为了每一个后端绕不过去的坎，为了达成最终一致性，各类方案如雨后春笋般冒出。
4.4 reactive
当android上的流行库Rxjava，从前端走向后台的时候，也意味着后端也开始进入了响应式编程的时代，java的 vert.x就是其中的例子，那种request-response一招破万法的时光不再有了。
5. 运维和devops对后端的要求
5.1 安全,稳定,高效,经济
(1) 随着业务走向稳定，以及互联网的发展，网络服务的安全性开始成为了后端的核心之一，由于法律的不健全，对违法分子的追责难度大，违法成本低，网络安全攻击将会在将来的一段时间内成为常态，这就对后端的程序特别是对外的接口设计提出了更高的要求。
(2) 多机房，异地容灾，数据备份。健壮的后端一直是后端应用的要求之一。新的时间里，后端的可用性，稳定性依然是每一个后端都要面对的问题。
(3) 以前一个用户只有一个电脑，浏览网站的时候，只在获取数据的时候与站点有交互。现在随着电子设备，智能设备的增多，一个用户能够接入网络的设备也在增多，同时长连接和并发数也会增多，因此高性能的接入网关开始成为了后端人员关注的焦点，比如围绕着intel的dpdk各类应用也是纷至沓来。
(4) 经济，利用云服务的即买即用，用完即退的特点，使得在开展运营活动的时候，后端不用向运维征求和购买大量的机器。 然而为了在运营活动的短时冲击和突增流量的情况下后端应用能够平稳地运行，对后端人员的部署和调度能力提出了更高的要求。

5.2 更规范的软件开发流程
git+jenkins+ansible的开源组合，开始无法满足开发和运维的需求，项目管理的集成，测试人员的介入，都要求后端的软件工程工具从各自为阵的开源工具，走向一个大一统的系统，需要我们将 需求,BUG管理,迭代版本，开发，测试，灰度，蓝绿部署流程都进行集成。
5.3 云服务,容器化之争
公有云，私有云，混合云，以及容器等相关的云计算技术，也在推动者后端的技术改革，后端面对的不再仅仅是一个物理机器，或者虚拟机，而是一个更复杂更多样性的环境，对后端业务之外的技术和调度要求将越来越高。
相对于前端，后端实在是一个特别笼统的说法，正如上面提出的观点，很多的技术其实并不属于后端工程师，他们有的时候叫 运营开发工程师，有的叫大数据工程师，但为了相对于前端的划分，因此我把他们的工作内容都划到了后端里面去，毕竟相对于技术研究,他们面对的都是一些技术应用的场合，很多的开源软件只要达到了理解原理如何使用的水平就已经足够应付日常工作了。

‘伍’ 前端程序员和后端程序员区别是什么，分别要具备哪些能力

工作内容还是有很大区别的，后端程序员主要做一些网络的请求封装、通知、数据的封装，前端更注重拿到后端给的数据如何更好的展示。

‘陆’ 作为一个IT运维管理着，需具备那些技术

IT运维管理者需要具备以下技术：
一、微软系统

对于Windows的熟悉是最基本的。当然，作为一个运维经理，可不是整天玩个Windows7或XP就可以交差的。得掌握微软Active Directory及其上层各种服务和应用的搭建。一般常用的有ISA、Exchange、SQL Server。随着Windows 2008的大放异彩，Hyper-V又成了微软工程师不得不掌握的重型武器。
二、Linux/BSD系统
虽然Ubuntu现在很火，但是在公司里使用的大多还都是Redhat系列和Suse系列。得熟悉DNS、NIS、Apache、SMB、DHCP、Sendmail、FTP、MySQL这些常规服务。如果公司的IT业务大规模对外，还得学会LVS或Nginx等负载均衡技术。
三、编程开发
混Windows系统的自觉一点学好Powershell吧。要是说前几年还得看看VBscript的话，未来就都是Powershell的天下了。

‘柒’ Java方面的运维人员需要掌握哪些知识

1、java只是一种编程语言，这个看你代码的写入量了。
2、运维，这个要看具体的情况，一般来说运维要掌握的内容很多，但是当以实践工作需要为中心展开学习，比如tomcat集群，MySQL集群，Nginx集群，Linux下Oracle集群。
3、你应该是现在比较盲目，建议你还是从最基础的东西入手，无论多么复杂的技术，还是在基础上来的。

‘捌’ 想做程序员做后端都需要掌握哪些知识

目前掌握的仅能：
1，研发（基本吧，产品总得有人来做）
2，调优（主要是Mysql调优，在符合业务需求的情况下尽可能提高TPS）
3，运维（小公司不会像大公司一样还标配运维，通常后端兼任运维职能）

扩展下：
研发：php入行，选个好框架（推荐Yaf），然后研发过程中多注意下性能，多用php本身的函数来解决需求，php本身函数丰富，而且都是C扩展，性能非常可靠。

调优：这个我实在不知道该放到研发还是运维，所以就单独拿出来说。因为其实对于服务器性能的调优本身两边都需要进行，一是研发时注意，二是各个软件（主要是DB）的配置项。我的调优很粗暴，用阿里云的压力测试（耗费了公司一些钱财，罪过罪过）每次压一分到5分钟，然后看看瓶颈在哪里，把配置项全部列出来，肉眼+自行判断调整哪个参数看看能不能提升性能（233），我也会在代码中把每个核心部分的消耗时间打入日志，来判断到底该进行哪里的优化。

运维：主要分三部分，
快速部署：虽然是小公司，但是老板有些资源，所以可以预计上线第一波的压力不小，如果产品良好的情况下压力只能会越来越大，所以要求如果感觉到系统有压力后，需要快速进行横向扩展系统，这里我选用的Puppet，理由很简单：老牌，使用广泛，社区强大。
监控报警：这是运维的眼睛，我选用的zabbix，理由跟上面一样：老牌，使用广泛，社区强大。
日志采集：因为是集群的原因，看日志不方便，最开始是用nfs来收集，后来随着日志越来越分散，日志越来越大，没用多久就被我抛弃了，然后在朋友的推荐下使用ELK进行日志采集和查看。理由只是因为没有别的更好选择（朋友强烈推荐这个，其他的都是没有啥强大社区，这个看着更靠谱点）

‘玖’ java后端程序员最常用的技术有哪些，重点技术有哪些

Java学习路线，希望看完之后能给你带来帮助。
第一步学习JavaEE基础
Java是一种面向对象的编程语言，所以首先需要从基础学起，只有前期打牢基础，之后深入学习才能游刃有余。那么基础学习首先从基础语法、面向对象、核心类库、集合、异常、IO、线程、网络编程、反射、JDK1.8新特性这几个方面展开，学习基础阶段培养面向对象的编程思想、充分理解并运用Java面向对象思想来进行程序开发、从过程到面向对象编程的转变、，深入理解常用集合类的用法、集合的特点、内存理解以及使用;掌握多线程的概念、创建方式、同步、网络编程的基本概念等。
第二步学习JavaWeb开发
JavaWeb开发是学习Java中必不可少的内容，虽然Java是偏向于后台开发的，但是前后端不可能完全分离，后端开发人员也需要掌握一定的前端技能。JavaWeb开发可以从前端技术、MySQL、JDBC&JDBCUtils、XML、服务器&Servlet、JSP、AJAX几点来学习，以此来掌握使用HTML、CSS进行前端界面的设计、掌握对JavaScript、JQuery基本语法的使用;掌握XML的解析方式、掌握服务器的概念以及其配置、熟悉Servlet开发规范和相关概念、JSP基本原理、Session和Cookie、过滤器和监听器的使用、以及Ajax异步请求。
第三步Java高级框架
虽然说Java框架有很多，但是比较常用和主流的还是比较固定的，灵活的使用框架可以让开发者在实际开发中，减少很多重复的代码、让代码的结构更加清晰，后期维护方便。从现在的开发环境来看SpringMVC、Mybatis、Spring、Oracle、Linux&Redis&Nginx、Maven是现在普遍使用的主流框架，掌握之后可以实现从原理、应用、扩展等全方位角度熟练使用，最终可以搭建自己的平台。
第四步分布式项目实战
学习的最终目的就是上手实操，根据项目需求开发功能，那么实战就显得尤为重要了，所以最后一步是项目实战，那Git、SpringBoot、SpringCloud 等主流技术必定是需要熟练掌握的，通过学习掌握分布式调用技术任务调度以及项目相关模块之间的开发和关联，从而达到实现功能开发目的。
初学Java你需要学习JDK，JDK是一个编写Java的Applet小程序和应用程序的程序开发环境。JDK是整个Java的核心，包括了Java运行环境，一些Java工具和Java的核心类库。不论什么Java应用服务器实质都是内置了某个版本的JDK。所以学好JDK是掌握Java的第一步。
学好JDK后，还有其他几种软件如果你感兴趣也可以学一学，这几种软件分别为：Eclipse：一个开放源代码的、基于Java的可扩展开发平台;EditPlus：文本编译工具，初学者可以使用EditPlus编译执行Java程序;NetBeans：开放源码的Java集成开发环境，适用于各种客户机和Web应用;IntelliJ IDEA：可以用于代码自动提示、代码分析等;MyEclipse：由Genuitec公司开发的一款商业化软件，是应用比较广泛的Java应用程序集成开发环境;SQL Server：数据库软件，做web开发会用到这个软件。
综上可以看出，学习Java需要的软件不少，如果自学一个个了解过去的话比较费时间，而报班就不同了，报班学习会有老师带着你一步步下载、安装、学习各个软件，这样不但能节省很多时间，还能让你把这些软件掌握的更好。
Java学习上手比较难，需要的软件也多种多样
Java框架可以简化开发难度，更便于我们开发程序。所以学好Java框架还是比较重要的。Java的框架主要有：SpringMVC、Spring、Mybatis、Dubbo、Maven、RabbitMQ、Log4j、Ehcache、Redis、Shiro。不过这十个我们不需要都学会，只要学会其中四五个比较常用的就可以。
第一个，SpringMVC。Spring MVC是一种基于Java的实现了Web MVC设计模式的请求驱动类型的轻量级Web框架，主要是帮助我们简化日常的Web开发;第二个，Mybatis。MyBatis 是支持普通 SQL查询，存储过程和高级映射的优秀持久层框架;第三个，Spring。Spring深得企业的青睐;第四个，Maven。越来越多的开发人员开始使用maven。
掌握以上四种框架，你在找工作的时候就会比较吃香。不过想把这四种框架学会也不容易。不了解Java的人可能看的都一头雾水更别说学习了。这是因为想要学习Java框架还要从Java的基础部分学起。而从基础部分自学到Java框架，花费的时间就长了。
所以小编建议大家报班学习Java，培训班的学习时长为半年左右。相比于自学，耗时少了不少。而且培训班不止能帮助你快速掌握理论知识，还有实战项目助你巩固所学。例如优就业的Java课程在Java框架部分，每个框架都对应一个小项目。这一阶段学完后还会有一个大项目让学员练手，增加学员的项目开发经验。所以报班学习更容易学会Java。

‘拾’ 程序员需要具备哪些东西

程序员工作三连

以上是程序员的工作三连。