加权负载均衡算法

‘壹’ 软件架构中，负载均衡有哪些调度算法

谢邀！
负载均衡调度算法也叫负载均衡方法有很多种，下面以使用比较广的nginx为例说说软件负载均衡的调度算法：
nginx默认的调度算法，按照时间顺序逐一分配后台服务器
在server后加weigth，weight值越高，后台服务器分配概率越大，下图是说ip为102的后台服务分配概率是ip为101后台服务的两倍
按照访问ip的hash分配，增加ip_hash关键字，同一ip访问相同的后台服务
按照访问url的hash分配，增加url_hash关键字，同一url访问相同的后台服务
按照最少连接数方式分配，增加least_conn关键字，哪个后台服务连接数少就分配哪个
按照最短响应时间分配，增加fair关键字，响应时间短的后台服务优先分配

‘贰’ 负载均衡进阶：SLB常见问题解决方法

摘要： 在由云栖社区和阿里云网络团队联合主办的2017阿里云网络技术在线高峰论坛上，阿里云技术专家添毅分享了网络产品部根据客户和阿里云运维的反馈提炼出的几大最主要和最常见的在使用SLB产品中发生的问题，并为大家介绍了针对这些常见问题的相应处理方法。

摘要： 在由云栖社区和阿里云网络团队联合主办的2017阿里云网络技术在线高峰论坛上，阿里云技术专家添毅分享了网络产品部根据客户和阿里云运维的反馈提炼出的几大最主要和最常见的在使用SLB产品中发生的问题，并为大家介绍了针对这些常见问题的相应处理方法。想知道如何借助SLB构建高可用系统以及健康检查是如何实现的，本文不容错过！

本文内容根据演讲嘉宾分享视频以及PPT整理而成。

本次的分享将会主要围绕以下5个部分

基本概念回顾

如何构建高可用系统

选择性能共享型还是性能保障型实例

为什么健康检查异常

为什么负载不均衡

一、基本概念回顾

SLB是什么

SLB是阿里云推出的一款云负载均衡服务，其主要针对于多台云服务器进行流量分发，能够将业务流量分发到由多台云服务器所组成的后端服务器池上去，以此来提升系统的处理能力。负载均衡所解决的问题主要包括两点：第一点，SLB能够消除系统的单点故障，这是因为SLB的后面是由多台云服务器组成的服务器池，那么当其中某一台服务器出现故障的时候并不会影响整个系统的可服务性。第二点，由于后端的云服务器能够横向地进行扩展，所以也具有为海量业务提供服务的能力。那么，为什么要使用云上的负载均衡呢？这是因为云上负载均衡主要有这样的几个特点：高可靠、高性能、低成本、安全性、易用性。

SLB基本组件

阿里云的SLB主要包括了三个基本组件，这里也进行简单地介绍。第一个基本组件就是实例，每个实例都唯一地标识了云负载均衡器，并且每个实例都对应一个VIP，VIP唯一地标识了负载均衡实例，也是负载均衡对外提供服务的地址。第二个组件是监听，监听是由VIP+端口号来唯一标识的，一个监听中包含用户定制的负载均衡策略和转发规则。最后一个基本组件就是后端挂载的服务器，也就是云服务器ECS，负责处理真正的业务请求。

二、如何构建高可用系统

多层次的高可用

如下图所示，阿里云的负载均衡是从四个层面上去构建高可用的。从底层往上层看，分别是应用级别的高可用、集群级别的高可用、可用区级别(AZ)的高可用以及地域级别(Region)的高可用。

应用级别的高可用主要是通过针对SLB后端的ECS实例的健康检查来实现的。当SLB发现后端不健康的或者不能正常工作的ECS的时候，会将这些不健康的ECS从SLB的转发路径中剔除掉，保证业务流量能够转发到正常的工作服务器当中。集群级别的高可用主要是通过集群中LVS机器间的session同步来保障任何一个用户的业务会话都能够在所有的LVS机器上是相互同步的，当其中某一台LVS出现故障时，可以由其他的LVS来接替出现故障的机器的工作。同时，由于会话保持的存在，用户的业务是不会发生中断的。对于可用区级别的高可用和地域级别的高可用，在本文的后面会进行更加详细的介绍。

细说可用区级别容灾

这里详细地介绍一下可用区级别的容灾。可用区级别容灾的设计初衷是在当一个可用区出现重大灾情的时候，比如整个可用区的机房发生了掉电、光缆出现了中断、整个可用区机房中所有的物理机都无法正常工作的时候，也就是整个可用区都宕掉了的情况下，能够由备可用区来继续提供服务，这就是可用区级别容灾的设计初衷。可用区级别的容灾并不是说某一个可用区中的某一个实例或者是某几个实例出现了故障就会发生可用区的切换，实例自动从可用区A切换到可用区B，这是一个比较常见的误区。而针对于这样的误区，阿里云也建议用户在构建可用区级别的高可用的时候采取以下两个步骤：

首先，建议用户在SLB实例的后端尽可能地去挂载多个可用区的ECS实例。SLB能够支持跨可用区地挂载ECS云服务器，这样可以避免某个可用区的ECS都出现故障的情况下，还有其他可用区的ECS能够接替工作，虽然跨可用区挂在ECS会存在大约2毫秒左右的延迟，但是却能够大大地提升服务的可用性。

第二步就是针对于一些特别重要的业务，建议在不同的可用区分别地去购买SLB的实例。比如在可用区A和可用区B各自购买一个SLB实例，在此基础之上再使用全球负载均衡GSLB来进行实例间的调度。

跨地域容灾的实现

跨地域容灾这一部分与上面介绍的可用区级别容灾的第二步非常相似，也是借助于GSLB产品实现的，GSLB即 智能DNS实现了针对于后端的健康检查、路由调度的优化功能，能够实现在地域之间的负载均衡实例的调度。关于这部分的更详细的内容请参考：全球负载均衡跨地域容灾解决方案(https://promotion.aliyun.com/ntms/act/globalslb.html)。

三、选择性能共享型还是性能保障型实例

共享型vs保障型-WHY保障型

在如今这个共享经济的时代，像滴滴打车这样的模式是非常火的。但是即便是有了滴滴打车，但是还有人会去买车，这是因为会出现如下两个大家可能曾经都碰到过的场景：

早晚高峰叫不到车？雨雪天气路边冻成狗？还大幅提价？

假期想远离尘嚣，找个僻静旷野放空自我，叫个滴滴？也许有去，但保证无回！

所以说共享和保障都是客户的需求。出于对于类似需求的考虑，阿里云的负载均衡也推出了性能保障型实例。以前所推出的SLB共享型实例是因为性能指标没有办法实现隔离，因为所有的共享型实例都处于同一个大共享资源池中，所以在高峰期的时候就会出现资源的争抢，这样就无法满足对于性能具有刚性需求的大客户的诉求。除此之外，还有一些体量特别大的超级用户，他们对于性能的要求会是非常高的，但是由于共享型实例无法做到性能隔离，也支持不了大颗粒度的性能指标，所以也无法完成这样的工作。因此，阿里云推出了性能保障型的负载均衡实例。

超强性能

保障型实例的性能规格如上图所示，其并发连接数最大可以达到500万，每秒的新建链接数(CPS)可以达到50万，针对于七层负载均衡系统的QPS可以达到10万。除此之外，性能保障型实例还具有以下的特点：

超强HTTPS性能。 性能保障型实例针对于七层系统，特别是HTTPS的业务进行了优化，实现了高性能硬加解卡，并且能够实现使HTTPS的业务单实例可达10万QPS。

超大并发连接数。 性能保障型实例的单实例的并发连接数可达500万，所以其可承载物联网场景的下海量连接，可以支撑共享自行车、智能手表等存在特别大量长连接的场景。

共享型实例平滑升级。 原有的共享型实例可以平滑升级至性能保障型实例，而无需更换VIP。

完善的业务监控系统。 在推出性能保障型实例之后，因为每个实例都有相应的性能规格和性能指标，所以阿里云也为用户提供了完整的业务指标监控系统，并支持电话、短信、钉钉企业群等方式的告警。

性能规格

上图所展现的是阿里云SLB性能保障型实例的规格参数。图中的最后两行规格7、8默认在控制台上是无法购买的，目前只针对企业级用户，而且需通过客户经理申请后，通过白名单开放。

如何选择规格

对于保障型实例而言，主要有如下几个性能指标：

最大连接数：一个实例可承载的最大连接数。

新建连接数：CPS表示一个实例每秒可以新建的链接数。

每秒查询数：QPS表示一个实例7层的像HTTP或者HTTPS系统的吞吐量。

通常一个4层SLB的性能好坏由最大连接数和新建连接数来衡量，它们表示了一个SLB系统的并发能力和处理突发连接的能力。通常一个7层SLB的性能好坏主要由QPS决定，QPS表示了一个7层系统的吞吐量。这里需要注意的是QPS是7层独有概念。虽然每个规格都定义了三个性能指标，但是这并不代表这三个性能指标在任何一个性能场景下或者任何一个时刻都能够同时达到最大值，这里存在一个性能指标的短木板原则。比如在某一个应用系统中，QPS已经达到指标上限，但最大连接数还远远没有达到上限，这时不论怎样加大客户端数量，最大连接数都会因为QPS达到上限，而无法达到最大值。

对于规格的选择而言，需要通过之前提到的业务监控系统来获取相关指标。如果用户十分了解自己业务的相关指标，也就是对于高峰期的并发连接数会达到多少以及QPS会达到多少都有非常清晰的了解，也可以直接在控制台上选购。但是如果用户并不清楚自己的相关业务指标，可以在初期选购按量付费的较高规格的实例，并且在一个业务周期内监控流量的峰值，在峰值确定好之后再通过变配的方式改变到比较合适的实例规格。目前性能保障型实例还处于公测阶段，所以现在还没有对于实例收取规格费用，也就是说在这个阶段无论用户选择最小规格还是最大规格，实际上都只需要花费IP配置费和带宽费就可以了，这样也比较便于用户去熟悉和使用阿里云的性能保障型实例。

监控和告警

前面也有所提及，在负载均衡的控制台上面能够直接地显示出相应的一些性能指标，但是在这里只能够实现对于性能指标的监控，却无法进行告警。如果用户需要进行监控告警，可以在阿里云所提供的云监控控制台进行操作。云监控平台可以监控阿里云中的所有产品并且实现业务告警的定制，并且可以选择包括短信邮件、电话、企业钉钉群等方式进行业务的实时告警。

四、为什么健康检查异常

健康检查机制

接下来分享在负载均衡的日常使用中出现的问题，特别是很多用户都存在疑问的健康检查部分的问题。

阿里云的负载均衡一共可以支持四种协议，四层的负载均衡系统主要包括了TCP、HTTP以及UDP协议，而七层的系统则包括了HTTP和HTTPS，而由于目前HTTP和HTTPS都是使用的普通的HTTP方式，所以其实也可以归结为三类协议。对于TCP而言，健康检查的过程是通过发送ACK这种TCP的探测报文去探测端口是否仍然存活；对于HTTP而言，则主要使用的是HEAD的请求方式来检查目标的页面是否正常；UDP部分则主要借鉴了SMP协议的原理。

健康检查部分主要会涉及到几个指标，这些指标需要用户在控制台上进行设置，上图中给出了一些默认的建议值，比如响应的超时时间，也就是在每一次进行健康检查的时候，如果超过一定时间健康检查还没有回应就认为这次的健康检查是失败的；还有健康检查间隔，也就是两次健康检查之间通常需要间隔2秒钟；而所谓的不健康阀值和健康阀值就是在网络环境中往往会由于网络的抖动以及其他的因素导致偶尔的一次健康检查失败了，但是这时候并不能认为服务是真的失败了，所以需要设置一个阀值，比如3次就指的是当3次健康检查都失败的时候才会认为后端的服务是存在问题的，然后将其从转发路径中摘除掉。同样的，当服务从不健康变为健康的时候，也需要进行连续的几次探测，当确定处于稳定的健康状态之后再将其加入到SLB的后端中去。

为啥会失败(TCP)

TCP的健康检查也经常会出现一些失败的情况，这里也为大家提供了简单的故障排查顺序供参考。当出现健康检查失败的时候，首先可以检查一下后端的服务器是否已经启动。如果后端服务器的负载是比较高的，也可能会因为没有CPU时间去处理健检查的回应，这样就有可能导致健康检查失败。除此之外，因为对于阿里云的负载均衡而言，健康检查使用的都是私网地址实现的，所以如果根本没有监听到私网地址或者私网地址本身存在故障也会导致健康检查的失败。还有服务器上可能存在防火墙，将监听端口屏蔽掉了，导致健康检查并未通过。此外还可能存在一些配置方面的问题，比如提供服务的端口和做健康检查的端口不一致也可能存在健康检查失败。

针对于TCP的健康检查而言，很多用户会经常看到自己的后端服务器上日志上面有很多10或者16这些网段的访问，并且访问流量还比较大，这是因为之前所提到的健康检查具有一定的间隔时间，比如2秒或者3秒一次。这时候一些用户可能就会认为健康检查会影响服务器的性能，占了很多的服务器的连接数。其实可以从上图中左侧的报文交互情况看到，当SLB对于云服务器发起健康检查的时候首先会发一个SYN的请求，如果服务器端口是存活的，那么它会回应一个ACK，这个时候SLB端就会紧接着发送RST报文。也就是说实际上连接是并没有建立的，所以也不会占用后端服务器的连接数的资源，并且对于性能的影响也是极为有限的。

为啥会失败(HTTP)

HTTP常见的健康检查失败原因大概会有这样的三点：最常见的情况就是有些用户把服务器的HEAD请求方式禁掉了，因为默认在使用浏览器或者手机等请求一个页面的时候使用的都是GET方式，有时候可能需要上传数据则会使用POST方式，虽然很多服务器都支持HEAD请求方式，但是有些服务器可能会处于安全或者其他复杂因素的考虑将HEAD请求禁掉。所以在这里建议客户将服务器的HEAD请求方式打开，因为阿里云负载均衡七层健康检查方案就是使用的HEAD方案。另外一种常见情况就是页面访问本身上就存在问题，这样的情况下健康检查也是无法通过的。最后一种常见情况就是期望结果配置错误，针对于七层的健康检查是通过使用HEAD请求方式去请求页面，页面返回码可能会是200、300或者400以及500等，用户可以在健康检查的配置中设定预期的正常情况下的返回码值，当健康检查返回码值与预期值不一致就会判定健康检查是失败的。

为啥会失败(UDP)

这里介绍一下UDP健康检查的原理。首先，健康检查通过SLB向后端发送UDP报文探测来获取状态信息。SLB会周期性地给后端ECS发送UDP报文，如果UDP端口的业务处于正常情况，则没有任何回应。而当服务出现问题，比如指定的UDP服务端口处于不可达的情况或者无服务的状态的时候，会回复ICMP的不可达报文。这里也会存在一个问题就是如果后端服务器已经变成了网络中的孤岛，比如出现了整个服务器的掉电、关机情况这样完全不能工作的状态，这时候的ICMP不可达报文是永远不可能收到的，因为后端的服务器无法收到SLB发来的UDP探测报文，那么在这种情况下，可能会出现误认为后端健康的情况，但是实际上这个服务可能已经宕掉了。为了应对这种情况，健康检查还提供用户自定义UDP应答报文来实现精确的UDP健康检查，也就是由用户自定义指定一个字符串，当后端的云服务器收到UDP健康检查的探测的时候，也回应指定的字符串，之后SLB对于这个字符串进行对比和校验，如果匹配成功则认为服务一定是健康的，这样就可以实现非常精确的健康检查。

而UDP的健康检查失败也有很多原因，比如在协议栈里面有可能会有ICMP限速保护。当频率达到一定速率的时候，ICMP会被协议栈限制，后端无法回应ICMP不可达报文，进而导致SLB收不到ICMP的报文，出现健康检查的失败情况。所以这部分是需要注意的，如果可能尽量将速率限制放大一些。

其他问题

健康检查时好时坏的可能原因如下：

HTTP类型健康检查目标URI响应慢。比如本身是动态页面，会涉及到大量的计算才能够渲染完成并返回到前端，这样肯定就会导致健康检查响应比较慢。如果服务器负载过高同样也会出现这样的问题。

未全部放开对SLB健康检查源地址的限制导致分布式健康检查失败。因为阿里云的服务器都是分布式的部署，健康检查也会是分布式的探测，LVS等机器在后端有不同的源去针对某一个云服务器进行探测的，所以如果没有将这些源地址都放开，实际上也会影响健康检查的效率，因为对于这么多机器而言，只要有一台机器检测到是正常的那么就是正常的。

还可能出现直接访问正常，但是健康检查失败的情况。造成这样情况的可能原因如下：

防火墙限制。

目的端口不一致。

检查方法不同，可能使用浏览器看页面是没问题的，但是健康检查却不行，这就是因为刚才所提到的HEAD方法没有开启。或者七层的健康检查配置了URL按照域名转发，但是在浏览器上直接访问则是使用域名去做的，而健康检查是使用IP地址做的，这样也可能出现转发和预期结果的不同。

检查频率不同，ICMP限速。

五、为什么负载不均衡

调度算法与会话保持

首先介绍一下负载均衡的调度算法。阿里云的负载均衡支持三种算法，第一种算法是单纯的轮询(RR)，也就是将业务的请求依次地分发到后端的服务器。第二种算法是加权轮询(WRR)，也就是在处理调度的时候会根据针对于每一台后端服务器设置权重来进行转发。这里之所以设置权重是因为后端服务器的处理能力可能是不同的，如果使用相同的权重进行轮询可能就会把后端处理能力比较弱的服务器挤爆，所以需要针对于服务器的处理能力设置一些权重。第三种算法是针对于加权最小连接数的轮询(WLC)，也就是除了根据每台后端服务器设定的权重值来进行轮询，同时还考虑后端服务器的实际负载，也就是连接数。当权重值相同时，当前连接数越小的后端服务器被轮询到的次数也越高，这样就能够保证负载尽量地均衡。如果不考虑这一点就会造成某些服务器连接数已经很高了但是流量依然还往上面分发，而另外一些服务器却一直处于空闲状态。

会话保持指的是来自同一用户请求始终保持分发到同一台后端的云服务器上。对于同一用户而言，使用的是四层的负载均衡和使用七层的负载均衡在理解上是不一样的。如果是四层负载均衡，则会使用源IP地址标识同一用户，所以如果在可能会有很多办公电脑的大型企业中，这些电脑在企业内部是通过局域网的IP进行通信的，在访问公网的时候都是通过NAT网关处理的，所以在走到Internet的时候，源地址通常会是一个或者很有限的几个。在这种情况下，如果是四层的负载均衡就会把里面所有的请求都视为来自同一个用户的，这种情况下如果开启了会话保持，就会发生问题。而七层的负载均衡是根据用户浏览器中的Cookie来进行唯一识别的，对于刚才的案例在大型企业里面因为内网访问公网的源地址都是一样的，导致没有办法识别到底是不是同一个用户，此时建议使用七层的负载均衡方案解决，因为Cookie是每个浏览器都唯一的。会话的保持时间是可以在控制台上配置的，四层的负载均衡方案最大可达1小时，而七层的方案最大可达24小时。

为何不均衡

最后分享一下不均衡的常见情况。有时候会需要新加一个服务器进来，这时候往往到新加进来的服务器上的连接会很少，这是因为可能会存在以下原因：

存在会话保持的情况下，会话保持会让请求停留在原有的服务器上，这样到新加进来的服务器上的连接自然会少一些。

权重设置不一致，如果在权重的设置上存在区别，而新加进来的服务器的权重如果很低，连接也过不去。

应用属于长连接类型，因为需要在TCP上复用，如果客户端不主动断开连接，后续所有的请求都会继续复用当前服务器上的连接，只有新建连接才有可能到新的服务器上。

而有时候在业务量或者新建连接较少时，也会出现负载不均衡的问题。这是因为每个Core都是独立的调度单元，因此可能存在将某个Client的多条业务经过不同core的调度后全部转发到一台ECS上的情况，同时由于业务量较少，因此出现了不均衡。建议使用轮询算法解决，在RR轮询算法中加入了扰乱因子，可以更加有效的打散SLB到后端的转发路径。

原文链接

‘叁’ 计算机的负载均衡算法

计算机的负载均衡算法主要有以下几种：

1、静态负载均衡算法包括：轮询，比率，优先权。

2、动态负载均衡算法包括：最少连接数，最快响应速度，观察方法，预测法，动态性能分配，动态服务器补充，服务质量，服务类型，规则模式。

负载均衡算法的种类有很多种，常见的负载均衡算法包括轮询法、随机法、源地址哈希法、加权轮询法、加权随机法、最小连接法等，应根据具体的使用场景选取对应的算法。

(3)加权负载均衡算法扩展阅读：

在计算机的世界，这就是大家耳熟能详的负载均衡（load balancing），所谓负载均衡，就是说如果一组计算机节点（或者一组进程）提供相同的（同质的）服务，那么对服务的请求就应该均匀的分摊到这些节点上。

负载均衡的意义在于，让所有节点以最小的代价、最好的状态对外提供服务，这样系统吞吐量最大，性能更高，对于用户而言请求的时间也更小。而且，负载均衡增强了系统的可靠性，最大化降低了单个节点过载、甚至crash的概率。不难想象，如果一个系统绝大部分请求都落在同一个节点上，那么这些请求响应时间都很慢，而且万一节点降级或者崩溃，那么所有请求又会转移到下一个节点，造成雪崩。

‘肆’ 负载均衡权重轮询算法中的权重有什么作用

不理解你说的权重是什么，优先级还是比率？
如果你有两台服务器，服务器A和服务器B
优先级：服务器A优先级100，服务器B优先级50
流量全部分发到服务器A上面，只有服务器A挂掉才会分到B上面，类似于主备。
比率：服务器A为3，服务B为1
如果一共有12个连接，服务器A会分发到3+3+3 服务器B会分发到1+1+1
也就是每4个连接中会有3个分发到服务器A，剩下的1个分发到服务器B。

‘伍’ 负载均衡基本介绍

【负载均衡架构部分转自】 58沈剑 [架构师之路]( https://mp.weixin.qq.com/s

负载均衡： 是分布式系统架构设计中必须考虑的因素之一，它通常是指，将请求/数据【均匀】分摊到多个操作单元上执行，负载均衡的关键在于【均匀】
常见的负载均衡方案：

【客户端层】到【反向代理层】的负载均衡，是通过“DNS轮询”实现的：DNS-server对于一个域名配置了多个解析ip，每次DNS解析请求来访问DNS-server，会轮询返回这些ip，保证每个ip的解析概率是相同的。这些ip就是nginx的外网ip，以做到每台nginx的请求分配也是均衡的。

【反向代理层】到【站点层】的负载均衡，是通过“nginx”实现的。通过修改nginx.conf，可以实现多种负载均衡策略：

【站点层】到【服务层】的负载均衡，是通过“服务连接池”实现的。
上游连接池会建立与下游服务多个连接，每次请求会“随机”选取连接来访问下游服务。（也即是rpc框架实现的）

在数据量很大的情况下，由于数据层（db，cache）涉及数据的水平切分，所以数据层的负载均衡更为复杂一些，它分为“数据的均衡”，与“请求的均衡”。
数据的均衡是指 ：水平切分后的每个服务（db，cache），数据量是差不多的。
请求的均衡是指 ：水平切分后的每个服务（db，cache），请求量是差不多的。
（1）按照range水平切分

（2）按照id哈希水平切分

[图片上传中...(-6b2508-1561902875888-0)]

常见的负载均衡系统包括 3 种：DNS 负载均衡、硬件负载均衡和软件负载均衡。

硬件负载均衡是通过单独的硬件设备来实现负载均衡功能，这类设备和路由器、交换机类似，可以理解为一个用于负载均衡的基础网络设备。比如业界非常出名的F5

缺点：
（1）价格实在非常昂贵
（2）扩展性不强

软件负载均衡通过负载均衡软件来实现负载均衡功能，常见的有 Nginx 和 LVS。

nginx和F5： https://blog.csdn.net/chabale/article/details/8956717
nginx和lvs比较： https://blog.51cto.com/hzcto/2086691
lvs： https://www.cnblogs.com/liwei0526vip/p/6370103.html
ELB： https://aws.amazon.com/cn/elasticloadbalancing/
SLB： https://help.aliyun.com/proct/27537.html

题目：日活跃用户 1000 万的论坛的负载均衡集群，该如何设计呢？
（1）评估流量
1000万DAU，换算成秒级（一天12小时），平均约等于232。
考虑每个用户操作次数，假定10，换算成平均QPS=2320。
考虑峰值是均值倍数，假定5，换算成峰值QPS=11600。
考虑静态资源、图片资源、服务拆分等，流量放大效应，假定10，QPS 10=116000。
（2）容量规划
考虑高可用、异地多活，QPS 2=232000。
考虑未来半年增长，QPS*1.5=348000。
（3）方案设计
可以用三级导流：
第一级，DNS，确定机房，以目前量级，可以不考虑。
第二级，确定集群，扩展优先，则选Haproxy/LVS，稳定优先则选F5。
第三级，Nginx+KeepAlived，确定实例。
（4）架构图

接入层技术：

缺点：

优点：

缺点：

优点：

缺点：

缺点：

nginx毕竟是软件，性能比tomcat好，但总有个上限，超出了上限，还是扛不住。lvs就不一样了，它实施在操作系统层面；f5的性能又更好了，它实施在硬件层面；它们性能比nginx好很多，例如每秒可以抗10w，这样可以利用他们来扩容。

99.9999%的公司到这一步基本就能解决接入层高可用、扩展性、负载均衡的问题。 假设还扛不住的话，就要考虑使用硬件设备f5等。如果还是扛不住，那么只有DNS来扩容了。

水平扩展，才是解决性能问题的根本方案，能够通过加机器扩充性能的方案才具备最好的扩展性。 facebook，google，的PV是不是超过80亿呢，它们的域名只对应一个ip么，终点又是起点，还是得通过DNS轮询来进行扩容：

比如购买了阿里云或者aws。那么基本会使用云厂商提供的负载均衡中间件，比如aws（elb）、阿里云（slb）。这个负载均衡软件可以认为是 lvs+keepalived的高可用负载均衡服务

后端的service有可能部署在硬件条件不同的服务器上：
1）如果对标最低配的服务器“均匀”分摊负载，高配的服务器的利用率不足；
2）如果对标最高配的服务器“均匀”分摊负载，低配的服务器可能会扛不住；

（1）通过“静态权重”标识service的处理能力

优点： 简单，能够快速的实现异构服务器的负载均衡。
缺点： 权重是固定的，无法自适应动态调整，而很多时候，服务器的处理能力是很难用一个固定的数值量化。

（2）通过“动态权重”标识service的处理能力
提问：通过什么来标识一个service的处理能力呢？
回答：其实一个service能不能处理得过来，能不能响应得过来，应该由调用方说了算。调用服务，快速处理了，处理能力跟得上；调用服务，处理超时了，处理能力很有可能跟不上了。

动态权重设计：

例如：

（1）设置一个阈值，超过阈值直接丢弃

（2）借助“动态权重”来实施过载保护
案例策略：

1）service的负载均衡、故障转移、超时处理通常是RPC-client连接池层面来实施的
2）异构服务器负载均衡，最简单的方式是静态权重法，缺点是无法自适应动态调整
3）动态权重法，可以动态的根据service的处理能力来分配负载，需要有连接池层面的微小改动
4）过载保护，是在负载过高时，service为了保护自己，保证一定处理能力的一种自救方法
5）动态权重法，还可以用做service的过载保护

‘陆’ 负载均衡详解 - 玩转Kong网关

KONG为请求多个后端服务提供了多种负载均衡方案：一种是简单的基于DNS，另一种是更加动态的环形均衡器，他在不需要DNS服务器的情况下也允许服务注册。

当使用基于DNS的负载平衡时，后端服务的注册是在Kong之外完成，而Kong只接收来自DNS服务器的更新。如果请求的API被解析为多个IP地址，则已使用包含主机名（而不是IP地址）的upstream_url定义的每个API将自动使用基于DNS的负载平衡，前提是主机名未被解析为upstream名称或你的localhosts文件中的名称。DNS记录ttl设置（生存时间）确定刷新信息的频率。当设置ttl为0时，每个请求将使用自己的dns查询进行解析。显然这会带来性能损失，但更新/更改的延迟将非常低。

A记录包含一个或多个IP地址。因此，当主机名解析为A记录时，每个后端服务都必须有自己的IP地址。因为没有 weight 信息，所有条目在负载平衡器中将被视为同样的权重，平衡器将进行直线循环。来自DNS记录的IP地址的初始选择是随机的。这是为了确保即使当ttl为0时，负载也正确分配。

SRV记录包含所有IP地址的权重和端口信息。可以通过唯一的IP端口号的组合来标识后端服务。因此，单个IP地址可以托管不同端口上相同服务的多个实例。因为权重信息可用，每个条目将在负载平衡器中获得自己的权重，并且它将执行加权循环。

类似地，任何给定的端口信息将被来自DNS服务器的端口信息覆盖。如果一个API的 upstream_url= http://myhost.com:1234/path 并且 myhost.com 被解析为 SRV 记录中的 127.0.0.1:5678，此时的API将会被代理到 http://127.0.0.1:5678/path ，之前的 1234 端口会被重写为 5678 端口。IP地址+端口组合在初始时是随机选择的，这是为了确保服务能被正确分配，即使ttl设置为0。

tip：每当刷新DNS记录时，都会生成列表以正确处理加权。建议将权重保持为彼此的倍数以保证系统的性能。

DNS解析器按顺序开始解析以下记录类型：

1. 最后一个成功的类型优先解析；

2. SRV记录

3. A记录

4. CNAME记录

所以，如果你使用的主机名称中同时含有SRV记录和A记录时，将仅解析SRV实例。如果你想使用A记录，那么你必须得把SRV记录从DNS中删除。如果你只有A记录，则SRV记录查询失败，然后自动指向到A记录，并查询A记录是否存在，依次类推。

使用环形平衡器时，后台服务的添加和删除将由Kong处理，不需要进行DNS更新。KONG将扮演服务注册的角色。可以通过单个HTTP请求添加/删除节点，并可立即启动/停止接收请求流量。

可以通过配置 upstream 和 target 属性来配置环形均衡器。

默认情况下，一个环平衡器将使用一个加权循环的方案。另一种方法是使用基于散列的算法。散列的输入可以是 none , consumer , ip , 或者 header 。当设置为none时，将使用加权循环方案，并且将禁用哈希。

有两种选择，一种主要的和一种备用方案，以防主服务器出现故障（例如，如果主服务器被设置为 consumer ，但是没有经过身份验证）

不同的散列选项:

哈希算法是基于“一致性哈希”，它确保当平衡器通过改变目标（添加、移除、失败或改变权重）来修改时，只有最小的散列损失发生。这将最大优化上游缓存的命中。

一堆原理实在不好理解，下面来几个案例研究下：

这是一个安全部署应用的方法，它通过提供两个版本的应用同时运行。为了部署一个新版本的应用，你需要将当前版本切换到新版本，然后关闭老版本。Blue-green deployment不会使应用停止服务，在必要的情况下允许你快速回滚应用到blue版本。

设置“蓝色”环境，运行版本1的地址服务：

将主机头设置为 address.mydomain.com ，就可以让那Kong代理这个请求转发到定义的两个目标；三分之二的请求将发送到 http://192.168.34.15:80/address （权重=100），1/3将转到 http://192.168.34.16:80/address （权重=50）。

设置“绿色”环境，运行版本2的地址服务：

将主机头设置为 address.mydomain.com ，现在已经给Kong设置了一个新的目标；一半的请求将被发送到 http://192.168.34.17:80/address （权重=100），另外1/2将转到 http://192.168.34.18:80/address （权重=100）。

通常，通过Kong管理API的更改是动态的，并将立即生效。不需要重新加载或重启，在进度请求中不需要删除。

使用环型平衡器，目标权重可以精确地调整，允许一个平滑的、可控的金丝雀环境。

使用一个非常简单的2个目标示例：

通过重复请求，但是每次改变权重，流量将慢慢地路由到另一个目标。例如，将其设置为10%：

同样，通过Kong管理API的更改是动态的，并将立即生效。不需要重新加载或重启，在进度请求中不需要删除。

‘柒’ slb负载均衡 是 nginx 吗

不是。

SLB，服务器负载均衡（Server Load Balancing），可以看作HSRP（热备份路由器协议）的扩展，实现多个服务器之间的负载均衡。

Nginx(engine x) 为一个高性能的HTTP和反向代理web服务器，同时也提供了IMAP/POP3/SMTP服务。Nginx由伊戈尔·赛索耶夫为俄罗斯访问量第二的Rambler.ru站点（俄文：Рамблер）开发的，第一个公开版本0.1.0发布于2004年10月4日。

(7)加权负载均衡算法扩展阅读

负载均衡算法有两种：

Weighted round robin(WRR)和Weighted least connections(WLC)，WRR使用加权轮询算法分配连接，WLC通过一定的权值，将下一个连接分配给活动连接数少的服务器。

配置分为两部分，第一部分使用slb serverfarm serverfarm_name命令定义SLB选项，包括指定真实服务器地址；第二部分使用ip slb vserver virtual_server-name来指定虚拟服务器地址。

Nginx可以在大多数UnixLinux OS上编译运行，并有Windows移植版。Nginx的1.4.0稳定版于2013年4月24日发布，一般情况下，对于新建站点，使用最新稳定版作为生产版本，已有站点的升级急迫性不高。

Nginx的源代码使用 2-clause BSD-like license。Nginx为一个很强大的高性能Web和反向代理服务，它具有很多非常优越的特性：

在连接高并发的情况下，Nginx为Apache的替代品：Nginx在美国为做虚拟主机生意的老板们经常选择的软件平台之一。能够支持高达50000个并发连接数的响应。

‘捌’ 服务器集群的负载均衡算法有哪些

轮转(Round-Robin)算法
加权轮转(Weighted Round Robin)算法
最小连接数（Least Connections）算法
加权最小连接数（Weighted Least Connections）算法
目的地址哈希散列（Destination Hashing Scheling）算法
源地址哈希散列（Source Hashing Scheling）算法
随机（Random）算法