java漏桶演算法

Ⅰ 流量整形的流量整形的核心演算法

流量整形的核心演算法有以下兩種，具體採用的技術為GTS（Generic Traffic Shaping），通用流量整形： 漏桶演算法（Leaky Bucket）
漏桶演算法是網路世界中流量整形（Traffic Shaping）或速率限制（Rate Limiting）時經常使用的一種演算法，它的主要目的是控制數據注入到網路的速率，平滑網路上的突發流量。漏桶演算法提供了一種機制，通過它，突發流量可以被整形以便為網路提供一個穩定的流量。 令牌桶演算法（Token Bucket）
有時人們將漏桶演算法與令牌桶演算法錯誤地混淆在一起。而實際上，這兩種演算法具有截然不同的特性並且為截然不同的目的而使用。它們之間最主要的差別在於：漏桶演算法能夠強行限制數據的傳輸速率，而令牌桶演算法能夠在限制數據的平均傳輸速率的同時還允許某種程度的突發傳輸。
在某些情況下，漏桶演算法不能夠有效地使用網路資源。因為漏桶的漏出速率是固定的參數，所以即使網路中不存在資源沖突（沒有發生擁塞），漏桶演算法也不能使某一個單獨的流突發到埠速率。因此，漏桶演算法對於存在突發特性的流量來說缺乏效率。而令牌桶演算法則能夠滿足這些具有突發特性的流量。通常，漏桶演算法與令牌桶演算法可以結合起來為網路流量提供更大的控制。

Ⅱ 什麼是漏桶演算法和令牌桶演算法

什麼是令牌桶
在我們討論突發數據量之前，我們首先要理解令牌桶的概念。令牌桶本身沒有丟棄
和優先順序策略，
令牌桶是這樣工作的：
1． 令牌以一定的速率放入桶中。
2． 每個令牌允許源發送一定數量的比特。
3． 發送一個包，流量調節器就要從桶中刪除與包大小相等的令牌數。
4． 如果沒有足夠的令牌發送包，這個包就會等待直到有足夠的令牌（在整形
器的情況下）或者包被丟棄，也有可能被標記更低的DSCP（在策略者的情況下）。
5． 桶有特定的容量，如果桶已經滿了，新加入的令牌就會被丟棄。因此，在
任何時候，源發送到網路上的最大突發數據量與桶的大小成比例。令牌桶允許突發，
但是不能超過限制。
Cisco IOS 流量策略（Traffic Policers）
IOS支持兩種流量策略：
1． 傳統的Cisco流量策略：CAR承諾接入速率，使用命令
Router(config-if)#rate-limit {input | output} CIR (bps)
Bc（burst-normal） Be(burst-max) conform-action action exceed-action action
2． 新型的Cisco流量策略：基於類的策略（Class-based policer），使用模
塊化Qos CLI（MQC）語法。可以使用MQC命令建立流量策略並把策略應用到介面。
一個流量策略包括一個流量類（traffic class）和一個或多個Qos特性。Policy
命令用來執行流量策略特性，它指定了一個流量類所需要的最大速率，超過這個速
率Qos系統會立刻執行一個操作，標準的操作是丟棄或重置包頭的DSCP欄位。Policy
命令的語法是：
police cir<bps> Bc<bc> Be<be> conform<conform-action> exceed
<exceed-action> violate<violate-action>
理解Bc和Be
對於超額的數據包，流量策略並不會把它們緩存稍候轉發，只有整形器（shaper）
會這樣做。流量策略只執行一個發送或不發送的策略。因為不能緩存數據包，所以
在發生擁塞時，所能做的最好的方法就是通過配置適當的超額突發數據量Be來不那
么過分的丟棄數據包。這一點對理解流量策略使用Bc和Be來保證達到CIR是非常
重要的。
超額參數模仿路由器的通用緩存規則。The rule recommends configuring buffering
equal to the round-trip time bitrate to accommodate the outstanding TCP
windows of all connections in times of congestion.
突發參數 目的 推薦公式
普通突發 · 執行標準的令牌桶 · 設置最大數量的令牌(盡管如
果Be>Bc的話可以借到令牌). · 決定令牌桶有多大，因為如果桶已經滿了那麼令
牌將被丟棄而不會再加入到桶中。 CIR [bps] * (1 byte)/(8 bits) * 1.5
seconds Note: 1.5 seconds is the typical round trip time.
超額突發 · 為令牌桶提供超額突發能力 · 如果Bc = Be那麼不
支持超額突發 · 當Bc = Be，流量調節器就不能借令牌，當令牌不夠時只能丟棄數
據包 兩倍的Bc
對TCP流量的測試表明，Bc 和Be的數值應該近似等於配置的平均速率在兩秒鍾內
的流量。如果你想限制流量在1Mb，應該把Bc 設置在1-2Mb，Be在2-4Mb。
舉個例子，如果我們想把輸出速率限制在1.5Mbps，我們可以做一下步驟：
1． 把承諾速率從比特轉換成位元組，因為突發數據量的單位為位元組。
1500000 bits / 8 bits = 187500 bytes
2． 使用標準的1.5秒往返時間（round-trip time）計算Bc
187500 bytes * 1.5秒 = 281250 bytes
3． 兩倍的Bc為Be
281250 bytes * 2 = 562500 bytes
使用命令
rate-limit input 1500000 281250 562500 conform-action {action}
exceed-action {action}
超額突發數據量
當數據包到達時可用的令牌數目小於包的大小，就可以使用超額突發數據量。包會
請求借用令牌。可以通過配置大於Bc的Be的數值來為令牌桶提供超額突發能力。
可以通過下面兩個例子來理解Be。
第一個例子說明怎樣配置CAR策略來允許所有的IP流量。管理員在T3線路上提供
了便宜的20Mbps的子速率服務。用戶只花費子速率帶寬的金額，也可以按需要增加
帶寬。CAR限制了用戶可用的流量速率，用戶只能使用規定的速率加上承諾的突發
數據量。可以適當的設置Be=32000。
interface hssi 0/0/0
rate-limit output 20000000 24000 32000 conform-action transmit
exceed-action drop
下一個例子，用戶只能發送24000位元組的突發數據量，所有超過限制的數據包都要
被丟棄，因為設置Bc=Be，數據包流不能通過超額突發能力來借用令牌。
interface Hssi0/0/0
rate-limit output 20000000 24000 24000 conform-action transmit
exceed-action drop
正確設置突發數據量的重要性
策略以位元組為單位指定了突發數據量，基於類的策略（class-based policer）支持
最小的突發數據量為1000位元組，包括第二層包頭。
突發數據量的目的是逐漸的丟棄數據包，就像RED那樣，並且避免尾丟棄。設置足
夠高的突發數據量對保證良好的吞吐量是非常重要的。
設置突發數據量時，考慮一下內容：
1． 如果突發數據量設置的過低，數據到達的速率將遠遠低於配置的速率。
2． 懲罰暫時突發對TCP流的吞吐量來說是相當不利的，具體情況請察看RFC
2001 and Random Early Detection (RED) gateways for Congestion Avoidance。
設置突發數據量來允許路由器容納暫時突發。
3． 對離開介面的數據包的處理基於包的大小和桶中剩餘的令牌數。
4． 在基於類的策略中，流量測量器不論介面是否擁塞都是激活的。每個包都
會經過令牌桶測量系統來決定是否符合配置的參數。
5． 如果數據突發量非常大而且非常突然，那麼配置較高的超額突發數據量可
以保證超額令牌桶中存放較多的令牌。而且可以調整介面的MTU等於或大於突發數
據量大小。
允許的突發數據量數值
最初，包括IOS12.0，rate-limit命令支持承諾和超額的突發數據量的范圍是：
Router1(config-if)#rate-limit input 18000000 ?
<8000-2000000> Normal burst bytes
Router1(config-if)#rate-limit input 18000000 2000000 ?
<8000-8000000> Maximum burst bytes
Router1(config-if)#rate-limit input 18000000 2000000
IOS12.1增加了突發數據量的最大值：
7500-107(config)#interface atm 1/0/0
7500-107(config-if)#rate-limit output ?
<8000-2000000000> Bits per second
access-group Match access list
qos-group Match qos-group ID<b

Ⅲ redis和mysql在處理高並發問題時有什麼差異

我的理解：
1、mysql支持sql查詢，可以實現一些關聯的查詢以及統計；
2、redis對內存要求比較高，在有限的條件下不能把所有數據都放在redis；
3、mysql偏向於存數據，redis偏向於快速取數據，但redis查詢復雜的表關系時不如mysql，所以可以把熱門的數據放redis，mysql存基本數據

看項目用在哪個地方吧，根據各自的所長結合起來才好用。

Ⅳ 關於MySQL高並發處理機制是如何實現

限流演算法目前程序開發過程常用的限流演算法有兩個：漏桶演算法和令牌桶演算法。

漏桶演算法

漏桶演算法的原理比較簡單，請求進入到漏桶中，漏桶以一定的速率漏水。當請求過多時，水直接溢出。可以看出，漏桶演算法可以強制限制數據的傳輸速度。如圖所示，把請求比作是水滴，水先滴到桶里，通過漏洞並以限定的速度出水，當水來得過猛而出水不夠快時就會導致水直接溢出，即拒絕服務。

圖片來自網路

漏桶演算法和令牌桶演算法的選擇

兩者的主要區別漏桶演算法能夠強行限制處理數據的速率，不論系統是否空閑。而令牌桶演算法能夠在限制數據的平均處理速率的同時還允許某種程度的突發流量。如何理解上面的含義呢？漏桶演算法，比如系統吞吐量是 120/s，業務請求 130/s，使用漏斗限流 100/s，起到限流的作用，多餘的請求將產生等待或者丟棄。對於令牌桶演算法，每秒產生 100 個令牌，系統容量 200 個令牌。正常情況下，業務請求 100/s 時，請求能被正常被處理。當有突發流量過來比如 200 個請求時，因為系統容量有 200 個令牌可以同一時刻處理掉這 200 個請求。如果是漏桶演算法，則只能處理 100 個請求，其他的請求等待或者被丟棄。

Ⅳ 如何設計一個支持高並發的高可用服務

服務程序最為關鍵的設計是並發服務模型，當前有以下幾種典型的模型：-單進程服務，使用非阻塞IO使用一個進程服務多個客戶，通常與客戶通信的套接字設置為非阻塞的，阻塞只發生在select()、poll()、epoll_wait()等系統調用上面。這是一種行之有效的單進程狀態機式服務方式，已被廣泛採用。缺點是它無法利用SMP(對稱多處理器)的優勢，除非啟動多個進程。此外，它嘗試就緒的IO文件描述符後，立即從系統調用返回，這會導致大量的系統調用發生，尤其是在較慢的位元組傳輸時。select()本身的實現也是有局限的：能打開的文件描述符最多不能超過FD_SETSIZE，很容易耗盡；每次從select()返回的描述符組中掃描就緒的描述符需要時間，如果就緒的描述符在末尾時更是如此（epoll特別徹底修復了這個問題）。-多進程服務，使用阻塞IO也稱作accept/fork模型，每當有客戶連線時產生一個新的進程為之服務。這種方式有時是必要的，比如可以通過操作系統獲得良好的內存保護，可以以不同的用戶身份運行程序，可以讓服務運行在不同的目錄下面。但是它的缺點也很明顯：進程比較占資源，進程切換開銷太大，共享某些信息比較麻煩。Apache1.3就使用了這種模型，MaxClients數很容易就可以達到。-多線程服務，使用阻塞IO也稱之accept/pthread_create模型，有新客戶來時創建一個服務線程而不是服務進程。這解決了多進程服務的一些問題，比如它佔用資源少，信息共享方便。但是麻煩在於線程仍有可能消耗光，線程切換也需要開銷。-混合服務方式所謂的混合服務方式，以打破服務方和客戶方之間嚴格的1:1關系。基本做法是：新客戶到來時創建新的工作線程，當該工作線程檢測到網路IO會有延遲時停止處理過程，返回給Server一個延遲處理狀態，同時告訴Server被延遲的文件描述符，延遲超時時間。Server會在合適的時候返回工作線程繼續處理。注意這里的工作線程不是通過pthread_create()創建的，而是被包裝在專門用於處理延遲工作的函數里。這里還有一個問題，工作線程如何檢測網路IO會有延遲？方法有很多，比如設置較短的超時時間調用poll()，或者甚至使用非阻塞IO。如果是套接字，可以設置SO_RCVTIMEO和SO_SNDTIMEO選項，這樣更有效率。除了延遲線程，Server還應提供了未完成線程的支持。如有有特別耗費時間的操作，你可以在完成部分工作後停止處理，返回給Server一個未完成狀態。這樣Server會檢查工作隊列是否有別的線程，如果有則讓它們運行，否則讓該工作線程繼續處理，這可以防止某些線程挨餓。典型的一個混合服務模型開源實現ServerKitServerkit的這些線程支持功能可簡化我們的服務程序設計，效率上應該也是有保證的。2.隊列(queue)ServerKit提供的隊列是一個單向鏈表，隊列的存取是原子操作，如果只有一個執行單元建議不要用，因為原子操作的開銷較大。3.堆(heap)malloc()分配內存有一定的局限，比如在多線程的環境里，需要序列化內存分配操作。ServerKit提供的堆管理函數，可快速分配內存，可有效減少分配內存的序列化操作，堆的大小可動態增長，堆有引用計數，這些特徵比較適合多線程環境。目前ServerKit堆的最大局限是分配單元必須是固定大小。4.日誌記錄日誌被保存在隊列，有一個專門的線程處理隊列中的日誌記錄：它或者調用syslog()寫進系統日誌，或者通過UDP直接寫到遠程機器。後者更有效。5.讀寫鎖GNUlibc也在pthreads庫里實現了讀寫鎖，如果定義了__USE_UNIX98就可以使用。不過ServerKit還提供了讀寫鎖互相轉換的函數，這使得鎖的應用更為彈性。比如擁有讀鎖的若干個線程對同一個hash表進行檢索，其中一個線程檢索到了數據，此時需要修改它，一種法是獲取寫鎖，但這會導致釋放讀鎖和獲取寫鎖之間存在時間窗，另一種法是使用ServerKit提供的函數把讀鎖轉換成寫鎖，無疑這種方式更有效率。除了以上這些功能，ServerKit還提供了資料庫連接池的管理（當前只支持MySQL）和序列化（Sequences），如感興趣可參見相關的API文檔。二、ServerKit服務模塊編寫ServerKit由3部分組成：server程序，負責載入服務模塊、解析配置文件、建立資料庫連接池；libserver，動態鏈接庫，提供所有功能的庫支持，包括server本身也是調用這個庫寫的；API，編程介面，你編寫的服務模塊和ServerKit框架進行對話的介面。ServerKit需要libConfuse解析配置文件，所以出了安裝ServerKit，還需要安裝libConfuse。關於libConfuse可參考。下面我們看一個簡單的服務模塊FOO：#include#includestaticlongintsleep_ration;staticintFOO_construct(){fprintf(stderr,"FOO_construct\n");return1;}staticintFOO_prestart(cfg_t*configuration){fprintf(stderr,"FOO_prestart\n");return1;}staticvoid*FOO_operator(void*foobar){fprintf(stderr,"FOO_operator\n");for(;;)sleep(sleep_ration);returnNULL;}staticvoidFOO_report(void){fprintf(stderr,"FOO_report\n");}staticcfg_opt_tFOO_config[]={CFG_SIMPLE_INT("sleep_ration",&sleep_ration),CFG_END()};staticchar*FOO_authors[]={"VitoCaputo",NULL};SERVER_MODULE(FOO,0,0,1,"")按以下方法編譯：$gcc-c-fPIC-pthread-D_REENTRANT-gFOO.c$gcc-shared-lserver-lconfuse-lpthread-g-e__server_mole_main-oFOO.soFOO.o-e選項指定程序運行入口，這使得你可以直接在命令行敲./FOO.so運行模塊。server程序根據環境變數SERVER_PERSONALITY_PATH定位主目錄，並查找主目錄下的c11n作為配置文件，動態載入的模塊需放在主目錄下的moles目錄。$exportSERVER_PERSONALITY_PATH=`pwd`$mkdirmoles$cpFOO.somoles$vic11nc11n的內容：identity="any_id"FOO{sleep_ration=1;}identity標識server實例，用ps可看到程序名稱形如server.identity，本例為server.any_id。執行server啟動服務程序。三、ServerKit其他功能缺陷缺乏daemon模式；只能運行在Linuxbox；DBpool只支持MySQL；Heap管理內存的功力有限

Ⅵ mysql資料庫怎麼解決高並發問題

限流演算法目前程序開發過程常用的限流演算法有兩個：漏桶演算法和令牌桶演算法。

漏桶演算法

漏桶演算法的原理比較簡單，請求進入到漏桶中，漏桶以一定的速率漏水。當請求過多時，水直接溢出。可以看出，漏桶演算法可以強制限制數據的傳輸速度。如圖所示，把請求比作是水滴，水先滴到桶里，通過漏洞並以限定的速度出水，當水來得過猛而出水不夠快時就會導致水直接溢出，即拒絕服務。

圖片來自網路

漏桶演算法和令牌桶演算法的選擇

兩者的主要區別漏桶演算法能夠強行限制處理數據的速率，不論系統是否空閑。而令牌桶演算法能夠在限制數據的平均處理速率的同時還允許某種程度的突發流量。如何理解上面的含義呢？漏桶演算法，比如系統吞吐量是 120/s，業務請求 130/s，使用漏斗限流 100/s，起到限流的作用，多餘的請求將產生等待或者丟棄。對於令牌桶演算法，每秒產生 100 個令牌，系統容量 200 個令牌。正常情況下，業務請求 100/s 時，請求能被正常被處理。當有突發流量過來比如 200 個請求時，因為系統容量有 200 個令牌可以同一時刻處理掉這 200 個請求。如果是漏桶演算法，則只能處理 100 個請求，其他的請求等待或者被丟棄。

Ⅶ 如何搭建億級並發的系統架構

想設計億萬級高並發架構，你要先知道高並發是什麼？

面對流量高峰，不同的企業是如何通過技術手段解決高並發難題的呢?

0、引言

軟體系統有三個追求：高性能、高並發、高可用，俗稱三高。三者既有區別也有聯系，門門道道很多，全面討論需要三天三夜，本篇討論高並發。

高並發（High Concurrency）。並發是操作系統領域的一個概念，指的是一段時間內多任務流交替執行的現象，後來這個概念被泛化，高並發用來指大流量、高請求的業務情景，比如春運搶票，電商雙十一，秒殺大促等場景。

很多程序員每天忙著搬磚，平時接觸不到高並發，哪天受不了跑去面試，還常常會被面試官犀利的高並發問題直接KO，其實吧，高並發系統也不高深，我保證任何一個智商在線的看過這篇文章後，都能戰勝恐懼，重拾生活的信心。

本文先介紹高並發系統的度量指標，然後講述高並發系統的設計思路，再梳理高並發的關鍵技術，最後結合作者的經驗做一些延伸探討。

1、高並發的度量指標

既然是高並發系統，那並發一定要高，不然就名不副實。並發的指標一般有QPS、TPS、IOPS，這幾個指標都是可歸為系統吞吐率，QPS越高系統能hold住的請求數越多，但光關注這幾個指標不夠，我們還需要關注RT，即響應時間，也就是從發出request到收到response的時延，這個指標跟吞吐往往是此消彼長的，我們追求的是一定時延下的高吞吐。

比如有100萬次請求，99萬次請求都在10毫秒內響應，其他次數10秒才響應，平均時延不高，但時延高的用戶受不了，所以，就有了TP90/TP99指標，這個指標不是求平均，而是把時延從小到大排序，取排名90%/99%的時延，這個指標越大，對慢請求越敏感。

除此之外，有時候，我們也會關注可用性指標，這可歸到穩定性。

一般而言，用戶感知友好的高並發系統，時延應該控制在250毫秒以內。

什麼樣的系統才能稱為高並發？這個不好回答，因為它取決於系統或者業務的類型。不過我可以告訴你一些眾所周知的指標，這樣能幫助你下次在跟人扯淡的時候稍微靠點兒譜，不至於貽笑大方。

通常，資料庫單機每秒也就能抗住幾千這個量級，而做邏輯處理的服務單台每秒抗幾萬、甚至幾十萬都有可能，而消息隊列等中間件單機每秒處理個幾萬沒問題，所以我們經常聽到每秒處理數百萬、數千萬的消息中間件集群，而像阿某的API網關，每日百億請求也有可能。

2、高並發的設計思路

高並發的設計思路有兩個方向：

• 垂直方向擴展，也叫豎向擴展

• 水平方向擴展，也叫橫向擴展

垂直方向：提升單機能力

提升單機處理能力又可分為硬體和軟體兩個方面：

• 硬體方向，很好理解，花錢升級機器，更多核更高主頻更大存儲空間更多帶寬

• 軟體方向，包括用各快的數據結構，改進架構，應用多線程、協程，以及上性能優化各種手段，但這玩意兒天花板低，就像提升個人產出一樣，996、007、最多24 X 7。

水平方向：分布式集群

為了解決分布式系統的復雜性問題，一般會用到架構分層和服務拆分，通過分層做隔離，通過微服務解耦。

這個理論上沒有上限，只要做好層次和服務劃分，加機器擴容就能滿足需求，但實際上並非如此，一方面分布式會增加系統復雜性，另一方面集群規模上去之後，也會引入一堆AIOps、服務發現、服務治理的新問題。

因為垂直向的限制，所以，我們通常更關注水平擴展，高並發系統的實施也主要圍繞水平方向展開。

3、高並發的關鍵技術

玩具式的網路服務程序，用戶可以直連伺服器，甚至不需要資料庫，直接寫磁碟文件。但春運購票系統顯然不能這么做，它肯定扛不住這個壓力，那一般的高並發系統是怎麼做呢？比如某寶這樣的正經系統是怎麼處理高並發的呢？

其實大的思路都差不多，層次劃分 + 功能劃分。可以把層次劃分理解為水平方向的劃分，而功能劃分理解為垂直方向的劃分。

首先，用戶不能直連伺服器，要做分布式就要解決「分」的問題，有多個服務實例就需要做負載均衡，有不同服務類型就需要服務發現。

集群化：負載均衡

負載均衡就是把負載（request）均衡分配到不同的服務實例，利用集群的能力去對抗高並發，負載均衡是服務集群化的實施要素，它分3種：

• DNS負載均衡，客戶端通過URL發起網路服務請求的時候，會去DNS伺服器做域名解釋，DNS會按一定的策略（比如就近策略）把URL轉換成IP地址，同一個URL會被解釋成不同的IP地址，這便是DNS負載均衡，它是一種粗粒度的負載均衡，它只用URL前半部分，因為DNS負載均衡一般採用就近原則，所以通常能降低時延，但DNS有cache，所以也會更新不及時的問題。

• 硬體負載均衡，通過布置特殊的負載均衡設備到機房做負載均衡，比如F5，這種設備貴，性能高，可以支撐每秒百萬並發，還能做一些安全防護，比如防火牆。

• 軟體負載均衡，根據工作在ISO 7層網路模型的層次，可分為四層負載均衡（比如章文嵩博士的LVS）和七層負載均衡（NGINX），軟體負載均衡配置靈活，擴展性強，阿某雲的SLB作為服務對外售賣，Nginx可以對URL的後半部做解釋承擔API網關的職責。

所以，完整的負載均衡鏈路是 client <-> DNS負載均衡 -> F5 -> LVS/SLB -> NGINX

不管選擇哪種LB策略，或者組合LB策略，邏輯上，我們都可以視為負載均衡層，通過添加負載均衡層，我們將負載均勻分散到了後面的服務集群，具備基礎的高並發能力，但這只是萬里長征第一步。

資料庫層面：分庫分表+讀寫分離

前面通過負載均衡解決了無狀態服務的水平擴展問題，但我們的系統不全是無狀態的，後面通常還有有狀態的資料庫，所以解決了前面的問題，存儲有可能成為系統的瓶頸，我們需要對有狀態存儲做分片路由。

資料庫的單機QPS一般不高，也就幾千，顯然滿足不了高並發的要求。

所以，我們需要做分庫分表 + 讀寫分離。

就是把一個庫分成多個庫，部署在多個資料庫服務上，主庫承載寫請求，從庫承載讀請求。從庫可以掛載多個，因為很多場景寫的請求遠少於讀的請求，這樣就把對單個庫的壓力降下來了。

如果寫的請求上升就繼續分庫分表，如果讀的請求上升就掛更多的從庫，但資料庫天生不是很適合高並發，而且資料庫對機器配置的要求一般很高，導致單位服務成本高，所以，這樣加機器抗壓力成本太高，還得另外想招。

讀多寫少：緩存

緩存的理論依據是局部性原理。

一般系統的寫入請求遠少於讀請求，針對寫少讀多的場景，很適合引入緩存集群。

在寫資料庫的時候同時寫一份數據到緩存集群里，然後用緩存集群來承載大部分的讀請求，因為緩存集群很容易做到高性能，所以，這樣的話，通過緩存集群，就可以用更少的機器資源承載更高的並發。

緩存的命中率一般能做到很高，而且速度很快，處理能力也強（單機很容易做到幾萬並發），是理想的解決方案。

CDN本質上就是緩存，被用戶大量訪問的靜態資源緩存在CDN中是目前的通用做法。

緩存也有很多需要謹慎處理的問題：

• 一致性問題：(a)更新db成功+更新cache失敗 -> 不一致 (b)更新db失敗+更新cache成功 -> 不一致 ©更新db成功+淘汰緩存失敗 -> 不一致

• 緩存穿透：查詢一定不存在的數據，會穿透緩存直接壓到資料庫，從而導致緩存失去作用，如果有人利用這個漏洞，大量查詢一定不存在的數據，會對資料庫造成壓力，甚至打掛資料庫。解決方案：布隆過濾器 或者 簡單的方案，查詢不存在的key，也把空結果寫入緩存（設置較短的過期淘汰時間），從而降低命失

• 緩存雪崩：如果大量緩存在一個時刻同時失效，則請求會轉到DB，則對DB形成壓迫，導致雪崩。簡單的解決方案是為緩存失效時間添加隨機值，降低同一時間點失效淘汰緩存數，避免集體失效事件發生

但緩存是針對讀，如果寫的壓力很大，怎麼辦？

高寫入：消息中間件

同理，通過跟主庫加機器，耗費的機器資源是很大的，這個就是資料庫系統的特點所決定的。

相同的資源下，資料庫系統太重太復雜，所以並發承載能力就在幾千/s的量級，所以此時你需要引入別的一些技術。

比如說消息中間件技術，也就是MQ集群，它是非常好的做寫請求非同步化處理，實現削峰填谷的效果。

消息隊列能做解耦，在只需要最終一致性的場景下，很適合用來配合做流控。

假如說，每秒是1萬次寫請求，其中比如5千次請求是必須請求過來立馬寫入資料庫中的，但是另外5千次寫請求是可以允許非同步化等待個幾十秒，甚至幾分鍾後才落入資料庫內的。

那麼此時完全可以引入消息中間件集群，把允許非同步化的每秒5千次請求寫入MQ，然後基於MQ做一個削峰填谷。比如就以平穩的1000/s的速度消費出來然後落入資料庫中即可，此時就會大幅度降低資料庫的寫入壓力。

業界有很多著名的消息中間件，比如ZeroMQ，rabbitMQ，kafka等。

消息隊列本身也跟緩存系統一樣，可以用很少的資源支撐很高的並發請求，用它來支撐部分允許非同步化的高並發寫入是很合適的，比使用資料庫直接支撐那部分高並發請求要減少很多的機器使用量。

避免擠兌：流控

再強大的系統，也怕流量短事件內集中爆發，就像銀行怕擠兌一樣，所以，高並發另一個必不可少的模塊就是流控。

流控的關鍵是流控演算法，有4種常見的流控演算法。

• 計數器演算法（固定窗口）：計數器演算法是使用計數器在周期內累加訪問次數，當達到設定的限流值時，觸發限流策略，下一個周期開始時，進行清零，重新計數，實現簡單。計數器演算法方式限流對於周期比較長的限流，存在很大的弊端，有嚴重的臨界問題。

• 滑動窗口演算法：將時間周期分為N個小周期，分別記錄每個小周期內訪問次數，並且根據時間滑動刪除過期的小周期，當滑動窗口的格子劃分的越多，那麼滑動窗口的滾動就越平滑，限流的統計就會越精確。此演算法可以很好的解決固定窗口演算法的臨界問題。

• 漏桶演算法：訪問請求到達時直接放入漏桶，如當前容量已達到上限（限流值），則進行丟棄（觸發限流策略）。漏桶以固定的速率進行釋放訪問請求（即請求通過），直到漏桶為空。分布式環境下實施難度高。

• 令牌桶演算法：程序以r（r=時間周期/限流值）的速度向令牌桶中增加令牌，直到令牌桶滿，請求到達時向令牌桶請求令牌，如獲取到令牌則通過請求，否則觸發限流策略。分布式環境下實施難度高。

4、高並發的實踐經驗

接入-邏輯-存儲是經典的互聯網後端分層，但隨著業務規模的提高，邏輯層的復雜度也上升了，所以，針對邏輯層的架構設計也出現很多新的技術和思路，常見的做法包括系統拆分，微服務。

除此之外，也有很多業界的優秀實踐，包括某信伺服器通過協程（無侵入，已開源libco）改造，極大的提高了系統的並發度和穩定性，另外，緩存預熱，預計算，批量讀寫（減少IO），池技術等也廣泛應用在實踐中，有效的提升了系統並發能力。

為了提升並發能力，邏輯後端對請求的處理，一般會用到生產者-消費者多線程模型，即I/O線程負責網路IO，協議編解碼，網路位元組流被解碼後產生的協議對象，會被包裝成task投入到task queue，然後worker線程會從該隊列取出task執行，有些系統會用多進程而非多線程，通過共享存儲，維護2個方向的shm queue，一個input q，一個output q，為了提高並發度，有時候會引入協程，協程是用戶線程態的多執行流，它的切換成本更低，通常有更好的調度效率。

另外，構建漏斗型業務或者系統，從客戶端請求到接入層，到邏輯層，到DB層，層層遞減，過濾掉請求，Fail Fast（盡早發現盡早過濾），嘴大屁眼小，哈哈。

漏斗型系統不僅僅是一個技術模型，它也可以是一個產品思維，配合產品的用戶分流，邏輯分離，可以構建全方位的立體模型。

5、小結

莫讓浮雲遮望眼，除去繁華識真顏。我們不能掌握了大方案，吹完了牛皮，而忽視了編程最本質的東西，掌握最基本最核心的編程能力，比如數據架構和演算法，設計，慣用法，培養技術的審美，也是很重要的，既要致高遠，又要盡精微。