㈠ php怎麼處理高並發
以下內容轉載自徐漢彬大牛的博客億級Web系統搭建——單機到分布式集群
當一個Web系統從日訪問量10萬逐步增長到1000萬，甚至超過1億的過程中，Web系統承受的壓力會越來越大，在這個過程中，我們會遇到很多的問題。為了解決這些性能壓力帶來問題，我們需要在Web系統架構層面搭建多個層次的緩存機制。在不同的壓力階段，我們會遇到不同的問題，通過搭建不同的服務和架構來解決。
Web負載均衡
Web負載均衡（Load Balancing），簡單地說就是給我們的伺服器集群分配「工作任務」，而採用恰當的分配方式，對於保護處於後端的Web伺服器來說，非常重要。
負載均衡的策略有很多，我們從簡單的講起哈。
1.HTTP重定向
當用戶發來請求的時候，Web伺服器通過修改HTTP響應頭中的Location標記來返回一個新的url，然後瀏覽器再繼續請求這個新url，實際上就是頁面重定向。通過重定向，來達到「負載均衡」的目標。例如，我們在下載PHP源碼包的時候，點擊下載鏈接時，為了解決不同國家和地域下載速度的問題，它會返回一個離我們近的下載地址。重定向的HTTP返回碼是302
這個重定向非常容易實現，並且可以自定義各種策略。但是，它在大規模訪問量下，性能不佳。而且，給用戶的體驗也不好，實際請求發生重定向，增加了網路延時。
2. 反向代理負載均衡
反向代理服務的核心工作主要是轉發HTTP請求，扮演了瀏覽器端和後台Web伺服器中轉的角色。因為它工作在HTTP層（應用層），也就是網路七層結構中的第七層，因此也被稱為「七層負載均衡」。可以做反向代理的軟體很多，比較常見的一種是Nginx。
Nginx是一種非常靈活的反向代理軟體，可以自由定製化轉發策略，分配伺服器流量的權重等。反向代理中，常見的一個問題，就是Web伺服器存儲的session數據，因為一般負載均衡的策略都是隨機分配請求的。同一個登錄用戶的請求，無法保證一定分配到相同的Web機器上，會導致無法找到session的問題。
解決方案主要有兩種：
1.配置反向代理的轉發規則，讓同一個用戶的請求一定落到同一台機器上（通過分析cookie），復雜的轉發規則將會消耗更多的CPU，也增加了代理伺服器的負擔。
2.將session這類的信息，專門用某個獨立服務來存儲，例如redis/memchache，這個方案是比較推薦的。
反向代理服務，也是可以開啟緩存的，如果開啟了，會增加反向代理的負擔，需要謹慎使用。這種負載均衡策略實現和部署非常簡單，而且性能表現也比較好。但是，它有「單點故障」的問題，如果掛了，會帶來很多的麻煩。而且，到了後期Web伺服器繼續增加，它本身可能成為系統的瓶頸。
3. IP負載均衡
IP負載均衡服務是工作在網路層（修改IP）和傳輸層（修改埠，第四層），比起工作在應用層（第七層）性能要高出非常多。原理是，他是對IP層的數據包的IP地址和埠信息進行修改，達到負載均衡的目的。這種方式，也被稱為「四層負載均衡」。常見的負載均衡方式，是LVS（Linux Virtual Server，Linux虛擬服務），通過IPVS（IP Virtual Server，IP虛擬服務）來實現。
在負載均衡伺服器收到客戶端的IP包的時候，會修改IP包的目標IP地址或埠，然後原封不動地投遞到內部網路中，數據包會流入到實際Web伺服器。實際伺服器處理完成後，又會將數據包投遞回給負載均衡伺服器，它再修改目標IP地址為用戶IP地址，最終回到客戶端。
上述的方式叫LVS-NAT，除此之外，還有LVS-RD（直接路由），LVS-TUN（IP隧道），三者之間都屬於LVS的方式，但是有一定的區別，篇幅問題，不贅敘。
IP負載均衡的性能要高出Nginx的反向代理很多，它只處理到傳輸層為止的數據包，並不做進一步的組包，然後直接轉發給實際伺服器。不過，它的配置和搭建比較復雜。
4. DNS負載均衡
DNS（Domain Name System）負責域名解析的服務，域名url實際上是伺服器的別名，實際映射是一個IP地址，解析過程，就是DNS完成域名到IP的映射。而一個域名是可以配置成對應多個IP的。因此，DNS也就可以作為負載均衡服務。
這種負載均衡策略，配置簡單，性能極佳。但是，不能自由定義規則，而且，變更被映射的IP或者機器故障時很麻煩，還存在DNS生效延遲的問題。
5. DNS/GSLB負載均衡
我們常用的CDN（Content Delivery Network，內容分發網路）實現方式，其實就是在同一個域名映射為多IP的基礎上更進一步，通過GSLB（Global Server Load Balance，全局負載均衡）按照指定規則映射域名的IP。一般情況下都是按照地理位置，將離用戶近的IP返回給用戶，減少網路傳輸中的路由節點之間的跳躍消耗。
「向上尋找」，實際過程是LDNS（Local DNS）先向根域名服務（Root Name Server）獲取到頂級根的Name Server（例如.com的），然後得到指定域名的授權DNS，然後再獲得實際伺服器IP。
CDN在Web系統中，一般情況下是用來解決大小較大的靜態資源（html/Js/Css/圖片等）的載入問題，讓這些比較依賴網路下載的內容，盡可能離用戶更近，提升用戶體驗。
例如，我訪問了一張imgcache.gtimg.cn上的圖片（騰訊的自建CDN，不使用qq.com域名的原因是防止http請求的時候，帶上了多餘的cookie信息），我獲得的IP是183.60.217.90。
這種方式，和前面的DNS負載均衡一樣，不僅性能極佳，而且支持配置多種策略。但是，搭建和維護成本非常高。互聯網一線公司，會自建CDN服務，中小型公司一般使用第三方提供的CDN。
Web系統的緩存機制的建立和優化
剛剛我們講完了Web系統的外部網路環境，現在我們開始關注我們Web系統自身的性能問題。我們的Web站點隨著訪問量的上升，會遇到很多的挑戰，解決這些問題不僅僅是擴容機器這么簡單，建立和使用合適的緩存機制才是根本。
最開始，我們的Web系統架構可能是這樣的，每個環節，都可能只有1台機器。
我們從最根本的數據存儲開始看哈。
一、 MySQL資料庫內部緩存使用
MySQL的緩存機制，就從先從MySQL內部開始，下面的內容將以最常見的InnoDB存儲引擎為主。
1. 建立恰當的索引
最簡單的是建立索引，索引在表數據比較大的時候，起到快速檢索數據的作用，但是成本也是有的。首先，佔用了一定的磁碟空間，其中組合索引最突出，使用需要謹慎，它產生的索引甚至會比源數據更大。其次，建立索引之後的數據insert/update/delete等操作，因為需要更新原來的索引，耗時會增加。當然，實際上我們的系統從總體來說，是以select查詢操作居多，因此，索引的使用仍然對系統性能有大幅提升的作用。
2. 資料庫連接線程池緩存
如果，每一個資料庫操作請求都需要創建和銷毀連接的話，對資料庫來說，無疑也是一種巨大的開銷。為了減少這類型的開銷，可以在MySQL中配置thread_cache_size來表示保留多少線程用於復用。線程不夠的時候，再創建，空閑過多的時候，則銷毀。
其實，還有更為激進一點的做法，使用pconnect（資料庫長連接），線程一旦創建在很長時間內都保持著。但是，在訪問量比較大，機器比較多的情況下，這種用法很可能會導致「資料庫連接數耗盡」，因為建立連接並不回收，最終達到資料庫的max_connections（最大連接數）。因此，長連接的用法通常需要在CGI和MySQL之間實現一個「連接池」服務，控制CGI機器「盲目」創建連接數。
建立資料庫連接池服務，有很多實現的方式，PHP的話，我推薦使用swoole（PHP的一個網路通訊拓展）來實現。
3. Innodb緩存設置（innodb_buffer_pool_size）
innodb_buffer_pool_size這是個用來保存索引和數據的內存緩存區，如果機器是MySQL獨占的機器，一般推薦為機器物理內存的80%。在取表數據的場景中，它可以減少磁碟IO。一般來說，這個值設置越大，cache命中率會越高。
4. 分庫/分表/分區。
MySQL資料庫表一般承受數據量在百萬級別，再往上增長，各項性能將會出現大幅度下降，因此，當我們預見數據量會超過這個量級的時候，建議進行分庫/分表/分區等操作。最好的做法，是服務在搭建之初就設計為分庫分表的存儲模式，從根本上杜絕中後期的風險。不過，會犧牲一些便利性，例如列表式的查詢，同時，也增加了維護的復雜度。不過，到了數據量千萬級別或者以上的時候，我們會發現，它們都是值得的。
二、 MySQL資料庫多台服務搭建
1台MySQL機器，實際上是高風險的單點，因為如果它掛了，我們Web服務就不可用了。而且，隨著Web系統訪問量繼續增加，終於有一天，我們發現1台MySQL伺服器無法支撐下去，我們開始需要使用更多的MySQL機器。當引入多台MySQL機器的時候，很多新的問題又將產生。
1. 建立MySQL主從，從庫作為備份
這種做法純粹為了解決「單點故障」的問題，在主庫出故障的時候，切換到從庫。不過，這種做法實際上有點浪費資源，因為從庫實際上被閑著了。
2. MySQL讀寫分離，主庫寫，從庫讀。
兩台資料庫做讀寫分離，主庫負責寫入類的操作，從庫負責讀的操作。並且，如果主庫發生故障，仍然不影響讀的操作，同時也可以將全部讀寫都臨時切換到從庫中（需要注意流量，可能會因為流量過大，把從庫也拖垮）。
3. 主主互備。
兩台MySQL之間互為彼此的從庫，同時又是主庫。這種方案，既做到了訪問量的壓力分流，同時也解決了「單點故障」問題。任何一台故障，都還有另外一套可供使用的服務。
不過，這種方案，只能用在兩台機器的場景。如果業務拓展還是很快的話，可以選擇將業務分離，建立多個主主互備。
三、 MySQL資料庫機器之間的數據同步
每當我們解決一個問題，新的問題必然誕生在舊的解決方案上。當我們有多台MySQL，在業務高峰期，很可能出現兩個庫之間的數據有延遲的場景。並且，網路和機器負載等，也會影響數據同步的延遲。我們曾經遇到過，在日訪問量接近1億的特殊場景下，出現，從庫數據需要很多天才能同步追上主庫的數據。這種場景下，從庫基本失去效用了。
於是，解決同步問題，就是我們下一步需要關注的點。
1. MySQL自帶多線程同步
MySQL5.6開始支持主庫和從庫數據同步，走多線程。但是，限制也是比較明顯的，只能以庫為單位。MySQL數據同步是通過binlog日誌，主庫寫入到binlog日誌的操作，是具有順序的，尤其當SQL操作中含有對於表結構的修改等操作，對於後續的SQL語句操作是有影響的。因此，從庫同步數據，必須走單進程。
2. 自己實現解析binlog，多線程寫入。
以資料庫的表為單位，解析binlog多張表同時做數據同步。這樣做的話，的確能夠加快數據同步的效率，但是，如果表和表之間存在結構關系或者數據依賴的話，則同樣存在寫入順序的問題。這種方式，可用於一些比較穩定並且相對獨立的數據表。
國內一線互聯網公司，大部分都是通過這種方式，來加快數據同步效率。還有更為激進的做法，是直接解析binlog，忽略以表為單位，直接寫入。但是這種做法，實現復雜，使用范圍就更受到限制，只能用於一些場景特殊的資料庫中（沒有表結構變更，表和表之間沒有數據依賴等特殊表）。
四、 在Web伺服器和資料庫之間建立緩存
實際上，解決大訪問量的問題，不能僅僅著眼於資料庫層面。根據「二八定律」，80%的請求只關注在20%的熱點數據上。因此，我們應該建立Web伺服器和資料庫之間的緩存機制。這種機制，可以用磁碟作為緩存，也可以用內存緩存的方式。通過它們，將大部分的熱點數據查詢，阻擋在資料庫之前。
1. 頁面靜態化
用戶訪問網站的某個頁面，頁面上的大部分內容在很長一段時間內，可能都是沒有變化的。例如一篇新聞報道，一旦發布幾乎是不會修改內容的。這樣的話，通過CGI生成的靜態html頁面緩存到Web伺服器的磁碟本地。除了第一次，是通過動態CGI查詢資料庫獲取之外，之後都直接將本地磁碟文件返回給用戶。
在Web系統規模比較小的時候，這種做法看似完美。但是，一旦Web系統規模變大，例如當我有100台的Web伺服器的時候。那樣這些磁碟文件，將會有100份，這個是資源浪費，也不好維護。這個時候有人會想，可以集中一台伺服器存起來，呵呵，不如看看下面一種緩存方式吧，它就是這樣做的。
2. 單台內存緩存
通過頁面靜態化的例子中，我們可以知道將「緩存」搭建在Web機器本機是不好維護的，會帶來更多問題（實際上，通過PHP的apc拓展，可通過Key/value操作Web伺服器的本機內存）。因此，我們選擇搭建的內存緩存服務，也必須是一個獨立的服務。
內存緩存的選擇，主要有redis/memcache。從性能上說，兩者差別不大，從功能豐富程度上說，Redis更勝一籌。
3. 內存緩存集群
當我們搭建單台內存緩存完畢，我們又會面臨單點故障的問題，因此，我們必須將它變成一個集群。簡單的做法，是給他增加一個slave作為備份機器。但是，如果請求量真的很多，我們發現cache命中率不高，需要更多的機器內存呢？因此，我們更建議將它配置成一個集群。例如，類似redis cluster。
Redis cluster集群內的Redis互為多組主從，同時每個節點都可以接受請求，在拓展集群的時候比較方便。客戶端可以向任意一個節點發送請求，如果是它的「負責」的內容，則直接返回內容。否則，查找實際負責Redis節點，然後將地址告知客戶端，客戶端重新請求。
對於使用緩存服務的客戶端來說，這一切是透明的。
內存緩存服務在切換的時候，是有一定風險的。從A集群切換到B集群的過程中，必須保證B集群提前做好「預熱」（B集群的內存中的熱點數據，應該盡量與A集群相同，否則，切換的一瞬間大量請求內容，在B集群的內存緩存中查找不到，流量直接沖擊後端的資料庫服務，很可能導致資料庫宕機）。
4. 減少資料庫「寫」
上面的機制，都實現減少資料庫的「讀」的操作，但是，寫的操作也是一個大的壓力。寫的操作，雖然無法減少，但是可以通過合並請求，來起到減輕壓力的效果。這個時候，我們就需要在內存緩存集群和資料庫集群之間，建立一個修改同步機制。
先將修改請求生效在cache中，讓外界查詢顯示正常，然後將這些sql修改放入到一個隊列中存儲起來，隊列滿或者每隔一段時間，合並為一個請求到資料庫中更新資料庫。
除了上述通過改變系統架構的方式提升寫的性能外，MySQL本身也可以通過配置參數innodb_flush_log_at_trx_commit來調整寫入磁碟的策略。如果機器成本允許，從硬體層面解決問題，可以選擇老一點的RAID（Rendant Arrays of independent Disks，磁碟列陣）或者比較新的SSD（Solid State Drives，固態硬碟）。
5. NoSQL存儲
不管資料庫的讀還是寫，當流量再進一步上漲，終會達到「人力有窮時」的場景。繼續加機器的成本比較高，並且不一定可以真正解決問題的時候。這個時候，部分核心數據，就可以考慮使用NoSQL的資料庫。NoSQL存儲，大部分都是採用key-value的方式，這里比較推薦使用上面介紹過Redis，Redis本身是一個內存cache，同時也可以當做一個存儲來使用，讓它直接將數據落地到磁碟。
這樣的話，我們就將資料庫中某些被頻繁讀寫的數據，分離出來，放在我們新搭建的Redis存儲集群中，又進一步減輕原來MySQL資料庫的壓力，同時因為Redis本身是個內存級別的Cache，讀寫的性能都會大幅度提升。
國內一線互聯網公司，架構上採用的解決方案很多是類似於上述方案，不過，使用的cache服務卻不一定是Redis，他們會有更豐富的其他選擇，甚至根據自身業務特點開發出自己的NoSQL服務。
6. 空節點查詢問題
當我們搭建完前面所說的全部服務，認為Web系統已經很強的時候。我們還是那句話，新的問題還是會來的。空節點查詢，是指那些資料庫中根本不存在的數據請求。例如，我請求查詢一個不存在人員信息，系統會從各級緩存逐級查找，最後查到到資料庫本身，然後才得出查找不到的結論，返回給前端。因為各級cache對它無效，這個請求是非常消耗系統資源的，而如果大量的空節點查詢，是可以沖擊到系統服務的。
在我曾經的工作經歷中，曾深受其害。因此，為了維護Web系統的穩定性，設計適當的空節點過濾機制，非常有必要。
我們當時採用的方式，就是設計一張簡單的記錄映射表。將存在的記錄存儲起來，放入到一台內存cache中，這樣的話，如果還有空節點查詢，則在緩存這一層就被阻擋了。
異地部署（地理分布式）
完成了上述架構建設之後，我們的系統是否就已經足夠強大了呢？答案當然是否定的哈，優化是無極限的。Web系統雖然表面上看，似乎比較強大了，但是給予用戶的體驗卻不一定是最好的。因為東北的同學，訪問深圳的一個網站服務，他還是會感到一些網路距離上的慢。這個時候，我們就需要做異地部署，讓Web系統離用戶更近。
一、 核心集中與節點分散
有玩過大型網游的同學都會知道，網游是有很多個區的，一般都是按照地域來分，例如廣東專區，北京專區。如果一個在廣東的玩家，去北京專區玩，那麼他會感覺明顯比在廣東專區卡。實際上，這些大區的名稱就已經說明了，它的伺服器所在地，所以，廣東的玩家去連接地處北京的伺服器，網路當然會比較慢。
當一個系統和服務足夠大的時候，就必須開始考慮異地部署的問題了。讓你的服務，盡可能離用戶更近。我們前面已經提到了Web的靜態資源，可以存放在CDN上，然後通過DNS/GSLB的方式，讓靜態資源的分散「全國各地」。但是，CDN只解決的靜態資源的問題，沒有解決後端龐大的系統服務還只集中在某個固定城市的問題。
這個時候，異地部署就開始了。異地部署一般遵循：核心集中，節點分散。
·核心集中：實際部署過程中，總有一部分的數據和服務存在不可部署多套，或者部署多套成本巨大。而對於這些服務和數據，就仍然維持一套，而部署地點選擇一個地域比較中心的地方，通過網路內部專線來和各個節點通訊。
·節點分散：將一些服務部署為多套，分布在各個城市節點，讓用戶請求盡可能選擇近的節點訪問服務。
例如，我們選擇在上海部署為核心節點，北京，深圳，武漢，上海為分散節點（上海自己本身也是一個分散節點）。我們的服務架構如圖：
需要補充一下的是，上圖中上海節點和核心節點是同處於一個機房的，其他分散節點各自獨立機房。
國內有很多大型網游，都是大致遵循上述架構。它們會把數據量不大的用戶核心賬號等放在核心節點，而大部分的網游數據，例如裝備、任務等數據和服務放在地區節點里。當然，核心節點和地域節點之間，也有緩存機制。
二、 節點容災和過載保護
節點容災是指，某個節點如果發生故障時，我們需要建立一個機制去保證服務仍然可用。毫無疑問，這里比較常見的容災方式，是切換到附近城市節點。假如系統的天津節點發生故障，那麼我們就將網路流量切換到附近的北京節點上。考慮到負載均衡，可能需要同時將流量切換到附近的幾個地域節點。另一方面，核心節點自身也是需要自己做好容災和備份的，核心節點一旦故障，就會影響全國服務。
過載保護，指的是一個節點已經達到最大容量，無法繼續接接受更多請求了，系統必須有一個保護的機制。一個服務已經滿負載，還繼續接受新的請求，結果很可能就是宕機，影響整個節點的服務，為了至少保障大部分用戶的正常使用，過載保護是必要的。
解決過載保護，一般2個方向：
·拒絕服務，檢測到滿負載之後，就不再接受新的連接請求。例如網游登入中的排隊。
·分流到其他節點。這種的話，系統實現更為復雜，又涉及到負載均衡的問題。
小結
Web系統會隨著訪問規模的增長，漸漸地從1台伺服器可以滿足需求，一直成長為「龐然大物」的大集群。而這個Web系統變大的過程，實際上就是我們解決問題的過程。在不同的階段，解決不同的問題，而新的問題又誕生在舊的解決方案之上。
系統的優化是沒有極限的，軟體和系統架構也一直在快速發展，新的方案解決了老的問題，同時也帶來新的挑戰。
㈡ 大數據技術包括哪些
想要成為炙手可熱的大數據技術人才，這些大數據的核心技術一定要知曉！
一、大數據基礎階段
大數據基礎階段需掌握的技術有：Linux、Docker、KVM、MySQL基礎、Oracle基礎、MongoDB、redis以及hadoop maprece hdfs yarn等。
1、Linux命令
對於大數據開發通常是在Linux環境下進行的，相比Linux操作系統，Windows操作系統是封閉的操作系統，開源的大數據軟體很受限制，因此，想從事大數據開發相關工作，還需掌握Linux基礎操作命令
2、 Redis
Redis是一個key-value存儲系統，其出現很大程度補償了memcached這類key/value存儲的不足，在部分場合可以對關系資料庫起到很好的補充作用，它提供了Java，C/C++，C#，PHP，JavaScript，Perl，Object-C，Python，Ruby，Erlang等客戶端，使用很方便，大數據開發需掌握Redis的安裝、配置及相關使用方法。
二、大數據存儲階段
大數據存儲階段需掌握的技術有：hbase、hive、sqoop等。
1、HBase
HBase是一個分布式的、面向列的開源資料庫，它不同於一般的關系資料庫，更適合於非結構化數據存儲的資料庫，是一個高可靠性、高性能、面向列、可伸縮的分布式存儲系統，大數據開發需掌握HBase基礎知識、應用、架構以及高級用法等。
2、Hive
Hive是基於Hadoop的一個數據倉庫工具，可以將結構化的數據文件映射為一張資料庫表，並提供簡單的sql查詢功能，可以將sql語句轉換為MapRece任務進行運行，十分適合數據倉庫的統計分析。對於Hive需掌握其安裝、應用及高級操作等。
三、大數據架構設計階段
大數據架構設計階段需掌握的技術有：Flume分布式、Zookeeper、Kafka等。
1、Kafka
Kafka是一種高吞吐量的分布式發布訂閱消息系統，其在大數據開發應用上的目的是通過Hadoop的並行載入機制來統一線上和離線的消息處理，也是為了通過集群來提供實時的消息。大數據開發需掌握Kafka架構原理及各組件的作用和使用方法及相關功能的實現！
2、Flume
Flume是一款高可用、高可靠、分布式的海量日誌採集、聚合和傳輸的系統，Flume支持在日誌系統中定製各類數據發送方，用於收集數據;同時，Flume提供對數據進行簡單處理，並寫到各種數據接受方(可定製)的能力。大數據開發需掌握其安裝、配置以及相關使用方法。
3、ZooKeeper
ZooKeeper是Hadoop和Hbase的重要組件，是一個為分布式應用提供一致性服務的軟體，提供的功能包括：配置維護、域名服務、分布式同步、組件服務等，在大數據開發中要掌握ZooKeeper的常用命令及功能的實現方法。
四、大數據實時計算階段
大數據實時計算階段需掌握的技術有：Mahout、Spark、storm。
1、Spark
Spark是專為大規模數據處理而設計的快速通用的計算引擎，其提供了一個全面、統一的框架用於管理各種不同性質的數據集和數據源的大數據處理的需求，大數據開發需掌握Spark基礎、SparkJob、Spark RDD、spark job部署與資源分配、Spark shuffle、Spark內存管理、Spark廣播變數、Spark SQL、Spark Streaming以及Spark ML等相關知識。
2、storm
Storm為分布式實時計算提供了一組通用原語，可被用於「流處理」之中，實時處理消息並更新資料庫。這是管理隊列及工作者集群的另一種方式。Storm可以方便地在一個計算機集群中編寫與擴展復雜的實時計算，Storm用於實時處理，就好比 Hadoop 用於批處理。Storm保證每個消息都會得到處理，而且它很快——在一個小集群中，每秒可以處理數以百萬計的消息。
五、大數據數據採集階段
大數據數據採集階段需掌握的技術有：Python、Scala。
1、Python與數據分析
Python是面向對象的編程語言，擁有豐富的庫，使用簡單，應用廣泛，在大數據領域也有所應用，主要可用於數據採集、數據分析以及數據可視化等，因此，大數據開發需學習一定的Python知識。
2、Scala
Scala是一門多範式的編程語言，大數據開發重要框架Spark是採用Scala語言設計的，想要學好Spark框架，擁有Scala基礎是必不可少的，因此，大數據開發需掌握Scala編程基礎知識！
以上只是一些簡單的大數據核心技術總結，比較零散，想要學習大數據的同學，還是要按照一定到的技術路線圖學習！
㈢ 門戶網站需要什麼類型的伺服器
選擇雲主機（雲伺服器）和選擇其他主機的方法類似，要選擇合適的雲主機就需要對自己的網站情況以及雲主機的各項配置參數有一定了解，具體如下：
首先是網站的情況：
比如網站是靜態還是動態為主，使用的什麼的網站程序，對運行環境有何要求，是否需要配置特定的環境，這將影響到操作系統、存儲模式的選擇。
網站的日均訪問人數和平均同時在線人數有多少，這將影響到CPU、內存、帶寬等選擇。
網站目前的數據有多大，未來是否會快速增加，這將影響到硬碟的選擇。
網站是面向全國用戶還是本地用戶，這將影響到機房線路的選擇。
在確定網站情況之後可以結合雲主機的各項配置參數進行估算選擇：
CPU：CPU代表主機的運算能力，如果網站流量較大，動態頁面比較多，建議選擇2核以上CPU。
2.內存：內存也是決定網站打開速度的重要因素，內存越大，可用緩存越大，打開速度也就越快，windows操作系統不支持選擇512MB內存。
3.硬碟：硬碟的大小要根據網站的大小來決定，在選擇時應該考慮到剩餘空間。另外硬碟的I/O讀取速度直接決定文件讀取的快慢，新麥互聯雲主機硬碟的讀取速度比其他網站快很多，一般情況下都夠用。
4.帶寬：雲主機沒有流量限制，所以主要考慮帶寬。帶寬是一個網站打開速度的直接體現，帶寬越大，訪問的時候，打開速度就越快。訪問人數較多的網站，建議選擇大的帶寬。
5.操作系統：操作系統的選擇和個人的熟悉情況和網站具體情況有關，對哪種操作系統比較了解就選擇哪種操作系統，另外windows系統對asp程序支持較好，不過佔用內存較多，而Linux系統對php程序支持較好，更省內存，並且有的程序可能只支持某個操作系統。
6.機房線路：線路選擇合適的機房。
7.存儲模式：分布式存儲數據保留四份，而SSD固態硬碟適合對I/O讀取速度有更高要求的用戶。
如果還是不能確定選擇何種配置，可以先購買一個標准配置運行一段時間進行觀察，如果發現配置不夠可以隨時升級。
西部數碼一直是全國10強，這兩年每年的排名都在上升，現在全國3強吧，服務可以說是全國最好的，雲伺服器都可以自由升級，穩定性和速度也不錯，新麥互聯是西部數碼的代理商，就像是海爾、美的的代理商似的，價格都比官方便宜，新麥互聯的價格是西部數碼的8折，而且享受新麥互聯與西部數碼的雙重售後服務，可以說在代理處開通雲伺服器，服務只會加倍的，我很喜歡新麥互聯的雙線企業型虛擬主機和智能多線雲伺服器性價比還高。
㈣ php mysql分布式資料庫如何實現
當前做分布式的廠商有幾家，我知道比較出名的有「華為雲分布式資料庫DDM」和「阿里雲分布式資料庫」，感興趣可以自行搜素了解下。
分布式資料庫的幾點概念可以了解一下。
數據分庫：
以表為單位，把原有資料庫切分成多個資料庫。切分後不同的表存儲在不同的資料庫上。
以表中的數據行記錄為單位，把原有邏輯資料庫切分成多個物理資料庫分片，表數據記錄分布存儲在各個分片上。
路由分發：
在分布式資料庫中，路由的作用即將SQL語句進行解析，並轉發到正確的分片上，保證SQL執行後得到正確的結果，並且節約QPS資源。
讀寫分離：
資料庫中對計算和緩存資源消耗較多的往往是密集或復雜的SQL查詢。當系統資源被查詢語句消耗，反過來會影響數據寫入操作，進而導致資料庫整體性能下降，響應緩慢。因此，當資料庫CPU和內存資源佔用居高不下，且讀寫比例較高時，可以為資料庫添加只讀資料庫。
㈤ 大型的PHP應用，通常使用什麼應用做消息隊列
一、消息隊列概述x0dx0a消息隊列中間件是分布式系統中重要的組件，主要解決應用耦合，非同步消息，流量削鋒等問題。實現高性能，高可用，可伸縮和最終一致性架構。是大型分布式系統不可缺少的中間件。x0dx0a目前在生產環境，使用較多的消息隊列有ActiveMQ，RabbitMQ，ZeroMQ，Kafka，MetaMQ，RocketMQ等。x0dx0a二、消息隊列應用場景x0dx0a以下介紹消息隊列在實際應用中常用的使用場景。非同步處理，應用解耦，流量削鋒和消息通訊四個場景。x0dx0a2.1非同步處理x0dx0a場景說明：用戶注冊後，需要發注冊郵件和注冊簡訊。傳統的做法有兩種1.串列的方式；2.並行方式。x0dx0a（1）串列方式：將注冊信息寫入資料庫成功後，發送注冊郵件，再發送注冊簡訊。以上三個任務全部完成後，返回給客戶端。（架構KKQ：466097527，歡迎加入）x0dx0a（2）並行方式：將注冊信息寫入資料庫成功後，發送注冊郵件的同時，發送注冊簡訊。以上三個任務完成後，返回給客戶端。與串列的差別是，並行的方式可以提高處理的時間。x0dx0a假設三個業務節點每個使用50毫秒鍾，不考慮網路等其他開銷，則串列方式的時間是150毫秒，並行的時間可能是100毫秒。x0dx0a因為CPU在單位時間內處理的請求數是一定的，假設CPU1秒內吞吐量是100次。則串列方式1秒內CPU可處理的請求量是7次（1000/150）。並行方式處理的請求量是10次（1000/100）。x0dx0a小結：如以上案例描述，傳統的方式系統的性能（並發量，吞吐量，響應時間）會有瓶頸。如何解決這個問題呢？x0dx0a引入消息隊列，將不是必須的業務邏輯，非同步處理。改造後的架構如下：x0dx0a按照以上約定，用戶的響應時間相當於是注冊信息寫入資料庫的時間，也就是50毫秒。注冊郵件，發送簡訊寫入消息隊列後，直接返回，因此寫入消息隊列的速度很快，基本可以忽略，因此用戶的響應時間可能是50毫秒。因此架構改變後，系統的吞吐量提高到每秒20 QPS。比串列提高了3倍，比並行提高了兩倍。x0dx0a2.2應用解耦x0dx0a場景說明：用戶下單後，訂單系統需要通知庫存系統。傳統的做法是，訂單系統調用庫存系統的介面。如下圖：x0dx0a傳統模式的缺點：x0dx0a1） 假如庫存系統無法訪問，則訂單減庫存將失敗，從而導致訂單失敗；x0dx0a2） 訂單系統與庫存系統耦合；x0dx0a如何解決以上問題呢？引入應用消息隊列後的方案，如下圖：x0dx0a訂單系統：用戶下單後，訂單系統完成持久化處理，將消息寫入消息隊列，返回用戶訂單下單成功。x0dx0a庫存系統：訂閱下單的消息，採用拉/推的方式，獲取下單信息，庫存系統根據下單信息，進行庫存操作。x0dx0a假如：在下單時庫存系統不能正常使用。也不影響正常下單，因為下單後，訂單系統寫入消息隊列就不再關心其他的後續操作了。實現訂單系統與庫存系統的應用解耦。x0dx0a2.3流量削鋒x0dx0a流量削鋒也是消息隊列中的常用場景，一般在秒殺或團搶活動中使用廣泛。x0dx0a應用場景：秒殺活動，一般會因為流量過大，導致流量暴增，應用掛掉。為解決這個問題，一般需要在應用前端加入消息隊列。x0dx0a可以控制活動的人數；x0dx0a可以緩解短時間內高流量壓垮應用；x0dx0a用戶的請求，伺服器接收後，首先寫入消息隊列。假如消息隊列長度超過最大數量，則直接拋棄用戶請求或跳轉到錯誤頁面；x0dx0a秒殺業務根據消息隊列中的請求信息，再做後續處理。x0dx0a2.4日誌處理x0dx0a日誌處理是指將消息隊列用在日誌處理中，比如Kafka的應用，解決大量日誌傳輸的問題。架構簡化如下：x0dx0a日誌採集客戶端，負責日誌數據採集，定時寫受寫入Kafka隊列；x0dx0aKafka消息隊列，負責日誌數據的接收，存儲和轉發；x0dx0a日誌處理應用：訂閱並消費kafka隊列中的日誌數據；x0dx0a以下是新浪kafka日誌處理應用案例：x0dx0a(1)Kafka：接收用戶日誌的消息隊列。x0dx0a(2)Logstash：做日誌解析，統一成JSON輸出給Elasticsearch。x0dx0a(3)Elasticsearch：實時日誌分析服務的核心技術，一個schemaless，實時的數據存儲服務，通過index組織數據，兼具強大的搜索和統計功能。x0dx0a(4)Kibana：基於Elasticsearch的數據可視化組件，超強的數據可視化能力是眾多公司選擇ELK stack的重要原因。x0dx0a2.5消息通訊x0dx0a消息通訊是指，消息隊列一般都內置了高效的通信機制，因此也可以用在純的消息通訊。比如實現點對點消息隊列，或者聊天室等。x0dx0a點對點通訊：x0dx0a客戶端A和客戶端B使用同一隊列，進行消息通訊。x0dx0a聊天室通訊：x0dx0a客戶端A，客戶端B，客戶端N訂閱同一主題，進行消息發布和接收。實現類似聊天室效果。x0dx0a以上實際是消息隊列的兩種消息模式，點對點或發布訂閱模式。模型為示意圖，供參考。x0dx0a三、消息中間件示例x0dx0a3.1電商系統x0dx0a消息隊列採用高可用，可持久化的消息中間件。比如Active MQ，Rabbit MQ，Rocket Mq。（1）應用將主幹邏輯處理完成後，寫入消息隊列。消息發送是否成功可以開啟消息的確認模式。（消息隊列返回消息接收成功狀態後，應用再返回，這樣保障消息的完整性）x0dx0a（2）擴展流程（發簡訊，配送處理）訂閱隊列消息。採用推或拉的方式獲取消息並處理。x0dx0a（3）消息將應用解耦的同時，帶來了數據一致性問題，可以採用最終一致性方式解決。比如主數據寫入資料庫，擴展應用根據消息隊列，並結合資料庫方式實現基於消息隊列的後續處理。x0dx0a3.2日誌收集系統x0dx0a分為Zookeeper注冊中心，日誌收集客戶端，Kafka集群和Storm集群（OtherApp）四部分組成。x0dx0aZookeeper注冊中心，提出負載均衡和地址查找服務；x0dx0a日誌收集客戶端，用於採集應用系統的日誌，並將數據推送到kafka隊列；x0dx0a四、JMS消息服務x0dx0a講消息隊列就不得不提JMS 。JMS（Java Message Service,Java消息服務）API是一個消息服務的標准/規范，允許應用程序組件基於JavaEE平台創建、發送、接收和讀取消息。它使分布式通信耦合度更低，消息服務更加可靠以及非同步性。x0dx0a在EJB架構中，有消息bean可以無縫的與JM消息服務集成。在J2EE架構模式中，有消息服務者模式，用於實現消息與應用直接的解耦。x0dx0a4.1消息模型x0dx0a在JMS標准中，有兩種消息模型P2P（Point to Point）,Publish/Subscribe(Pub/Sub)。x0dx0a4.1.1 P2P模式x0dx0aP2P模式包含三個角色：消息隊列（Queue），發送者(Sender)，接收者(Receiver)。每個消息都被發送到一個特定的隊列，接收者從隊列中獲取消息。隊列保留著消息，直到他們被消費或超時。x0dx0aP2P的特點x0dx0a每個消息只有一個消費者（Consumer）(即一旦被消費，消息就不再在消息隊列中)x0dx0a發送者和接收者之間在時間上沒有依賴性，也就是說當發送者發送了消息之後，不管接收者有沒有正在運行，它不會影響到消息被發送到隊列x0dx0a接收者在成功接收消息之後需向隊列應答成功x0dx0a如果希望發送的每個消息都會被成功處理的話，那麼需要P2P模式。（架構KKQ：466097527，歡迎加入）x0dx0a4.1.2 Pub/sub模式x0dx0a包含三個角色主題（Topic），發布者（Publisher），訂閱者（Subscriber） 。多個發布者將消息發送到Topic,系統將這些消息傳遞給多個訂閱者。x0dx0aPub/Sub的特點x0dx0a每個消息可以有多個消費者x0dx0a發布者和訂閱者之間有時間上的依賴性。針對某個主題（Topic）的訂閱者，它必須創建一個訂閱者之後，才能消費發布者的消息。x0dx0a為了消費消息，訂閱者必須保持運行的狀態。x0dx0a為了緩和這樣嚴格的時間相關性，JMS允許訂閱者創建一個可持久化的訂閱。這樣，即使訂閱者沒有被激活（運行），它也能接收到發布者的消息。x0dx0a如果希望發送的消息可以不被做任何處理、或者只被一個消息者處理、或者可以被多個消費者處理的話，那麼可以採用Pub/Sub模型。x0dx0a4.2消息消費x0dx0a在JMS中，消息的產生和消費都是非同步的。對於消費來說，JMS的消息者可以通過兩種方式來消費消息。x0dx0a（1）同步x0dx0a訂閱者或接收者通過receive方法來接收消息，receive方法在接收到消息之前（或超時之前）將一直阻塞；x0dx0a（2）非同步x0dx0a訂閱者或接收者可以注冊為一個消息監聽器。當消息到達之後，系統自動調用監聽器的onMessage方法。x0dx0aJNDI：Java命名和目錄介面,是一種標準的Java命名系統介面。可以在網路上查找和訪問服務。通過指定一個資源名稱，該名稱對應於資料庫或命名服務中的一個記錄，同時返回資源連接建立所必須的信息。x0dx0aJNDI在JMS中起到查找和訪問發送目標或消息來源的作用。（架構KKQ：466097527，歡迎加入）x0dx0a4.3JMS編程模型x0dx0a(1) ConnectionFactoryx0dx0a創建Connection對象的工廠，針對兩種不同的jms消息模型，分別有QueueConnectionFactory和TopicConnectionFactory兩種。可以通過JNDI來查找ConnectionFactory對象。x0dx0a(2) Destinationx0dx0aDestination的意思是消息生產者的消息發送目標或者說消息消費者的消息來源。對於消息生產者來說，它的Destination是某個隊列（Queue）或某個主題（Topic）;對於消息消費者來說，它的Destination也是某個隊列或主題（即消息來源）。x0dx0a所以，Destination實際上就是兩種類型的對象：Queue、Topic可以通過JNDI來查找Destination。x0dx0a(3) Connectionx0dx0aConnection表示在客戶端和JMS系統之間建立的鏈接（對TCP/IP socket的包裝）。Connection可以產生一個或多個Session。跟ConnectionFactory一樣，Connection也有兩種類型：QueueConnection和TopicConnection。x0dx0a(4) Sessionx0dx0aSession是操作消息的介面。可以通過session創建生產者、消費者、消息等。Session提供了事務的功能。當需要使用session發送/接收多個消息時，可以將這些發送/接收動作放到一個事務中。同樣，也分QueueSession和TopicSession。x0dx0a(5) 消息的生產者x0dx0a消息生產者由Session創建，並用於將消息發送到Destination。同樣，消息生產者分兩種類型：QueueSender和TopicPublisher。可以調用消息生產者的方法（send或publish方法）發送消息。x0dx0a(6) 消息消費者x0dx0a消息消費者由Session創建，用於接收被發送到Destination的消息。兩種類型：QueueReceiver和TopicSubscriber。可分別通過session的createReceiver(Queue)或createSubscriber(Topic)來創建。當然，也可以session的creatDurableSubscriber方法來創建持久化的訂閱者。x0dx0a(7) MessageListenerx0dx0a消息監聽器。如果注冊了消息監聽器，一旦消息到達，將自動調用監聽器的onMessage方法。EJB中的MDB（Message-Driven Bean）就是一種MessageListener。x0dx0a深入學習JMS對掌握JAVA架構，EJB架構有很好的幫助，消息中間件也是大型分布式系統必須的組件。本次分享主要做全局性介紹，具體的深入需要大家學習，實踐，總結，領會。x0dx0a五、常用消息隊列x0dx0a一般商用的容器，比如WebLogic，JBoss，都支持JMS標准，開發上很方便。但免費的比如Tomcat，Jetty等則需要使用第三方的消息中間件。本部分內容介紹常用的消息中間件（Active MQ,Rabbit MQ，Zero MQ,Kafka）以及他們的特點。x0dx0a5.1 ActiveMQx0dx0aActiveMQ 是Apache出品，最流行的，能力強勁的開源消息匯流排。ActiveMQ 是一個完全支持JMS1.1和J2EE 1.4規范的 JMS Provider實現，盡管JMS規范出台已經是很久的事情了，但是JMS在當今的J2EE應用中間仍然扮演著特殊的地位。x0dx0aActiveMQ特性如下：x0dx0a⒈ 多種語言和協議編寫客戶端。語言: Java,C,C++,C#,Ruby,Perl,Python,PHP。應用協議： OpenWire,Stomp REST,WS Notification,XMPP,AMQPx0dx0a⒉ 完全支持JMS1.1和J2EE 1.4規范 （持久化，XA消息，事務)x0dx0a⒊ 對spring的支持，ActiveMQ可以很容易內嵌到使用Spring的系統裡面去，而且也支持Spring2.0的特性x0dx0a⒋ 通過了常見J2EE伺服器（如 Geronimo,JBoss 4,GlassFish,WebLogic)的測試，其中通過JCA 1.5 resource adaptors的配置，可以讓ActiveMQ可以自動的部署到任何兼容J2EE 1.4 商業伺服器上x0dx0a⒌ 支持多種傳送協議：in-VM,TCP,SSL,NIO,UDP,JGroups,JXTAx0dx0a⒍ 支持通過JDBC和journal提供高速的消息持久化x0dx0a⒎ 從設計上保證了高性能的集群，客戶端-伺服器，點對點x0dx0a⒏ 支持Ajaxx0dx0a⒐ 支持與Axis的整合x0dx0a⒑ 可以很容易得調用內嵌JMS provider，進行測試x0dx0a5.2 RabbitMQx0dx0aRabbitMQ是流行的開源消息隊列系統，用erlang語言開發。RabbitMQ是AMQP（高級消息隊列協議）的標准實現。支持多種客戶端，如：Python、Ruby、.NET、Java、JMS、C、PHP、ActionScript、XMPP、STOMP等，支持AJAX，持久化。用於在分布式系統中存儲轉發消息，在易用性、擴展性、高可用性等方面表現不俗。x0dx0a幾個重要概念：x0dx0aBroker：簡單來說就是消息隊列伺服器實體。x0dx0aExchange：消息交換機，它指定消息按什麼規則，路由到哪個隊列。x0dx0aQueue：消息隊列載體，每個消息都會被投入到一個或多個隊列。x0dx0aBinding：綁定，它的作用就是把exchange和queue按照路由規則綁定起來。x0dx0aRouting Key：路由關鍵字，exchange根據這個關鍵字進行消息投遞。x0dx0avhost：虛擬主機，一個broker里可以開設多個vhost，用作不同用戶的許可權分離。x0dx0aprocer：消息生產者，就是投遞消息的程序。x0dx0aconsumer：消息消費者，就是接受消息的程序。x0dx0achannel：消息通道，在客戶端的每個連接里，可建立多個channel，每個channel代表一個會話任務。x0dx0a消息隊列的使用過程，如下：x0dx0a（1）客戶端連接到消息隊列伺服器，打開一個channel。x0dx0a（2）客戶端聲明一個exchange，並設置相關屬性。x0dx0a（3）客戶端聲明一個queue，並設置相關屬性。x0dx0a（4）客戶端使用routing key，在exchange和queue之間建立好綁定關系。x0dx0a（5）客戶端投遞消息到exchange。x0dx0aexchange接收到消息後，就根據消息的key和已經設置的binding，進行消息路由，將消息投遞到一個或多個隊列里。x0dx0a5.3 ZeroMQx0dx0a號稱史上最快的消息隊列，它實際類似於Socket的一系列介面，他跟Socket的區別是：普通的socket是端到端的（1:1的關系），而ZMQ卻是可以N：M 的關系，人們對BSD套接字的了解較多的是點對點的連接，點對點連接需要顯式地建立連接、銷毀連接、選擇協議（TCP/UDP）和處理錯誤等，而ZMQ屏蔽了這些細節，讓你的網路編程更為簡單。ZMQ用於node與node間的通信，node可以是主機或者是進程。x0dx0a引用官方的說法： 「ZMQ(以下ZeroMQ簡稱ZMQ)是一個簡單好用的傳輸層，像框架一樣的一個socket library，他使得Socket編程更加簡單、簡潔和性能更高。是一個消息處理隊列庫，可在多個線程、內核和主機盒之間彈性伸縮。ZMQ的明確目標是「成為標准網路協議棧的一部分，之後進入Linux內核」。現在還未看到它們的成功。但是，它無疑是極具前景的、並且是人們更加需要的「傳統」BSD套接字之上的一 層封裝。ZMQ讓編寫高性能網路應用程序極為簡單和有趣。」x0dx0a特點是：x0dx0a高性能，非持久化；x0dx0a跨平台：支持Linux、Windows、OS X等。x0dx0a多語言支持； C、C++、Java、.NET、Python等30多種開發語言。x0dx0a可單獨部署或集成到應用中使用；x0dx0a可作為Socket通信庫使用。x0dx0a與RabbitMQ相比，ZMQ並不像是一個傳統意義上的消息隊列伺服器，事實上，它也根本不是一個伺服器，更像一個底層的網路通訊庫，在Socket API之上做了一層封裝，將網路通訊、進程通訊和線程通訊抽象為統一的API介面。支持「Request-Reply 「，」Publisher-Subscriber「，」Parallel Pipeline」三種基本模型和擴展模型。x0dx0aZeroMQ高性能設計要點：x0dx0a1、無鎖的隊列模型x0dx0a對於跨線程間的交互（用戶端和session）之間的數據交換通道pipe，採用無鎖的隊列演算法CAS；在pipe兩端注冊有非同步事件，在讀或者寫消息到pipe的時，會自動觸發讀寫事件。x0dx0a2、批量處理的演算法x0dx0a對於傳統的消息處理，每個消息在發送和接收的時候，都需要系統的調用，這樣對於大量的消息，系統的開銷比較大，zeroMQ對於批量的消息，進行了適應性的優化，可以批量的接收和發送消息。x0dx0a3、多核下的線程綁定，無須CPU切換x0dx0a區別於傳統的多線程並發模式，信號量或者臨界區， zeroMQ充分利用多核的優勢，每個核綁定運行一個工作者線程，避免多線程之間的CPU切換開銷。x0dx0a5.4 Kafkax0dx0aKafka是一種高吞吐量的分布式發布訂閱消息系統，它可以處理消費者規模的網站中的所有動作流數據。 這種動作（網頁瀏覽，搜索和其他用戶的行動）是在現代網路上的許多社會功能的一個關鍵因素。 這些數據通常是由於吞吐量的要求而通過處理日誌和日誌聚合來解決。 對於像Hadoop的一樣的日誌數據和離線分析系統，但又要求實時處理的限制，這是一個可行的解決方案。Kafka的目的是通過Hadoop的並行載入機制來統一線上和離線的消息處理，也是為了通過集群機來提供實時的消費。x0dx0aKafka是一種高吞吐量的分布式發布訂閱消息系統，有如下特性：x0dx0a通過O(1)的磁碟數據結構提供消息的持久化，這種結構對於即使數以TB的消息存儲也能夠保持長時間的穩定性能。（文件追加的方式寫入數據，過期的數據定期刪除）x0dx0a高吞吐量：即使是非常普通的硬體Kafka也可以支持每秒數百萬的消息。x0dx0a支持通過Kafka伺服器和消費機集群來分區消息。x0dx0a支持Hadoop並行數據載入。x0dx0aKafka相關概念x0dx0aBrokerx0dx0aKafka集群包含一個或多個伺服器，這種伺服器被稱為broker[5]x0dx0aTopicx0dx0a每條發布到Kafka集群的消息都有一個類別，這個類別被稱為Topic。（物理上不同Topic的消息分開存儲，邏輯上一個Topic的消息雖然保存於一個或多個broker上但用戶只需指定消息的Topic即可生產或消費數據而不必關心數據存於何處）x0dx0aPartitionx0dx0aParition是物理上的概念，每個Topic包含一個或多個Partition.x0dx0aProcerx0dx0a負責發布消息到Kafka brokerx0dx0aConsumerx0dx0a消息消費者，向Kafka broker讀取消息的客戶端。x0dx0aConsumer Groupx0dx0a每個Consumer屬於一個特定的Consumer Group（可為每個Consumer指定group name，若不指定group name則屬於默認的group）。x0dx0a一般應用在大數據日誌處理或對實時性（少量延遲），可靠性（少量丟數據）要求稍低的場景使用。
㈥ 在大數據中心需要什麼樣的技術
大數據是對坦叢海量數據進行存儲、計算、統計、分析處理的一系列處理手段，處理的數據量通常是TB級，甚至是PB或EB級的數據，這是傳統數據手段所無法完成的，其涉及的技術有分布式計算、高並發處理、高可用處理、集群、實時性計算等，匯集了當前IT領域熱門流行的IT技術。1. Java編程技術
Java編程技術是大數據學習的基礎，Java是一種強類型的語言，擁有極高的跨平台能力，可以編寫桌面應用程序、Web應用程序、分布式系統和嵌入式系統應用程序等，是大數據工程師最喜歡的編程工具，因此，想學好大數據，掌握Java基礎是必不可少的。
2. Linux命令
對於大數據開發通常是在Linux環境下進行的，相比Linux操作系統，Windows操作系統是封閉的操作系統，開源的大數據軟體很受限制，因此，想從事大數據開發相關工作，還需掌握Linux基礎操作命令。
3. Hadoop
Hadoop是大數據開發的重要框架，其核心是HDFS和MapRece，HDFS為海量的數據提供了存儲，MapRece為海量的數據提供了計算，因此，需要重點掌握，除此之外，還需要掌握Hadoop集群、Hadoop集群管理、YARN以及Hadoop高級管理等相關技耐前術與操作！
4. Hive
Hive是基於Hadoop的一個數據倉庫工具，可以將結構化的數據文件映射為一張資料庫表，並提供簡單的sql查詢功能，可以將sql語句轉換為MapRece任務運行，十分適合數據倉庫的統計分析。對於Hive需掌握其安裝、應用及高級操作等。
5. Avro與Protobuf
Avro與Protobuf均是數據序列化系統，可以提供豐富的數據結構類型，十分適合做數據存儲，還可進行不同語言之間相互通信的數據交換格式，學習大數據，需掌握其具體用法。
6. ZooKeeper
ZooKeeper是Hadoop和Habase的重要組件，是一個分布式應用提供一致性服務的軟體，提供的功能包括：配置維護、域名服務、分布式同步、組件服務等，在大數據開發中要掌握ZooKeeper的常用命令及功能的實現方法。7. HBase
HBase是一個分布式的、面向列的開源資料庫，他不同於一般的關系資料庫，更適合於非結構化數據存儲的資料庫，是一個高可靠性、高性能、面向列、可伸縮的分布式存儲系統，大數據開發需掌握HBase基礎知識、應用、架構以及高級用法等。
8.phoenix
Phoenix是用Java編寫的基於JDBC API操作HBase的開源SQL引擎，其具有動態列、散列載入、查詢伺服器、追蹤、事務、用戶自定義函數、二級索引、命名空間映射、數據收集、行時間戳列、分頁查詢、跳躍查詢、視圖以及多租戶的特性，大數據開發需掌握其原理和使用方法。
9.Redis
Redis是一個key-value存儲系統，其出現很大程度補償了memcached這類key/value存儲的不足，在部分場合可以對關系資料庫昌信清起到很好的補充作用，它提供了Java，C/C++，C#，PHP，JavaScript，Perl，Object-C，Python，Ruby，Erlang等客戶端，使用很方便，大數據開發需掌握Redis的安裝、配置及相關使用方法。
10.Flume
Flume是一款高可用、高可靠、分布式的海量日誌採集、聚合和傳輸系統，Flume支持在日誌系統中定製各類數據發送方，用於收集數據；同時，Flume提供對數據進行簡單處理，並寫到各種數據接收方（可定製）的能力。大數據開發需掌握其安裝、配置以及相關使用方法。
11.SSM
SSM框架是由Spring、SpringMVC、MyBatis三個開源框架整合而成，常作為數據源較簡單的web項目的框架。大數據開發需分別掌握Spring、SpringMVC、MyBatis三種框架的同時，再使用SSM進行整合操作。
12.Kafka
Kafka是一種高吞吐量的分布式發布訂閱消息系統，其在大數據開發應用上的目的是通過Hadoop的並行載入機制來統一線上和離線的消息處理，也是為了通過集群來提供實時的消息。大數據開發需掌握Kafka架構原理及各組件的作用和是用方法及相關功能的實現！
13.Scala
Scala是一門多範式的編程語言，大數據開發重要框架Spark是採用Scala語言設計的，想要學好Spark框架，擁有Scala基礎是必不可少的，因此，大數據開發需掌握Scala編程基礎知識！
14.Spark
Spark是專為大規模數據處理而設計的快速通用的計算引擎，其提供了一個全面、統一的框架用於管理各種不同性質的數據集和數據源的大數據處理的需求，大數據開發需掌握Spark基礎、SparkJob、Spark RDD、sparkjob部署與資源分配、SparkshuffleSpark內存管理、Spark廣播變數、SparkSQL SparkStreaming以及 Spark ML等相關知識。
15.Azkaban
Azkaban是一個批量工作流任務調度器，可用於在一個工作流內以一個特定的順序運行一組工作和流程，可以利用Azkaban來完成大數據的任務調度，大數據開發需掌握Azkaban的相關配置及語法規則。
㈦ php 高並發解決思路解決方案
php 高並發解決思路解決方案，如何應對網站大流量高並發情況。本文為大家總結了常用的處理方式，但不是細節，後續一系列細節教程給出。希望大家喜歡。
一 高並發的概念
在互聯網時代，並發，高並發通常是指並發訪問。也就是在某個時間點，有多少個訪問同時到來。
二 高並發架構相關概念
1、QPS (每秒查詢率) : 每秒鍾請求或者查詢的數量，在互聯網領域，指每秒響應請求數(指 HTTP 請求)
2、PV（Page View）：綜合瀏覽量，即頁面瀏覽量或者點擊量，一個訪客在 24 小時內訪問的頁面數量
--註：同一個人瀏覽你的網站的同一頁面，只記做一次 pv
3、吞吐量（fetches/sec） ：單位時間內處理的請求數量 （通常由 QPS 和並發數決定）
4、響應時間：從請求發出到收到響應花費的時間
5、獨立訪客（UV）：一定時間范圍內，相同訪客多次訪問網站，只計算為 1 個獨立訪客
6、帶寬：計算帶寬需關注兩個指標，峰值流量和頁面的平均大小
7、日網站帶寬： PV/統計時間（換算到秒） * 平均頁面大小（kb）* 8
三 需要注意點：
1、QPS 不等於並發連接數（QPS 是每秒 HTTP 請求數量，並發連接數是系統同時處理的請求數量）
2、峰值每秒請求數（QPS）= （總 PV 數*80%）/ （六小時秒數*20%）【代表 80%的訪問量都集中在 20%的時間內】
3、壓力測試： 測試能承受的最大並發數 以及測試最大承受的 QPS 值
4、常用的性能測試工具【ab，wrk，httpload，Web Bench，Siege，Apache JMeter】
四 優化
1、當 QPS 小於 50 時
優化方案:為一般小型網站,不用考慮優化
2、當 QPS 達到 100 時,遇到數據查詢瓶頸
優化方案: 資料庫緩存層,資料庫的負載均衡
3、當 QPS 達到 800 時, 遇到帶寬瓶頸
優化方案:CDN 加速,負載均衡
4、當 QPS 達到 1000 時
優化方案: 做 html 靜態緩存
5、當 QPS 達到 2000 時
優化方案: 做業務分離,分布式存儲
五、高並發解決方案案例:
1、流量優化
防盜鏈處理(去除惡意請求)
2、前端優化
(1) 減少 HTTP 請求[將 css,js 等合並]
(2) 添加非同步請求(先不將所有數據都展示給用戶,用戶觸發某個事件,才會非同步請求數據)
(3) 啟用瀏覽器緩存和文件壓縮
(4) CDN 加速
(5) 建立獨立的圖片伺服器(減少 I/O)
3、服務端優化
(1) 頁面靜態化
(2) 並發處理
(3) 隊列處理
4、資料庫優化
(1) 資料庫緩存
(2) 分庫分表,分區
(3) 讀寫分離
(4) 負載均衡
5、web 伺服器優化
(1) nginx 反向代理實現負載均衡
(2) lvs 實現負載均衡