A. NAT穿透(UDP打洞)
NAT有兩大類,基本NAT和NAPT。
靜態NAT:一個公網IP對應一個內部IP,一對一轉換
動態NAT:N個公網IP對應M個內部IP,不固定的一對一轉換關系
現在基本使用這種,又分為對稱和錐型NAT。
錐型NAT ,有完全錐型、受限制錐型、埠受限制錐型三種:
對稱NAT :
把所有來自相同內部IP地址和埠號,到特定目的IP地址和埠號的請求映射到相同的外部IP地址和埠。如果同一主機使用不同的源地址和埠對,發送的目的地址不同,則使用不同的映射。只有收到了一個IP包的外部主機才能夠向該內部主機發送回一個UDP包。對稱的NAT不保證所有會話中的(私有地址,私有埠)和(公開IP,公開埠)之間綁定的一致性。相反,它為每個新的會話分配一個新的埠號。
對稱NAT是一個請求對應一個埠,非對稱NAT是多個請求對應一個埠(象錐形,所以叫Cone NAT)。
連接伺服器為A,NAT檢測伺服器為B。
第一步:當一個接收客戶端(Endpoint-Receiver ,簡稱 EP-R)需要接收文件信息時,在其向連接伺服器發送文件請求的同時緊接著向檢測伺服器發送NAT檢測請求。此處再次強調是「緊接著」,因為對於對稱型NAT來說,這個操作可以直接算出其地址分配的增量(⊿p)。
第二步:當EP-R收到A或B的反饋信息時發現其外部地址與自身地址不同時就可以確定自己在NAT後面;否則,就是公網IP。
第三步:由伺服器A向B發送其獲得的EP-R的外部映射地址(IPa/Porta),伺服器B獲得後進行比較,如果埠不同,則說明這是對稱型NAT,同時可以直接計算出其分配增量:
⊿p=Portb-Porta
第四步:如果埠號相同,則由B向EP-R的Porta發送連接請求,如果EP-R有響應,則說明EP-R沒有IP和Port的限制,屬於全ConeNAT類型。
第五步:如果沒有響應,則由伺服器B使用其新埠b』向EP-R的Portb埠發送連接請求,如果有響應,則說明EP-R只對IP限制,屬於限制性ConeNAT類型;否則就是對IP和port都限制,屬於埠限制性ConeNAT類型。
通過上述五步基本可以全部檢測出EP-R是否在公網,還是在某種NAT後面。
這也是一項可選配置任務,可根據需要為NAT 地址映射表配置老化時間,以控制用戶對NAT 配置的使用,確保內、外網的通信安全。
配置NAT 地址映射表項老化時間的方法也很簡單,只須在系統視圖下使用firewall-nat session { dns | ftp | ftp-data | http | icmp | tcp | tcp-proxy | udp | sip | sip-media | rtsp |rtsp-media }aging-time time-value 命令配置即可。參數 time-value的取值范圍為1~65 535的整數秒。如果要配置多個會話表項的超時時間需要分別用本命令配置。
預設情況下,各協議的老化時間為:DNS(120 s)、ftp(120 s)、ftp-data(120 s)、HTTP(120 s)、icmp(20 s)、tcp(600 s)、tcp-proxy(10 s)、udp(120 s)、sip(1 800 s)、sip-media ( 120 s )、rtsp ( 60 s )、rtsp-media ( 120 s ), 可用undo firewall-natsession { all | dns | ftp | ftp-data | http | icmp | tcp | tcp-proxy | udp | sip | sip-media | rtsp |rtsp-media } aging-time 命令恢復對應會話表項的超時時間為預設值。
1、 中間伺服器保存信息、並能發出建立UDP隧道的命令
2、 網關均要求為Cone NAT類型。Symmetric NAT不適合。
3、 完全圓錐型網關可以無需建立udp隧道,但這種情況非常少,要求雙方均為這種類型網關的更少。
4、 假如X1網關為Symmetric NAT, Y1為Address Restricted Cone NAT 或Full Cone NAT型網關,各自建立隧道後,A1可通過X1發送數據報給Y1到B1(因為Y1最多隻進行IP級別的甄別),但B2發送給X1的將會被丟棄(因為發送來的數據報中埠與X1上存在會話的埠不一致,雖然IP地址一致),所以同樣沒有什麼意義。
5、 假如雙方均為Symmetric NAT的情形,新開了埠,對方可以在不知道的情況下嘗試猜解,也可以達到目的,但這種情形成功率很低,且帶來額外的系統開支,不是個好的解決辦法。
6、 不同網關型設置的差異在於,對內會採用替換IP的方式、使用不同埠不同會話的方式,使用相同埠不同會話的方式;對外會採用什麼都不限制、限制IP地址、限制IP地址及埠。
7、 這里還沒有考慮同一內網不同用戶同時訪問同一伺服器的情形,如果此時網關採用AddressRestricted Cone NAT 或Full Cone NAT型,有可能導致不同用戶客戶端可收到別人的數據包,這顯然是不合適的。
為什麼網上講到的P2P打洞基本上都是基於UDP協議的打洞?難道TCP不可能打洞?還是TCP打洞難於實現?
假設現在有內網客戶端A和內網客戶端B,有公網服務端S。
如果A和B想要進行UDP通信,則必須穿透雙方的NAT路由。假設為NAT-A和NAT-B。
S也和A B 分別建立了會話,由S發到NAT-A的數據包會被NAT-A直接轉發給A,
由S發到NAT-B的數據包會被NAT-B直接轉發給B,除了S發出的數據包之外的則會被丟棄。
所以:現在A B 都能分別和S進行全雙工通訊了,但是A B之間還不能直接通訊。
並轉發給A了(即B現在能訪問A了);再由S命令B向A的公網IP發送一個數據包,則
NAT-B能接收來自NAT-A的數據包並轉發給B了(即A現在能訪問B了)。
以上就是「打洞」的原理。
<pre style="margin: 0px; padding: 0px; white-space: pre-wrap; overflow-wrap: break-word;">為了保證A的路由器有與B的session,A要定時與B做心跳包,同樣,B也要定時與A做心跳,這樣,雙方的通信通道都是通的,就可以進行任意的通信了。</pre>
API造成的。
UDP的socket允許多個socket綁定到同一個本地埠,而TCP的socket則不允許。
這是這樣一個意思:A B要連接到S,肯定首先A B雙方都會在本地創建一個socket,
去連接S上的socket。創建一個socket必然會綁定一個本地埠(就算應用程序裡面沒寫
埠,實際上也是綁定了的,至少java確實如此),假設為8888,這樣A和B才分別建立了到
S的通信信道。接下來就需要打洞了,打洞則需要A和B分別發送數據包到對方的公網IP。但是
問題就在這里:因為NAT設備是根據埠號來確定session,如果是UDP的socket,A B可以
分別再創建socket,然後將socket綁定到8888,這樣打洞就成功了。但是如果是TCP的
socket,則不能再創建socket並綁定到8888了,這樣打洞就無法成功。
**UDP打洞**的過程大致如此:
1、雙方都通過UDP與伺服器通訊後,網關默認就是做了一個外網IP和埠號 與你內網IP與埠號的映射,這個無需設置的,伺服器也不需要知道客戶的真正內網IP
2、用戶A先通過伺服器知道用戶B的外網地址與埠
3、用戶A向用戶B的外網地址與埠發送消息,
4、在這一次發送中,用戶B的網關會拒收這條消息,因為它的映射中並沒有這條規則。
5、但是用戶A的網關就會增加了一條允許規則,允許接收從B發送過來的消息
6、伺服器要求用戶B發送一個消息到用戶A的外網IP與埠號
7、用戶B發送一條消息,這時用戶A就可以接收到B的消息,而且網關B也增加了允許規則
8、之後,由於網關A與網關B都增加了允許規則,所以A與B都可以向對方的外網IP和埠號發送消息。
TCP打洞 技術:
tcp打洞也需要NAT設備支持才行。
tcp的打洞流程和udp的基本一樣,但tcp的api決定了tcp打洞的實現過程和udp不一樣。
tcp按cs方式工作,一個埠只能用來connect或listen,所以需要使用埠重用,才能利用本地nat的埠映射關系。(設置SO_REUSEADDR,在支持SO_REUSEPORT的系統上,要設置這兩個參數。)
連接過程:(以udp打洞的第2種情況為例(典型情況))
nat後的兩個peer,A和B,A和B都bind自己listen的埠,向對方發起連接(connect),即使用相同的埠同時連接和等待連接。因為A和B發出連接的順序有時間差,假設A的syn包到達B的nat時,B的syn包還沒有發出,那麼B的nat映射還沒有建立,會導致A的連接請求失敗(連接失敗或無法連接,如果nat返回RST或者icmp差錯,api上可能表現為被RST;有些nat不返回信息直接丟棄syn包(反而更好)),(應用程序發現失敗時,不能關閉socket,closesocket()可能會導致NAT刪除埠映射;隔一段時間(1-2s)後未連接還要繼續嘗試);但後發B的syn包在到達A的nat時,由於A的nat已經建立的映射關系,B的syn包會通過A的nat,被nat轉給A的listen埠,從而進去三次握手,完成tcp連接。
從應用程序角度看,連接成功的過程可能有兩種不同表現:(以上述假設過程為例)
1、連接建立成功表現為A的connect返回成功。即A端以TCP的同時打開流程完成連接。
2、A端通過listen的埠完成和B的握手,而connect嘗試持續失敗,應用程序通過accept獲取到連接,最終放棄connect(這時可closesocket(conn_fd))。
多數Linux和Windows的協議棧表現為第2種。
但有一個問題是,建立連接的client端,其connect綁定的埠號就是主機listen的埠號,或許這個peer後續還會有更多的這種socket。雖然理論上說,socket是一個五元組,埠號是一個邏輯數字,傳輸層能夠因為五元組的不同而區分開這些socket,但是是否存在實際上的異常,還有待更多觀察。
1、Windows XP SP2操作系統之前的主機,這些主機不能正確處理TCP同時開啟,或者TCP套接字不支持SO_REUSEADDR的參數。需要讓AB有序的發起連接才可能完成。
上述tcp連接過程,僅對NAT1、2、3有效,對NAT4(對稱型)無效。
由於對稱型nat通常採用規律的外部埠分配方法,對於nat4的打洞,可以採用埠預測的方式進行嘗試。
ALG(應用層網關) :它可以是一個設備或插件,用於支持SIP協議,主要類似與在網關上專門開辟一個通道,用於建立內網與外網的連接,也就是說,這是一種定製的網關。更多隻適用於使用他們的應用群體內部之間。
UpnP :它是讓網關設備在進行工作時尋找一個全球共享的可路由IP來作為通道,這樣避免埠造成的影響。要求設備支持且開啟upnp功能,但大部分時候,這些功能處於安全考慮,是被關閉的。即時開啟,實際應用效果還沒經過測試。
STUN(Simple Traversalof UDP Through Network): 這種方式即是類似於我們上面舉例中伺服器C的處理方式。也是目前普遍採用的方式。但具體實現要比我們描述的復雜許多,光是做網關Nat類型判斷就由許多工作,RFC3489中詳細描述了。
TURN(Traveral Using Relay NAT): 該方式是將所有的數據交換都經由伺服器來完成,這樣NAT將沒有障礙,但伺服器的負載、丟包、延遲性就是很大的問題。目前很多游戲均採用該方式避開NAT的問題。這種方式不叫p2p。
ICE(Interactive Connectivity Establishment): 是對上述各種技術的綜合,但明顯帶來了復雜性。
B. 如何實現android和伺服器的長連接
轉載 這種功能實際上就是數據同步,同時要考慮手機本身、電量、網路流量等等限制因素,所以通常在移動端上有一下兩個解決方案:
1.一種是定時去server查詢數據,通常是使用HTTP協議來訪問web伺服器,稱Polling(輪詢);
2.還有一種是移動端和伺服器建立長連接,使用XMPP長連接,稱Push(推送)。
從耗費的電量、流量和數據延遲性各方面來說,Push有明顯的優勢。但是使用Push的缺點是:
對於客戶端:實現和維護相對成本高,在移動無線網路下維護長連接,相對有一些技術上的開發難度。
對於伺服器:如何實現多核並發,cpu作業調度,數量龐大的長連接並發維護等技術,仍存在開發難點。
在講述Push方案的原理前,我們先了解一下移動無線網路的特點。
移動無線網路的特點:
因為 IP v4 的 IP 量有限,運營商分配給手機凳褲終端的 IP 是運營商內網的 IP,手機要連接 Internet,就需要通過運營商的網關做一個網路地址轉換(Network Address Translation,NAT)。簡單的說運營商的網關需要維護一個外網 IP、埠到內網 IP、埠的對應關系,以確保內網的手機可以跟 Internet 的伺服器通訊
GGSN(Gateway GPRS
Support Node 網關GPRS支持結點)模塊就實現了NAT功能。
因為大部分移動無線網路運營商都是為了減少網關的NAT映射表的負荷,所以如果發現鏈路中有一段時間沒有數據通訊時,會刪除其對應表,造成鏈路中斷。(關於NAT的作用及其原理可以查看我的另一篇博文:關於使用UDP(TCP)跨區域網,NAT穿透的心得)
Push在Android平台上長連接的實現:
既然我們知道我們移動端要和Internet進行通信,必須通過運營商的網關,所以,為了不讓NAT映射表失效,我們需要定時向Internet發送數據,因為只是為了不然NAT映射表失效,所以只需發送長度為0的數據即可。
這時候就要用到定時器,在android系統上,定時器通常有一下兩種:
1.java.util.Timer
2.android.app.AlarmManager
分析:
Timer:可以按照計劃或者時間周期來執行相關的任務。但是Timer需要用WakeLock來讓CPU保持喚醒狀態,才能保證任務的執行,這樣子會消耗大量流量;當CPU處於休眠的時候,就不能喚醒執行任務,所以應用於移動端明顯是不合適。
AlarmManager:AlarmManager類是屬於android系統封裝好來管理RTC模塊的管理類。悔粗銷這里就涉及到RTC模塊,要更好地了解兩者的區別,就要明白兩者真正的區別。
RTC(Real- Time Clock)實時鬧鍾在一個嵌入式系統中,通常採用RTC
來提供可靠的系統時間,包括時分秒和年月日等;而且要求在系統處於關碧游機狀態下它也能夠正常工作(通常採用後備電池供電),它的外圍也不需要太多的輔助電路,典型的就是只需要一個高精度的32.768KHz
晶體和電阻電容等。(如果對這方面感興趣,可以自己查閱相關資料,這里就說個大概)
好了,回來正題。所以,AlarmManager又稱全局定時鬧鍾。這意味著,當我用使用AlarmManager來定時執行任務,CPU可以正常地休眠,只有在執行任務是,才喚醒CPU,這個過程是很短時間的。
下面簡單來說明其使用:
1.類似於Timer功能:
//獲得鬧鍾管理器
AlarmManager
am = (AlarmManager)getSystemService(ALARM_SERVICE);
//設置任務執行計劃
am.setRepeating(AlarmManager.ELAPSED_REALTIME, firstTime, 5*1000,
sender);//從firstTime才開始執行,每隔5秒再執行
2.實現全局定時功能:
//獲得鬧鍾管理器
AlarmManager
am = (AlarmManager)getSystemService(ALARM_SERVICE);
//設置任務執行計劃
am.setRepeating(AlarmManager.ELAPSED_REALTIME_WAKEUP, firstTime,
5*1000, sender);//從firstTime才開始執行,每隔5秒再執行
總結:在android客戶端使用Push推送時,應該使用AlarmManager來實現心跳功能,使其真正實現長連接。