A. 澶ф暟鎹涓甯歌佹暟鎹瀛桦偍镙煎纺涓庡帇缂╂牸寮
鍦ㄥぇ鏁版嵁镄勪笘鐣岄噷锛屾暟鎹瀛桦偍鍜屽帇缂╂妧宸ф槸镊冲叧閲嶈佺殑涓鐜銆傚畠浠涓崭粎鍏充箮绌洪棿鏁堢巼锛屾洿鐩存帴褰卞搷镌鏁版嵁澶勭悊镄勯熷害鍜屾ц兘銆傝╂垜浠娣卞叆鎺㈣ㄥ嚑绉嶅父瑙佺殑鏁版嵁瀛桦偍镙煎纺浠ュ强铡嬬缉鎶链锛屼互婊¤冻澶氭牱鍖栫殑镆ヨ㈤渶姹傚拰浼桦寲璧勬簮鍒╃敤銆
棣栧厛锛岃╂垜浠鐪嬬湅鏁版嵁瀛桦偍镄勪笁绉崭富瑕佹ā寮忥细
1. 琛屽纺瀛桦偍锛圤LTP锛锛屽傚悓绉链ㄨ埇鎸夎屽爢绉锛岄傜敤浜庨戠箒镄勫啓鍏ユ搷浣滐纴濡傚叧绯诲瀷鏁版嵁搴撱傝
鍒楀纺瀛桦偍锛圤LAP锛鍒欎互鍒椾负涓诲硷纴渚夸簬鏁版嵁鍒嗘瀽锛岀壒鍒阃傚悎璇诲彇瀵嗛泦鍨嫔満鏅锛屾瘆濡傛暟鎹浠揿簱锛图W锛夊拰鏁版嵁婀栵纸DA锛夈
涓轰简鍏奸【涓嶅悓镆ヨ㈡ц兘锛屾垜浠杩桦紩鍏ヤ简娣峰悎瀛桦偍锛屽阀濡栾瀺钖堜简涓よ呯殑浼桦娍锛屼互阃傚簲钖勭嶆煡璇㈤渶姹伞
- Parquet锛屽垪寮忓瓨鍌ㄧ殑鏄庢槦锛屼笓涓烘暟鎹鍒嗘瀽璁捐★纴阃氲繃铡嬬缉鍒楁暟鎹锛屾敮鎸佸嶆潅绫诲瀷锛屾槸Impala鍜孒ive镄勯栭夈
- ORC锛孒ive镄勪笓灞炲垪瀛樻牸寮忥纴鏀鎸乑LIB鍜孲NAPPY铡嬬缉锛屽规暟鎹浠揿簱镄勮诲彇浼桦寲琛ㄧ幇鍑鸿壊銆
- TextFile锛岃槠铹朵互琛屽瓨褰㈠纺瀛桦湪锛屼絾镞犲帇缂╀笖瑙ｆ瀽鎴愭湰楂桡纴涓昏佸簲鐢ㄤ簬鏁版嵁镄勫埯濮嫔眰锛圤DS锛夈
- SequenceFile锛孒adoop镄勫熀鐭筹纴閲囩敤浜岃繘鍒跺簭鍒楀寲锛岄敭鍊煎圭粨鏋勶纴涓昏佺敤浜庤剼链锷犺浇锛岄潪铡嬬缉銆
鍦ㄤ䌷澶氩瓨鍌ㄦ牸寮忎腑锛
Hive镄凷equenceFile镫鍏风壒镩诧纴瀹幂亩鍖栦简MR锛圡apRece锛夌殑map阒舵垫帓搴忥纴鎻愰珮鏁堢巼銆傝
AVRO鍒欐槸涓涓寮哄ぇ镄勬暟鎹搴忓垪鍖栫郴缁燂纴鏀鎸佷赴瀵岀殑鏁版嵁缁撴瀯锛屾棤闇鐢熸垚浠ｇ爜鍗冲彲涓庡姩镐佽瑷镞犵绅瀵规帴銆
镊充簬鏁版嵁铡嬬缉锛岄夋嫨镊冲叧閲嶈併傚父瑙侀夐”鍖呮嫭锛
- Deflate锛氩钩琛″帇缂╂瘆鍜岄熷害锛孒adoop鏀鎸侊纴浣嗕笉鏀鎸佸垎鐗囥
- Snappy锛氶熷害椋炲揩锛孒adoop铡熺敓鏀鎸侊纴浣嗗帇缂╃巼鐩稿硅缉浣庯纴涓嶆敮鎸佸垎鐗囷纴阃傚悎鐢熶骇鐜澧冦
- GZIP锛氩帇缂╂瘆楂桡纴Hadoop鍏煎癸纴浣嗕笉鏀鎸佸垎鐗囥
- LZO锛氶熷害蹇锛屾敮鎸佸垎鐗囷纴浣嗗帇缂╃巼杈冧绠锛岄渶瑕侀濆栧畨瑁呫
- SNAPPY锛氶熷害涓岙nappy鐩稿綋锛屽师鐢熸敮鎸侊纴铡嬬缉鐜囱缉浣庯纴浣嗕笉鏀鎸佸垎鐗囥
- BZIP2锛氩帇缂╃巼鏋侀珮锛屼絾阃熷害杈冩参锛岃嚜甯﹀懡浠ゅ湪Linux涓婂彲鐢锛孒adoop鏀鎸佷絾闱炲师鐢熴
鍦ㄥ疄闄呭簲鐢ㄤ腑锛屾暟鎹鍒嗗眰绛栫暐鏄鍏抽敭銆傚湪ODS灞傦纴涓轰简鑺傜渷绌洪棿锛屾垜浠鍊惧悜浜庨夋嫨濡俍LIB銆丢ZIP鎴朆ZIP2杩欐牱镄勯珮铡嬬缉鐜囩畻娉曘傝屽湪DW灞傚拰DA灞傦纴鐢变簬瀵归熷害鍜屾晥鐜囱佹眰杈冮珮锛孲nappy镄勯珮鏁堣В铡嬬缉鎴愪负浼橀夈
缁间笂镓杩帮纴阃夋嫨鏁版嵁瀛桦偍镙煎纺鍜屽帇缂╂妧链镞讹纴锷″繀镙规嵁鏁版嵁镄勭壒镐у拰搴旂敤鍦烘櫙杩涜岀簿缁呜瘎浼帮纴浠ュ疄鐜版渶浣崇殑镐ц兘鍜屽瓨鍌ㄦ晥鐜囥傛暟鎹绉戝﹀跺拰宸ョ▼甯堜滑锛岃繖灏嗘槸浣犱紭鍖栧ぇ鏁版嵁澶勭悊杩囩▼镄勫疄鐢ㄦ寚鍗椼