phpmongomapreduce

❶ 什麼是大數據技術大數據的概念

大數據技術是指大數據的應用技術，涵蓋各類大數據平台、大數據指數體系等大數據應用技術。

大數據是指無法在一定時間范圍內用常規軟體工具進行捕捉、管理和處理的數據集合。是需要新處理模式才能具有更強的決策力、洞察發現力和流程優化能力的海量、高增長率和多樣化的信息資產。

隨著雲時代的來臨，大數據也吸引了越來越多的關注。分析師團隊認為，大數據通常用來形容一個公司創造的大量非結構化數據和半結構化數據，這些數據在下載到關系型資料庫用於分析時會花費過多時間和金錢。

大數據分析常和雲計算聯繫到一起，因為實時的大型數據集分析需要像MapRece一樣的框架來向數十、數百或甚至數千的電腦分配工作。

(1)phpmongomaprece擴展閱讀：

大數據的三個層面：

1、理論，理論是認知的必經途徑，也是被廣泛認同和傳播的基線。在這里從大數據的特徵定義理解行業對大數據的整體描繪和定性；從對大數據價值的探討來深入解析大數據的珍貴所在；洞悉大數據的發展趨勢；從大數據隱私這個特別而重要的視角審視人和數據之間的長久博弈。

2、技術，技術是大數據價值體現的手段和前進的基石。在這里分別從雲計算、分布式處理技術、存儲技術和感知技術的發展來說明大數據從採集、處理、存儲到形成結果的整個過程。

3、實踐，實踐是大數據的最終價值體現。在這里分別從互聯網的大數據，政府的大數據，企業的大數據和個人的大數據四個方面來描繪大數據已經展現的美好景象及即將實現的藍圖。

參考資料來源：網路-大數據

❷ php mongo sum求值

沒有直接的sum命令，可以通過aggregate或maprece實現，這是我的一個例子
/**
* 對一個欄位求和
* @param collectionName
* @param where
* @param groupFields
* @return
*/
public Double sum(String collectionName,DBObject where,String sumField){

DBCollection col=mongoDbFactory.getDb().getCollection(collectionName);
DBObject match=new BasicDBObject("$match",where);
DBObject group=new BasicDBObject("$group",new BasicDBObject("_id",null).append("total", new BasicDBObject("$sum","$"+sumField)));
List<DBObject> list=(List<DBObject>)col.aggregate(match,group).results();
if(list.size()>0){
return Double.valueOf(list.get(0).get("total").toString());
}
return 0D;
}

❸ 為什麼MongoDB適合大數據的存儲

Mongo是一個高性能，開源，無模式的文檔型資料庫，它在許多場景下可用於替代傳統的關系型資料庫或鍵/值存儲方式。Mongo使用C++開發，提供了以下功能：
◆面向集合的存儲：適合存儲對象及JSON形式的數據。
◆動態查詢：Mongo支持豐富的查詢表達式。查詢指令使用JSON形式的標記，可輕易查詢文檔中內嵌的對象及數組。
◆完整的索引支持：包括文檔內嵌對象及數組。Mongo的查詢優化器會分析查詢表達式，並生成一個高效的查詢計劃。
◆查詢監視：Mongo包含一個監視工具用於分析資料庫操作的性能。
◆復制及自動故障轉移：Mongo資料庫支持伺服器之間的數據復制，支持主-從模式及伺服器之間的相互復制。復制的主要目標是提供冗餘及自動故障轉移。
◆高效的傳統存儲方式：支持二進制數據及大型對象（如照片或圖片）。
◆自動分片以支持雲級別的伸縮性（處於早期alpha階段）：自動分片功能支持水平的資料庫集群，可動態添加額外的機器。
MongoDB的主要目標是在鍵/值存儲方式（提供了高性能和高度伸縮性）以及傳統的RDBMS系統（豐富的功能）架起一座橋梁，集兩者的優勢於一身。根據官方網站的描述，Mongo適合用於以下場景：
◆網站數據：Mongo非常適合實時的插入，更新與查詢，並具備網站實時數據存儲所需的復制及高度伸縮性。
◆緩存：由於性能很高，Mongo也適合作為信息基礎設施的緩存層。在系統重啟之後，由Mongo搭建的持久化緩存層可以避免下層的數據源過載。
◆大尺寸，低價值的數據：使用傳統的關系型資料庫存儲一些數據時可能會比較昂貴，在此之前，很多時候程序員往往會選擇傳統的文件進行存儲。
◆高伸縮性的場景：Mongo非常適合由數十或數百台伺服器組成的資料庫。Mongo的路線圖中已經包含對MapRece引擎的內置支持。
◆用於對象及JSON數據的存儲：Mongo的BSON數據格式非常適合文檔化格式的存儲及查詢。
自然，MongoDB的使用也會有一些限制，例如它不適合：
◆高度事務性的系統：例如銀行或會計系統。傳統的關系型資料庫目前還是更適用於需要大量原子性復雜事務的應用程序。
◆傳統的商業智能應用：針對特定問題的BI資料庫會對產生高度優化的查詢方式。對於此類應用，數據倉庫可能是更合適的選擇。
◆需要SQL的問題
MongoDB支持OS X、linux及Windows等操作系統，並提供了python，PHP，Ruby，java及C++語言的驅動程序，社區中也提供了對Erlang及.NET等平台的驅動程序。

❹ 談談redis，memcache，mongodb的區別和具體應用場景

從以下幾個維度，對 redis、memcache、mongoDB 做了對比。
1、性能
都比較高，性能對我們來說應該都不是瓶頸。
總體來講，TPS 方面 redis 和 memcache 差不多，要大於 mongodb。
2、操作的便利性
memcache 數據結構單一。（key-value）
redis 豐富一些，數據操作方面，redis 更好一些，較少的網路 IO 次數，同時還提供 list，set，
hash 等數據結構的存儲。
mongodb 支持豐富的數據表達，索引，最類似關系型資料庫，支持的查詢語言非常豐富。
3、內存空間的大小和數據量的大小
redis 在 2.0 版本後增加了自己的 VM 特性，突破物理內存的限制；可以對 key value 設置過
期時間（類似 memcache）
memcache 可以修改最大可用內存,採用 LRU 演算法。Memcached 代理軟體 magent，比如建立
10 台 4G 的 Memcache 集群，就相當於有了 40G。 magent -s 10.1.2.1 -s 10.1.2.2:11211 -b
10.1.2.3:14000 mongoDB 適合大數據量的存儲，依賴操作系統 VM 做內存管理，吃內存也比較厲害，服務
不要和別的服務在一起。
4、可用性（單點問題）
對於單點問題，
redis，依賴客戶端來實現分布式讀寫；主從復制時，每次從節點重新連接主節點都要依賴整
個快照,無增量復制，因性能和效率問題，
所以單點問題比較復雜；不支持自動 sharding,需要依賴程序設定一致 hash 機制。
一種替代方案是，不用 redis 本身的復制機制，採用自己做主動復制（多份存儲），或者改成
增量復制的方式（需要自己實現），一致性問題和性能的權衡
Memcache 本身沒有數據冗餘機制，也沒必要；對於故障預防，採用依賴成熟的 hash 或者環
狀的演算法，解決單點故障引起的抖動問題。
mongoDB 支持 master-slave,replicaset（內部採用 paxos 選舉演算法，自動故障恢復）,auto sharding 機制，對客戶端屏蔽了故障轉移和切分機制。
5、可靠性（持久化）
對於數據持久化和數據恢復，
redis 支持（快照、AOF）：依賴快照進行持久化，aof 增強了可靠性的同時，對性能有所影
響
memcache 不支持，通常用在做緩存,提升性能；
MongoDB 從 1.8 版本開始採用 binlog 方式支持持久化的可靠性
6、數據一致性（事務支持）
Memcache 在並發場景下，用 cas 保證一致性redis 事務支持比較弱，只能保證事務中的每個操作連續執行
mongoDB 不支持事務
7、數據分析
mongoDB 內置了數據分析的功能(maprece),其他不支持
8、應用場景
redis：數據量較小的更性能操作和運算上
memcache：用於在動態系統中減少資料庫負載，提升性能;做緩存，提高性能（適合讀多寫
少，對於數據量比較大，可以採用 sharding）
MongoDB:主要解決海量數據的訪問效率問題。
表格比較：
memcache redis 類型 內存資料庫 內存資料庫
數據類型 在定義 value 時就要固定數據類型 不需要
有字元串，鏈表，集 合和有序集合
虛擬內存 不支持 支持
過期策略 支持 支持
分布式 magent master-slave，一主一從或一主多從
存儲數據安全 不支持 使用 save 存儲到 mp.rdb 中
災難恢復 不支持 append only file(aof)用於數據恢復
性能
1、類型——memcache 和 redis 都是將數據存放在內存，所以是內存資料庫。當然，memcache 也可用於緩存其他東西，例如圖片等等。
2、 數據類型——Memcache 在添加數據時就要指定數據的位元組長度,而 redis 不需要。
3、 虛擬內存——當物理內存用完時，可以將一些很久沒用到的 value 交換到磁碟。
4、 過期策略——memcache 在 set 時就指定，例如 set key1 0 0 8,即永不過期。Redis 可以通
過例如 expire 設定，例如 expire name 10。
5、 分布式——設定 memcache 集群，利用 magent 做一主多從;redis 可以做一主多從。都可
以一主一從。
6、 存儲數據安全——memcache 斷電就斷了，數據沒了；redis 可以定期 save 到磁碟。
7、 災難恢復——memcache 同上，redis 丟了後可以通過 aof 恢復。
Memecache 埠 11211
yum -y install memcached
yum -y install php-pecl-memcache
/etc/init.d/memcached start memcached -d -p 11211 -u memcached -m 64 -c 1024 -P /var/run/memcached/memcached.pid
-d 啟動一個守護進程
-p 埠
-m 分配的內存是 M
-c 最大運行並發數-P memcache 的 pid
//0 壓縮（是否 MEMCACHE_COMPRESSED） 30 秒失效時間
//delete 5 是 timeout <?php
$memcache = new Memcache; $memcache -> connect('127.0.0.1', 11211); $memcache -> set('name','yang',0,30);
if(!$memcache->add('name','susan',0, 30)) {
//echo 'susan is exist'; }$memcache -> replace('name', 'lion', 0, 300); echo $memcache -> get('name');
//$memcache -> delete('name', 5);
printf "stats\r\n" | nc 127.0.0.1 11211
telnet localhost 11211 stats quit 退出
Redis 的配置文件 埠 6379
/etc/redis.conf 啟動 Redis
redis-server /etc/redis.conf 插入一個值
redis-cli set test "phper.yang" 獲取鍵值
redis-cli get test 關閉 Redis
redis-cli shutdown 關閉所有
redis-cli -p 6379 shutdown <?php
$redis=new
Redis(); $redis->connect('127.0.0.1',6379); $redis->set('test',
'Hello World'); echo $redis->get('test'); Mongodb
apt-get install mongo mongo 可以進入 shell 命令行
pecl install mongo Mongodb 類似 phpmyadmin 操作平台 RockMongo

❺ 大數據技術包括哪些

想要成為炙手可熱的大數據技術人才，這些大數據的核心技術一定要知曉！

一、大數據基礎階段
大數據基礎階段需掌握的技術有：Linux、Docker、KVM、MySQL基礎、Oracle基礎、MongoDB、redis以及hadoop maprece hdfs yarn等。
1、Linux命令
對於大數據開發通常是在Linux環境下進行的，相比Linux操作系統，Windows操作系統是封閉的操作系統，開源的大數據軟體很受限制，因此，想從事大數據開發相關工作，還需掌握Linux基礎操作命令
2、 Redis
Redis是一個key-value存儲系統，其出現很大程度補償了memcached這類key/value存儲的不足，在部分場合可以對關系資料庫起到很好的補充作用，它提供了Java，C/C++，C#，PHP，JavaScript，Perl，Object-C，Python，Ruby，Erlang等客戶端，使用很方便，大數據開發需掌握Redis的安裝、配置及相關使用方法。
二、大數據存儲階段
大數據存儲階段需掌握的技術有：hbase、hive、sqoop等。
1、HBase
HBase是一個分布式的、面向列的開源資料庫，它不同於一般的關系資料庫，更適合於非結構化數據存儲的資料庫，是一個高可靠性、高性能、面向列、可伸縮的分布式存儲系統，大數據開發需掌握HBase基礎知識、應用、架構以及高級用法等。
2、Hive
Hive是基於Hadoop的一個數據倉庫工具，可以將結構化的數據文件映射為一張資料庫表，並提供簡單的sql查詢功能，可以將sql語句轉換為MapRece任務進行運行，十分適合數據倉庫的統計分析。對於Hive需掌握其安裝、應用及高級操作等。
三、大數據架構設計階段
大數據架構設計階段需掌握的技術有：Flume分布式、Zookeeper、Kafka等。
1、Kafka
Kafka是一種高吞吐量的分布式發布訂閱消息系統，其在大數據開發應用上的目的是通過Hadoop的並行載入機制來統一線上和離線的消息處理，也是為了通過集群來提供實時的消息。大數據開發需掌握Kafka架構原理及各組件的作用和使用方法及相關功能的實現！
2、Flume
Flume是一款高可用、高可靠、分布式的海量日誌採集、聚合和傳輸的系統，Flume支持在日誌系統中定製各類數據發送方，用於收集數據;同時，Flume提供對數據進行簡單處理，並寫到各種數據接受方(可定製)的能力。大數據開發需掌握其安裝、配置以及相關使用方法。
3、ZooKeeper
ZooKeeper是Hadoop和Hbase的重要組件，是一個為分布式應用提供一致性服務的軟體，提供的功能包括：配置維護、域名服務、分布式同步、組件服務等，在大數據開發中要掌握ZooKeeper的常用命令及功能的實現方法。
四、大數據實時計算階段
大數據實時計算階段需掌握的技術有：Mahout、Spark、storm。
1、Spark
Spark是專為大規模數據處理而設計的快速通用的計算引擎，其提供了一個全面、統一的框架用於管理各種不同性質的數據集和數據源的大數據處理的需求，大數據開發需掌握Spark基礎、SparkJob、Spark RDD、spark job部署與資源分配、Spark shuffle、Spark內存管理、Spark廣播變數、Spark SQL、Spark Streaming以及Spark ML等相關知識。
2、storm
Storm為分布式實時計算提供了一組通用原語，可被用於「流處理」之中，實時處理消息並更新資料庫。這是管理隊列及工作者集群的另一種方式。Storm可以方便地在一個計算機集群中編寫與擴展復雜的實時計算，Storm用於實時處理，就好比 Hadoop 用於批處理。Storm保證每個消息都會得到處理，而且它很快——在一個小集群中，每秒可以處理數以百萬計的消息。
五、大數據數據採集階段
大數據數據採集階段需掌握的技術有：Python、Scala。
1、Python與數據分析
Python是面向對象的編程語言，擁有豐富的庫，使用簡單，應用廣泛，在大數據領域也有所應用，主要可用於數據採集、數據分析以及數據可視化等，因此，大數據開發需學習一定的Python知識。
2、Scala
Scala是一門多範式的編程語言，大數據開發重要框架Spark是採用Scala語言設計的，想要學好Spark框架，擁有Scala基礎是必不可少的，因此，大數據開發需掌握Scala編程基礎知識！
以上只是一些簡單的大數據核心技術總結，比較零散，想要學習大數據的同學，還是要按照一定到的技術路線圖學習！

❻ 我想學編程，應該學哪一類，求助

原文地址：http://coolshell.cn/articles/4990.html

博文如下：

前言

你是否覺得自己從學校畢業的時候只做過小玩具一樣的程序？走入職場後哪怕沒有什麼經驗也可以把以下這些課外練習走一遍（朋友的抱怨：學校課程總是從理論出發，作業項目都看不出有什麼實際作用，不如從工作中的需求出發）

建議：

不要亂買書，不要亂追新技術新名詞，基礎的東西經過很長時間積累而且還會在未來至少10年通用。

回顧一下歷史，看看歷史上時間線上技術的發展，你才能明白明天會是什麼樣。

一定要動手，例子不管多麼簡單，建議至少自己手敲一遍看看是否理解了里頭的細枝末節。

一定要學會思考，思考為什麼要這樣，而不是那樣。還要舉一反三地思考。

註：你也許會很奇怪為什麼下面的東西很偏Unix/Linux，這是因為我覺得Windows下的編程可能會在未來很沒有前途，原因如下：

現在的用戶界面幾乎被兩個東西主宰了，1）Web，2）移動設備iOS或Android。Windows的圖形界面不吃香了。

越來越多的企業在用成本低性能高的Linux和各種開源技術來構架其系統，Windows的成本太高了。

微軟的東西變得太快了，很不持久，他們完全是在玩弄程序員。詳情參見《Windows編程革命史》

所以，我個人認為以後的趨勢是前端是Web+移動，後端是Linux+開源。開發這邊基本上沒Windows什麼事。

啟蒙入門

1、學習一門腳本語言，例如Python/Ruby

可以讓你擺脫對底層語言的恐懼感，腳本語言可以讓你很快開發出能用得上的小程序。實踐項目:

處理文本文件，或者csv(關鍵詞pythoncsv,pythonopen,pythonsys)讀一個本地文件，逐行處理（例如wordcount，或者處理log）

遍歷本地文件系統(sys,os,path)，例如寫一個程序統計一個目錄下所有文件大小並按各種條件排序並保存結果

跟資料庫打交道(pythonsqlite)，寫一個小腳本統計資料庫里條目數量

學會用各種print之類簡單粗暴的方式進行調試

學會用Google(phrase,domain,usereadertofollowtechblogs)

為什麼要學腳本語言，因為他們實在是太方便了，很多時候我們需要寫點小工具或是腳本來幫我們解決問題，你就會發現正規的編程語言太難用了。

2、用熟一種程序員的編輯器(不是IDE)和一些基本工具

Vim/Emacs/Notepad++，學會如何配置代碼補全，外觀，外部命令等。

SourceInsight(或ctag)

使用這些東西不是為了Cool，而是這些編輯器在查看、修改代碼/配置文章/日誌會更快更有效率。

3、熟悉Unix/LinuxShell和常見的命令行

如果你用windows，至少學會用虛擬機里的linux，vmwareplayer是免費的，裝個Ubuntu吧

一定要少用少用圖形界面。

學會使用man來查看幫助

文件系統結構和基本操作ls/chmod/chown/rm/find/ln/cat/mount/mkdir/tar/gzip…

學會使用一些文本操作命令sed/awk/grep/tail/less/more…

學會使用一些管理命令ps/top/lsof/netstat/kill/tcpmp/iptables/dd…

了解/etc目錄下的各種配置文章，學會查看/var/log下的系統日誌，以及/proc下的系統運行信息

了解正則表達式，使用正則表達式來查找文件。

對於程序員來說Unix/Linux比Windows簡單多了。（參看我四年前CSDN的博文《其實Unix很簡單》）學會使用Unix/Linux你會發現圖形界面在某些時候實在是太難用了，相當地相當地降低工作效率。

4、學習Web基礎（HTML/CSS/JS)+伺服器端技術(LAMP)

未來必然是Web的世界，學習WEB基礎的最佳網站是W3School。

學習HTML基本語法

學習CSS如何選中HTML元素並應用一些基本樣式（關鍵詞：boxmodel）

學會用Firefox+Firebug或chrome查看你覺得很炫的網頁結構，並動態修改。

學習使用Javascript操縱HTML元件。理解DOM和動態網頁（DynamicHTML:TheDefinitiveReference,3rdEdition-O'ReillyMedia)網上有免費的章節，足夠用了。或參看DOM。

學會用Firefox+Firebug或chrome調試Javascript代碼（設置斷點，查看變數，性能，控制台等）

在一台機器上配置Apache或Nginx

學習PHP，讓後台PHP和前台HTML進行數據交互，對伺服器相應瀏覽器請求形成初步認識。實現一個表單提交和反顯的功能。

把PHP連接本地或者遠程資料庫MySQL（MySQL和SQL現學現用夠了）

跟完一個名校的網路編程課程（例如：http://www.stanford.e/~ouster/cgi-bin/cs142-fall10/index.php)不要覺得需要多於一學期時間，大學生是全職一學期選3-5門課，你業余時間一定可以跟上

學習一個javascript庫（例如jQuery或ExtJS）+Ajax(非同步讀入一個伺服器端圖片或者資料庫內容）+JSON數據格式。

HTTP:TheDefinitiveGuide讀完前4章你就明白你每天上網用瀏覽器的時候發生的事情了(proxy,gateway,browsers)

做個小網站（例如：一個小的留言板，支持用戶登錄，Cookie/Session，增、刪、改、查，上傳圖片附件，分頁顯示）

買個域名，租個空間，做個自己的網站。

進階加深

1、C語言和操作系統調用

重新學C語言，理解指針和內存模型，用C語言實現一下各種經典的演算法和數據結構。推薦《計算機程序設計藝術》、《演算法導論》和《編程珠璣》。

學習（麻省理工免費課程）計算機科學和編程導論

學習（麻省理工免費課程）C語言內存管理

學習Unix/Linux系統調用（Unix高級環境編程），，了解系統層面的東西。

用這些系統知識操作一下文件系統，用戶（實現一個可以拷貝目錄樹的小程序）

用fork/wait/waitpid寫一個多進程的程序，用pthread寫一個多線程帶同步或互斥的程序。多進程多進程購票的程序。

用signal/kill/raise/alarm/pause/sigprocmask實現一個多進程間的信號量通信的程序。

學會使用gcc和gdb來編程和調試程序（參看我的《用gdb調試程序》）

學會使用makefile來編譯程序。（參看我的《跟我一起寫makefile》）

IPC和Socket的東西可以放到高級中來實踐。

學習WindowsSDK編程（Windows程序設計，MFC程序設計）

寫一個窗口，了解WinMain/WinProcere，以及Windows的消息機制。

寫一些程序來操作WindowsSDK中的資源文件或是各種圖形控制項，以及作圖的編程。

學習如何使用MSDN查看相關的SDK函數，各種WM_消息以及一些常式。

這本書中有很多常式，在實踐中請不要照抄，試著自己寫一個自己的常式。

不用太多於精通這些東西，因為GUI正在被Web取代，主要是了解一下Windows圖形界面的編程。@virushuo說：「我覺得GUI確實不那麼熱門了，但充分理解GUI工作原理是很重要的。包括移動設備開發，如果沒有基礎知識仍然很吃力。或者說移動設備開發必須理解GUI工作，或者在win那邊學，或者在mac/iOS上學」。

2、學習Java

Java的學習主要是看經典的CoreJava《Java核心技術編程》和《Java編程思想》（有兩卷，我僅鏈了第一卷，足夠了，因為Java的圖形界面了解就可以了）

學習JDK，學會查閱JavaAPIDocJavaPlatformSE6

了解一下Java這種虛擬機語言和C和Python語言在編譯和執行上的差別。從C、Java、Python思考一下「跨平台」這種技術。

學會使用IDEEclipse，使用Eclipse編譯，調試和開發Java程序。

建一個Tomcat的網站，嘗試一下JSP/Servlet/JDBC/MySQL的Web開發。把前面所說的那個PHP的小項目試著用JSP和Servlet實現一下。

3、Web的安全與架構

學習HTML5，網上有很多很多教程，以前酷殼也介紹過很多，我在這里就不羅列了。

學習Web開發的安全問題（參考新浪微博被攻擊的這個事，以及Ruby的這篇文章）

學習HTTPServer的rewrite機制，Nginx的反向代理機制，fast-cgi（如：PHP-FPM）

學習Web的靜態頁面緩存技術。

學習Web的非同步工作流處理，數據Cache，數據分區，負載均衡，水平擴展的構架。

實踐任務：

使用HTML5的canvas製作一些Web動畫。

嘗試在前面開發過的那個Web應用中進行SQL注入，JS注入，以及XSS攻擊。

把前面開發過的那個Web應用改成構造在Nginx+PHP-FPM+靜態頁面緩存的網站

4、學習關系型資料庫

你可以安裝MSSQLServer或MySQL來學習資料庫。

學習教科書里資料庫設計的那幾個範式，1NF，2NF，3NF，……

學習資料庫的存過，觸發器，視圖，建索引，游標等。

學習SQL語句，明白表連接的各種概念（參看《SQLJoin的圖示》）

學習如何優化資料庫查詢（參看《MySQL的優化》）

實踐任務：設計一個論壇的資料庫，至少滿足3NF，使用SQL語句查詢本周，本月的最新文章，評論最多的文章，最活躍用戶。

5、一些開發工具

學會使用SVN或Git來管理程序版本。

學會使用JUnit來對Java進行單元測試。

學習C語言和Java語言的codingstandard或codingguideline。（我N年前寫過一篇關C語言非常簡單的文章——《編程修養》，這樣的東西你可以上網查一下，一大堆）。

推薦閱讀《代碼大全》《重構》《代碼整潔之道》

高級深入

1、C++/Java和面向對象

我個人以為學好C++，Java也就是舉手之勞。但是C++的學習曲線相當的陡。不過，我覺得C++是最需要學好的語言了。參看兩篇趣文「C++學習信心圖」和「21天學好C++」

學習（麻省理工免費課程）C++面向對象編程

讀我的「如何學好C++」中所推薦的那些書至少兩遍以上（如果你對C++的理解能夠深入到像我所寫的《C++虛函數表解析》或是《C++對象內存存局（上）（下）》，或是《C/C++返回內部靜態成員的陷阱》那就非常不錯了）

然後反思為什麼C++要干成這樣，Java則不是？你一定要學會對比C++和Java的不同。比如，Java中的初始化，垃圾回收，介面，異常，虛函數，等等。

實踐任務：

用C++實現一個BigInt，支持128位的整形的加減乘除的操作。

用C++封裝一個數據結構的容量，比如hashtable。

用C++封裝並實現一個智能指針（一定要使用模板）。

《設計模式》必需一讀，兩遍以上，思考一下，這23個模式的應用場景。主要是兩點：1）鍾愛組合而不是繼承，2）鍾愛介面而不是實現。（也推薦《深入淺出設計模式》）

實踐任務：

使用工廠模式實現一個內存池。

使用策略模式製做一個類其可以把文本文件進行左對齊，右對齊和中對齊。

使用命令模式實現一個命令行計算器，並支持undo和redo。

使用修飾模式實現一個酒店的房間價格訂價策略——旺季，服務，VIP、旅行團、等影響價格的因素。

學習STL的用法和其設計概念-容器，演算法，迭代器，函數子。如果可能，請讀一下其源碼。

實踐任務：嘗試使用面向對象、STL，設計模式、和WindowsSDK圖形編程的各種技能

做一個貪吃蛇或是俄羅斯方塊的游戲。支持不同的級別和難度。

做一個文件瀏覽器，可以瀏覽目錄下的文件，並可以對不同的文件有不同的操作，文本文件可以打開編輯，執行文件則執行之，mp3或avi文件可以播放，圖片文件可以展示圖片。

學習C++的一些類庫的設計，如：MFC（看看候捷老師的《深入淺出MFC》），Boost,ACE,CPPUnit，STL（STL可能會太難了，但是如果你能了解其中的設計模式和設計那就太好了，如果你能深入到我寫的《STLstring類的寫時拷貝技術》那就非常不錯了，ACE需要很強在的系統知識，參見後面的「加強對系統的了解」）

Java是真正的面向對象的語言，Java的設計模式多得不能再多，也是用來學習面向對象的設計模式的最佳語言了（參看Java中的設計模式）。

推薦閱讀《EffectiveJava》and《Java解惑》

學習Java的框架，Java的框架也是多，如Spring,Hibernate，Struts等等，主要是學習Java的設計，如IoC等。

Java的技術也是爛多，重點學習J2EE架構以及JMS，RMI,等消息傳遞和遠程調用的技術。

學習使用Java做WebService（官方教程在這里）

實踐任務：嘗試在Spring或Hibernate框架下構建一個有網路的WebService的遠程調用程序，並可以在兩個Service中通過JMS傳遞消息。

C++和Java都不是能在短時間內能學好的，C++玩是的深，Java玩的是廣，我建議兩者選一個。我個人的學習經歷是：

深究C++（我深究C/C++了十來年了）

學習Java的各種設計模式。

2、加強系統了解

重要閱讀下面的幾本書：

《Unix編程藝術》了解Unix系統領域中的設計和開發哲學、思想文化體系、原則與經驗。你一定會有一種醍醐灌頂的感覺。

《Unix網路編程卷1，套接字》這是一本看完你就明白網路編程的書。重要注意TCP、UDP，以及多路復用的系統調用select/poll/epoll的差別。

《TCP/IP詳解卷1:協議》-這是一本看完後你就可以當網路黑客的書。了解乙太網的的運作原理，了解TCP/IP的協議，運作原理以及如何TCP的調優。

實踐任務：

理解什麼是阻塞（同步IO），非阻塞（非同步IO），多路復用（select,poll,epoll）的IO技術。

寫一個網路聊天程序，有聊天伺服器和多個聊天客戶端（服務端用UDP對部分或所有的的聊天客戶端進Multicast或Broadcast）。

寫一個簡易的HTTP伺服器。

《Unix網路編程卷2，進程間通信》信號量，管道，共享內存，消息等各種IPC……這些技術好像有點老掉牙了，不過還是值得了解。

實踐任務：

主要實踐各種IPC進程序通信的方法。

嘗試寫一個管道程序，父子進程通過管道交換數據。

嘗試寫一個共享內存的程序，兩個進程通過共享內存交換一個C的結構體數組。

學習《Windows核心編程》一書。把CreateProcess，Windows線程、線程調度、線程同步（Event,信號量，互斥量）、非同步I/O，內存管理，DLL，這幾大塊搞精通。

實踐任務：使用CreateProcess啟動一個記事本或IE，並監控該程序的運行。把前面寫過的那個簡易的HTTP服務用線程池實現一下。寫一個DLL的鉤子程序監控指定窗口的關閉事件，或是記錄某個窗口的按鍵。

有了多線程、多進程通信，TCP/IP，套接字，C++和設計模式的基本，你可以研究一下ACE了。使用ACE重寫上述的聊天程序和HTTP伺服器（帶線程池）

實踐任務：通過以上的所有知識，嘗試

寫一個服務端給客戶端傳大文件，要求把100M的帶寬用到80%以上。（注意，磁碟I/O和網路I/O可能會很有問題，想一想怎麼解決，另外，請注意網路傳輸最大單元MTU）

了解BT下載的工作原理，用多進程的方式模擬BT下載的原理。

3、系統架構

負載均衡。HASH式的，純動態式的。（可以到Google學術里搜一些關於負載均衡的文章讀讀）

多層分布式系統–客戶端服務結點層、計算結點層、數據cache層，數據層。J2EE是經典的多層結構。

CDN系統–就近訪問，內容邊緣化。

P2P式系統，研究一下BT和電驢的演算法。比如：DHT演算法。

伺服器備份，雙機備份系統（Live-Standby和Live-Live系統），兩台機器如何通過心跳監測對方？集群主結點備份。

虛擬化技術，使用這個技術，可以把操作系統當應用程序一下切換或重新配置和部署。

學習Thrift，二進制的高性能的通訊中間件，支持數據(對象)序列化和多種類型的RPC服務。

學習Hadoop。

Hadoop框架中最核心的設計就是：MapRece和HDFS。MapRece的思想是由Google的一篇論文所提及而被廣為流傳的，簡單的

一句話解釋MapRece就是「任務的分解與結果的匯總」。HDFS是Hadoop分布式文件系統（HadoopDistributedFile

System）的縮寫，為分布式計算存儲提供了底層支持。

了解NoSQL資料庫（有人說可能是一個過渡炒作的技術），

不過因為超大規模以及高並發的純動態型網站日漸成為主流，而SNS類網站在數據存取過程中有著實時性等剛性需求，這使得目前NoSQL資料庫慢慢成了人們

所關注的焦點，並大有成為取代關系型資料庫而成為未來主流數據存儲模式的趨勢。當前NoSQL資料庫很多，大部分都是開源的，其中比較知名的

有：MemcacheDB、Redis、TokyoCabinet(升級版為Kyoto

Cabinet)、Flare、MongoDB、CouchDB、Cassandra、Voldemort等。

寫了那麼多，回顧一下，覺得自己相當的有成就感。希望大家不要嚇著，我自己這十來年也在不斷地學習，今天我也在學習中，人生本來就是一個不斷學習和練級的過程。不過，一定有漏的，也有不對的，還希望大家補充和更正。（我會根據大家的反饋隨時更新此文）歡迎大家通過我的微博（@左耳朵耗子）和twitter（@haoel）和我交流。

—–更新2011/07/19—–

1）有朋友奇怪為什麼我在這篇文章開頭說了web+移動，卻沒有在後面提到iOS/Android的前端開發。因為我心裡有一種感覺，移動設備上的UI最終也會被Javascript取代。大家可以用iPhone或Android看看google+，你就會明白了。

2）

有朋友說我這里的東西太多了，不能為了學習而學習，我非常同意。我在文章的前面也說了要思考。另外，千萬不要以為我說的這些東西是一些新的技術，這份攻略

里95%以上的全是基礎。而且都是久經考驗的基礎技術。即是可以讓你一通百通的技術，也是可以讓你找到一份不錯工作的技術。

3）有朋友說學

這些東西學完都40了，還不如想想怎麼去掙錢。我想告訴大家，一是我今年還沒有40歲，二是學無止境啊，三是我不覺得掙錢有多難，難的是怎麼讓你值那麼多

錢？無論是打工還是創業，是什麼東西讓你自己的價值，讓你公司的價值更值錢？別的地方我不敢說，對於互聯網或IT公司來說，技術實力絕對是其中之一。

4）有朋友說技術都是工具，不應該如此痴迷這句話沒有錯，有時候我們需要更多的是抬起頭來看看技術以外的事情，或者是說我們在作技術的時候不去思考為什麼會有這個技術，為什麼不是別的，問題不在於技術，問題在於我們死讀書，讀死書，成了技術的書獃子。

5）對於NoSQL，最近比較火，但我對其有點保守，所以，我只是說了解就可以。對於Hadoop，我覺得其在分布式系統上有巨大的潛力，所以需要學習。對於關系型資料庫，的確是很重要的東西，這點是我的疏忽，在原文里補充。

❼ 軟體測試需要學什麼 發展趨勢怎麼樣

軟體測試需要學習軟體工程與項目管理、資料庫原理與應用、Linux操作系統、網路應用技術、軟體測試技術、軟體測試過程管理、軟體測試自動化等等。

軟體測試發展趨勢：

從整體行業背景看，一方面，在中國的很多軟體企業存在著重開發、輕測試的現象，造成日後的軟體產品的質量問題頻出，亟待解決；另一方面市場上的軟體測試人員偏少，崗位缺口較大，不少企業以開發暫代測試，以作急用。軟體測試人才的缺口在30萬人以上。

從個人職業發展看，軟體測試人才更強調崗位的經驗積累。從業者在擁有幾年的測試經驗背景後，可以逐步轉向管理或者資深測試工程師，擔當測試經理或者部門主管，所以職業壽命更長。另外，由於國內軟體測試工程師人才奇缺，並且一般只有大中型企業才會單獨設立軟體測試部門，所以很有保障，待遇普遍較高。

綜合以上分析來看，軟體測試行業前景廣闊。

(7)phpmongomaprece擴展閱讀：

軟體測試發展現狀：

軟體系統越來越復雜，一個軟體不能夠由單獨的軟體工程師單獨編寫，而是由團隊進行配合，每個人可能只負責一個模塊，對於全局沒有過多的了解，這時如果運行軟體就會容易產生很多的錯誤。在行業內將這些錯誤叫做BUG。並且每一個軟體工程師都會有思維的死角，自己不容易發現自己編寫出來的錯誤。所以這個時候就需要專門的軟體測試工程師用專業的測試方式來檢查軟體。檢查該軟體是否符合客戶要求的產品設計，是否能夠符合大多數用戶的使用習慣，如果發現異常狀態及時進行處理。軟體市場雖然遠遠沒有達到飽和但是各種各樣功能的軟體也層出不窮競爭激烈，對軟體開發的質量要求也是日益增高。

所以軟體測試是由於軟體開發編程行業高度成熟後所形成的產物。從行業的整體成熟度來講，軟體開發行業的整體成熟度更高，人們對軟體開發的理解也更為全面深入。故此通常將軟體測試和軟體開發放在一起做比較。縱然二者都屬於產品研發但通常人們的關注點有所傾斜。所以經常用軟體開發設計工程師的要求來評價軟體測試工程師，僅看到軟體測試和軟體開發相比的弱勢卻看不到優勢。

❽ 大數據學習一般都學什麼

您好，大數據學習一般分為6個階段

第一階段
JavaSE基礎核心
第二階段
資料庫關鍵技術
第三階段
大數據基礎核心
第四階段
Spark生態體系框架&大數據精選項目
第五階段
Spark生態體系框架&企業無縫對接項目
第六階段
Flink流式數據處理框架
大數據是最近幾年新興的專業，發展的前景是非常好的，選擇大數據是沒有錯的！