phpmongomapreduce

❶ 什么是大数据技术大数据的概念

大数据技术是指大数据的应用技术，涵盖各类大数据平台、大数据指数体系等大数据应用技术。

大数据是指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合。是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。

随着云时代的来临，大数据也吸引了越来越多的关注。分析师团队认为，大数据通常用来形容一个公司创造的大量非结构化数据和半结构化数据，这些数据在下载到关系型数据库用于分析时会花费过多时间和金钱。

大数据分析常和云计算联系到一起，因为实时的大型数据集分析需要像MapRece一样的框架来向数十、数百或甚至数千的电脑分配工作。

(1)phpmongomaprece扩展阅读：

大数据的三个层面：

1、理论，理论是认知的必经途径，也是被广泛认同和传播的基线。在这里从大数据的特征定义理解行业对大数据的整体描绘和定性；从对大数据价值的探讨来深入解析大数据的珍贵所在；洞悉大数据的发展趋势；从大数据隐私这个特别而重要的视角审视人和数据之间的长久博弈。

2、技术，技术是大数据价值体现的手段和前进的基石。在这里分别从云计算、分布式处理技术、存储技术和感知技术的发展来说明大数据从采集、处理、存储到形成结果的整个过程。

3、实践，实践是大数据的最终价值体现。在这里分别从互联网的大数据，政府的大数据，企业的大数据和个人的大数据四个方面来描绘大数据已经展现的美好景象及即将实现的蓝图。

参考资料来源：网络-大数据

❷ php mongo sum求值

没有直接的sum命令，可以通过aggregate或maprece实现，这是我的一个例子
/**
* 对一个字段求和
* @param collectionName
* @param where
* @param groupFields
* @return
*/
public Double sum(String collectionName,DBObject where,String sumField){

DBCollection col=mongoDbFactory.getDb().getCollection(collectionName);
DBObject match=new BasicDBObject("$match",where);
DBObject group=new BasicDBObject("$group",new BasicDBObject("_id",null).append("total", new BasicDBObject("$sum","$"+sumField)));
List<DBObject> list=(List<DBObject>)col.aggregate(match,group).results();
if(list.size()>0){
return Double.valueOf(list.get(0).get("total").toString());
}
return 0D;
}

❸ 为什么MongoDB适合大数据的存储

Mongo是一个高性能，开源，无模式的文档型数据库，它在许多场景下可用于替代传统的关系型数据库或键/值存储方式。Mongo使用C++开发，提供了以下功能：
◆面向集合的存储：适合存储对象及JSON形式的数据。
◆动态查询：Mongo支持丰富的查询表达式。查询指令使用JSON形式的标记，可轻易查询文档中内嵌的对象及数组。
◆完整的索引支持：包括文档内嵌对象及数组。Mongo的查询优化器会分析查询表达式，并生成一个高效的查询计划。
◆查询监视：Mongo包含一个监视工具用于分析数据库操作的性能。
◆复制及自动故障转移：Mongo数据库支持服务器之间的数据复制，支持主-从模式及服务器之间的相互复制。复制的主要目标是提供冗余及自动故障转移。
◆高效的传统存储方式：支持二进制数据及大型对象（如照片或图片）。
◆自动分片以支持云级别的伸缩性（处于早期alpha阶段）：自动分片功能支持水平的数据库集群，可动态添加额外的机器。
MongoDB的主要目标是在键/值存储方式（提供了高性能和高度伸缩性）以及传统的RDBMS系统（丰富的功能）架起一座桥梁，集两者的优势于一身。根据官方网站的描述，Mongo适合用于以下场景：
◆网站数据：Mongo非常适合实时的插入，更新与查询，并具备网站实时数据存储所需的复制及高度伸缩性。
◆缓存：由于性能很高，Mongo也适合作为信息基础设施的缓存层。在系统重启之后，由Mongo搭建的持久化缓存层可以避免下层的数据源过载。
◆大尺寸，低价值的数据：使用传统的关系型数据库存储一些数据时可能会比较昂贵，在此之前，很多时候程序员往往会选择传统的文件进行存储。
◆高伸缩性的场景：Mongo非常适合由数十或数百台服务器组成的数据库。Mongo的路线图中已经包含对MapRece引擎的内置支持。
◆用于对象及JSON数据的存储：Mongo的BSON数据格式非常适合文档化格式的存储及查询。
自然，MongoDB的使用也会有一些限制，例如它不适合：
◆高度事务性的系统：例如银行或会计系统。传统的关系型数据库目前还是更适用于需要大量原子性复杂事务的应用程序。
◆传统的商业智能应用：针对特定问题的BI数据库会对产生高度优化的查询方式。对于此类应用，数据仓库可能是更合适的选择。
◆需要SQL的问题
MongoDB支持OS X、linux及Windows等操作系统，并提供了python，PHP，Ruby，java及C++语言的驱动程序，社区中也提供了对Erlang及.NET等平台的驱动程序。

❹ 谈谈redis，memcache，mongodb的区别和具体应用场景

从以下几个维度，对 redis、memcache、mongoDB 做了对比。
1、性能
都比较高，性能对我们来说应该都不是瓶颈。
总体来讲，TPS 方面 redis 和 memcache 差不多，要大于 mongodb。
2、操作的便利性
memcache 数据结构单一。（key-value）
redis 丰富一些，数据操作方面，redis 更好一些，较少的网络 IO 次数，同时还提供 list，set，
hash 等数据结构的存储。
mongodb 支持丰富的数据表达，索引，最类似关系型数据库，支持的查询语言非常丰富。
3、内存空间的大小和数据量的大小
redis 在 2.0 版本后增加了自己的 VM 特性，突破物理内存的限制；可以对 key value 设置过
期时间（类似 memcache）
memcache 可以修改最大可用内存,采用 LRU 算法。Memcached 代理软件 magent，比如建立
10 台 4G 的 Memcache 集群，就相当于有了 40G。 magent -s 10.1.2.1 -s 10.1.2.2:11211 -b
10.1.2.3:14000 mongoDB 适合大数据量的存储，依赖操作系统 VM 做内存管理，吃内存也比较厉害，服务
不要和别的服务在一起。
4、可用性（单点问题）
对于单点问题，
redis，依赖客户端来实现分布式读写；主从复制时，每次从节点重新连接主节点都要依赖整
个快照,无增量复制，因性能和效率问题，
所以单点问题比较复杂；不支持自动 sharding,需要依赖程序设定一致 hash 机制。
一种替代方案是，不用 redis 本身的复制机制，采用自己做主动复制（多份存储），或者改成
增量复制的方式（需要自己实现），一致性问题和性能的权衡
Memcache 本身没有数据冗余机制，也没必要；对于故障预防，采用依赖成熟的 hash 或者环
状的算法，解决单点故障引起的抖动问题。
mongoDB 支持 master-slave,replicaset（内部采用 paxos 选举算法，自动故障恢复）,auto sharding 机制，对客户端屏蔽了故障转移和切分机制。
5、可靠性（持久化）
对于数据持久化和数据恢复，
redis 支持（快照、AOF）：依赖快照进行持久化，aof 增强了可靠性的同时，对性能有所影
响
memcache 不支持，通常用在做缓存,提升性能；
MongoDB 从 1.8 版本开始采用 binlog 方式支持持久化的可靠性
6、数据一致性（事务支持）
Memcache 在并发场景下，用 cas 保证一致性redis 事务支持比较弱，只能保证事务中的每个操作连续执行
mongoDB 不支持事务
7、数据分析
mongoDB 内置了数据分析的功能(maprece),其他不支持
8、应用场景
redis：数据量较小的更性能操作和运算上
memcache：用于在动态系统中减少数据库负载，提升性能;做缓存，提高性能（适合读多写
少，对于数据量比较大，可以采用 sharding）
MongoDB:主要解决海量数据的访问效率问题。
表格比较：
memcache redis 类型 内存数据库 内存数据库
数据类型 在定义 value 时就要固定数据类型 不需要
有字符串，链表，集 合和有序集合
虚拟内存 不支持 支持
过期策略 支持 支持
分布式 magent master-slave，一主一从或一主多从
存储数据安全 不支持 使用 save 存储到 mp.rdb 中
灾难恢复 不支持 append only file(aof)用于数据恢复
性能
1、类型——memcache 和 redis 都是将数据存放在内存，所以是内存数据库。当然，memcache 也可用于缓存其他东西，例如图片等等。
2、 数据类型——Memcache 在添加数据时就要指定数据的字节长度,而 redis 不需要。
3、 虚拟内存——当物理内存用完时，可以将一些很久没用到的 value 交换到磁盘。
4、 过期策略——memcache 在 set 时就指定，例如 set key1 0 0 8,即永不过期。Redis 可以通
过例如 expire 设定，例如 expire name 10。
5、 分布式——设定 memcache 集群，利用 magent 做一主多从;redis 可以做一主多从。都可
以一主一从。
6、 存储数据安全——memcache 断电就断了，数据没了；redis 可以定期 save 到磁盘。
7、 灾难恢复——memcache 同上，redis 丢了后可以通过 aof 恢复。
Memecache 端口 11211
yum -y install memcached
yum -y install php-pecl-memcache
/etc/init.d/memcached start memcached -d -p 11211 -u memcached -m 64 -c 1024 -P /var/run/memcached/memcached.pid
-d 启动一个守护进程
-p 端口
-m 分配的内存是 M
-c 最大运行并发数-P memcache 的 pid
//0 压缩（是否 MEMCACHE_COMPRESSED） 30 秒失效时间
//delete 5 是 timeout <?php
$memcache = new Memcache; $memcache -> connect('127.0.0.1', 11211); $memcache -> set('name','yang',0,30);
if(!$memcache->add('name','susan',0, 30)) {
//echo 'susan is exist'; }$memcache -> replace('name', 'lion', 0, 300); echo $memcache -> get('name');
//$memcache -> delete('name', 5);
printf "stats\r\n" | nc 127.0.0.1 11211
telnet localhost 11211 stats quit 退出
Redis 的配置文件 端口 6379
/etc/redis.conf 启动 Redis
redis-server /etc/redis.conf 插入一个值
redis-cli set test "phper.yang" 获取键值
redis-cli get test 关闭 Redis
redis-cli shutdown 关闭所有
redis-cli -p 6379 shutdown <?php
$redis=new
Redis(); $redis->connect('127.0.0.1',6379); $redis->set('test',
'Hello World'); echo $redis->get('test'); Mongodb
apt-get install mongo mongo 可以进入 shell 命令行
pecl install mongo Mongodb 类似 phpmyadmin 操作平台 RockMongo

❺ 大数据技术包括哪些

想要成为炙手可热的大数据技术人才，这些大数据的核心技术一定要知晓！

一、大数据基础阶段
大数据基础阶段需掌握的技术有：Linux、Docker、KVM、MySQL基础、Oracle基础、MongoDB、redis以及hadoop maprece hdfs yarn等。
1、Linux命令
对于大数据开发通常是在Linux环境下进行的，相比Linux操作系统，Windows操作系统是封闭的操作系统，开源的大数据软件很受限制，因此，想从事大数据开发相关工作，还需掌握Linux基础操作命令
2、 Redis
Redis是一个key-value存储系统，其出现很大程度补偿了memcached这类key/value存储的不足，在部分场合可以对关系数据库起到很好的补充作用，它提供了Java，C/C++，C#，PHP，JavaScript，Perl，Object-C，Python，Ruby，Erlang等客户端，使用很方便，大数据开发需掌握Redis的安装、配置及相关使用方法。
二、大数据存储阶段
大数据存储阶段需掌握的技术有：hbase、hive、sqoop等。
1、HBase
HBase是一个分布式的、面向列的开源数据库，它不同于一般的关系数据库，更适合于非结构化数据存储的数据库，是一个高可靠性、高性能、面向列、可伸缩的分布式存储系统，大数据开发需掌握HBase基础知识、应用、架构以及高级用法等。
2、Hive
Hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表，并提供简单的sql查询功能，可以将sql语句转换为MapRece任务进行运行，十分适合数据仓库的统计分析。对于Hive需掌握其安装、应用及高级操作等。
三、大数据架构设计阶段
大数据架构设计阶段需掌握的技术有：Flume分布式、Zookeeper、Kafka等。
1、Kafka
Kafka是一种高吞吐量的分布式发布订阅消息系统，其在大数据开发应用上的目的是通过Hadoop的并行加载机制来统一线上和离线的消息处理，也是为了通过集群来提供实时的消息。大数据开发需掌握Kafka架构原理及各组件的作用和使用方法及相关功能的实现！
2、Flume
Flume是一款高可用、高可靠、分布式的海量日志采集、聚合和传输的系统，Flume支持在日志系统中定制各类数据发送方，用于收集数据;同时，Flume提供对数据进行简单处理，并写到各种数据接受方(可定制)的能力。大数据开发需掌握其安装、配置以及相关使用方法。
3、ZooKeeper
ZooKeeper是Hadoop和Hbase的重要组件，是一个为分布式应用提供一致性服务的软件，提供的功能包括：配置维护、域名服务、分布式同步、组件服务等，在大数据开发中要掌握ZooKeeper的常用命令及功能的实现方法。
四、大数据实时计算阶段
大数据实时计算阶段需掌握的技术有：Mahout、Spark、storm。
1、Spark
Spark是专为大规模数据处理而设计的快速通用的计算引擎，其提供了一个全面、统一的框架用于管理各种不同性质的数据集和数据源的大数据处理的需求，大数据开发需掌握Spark基础、SparkJob、Spark RDD、spark job部署与资源分配、Spark shuffle、Spark内存管理、Spark广播变量、Spark SQL、Spark Streaming以及Spark ML等相关知识。
2、storm
Storm为分布式实时计算提供了一组通用原语，可被用于“流处理”之中，实时处理消息并更新数据库。这是管理队列及工作者集群的另一种方式。Storm可以方便地在一个计算机集群中编写与扩展复杂的实时计算，Storm用于实时处理，就好比 Hadoop 用于批处理。Storm保证每个消息都会得到处理，而且它很快——在一个小集群中，每秒可以处理数以百万计的消息。
五、大数据数据采集阶段
大数据数据采集阶段需掌握的技术有：Python、Scala。
1、Python与数据分析
Python是面向对象的编程语言，拥有丰富的库，使用简单，应用广泛，在大数据领域也有所应用，主要可用于数据采集、数据分析以及数据可视化等，因此，大数据开发需学习一定的Python知识。
2、Scala
Scala是一门多范式的编程语言，大数据开发重要框架Spark是采用Scala语言设计的，想要学好Spark框架，拥有Scala基础是必不可少的，因此，大数据开发需掌握Scala编程基础知识！
以上只是一些简单的大数据核心技术总结，比较零散，想要学习大数据的同学，还是要按照一定到的技术路线图学习！

❻ 我想学编程，应该学哪一类，求助

原文地址：http://coolshell.cn/articles/4990.html

博文如下：

前言

你是否觉得自己从学校毕业的时候只做过小玩具一样的程序？走入职场后哪怕没有什么经验也可以把以下这些课外练习走一遍（朋友的抱怨：学校课程总是从理论出发，作业项目都看不出有什么实际作用，不如从工作中的需求出发）

建议：

不要乱买书，不要乱追新技术新名词，基础的东西经过很长时间积累而且还会在未来至少10年通用。

回顾一下历史，看看历史上时间线上技术的发展，你才能明白明天会是什么样。

一定要动手，例子不管多么简单，建议至少自己手敲一遍看看是否理解了里头的细枝末节。

一定要学会思考，思考为什么要这样，而不是那样。还要举一反三地思考。

注：你也许会很奇怪为什么下面的东西很偏Unix/Linux，这是因为我觉得Windows下的编程可能会在未来很没有前途，原因如下：

现在的用户界面几乎被两个东西主宰了，1）Web，2）移动设备iOS或Android。Windows的图形界面不吃香了。

越来越多的企业在用成本低性能高的Linux和各种开源技术来构架其系统，Windows的成本太高了。

微软的东西变得太快了，很不持久，他们完全是在玩弄程序员。详情参见《Windows编程革命史》

所以，我个人认为以后的趋势是前端是Web+移动，后端是Linux+开源。开发这边基本上没Windows什么事。

启蒙入门

1、学习一门脚本语言，例如Python/Ruby

可以让你摆脱对底层语言的恐惧感，脚本语言可以让你很快开发出能用得上的小程序。实践项目:

处理文本文件，或者csv(关键词pythoncsv,pythonopen,pythonsys)读一个本地文件，逐行处理（例如wordcount，或者处理log）

遍历本地文件系统(sys,os,path)，例如写一个程序统计一个目录下所有文件大小并按各种条件排序并保存结果

跟数据库打交道(pythonsqlite)，写一个小脚本统计数据库里条目数量

学会用各种print之类简单粗暴的方式进行调试

学会用Google(phrase,domain,usereadertofollowtechblogs)

为什么要学脚本语言，因为他们实在是太方便了，很多时候我们需要写点小工具或是脚本来帮我们解决问题，你就会发现正规的编程语言太难用了。

2、用熟一种程序员的编辑器(不是IDE)和一些基本工具

Vim/Emacs/Notepad++，学会如何配置代码补全，外观，外部命令等。

SourceInsight(或ctag)

使用这些东西不是为了Cool，而是这些编辑器在查看、修改代码/配置文章/日志会更快更有效率。

3、熟悉Unix/LinuxShell和常见的命令行

如果你用windows，至少学会用虚拟机里的linux，vmwareplayer是免费的，装个Ubuntu吧

一定要少用少用图形界面。

学会使用man来查看帮助

文件系统结构和基本操作ls/chmod/chown/rm/find/ln/cat/mount/mkdir/tar/gzip…

学会使用一些文本操作命令sed/awk/grep/tail/less/more…

学会使用一些管理命令ps/top/lsof/netstat/kill/tcpmp/iptables/dd…

了解/etc目录下的各种配置文章，学会查看/var/log下的系统日志，以及/proc下的系统运行信息

了解正则表达式，使用正则表达式来查找文件。

对于程序员来说Unix/Linux比Windows简单多了。（参看我四年前CSDN的博文《其实Unix很简单》）学会使用Unix/Linux你会发现图形界面在某些时候实在是太难用了，相当地相当地降低工作效率。

4、学习Web基础（HTML/CSS/JS)+服务器端技术(LAMP)

未来必然是Web的世界，学习WEB基础的最佳网站是W3School。

学习HTML基本语法

学习CSS如何选中HTML元素并应用一些基本样式（关键词：boxmodel）

学会用Firefox+Firebug或chrome查看你觉得很炫的网页结构，并动态修改。

学习使用Javascript操纵HTML元件。理解DOM和动态网页（DynamicHTML:TheDefinitiveReference,3rdEdition-O'ReillyMedia)网上有免费的章节，足够用了。或参看DOM。

学会用Firefox+Firebug或chrome调试Javascript代码（设置断点，查看变量，性能，控制台等）

在一台机器上配置Apache或Nginx

学习PHP，让后台PHP和前台HTML进行数据交互，对服务器相应浏览器请求形成初步认识。实现一个表单提交和反显的功能。

把PHP连接本地或者远程数据库MySQL（MySQL和SQL现学现用够了）

跟完一个名校的网络编程课程（例如：http://www.stanford.e/~ouster/cgi-bin/cs142-fall10/index.php)不要觉得需要多于一学期时间，大学生是全职一学期选3-5门课，你业余时间一定可以跟上

学习一个javascript库（例如jQuery或ExtJS）+Ajax(异步读入一个服务器端图片或者数据库内容）+JSON数据格式。

HTTP:TheDefinitiveGuide读完前4章你就明白你每天上网用浏览器的时候发生的事情了(proxy,gateway,browsers)

做个小网站（例如：一个小的留言板，支持用户登录，Cookie/Session，增、删、改、查，上传图片附件，分页显示）

买个域名，租个空间，做个自己的网站。

进阶加深

1、C语言和操作系统调用

重新学C语言，理解指针和内存模型，用C语言实现一下各种经典的算法和数据结构。推荐《计算机程序设计艺术》、《算法导论》和《编程珠玑》。

学习（麻省理工免费课程）计算机科学和编程导论

学习（麻省理工免费课程）C语言内存管理

学习Unix/Linux系统调用（Unix高级环境编程），，了解系统层面的东西。

用这些系统知识操作一下文件系统，用户（实现一个可以拷贝目录树的小程序）

用fork/wait/waitpid写一个多进程的程序，用pthread写一个多线程带同步或互斥的程序。多进程多进程购票的程序。

用signal/kill/raise/alarm/pause/sigprocmask实现一个多进程间的信号量通信的程序。

学会使用gcc和gdb来编程和调试程序（参看我的《用gdb调试程序》）

学会使用makefile来编译程序。（参看我的《跟我一起写makefile》）

IPC和Socket的东西可以放到高级中来实践。

学习WindowsSDK编程（Windows程序设计，MFC程序设计）

写一个窗口，了解WinMain/WinProcere，以及Windows的消息机制。

写一些程序来操作WindowsSDK中的资源文件或是各种图形控件，以及作图的编程。

学习如何使用MSDN查看相关的SDK函数，各种WM_消息以及一些例程。

这本书中有很多例程，在实践中请不要照抄，试着自己写一个自己的例程。

不用太多于精通这些东西，因为GUI正在被Web取代，主要是了解一下Windows图形界面的编程。@virushuo说：“我觉得GUI确实不那么热门了，但充分理解GUI工作原理是很重要的。包括移动设备开发，如果没有基础知识仍然很吃力。或者说移动设备开发必须理解GUI工作，或者在win那边学，或者在mac/iOS上学”。

2、学习Java

Java的学习主要是看经典的CoreJava《Java核心技术编程》和《Java编程思想》（有两卷，我仅链了第一卷，足够了，因为Java的图形界面了解就可以了）

学习JDK，学会查阅JavaAPIDocJavaPlatformSE6

了解一下Java这种虚拟机语言和C和Python语言在编译和执行上的差别。从C、Java、Python思考一下“跨平台”这种技术。

学会使用IDEEclipse，使用Eclipse编译，调试和开发Java程序。

建一个Tomcat的网站，尝试一下JSP/Servlet/JDBC/MySQL的Web开发。把前面所说的那个PHP的小项目试着用JSP和Servlet实现一下。

3、Web的安全与架构

学习HTML5，网上有很多很多教程，以前酷壳也介绍过很多，我在这里就不罗列了。

学习Web开发的安全问题（参考新浪微博被攻击的这个事，以及Ruby的这篇文章）

学习HTTPServer的rewrite机制，Nginx的反向代理机制，fast-cgi（如：PHP-FPM）

学习Web的静态页面缓存技术。

学习Web的异步工作流处理，数据Cache，数据分区，负载均衡，水平扩展的构架。

实践任务：

使用HTML5的canvas制作一些Web动画。

尝试在前面开发过的那个Web应用中进行SQL注入，JS注入，以及XSS攻击。

把前面开发过的那个Web应用改成构造在Nginx+PHP-FPM+静态页面缓存的网站

4、学习关系型数据库

你可以安装MSSQLServer或MySQL来学习数据库。

学习教科书里数据库设计的那几个范式，1NF，2NF，3NF，……

学习数据库的存过，触发器，视图，建索引，游标等。

学习SQL语句，明白表连接的各种概念（参看《SQLJoin的图示》）

学习如何优化数据库查询（参看《MySQL的优化》）

实践任务：设计一个论坛的数据库，至少满足3NF，使用SQL语句查询本周，本月的最新文章，评论最多的文章，最活跃用户。

5、一些开发工具

学会使用SVN或Git来管理程序版本。

学会使用JUnit来对Java进行单元测试。

学习C语言和Java语言的codingstandard或codingguideline。（我N年前写过一篇关C语言非常简单的文章——《编程修养》，这样的东西你可以上网查一下，一大堆）。

推荐阅读《代码大全》《重构》《代码整洁之道》

高级深入

1、C++/Java和面向对象

我个人以为学好C++，Java也就是举手之劳。但是C++的学习曲线相当的陡。不过，我觉得C++是最需要学好的语言了。参看两篇趣文“C++学习信心图”和“21天学好C++”

学习（麻省理工免费课程）C++面向对象编程

读我的“如何学好C++”中所推荐的那些书至少两遍以上（如果你对C++的理解能够深入到像我所写的《C++虚函数表解析》或是《C++对象内存存局（上）（下）》，或是《C/C++返回内部静态成员的陷阱》那就非常不错了）

然后反思为什么C++要干成这样，Java则不是？你一定要学会对比C++和Java的不同。比如，Java中的初始化，垃圾回收，接口，异常，虚函数，等等。

实践任务：

用C++实现一个BigInt，支持128位的整形的加减乘除的操作。

用C++封装一个数据结构的容量，比如hashtable。

用C++封装并实现一个智能指针（一定要使用模板）。

《设计模式》必需一读，两遍以上，思考一下，这23个模式的应用场景。主要是两点：1）钟爱组合而不是继承，2）钟爱接口而不是实现。（也推荐《深入浅出设计模式》）

实践任务：

使用工厂模式实现一个内存池。

使用策略模式制做一个类其可以把文本文件进行左对齐，右对齐和中对齐。

使用命令模式实现一个命令行计算器，并支持undo和redo。

使用修饰模式实现一个酒店的房间价格订价策略——旺季，服务，VIP、旅行团、等影响价格的因素。

学习STL的用法和其设计概念-容器，算法，迭代器，函数子。如果可能，请读一下其源码。

实践任务：尝试使用面向对象、STL，设计模式、和WindowsSDK图形编程的各种技能

做一个贪吃蛇或是俄罗斯方块的游戏。支持不同的级别和难度。

做一个文件浏览器，可以浏览目录下的文件，并可以对不同的文件有不同的操作，文本文件可以打开编辑，执行文件则执行之，mp3或avi文件可以播放，图片文件可以展示图片。

学习C++的一些类库的设计，如：MFC（看看候捷老师的《深入浅出MFC》），Boost,ACE,CPPUnit，STL（STL可能会太难了，但是如果你能了解其中的设计模式和设计那就太好了，如果你能深入到我写的《STLstring类的写时拷贝技术》那就非常不错了，ACE需要很强在的系统知识，参见后面的“加强对系统的了解”）

Java是真正的面向对象的语言，Java的设计模式多得不能再多，也是用来学习面向对象的设计模式的最佳语言了（参看Java中的设计模式）。

推荐阅读《EffectiveJava》and《Java解惑》

学习Java的框架，Java的框架也是多，如Spring,Hibernate，Struts等等，主要是学习Java的设计，如IoC等。

Java的技术也是烂多，重点学习J2EE架构以及JMS，RMI,等消息传递和远程调用的技术。

学习使用Java做WebService（官方教程在这里）

实践任务：尝试在Spring或Hibernate框架下构建一个有网络的WebService的远程调用程序，并可以在两个Service中通过JMS传递消息。

C++和Java都不是能在短时间内能学好的，C++玩是的深，Java玩的是广，我建议两者选一个。我个人的学习经历是：

深究C++（我深究C/C++了十来年了）

学习Java的各种设计模式。

2、加强系统了解

重要阅读下面的几本书：

《Unix编程艺术》了解Unix系统领域中的设计和开发哲学、思想文化体系、原则与经验。你一定会有一种醍醐灌顶的感觉。

《Unix网络编程卷1，套接字》这是一本看完你就明白网络编程的书。重要注意TCP、UDP，以及多路复用的系统调用select/poll/epoll的差别。

《TCP/IP详解卷1:协议》-这是一本看完后你就可以当网络黑客的书。了解以太网的的运作原理，了解TCP/IP的协议，运作原理以及如何TCP的调优。

实践任务：

理解什么是阻塞（同步IO），非阻塞（异步IO），多路复用（select,poll,epoll）的IO技术。

写一个网络聊天程序，有聊天服务器和多个聊天客户端（服务端用UDP对部分或所有的的聊天客户端进Multicast或Broadcast）。

写一个简易的HTTP服务器。

《Unix网络编程卷2，进程间通信》信号量，管道，共享内存，消息等各种IPC……这些技术好像有点老掉牙了，不过还是值得了解。

实践任务：

主要实践各种IPC进程序通信的方法。

尝试写一个管道程序，父子进程通过管道交换数据。

尝试写一个共享内存的程序，两个进程通过共享内存交换一个C的结构体数组。

学习《Windows核心编程》一书。把CreateProcess，Windows线程、线程调度、线程同步（Event,信号量，互斥量）、异步I/O，内存管理，DLL，这几大块搞精通。

实践任务：使用CreateProcess启动一个记事本或IE，并监控该程序的运行。把前面写过的那个简易的HTTP服务用线程池实现一下。写一个DLL的钩子程序监控指定窗口的关闭事件，或是记录某个窗口的按键。

有了多线程、多进程通信，TCP/IP，套接字，C++和设计模式的基本，你可以研究一下ACE了。使用ACE重写上述的聊天程序和HTTP服务器（带线程池）

实践任务：通过以上的所有知识，尝试

写一个服务端给客户端传大文件，要求把100M的带宽用到80%以上。（注意，磁盘I/O和网络I/O可能会很有问题，想一想怎么解决，另外，请注意网络传输最大单元MTU）

了解BT下载的工作原理，用多进程的方式模拟BT下载的原理。

3、系统架构

负载均衡。HASH式的，纯动态式的。（可以到Google学术里搜一些关于负载均衡的文章读读）

多层分布式系统–客户端服务结点层、计算结点层、数据cache层，数据层。J2EE是经典的多层结构。

CDN系统–就近访问，内容边缘化。

P2P式系统，研究一下BT和电驴的算法。比如：DHT算法。

服务器备份，双机备份系统（Live-Standby和Live-Live系统），两台机器如何通过心跳监测对方？集群主结点备份。

虚拟化技术，使用这个技术，可以把操作系统当应用程序一下切换或重新配置和部署。

学习Thrift，二进制的高性能的通讯中间件，支持数据(对象)序列化和多种类型的RPC服务。

学习Hadoop。

Hadoop框架中最核心的设计就是：MapRece和HDFS。MapRece的思想是由Google的一篇论文所提及而被广为流传的，简单的

一句话解释MapRece就是“任务的分解与结果的汇总”。HDFS是Hadoop分布式文件系统（HadoopDistributedFile

System）的缩写，为分布式计算存储提供了底层支持。

了解NoSQL数据库（有人说可能是一个过渡炒作的技术），

不过因为超大规模以及高并发的纯动态型网站日渐成为主流，而SNS类网站在数据存取过程中有着实时性等刚性需求，这使得目前NoSQL数据库慢慢成了人们

所关注的焦点，并大有成为取代关系型数据库而成为未来主流数据存储模式的趋势。当前NoSQL数据库很多，大部分都是开源的，其中比较知名的

有：MemcacheDB、Redis、TokyoCabinet(升级版为Kyoto

Cabinet)、Flare、MongoDB、CouchDB、Cassandra、Voldemort等。

写了那么多，回顾一下，觉得自己相当的有成就感。希望大家不要吓着，我自己这十来年也在不断地学习，今天我也在学习中，人生本来就是一个不断学习和练级的过程。不过，一定有漏的，也有不对的，还希望大家补充和更正。（我会根据大家的反馈随时更新此文）欢迎大家通过我的微博（@左耳朵耗子）和twitter（@haoel）和我交流。

—–更新2011/07/19—–

1）有朋友奇怪为什么我在这篇文章开头说了web+移动，却没有在后面提到iOS/Android的前端开发。因为我心里有一种感觉，移动设备上的UI最终也会被Javascript取代。大家可以用iPhone或Android看看google+，你就会明白了。

2）

有朋友说我这里的东西太多了，不能为了学习而学习，我非常同意。我在文章的前面也说了要思考。另外，千万不要以为我说的这些东西是一些新的技术，这份攻略

里95%以上的全是基础。而且都是久经考验的基础技术。即是可以让你一通百通的技术，也是可以让你找到一份不错工作的技术。

3）有朋友说学

这些东西学完都40了，还不如想想怎么去挣钱。我想告诉大家，一是我今年还没有40岁，二是学无止境啊，三是我不觉得挣钱有多难，难的是怎么让你值那么多

钱？无论是打工还是创业，是什么东西让你自己的价值，让你公司的价值更值钱？别的地方我不敢说，对于互联网或IT公司来说，技术实力绝对是其中之一。

4）有朋友说技术都是工具，不应该如此痴迷这句话没有错，有时候我们需要更多的是抬起头来看看技术以外的事情，或者是说我们在作技术的时候不去思考为什么会有这个技术，为什么不是别的，问题不在于技术，问题在于我们死读书，读死书，成了技术的书呆子。

5）对于NoSQL，最近比较火，但我对其有点保守，所以，我只是说了解就可以。对于Hadoop，我觉得其在分布式系统上有巨大的潜力，所以需要学习。对于关系型数据库，的确是很重要的东西，这点是我的疏忽，在原文里补充。

❼ 软件测试需要学什么 发展趋势怎么样

软件测试需要学习软件工程与项目管理、数据库原理与应用、Linux操作系统、网络应用技术、软件测试技术、软件测试过程管理、软件测试自动化等等。

软件测试发展趋势：

从整体行业背景看，一方面，在中国的很多软件企业存在着重开发、轻测试的现象，造成日后的软件产品的质量问题频出，亟待解决；另一方面市场上的软件测试人员偏少，岗位缺口较大，不少企业以开发暂代测试，以作急用。软件测试人才的缺口在30万人以上。

从个人职业发展看，软件测试人才更强调岗位的经验积累。从业者在拥有几年的测试经验背景后，可以逐步转向管理或者资深测试工程师，担当测试经理或者部门主管，所以职业寿命更长。另外，由于国内软件测试工程师人才奇缺，并且一般只有大中型企业才会单独设立软件测试部门，所以很有保障，待遇普遍较高。

综合以上分析来看，软件测试行业前景广阔。

(7)phpmongomaprece扩展阅读：

软件测试发展现状：

软件系统越来越复杂，一个软件不能够由单独的软件工程师单独编写，而是由团队进行配合，每个人可能只负责一个模块，对于全局没有过多的了解，这时如果运行软件就会容易产生很多的错误。在行业内将这些错误叫做BUG。并且每一个软件工程师都会有思维的死角，自己不容易发现自己编写出来的错误。所以这个时候就需要专门的软件测试工程师用专业的测试方式来检查软件。检查该软件是否符合客户要求的产品设计，是否能够符合大多数用户的使用习惯，如果发现异常状态及时进行处理。软件市场虽然远远没有达到饱和但是各种各样功能的软件也层出不穷竞争激烈，对软件开发的质量要求也是日益增高。

所以软件测试是由于软件开发编程行业高度成熟后所形成的产物。从行业的整体成熟度来讲，软件开发行业的整体成熟度更高，人们对软件开发的理解也更为全面深入。故此通常将软件测试和软件开发放在一起做比较。纵然二者都属于产品研发但通常人们的关注点有所倾斜。所以经常用软件开发设计工程师的要求来评价软件测试工程师，仅看到软件测试和软件开发相比的弱势却看不到优势。

❽ 大数据学习一般都学什么

您好，大数据学习一般分为6个阶段

第一阶段
JavaSE基础核心
第二阶段
数据库关键技术
第三阶段
大数据基础核心
第四阶段
Spark生态体系框架&大数据精选项目
第五阶段
Spark生态体系框架&企业无缝对接项目
第六阶段
Flink流式数据处理框架
大数据是最近几年新兴的专业，发展的前景是非常好的，选择大数据是没有错的！