导航:首页 > 编程语言 > 统计词频java
统计词频java
发布时间：2024-07-17 02:01:29‘壹’ 简述Hadoop的MapRece与Googl的MapRecc 之间的关系
江湖传说永流传：谷歌技术有"三宝"，GFS、MapRece和大表（BigTable）！
谷歌在03到06年间连续发表了三篇很有影响力的文章，分别是03年SOSP的GFS，04年OSDI的MapRece，和06年OSDI的BigTable。SOSP和OSDI都是操作系统领域的顶级会议，在计算机学会推荐会议里属于A类。SOSP在单数年举办，而OSDI在双数年举办。
那么这篇博客就来介绍一下MapRece。
1. MapRece是干啥的
因为没找到谷歌的示意图，所以我想借用一张Hadoop项目的结构图来说明下MapRece所处的位置，如下图。
这幅图描述了MapRece如何处理词频统计。由于map worker数量不够，首先处理了分片1、3、4，并产生中间键值对；当所有中间值都准备好了，Rece作业就开始读取对应分区，并输出统计结果。
6. 用户的权利
用户最主要的任务是实现map和rece接口，但还有一些有用的接口是向用户开放的。
an input reader。这个函数会将输入分为M个部分，并且定义了如何从数据中抽取最初的键值对，比如词频的例子中定义文件名和文件内容是键值对。
a partition function。这个函数用于将map函数产生的中间键值对映射到一个分区里去，最简单的实现就是将键求哈希再对R取模。
a compare function。这个函数用于Rece作业排序，这个函数定义了键的大小关系。
an output writer。负责将结果写入底层分布式文件系统。
a combiner function。实际就是rece函数，这是用于前面提到的优化的，比如统计词频时，如果每个<w, "1">要读一次，因为rece和map通常不在一台机器，非常浪费时间，所以可以在map执行的地方先运行一次combiner，这样rece只需要读一次<w, "n">了。
map和rece函数就不多说了。
7. MapRece的实现
目前MapRece已经有多种实现，除了谷歌自己的实现外，还有着名的hadoop，区别是谷歌是c++，而hadoop是用java。另外斯坦福大学实现了一个在多核/多处理器、共享内存环境内运行的MapRece，称为Phoenix（介绍），相关的论文发表在07年的HPCA，是当年的最佳论文哦！
与统计词频java相关的资料
- 不会数学英语如何编程
- excel能编程吗
- 产电plc编程手册
- vscodephp
- php二维数组搜索
- 手机编程跟电脑编程一样吗
- 如何学好编程的第一步
- 电气工程师plc编程
- python中列表是否为空
- php加水印类
- php判断爬虫
- python控制键盘右键
- php没有libmysqldll
- java中的常用类
- 海克斯康三次元编程
- 5k7k笔记本电脑推荐编程用
- python自动弹幕脚本
- python3爬虫总结
- 3b编程加工指令
- 车床编程可以做刀吗
- 编程思考者
- 编程联动教程
- 免费编程电子书
- plc入门编程题目及答案
- ai编程课加入高考
- 小米智能家居可编程
- javaclassstatic
- python二次开发cad
- python使用领域
- python输出路径为超链接
- 安阳少儿编程市场
- javajunit4for
- java注册验证
- 无锡代码编程培训班
- 大数乘法java
- 两个数字的加减乘除运算编程
- 编程猫下一个背景在哪里
- javaclasstype
- 乐高编程和乐高课的延伸
- javaswing项目
- 核桃编程和小码王的融资
- 写python给微信好友发消息