❶ 怎麼用mahout實現模糊k-means演算法，最好帶注釋
Hive Hadoop中類似於數據倉庫的應用，所有要用到的表可以存在Hive中，並且HQL語言類sql語言直接見表查詢。
Hdfs是Hadoop中文件存儲的格式。
Hbase Hadoop中一種表存儲的方式，是以列式存儲的方式存儲一些大數據量的表。
Pig Hadoop的ETL平台工具，提供了簡便的語言也是。
Sqoop 就是一個搬數的工具，從關系型資料庫到Hdfs中，或者反過來。 也可以用Java介面直接實現搬數的過程。
ODI（12版本）加入Hive架構，使得搬數更簡單了。 Sqoop速度好慢，增量也比較麻煩。
Maorece就是Hadoop核心演算法，一個Map 一個Rece函數。
Mahout 是Hadoop的一個數據挖掘應用，利用許多封裝好的演算法進行數據分析例如K-Means演算法。
❷ 大數據分析的流程淺析 大數據整理過程分析
大數據分析的流程淺析：大數據整理過程分析
數據整理是數據分析過程中最重要的環節，在大數據分析過程中也是如此。在小數據時代，數據整理包括數據的清洗、數據轉換、歸類編碼和數字編碼等過程，其中數據清洗占據最重要的位置，就是檢查數據一致性，處理無效值和缺失值等操作。在大數據時代，這些工作被弱化了，在有些大數據的演算法和應用中，基本不再進行數據清洗了，因為大數據的多樣化使得其數據。有一定的不精確性。但數據轉換和編碼過程還是需要的。下面以大數據分析中文本分類的例子，來分析大數據整理的過程。
在本例中，以mahout為大數據分析軟體，文本分類演算法選用樸素貝葉斯演算法(new bayes)，分類對象是來自不同類別的新聞數據。
當我們使用網頁爬蟲，每小時源源不斷的從多個不同類別的新聞網站上取得數據時，取得的這些數據都是文本數據，也就是非結構化數據，這些數據是不需要進行數據清洗過程，但它們在進入到mahout實現的樸素貝葉斯演算法時，需要進行必要的數據轉換。該轉換主要分兩個步驟：
1.數據系列化
由於取得的大量的文本數據集中，每個新聞佔一個文檔，共有無數個小的文件，由於Mahout運行在Hadoop的HDFS上，HDFS是為大文件設計的。如果我們把這些無窮多個小文件都拷貝上去，這樣是非常不合適。試想：假設對1000萬篇新聞進行分類，難道要拷貝1000w個文件么?這樣會使HDFS中運行name node節點的終端崩潰掉。
因此，Mahout採用SequenceFile作為其基本的數據交換格式。其思路是：通過調用mahout內置的解析器，掃描所有目錄和文件，並把每個文件都轉成單行文本，以目錄名開頭，跟著是文檔出現的所有單詞，這樣就把無窮多個小文件，轉換成一個系列化的大文件。然後把這個大文件，再上傳到HDFS上，就可以充分發揮HDFS分布式文件系統的優勢。當然，這個轉換過程由mahout的內置工具完成，而大數據分析師這個時候只需要把所有的新聞按文件夾分好類放置好，同時運行mahout內置的解析器命令就可以了。
2.文本內容向量化
簡單地說就是把文本內容中的每個單詞(去除一些連接詞後)轉換成數據，復雜地說就是進行向量空間模型化(VSM)。該過程使每個單詞都有一個編號，這個編號是就它在文檔向量所擁有的維度。這個工作在mahout中實現時，大數據分析師也只需要執行其中的一個命令，就可以輕松地實現文本內容的向量化。
有了這些被向量化的數據，再通過mahout的樸素貝葉斯演算法，我們就可以對計算機訓練出一套規則，根據這個規則，機器就可以對後續收集的新聞數據進行自動的分類了。
從上述文本分類的大數據整理過程可以看出，大數據時代的數據整理過程不再強調數據的精確性，而強調的是對非結構化數據的數量化。當然，不同的大數據分析應用使用的演算法也不一樣，其數據整理過程也不太一樣，但從總體上看，大數據分析的數據整理區別於小數據時代的精確性，而變得更粗放一些。
以上是小編為大家分享的關於大數據分析的流程淺析 大數據整理過程分析的相關內容，更多信息可以關注環球青藤分享更多干貨
❸ 如何利用Mahout和Hadoop處理大規模數據
利用Mahout和Hadoop處理大規模數據
規模問題在機器學習演算法中有什麼現實意義?讓我們考慮你可能需要部署Mahout來解決的幾個問題的大小。
據粗略估計，Picasa三年前就擁有了5億張照片。 這意味著每天有百萬級的新照片需要處理。一張照片的分析本身不是一個大問題，即使重復幾百萬次也不算什麼。但是在學習階段可能需要同時獲取數十億張照片中的信息，而這種規模的計算是無法用單機實現的。
據報道，Google News每天都會處理大約350萬篇新的新聞文章。雖然它的絕對詞項數量看似不大，但試想一下，為了及時提供這些文章，它們連同其他近期的文章必須在幾分鍾的時間內完成聚類。
Netflix為Netflix Prize公布的評分數據子集中包含了1億個評分。因為這僅僅是針對競賽而公布的數據，據推測Netflix為形成推薦結果所需處理的數據總量與之相比還要大出許多倍。
機器學習技術必須部署在諸如此類的應用場景中，通常輸入數據量都非常龐大，以至於無法在一台計算機上完全處理，即使這台計算機非常強大。如果沒有 Mahout這類的實現手段，這將是一項無法完成的任務。這就是Mahout將可擴展性視為重中之重的道理，以及本書將焦點放在有效處理大數據集上的原因，這一點與其他書有所不同。
將復雜的機器學習技術應用於解決大規模的問題，目前僅為大型的高新技術公司所考慮。但是，今天的計算能力與以往相比，已廉價許多，且可以藉助於 Apache Hadoop這種開源框架更輕松地獲取。Mahout通過提供構築在Hadoop平台上的、能夠解決大規模問題的高質量的開源實現以期完成這塊拼圖，並可為所有技術團體所用。
Mahout中的有些部分利用了Hadoop，其中包含一個流行的MapRece分布式計算框架。MapRece被谷歌在公司內部得到廣泛使用 ，而Hadoop是它的一個基於Java的開源實現。MapRece是一個編程範式，初看起來奇怪，或者說簡單得讓人很難相信其強大性。 MapRece範式適用於解決輸入為一組"鍵 值對"的問題，map函數將這些鍵值對轉換為另一組中間鍵值對，rece函數按某種方式將每個中間鍵所對應的全部值進行合並，以產生輸出。實際上，許多問題可以歸結為MapRece問題，或它們的級聯。這個範式還相當易於並行化：所有處理都是獨立的，因此可以分布到許多機器上。這里不再贅述 MapRece，建議讀者參考一些入門教程來了解它，如Hadoop所提供的
Hadoop實現了MapRece範式，即便MapRece聽上去如此簡單，這仍然稱得上是一大進步。它負責管理輸入數據、中間鍵值對以及輸出數據的存儲;這些數據可能會非常龐大，並且必須可被許多工作節點訪問，而不僅僅存放在某個節點上。Hadoop還負責工作節點之間的數據分區和傳輸，以及各個機器的故障監測與恢復。理解其背後的工作原理，可以幫你准備好應對使用Hadoop可能會面對的復雜情況。Hadoop不僅僅是一個可在工程中添加的庫。它有幾個組件，每個都帶有許多庫，還有(幾個)獨立的服務進程，可在多台機器上運行。基於Hadoop的操作過程並不簡單，但是投資一個可擴展、分布式的實現，可以在以後獲得回報：你的數據可能會很快增長到很大的規模，而這種可擴展的實現讓你的應用不會落伍。
鑒於這種需要大量計算能力的復雜框架正變得越來越普遍，雲計算提供商開始提供Hadoop相關的服務就不足為奇了。例如，亞馬遜提供了一種管理Hadoop集群的服務 Elastic MapRece，該服務提供了強大的計算能力，並使我們可通過一個友好的介面在Hadoop上操作和監控大規模作業，而這原本是一個非常復雜的任務。
❹ mahout哪些推薦演算法支持分布式計算
分布式計算是一種計算方法，和集中式計算是相對的。隨著計算技術的發展，有些應用需要非常巨大的計算能力才能完成，如果採用集中式計算，需要耗費相當長的時間來完成。分布式計算將該應用分解成許多小的部分，分配給多台計算機進行處理。這樣可以節約整體計算時間，大大提高計算效率。
❺ mahout使用隨機森林演算法，套用自己的數據為什麼出錯
首先看你是一個什麼定位了，是應屆生，還是有一定數據挖掘分析經驗的人員。如果是應屆生，你只需知道這些演算法的基本概念並且能舉出相應的例子，這個網上都有，各個經典演算法的例子，還是很容易理解的。當然你要是有經驗的數據分析工作者，就需要應對公司的現場出題，選擇最好的演算法，從不同的角度分析，對演算法要有本質的了解。
❻ mahout包括哪些演算法
一、分類演算法
（一）Logistic 回歸（SGD）
（二）Bayesian
（三）SVM
（四）Perceptron 和Winnow
（五）神經網路
（六）隨機森林
（七）受限玻爾茲曼機
（八）Boosting
（九）HMM
（十）Online Passive Aggressive
二、聚類演算法
（一）Canopy
（二）K-Means
（三）Fuzzy K-means
（四）EM
（五）Mean shift
（六）層次聚類
（七）Dirichlet process
（八）LDA
（九）Spectral
（十）MinHash
（十一）Top Down
三、推薦演算法
Mahout包括簡單的非並行的推薦和基於Hadoop的並行推薦的實現。
（一）非並行推薦
（二）分布式的基於Item的協同過濾
（三）並行矩陣分解的協同過濾
四、關聯規則挖掘演算法
並行FP-Growth
五、回歸
Locally Weighted Linear Regression
六、降維
（一）SVD
（二）SSVD
（三）PCA
（四）ICA
（五）GDA
七、進化演算法
八、向量相似性計算
❼ mahout決策樹演算法怎麼調用
你最好先搞清楚，hadoop安裝一下先，然後和eclipse連接 然後下載mahout的源代碼，用eclipse打開，編譯 將你的數據放到HDFS上，就可以了 PS. hadoop只能處理HDFS上的數據，就算你想處理本地的，實質上也是上傳到了HDFS上
❽ 我想用eclipse、mahout處理hadoop上的數據，mahout演算法用k-means演算法。現在就只是這個概念，
你最好先搞清楚，hadoop安裝一下先，然後和eclipse連接
然後下載mahout的源代碼，用eclipse打開，編譯
將你的數據放到HDFS上，就可以了
PS. hadoop只能處理HDFS上的數據，就算你想處理本地的，實質上也是上傳到了HDFS上
❾ mahout協同過濾演算法 之後的值怎麼使用
書上的程序附帶有數據集啊，而且也可以自己從網上數據集啊。其實也就是跑跑驗證一下，重要的還是思考自己需要應用的地方。
❿ 我想知道mahout中的演算法如何處理hbase中的數據
不知道你用的是API還是官方編譯後的包：
用API的把你hadoop集群的幾個conf的xml放到你工程的classpath中就行了
用官方編譯後的包部署的到有hadoop集群的機器上，會讀本機的hadoop_conf_dir
如果hadoop配置的沒問題，mahout輸入輸出路徑都是指hdfs路徑