『壹』 大數據行業挺火的，苦X已工作工科碩士如何轉行大數據
碩士研究生可分為普通碩士和專業碩士兩類。 【普通碩士】 根據我國的有關規定，普通碩士教育以培養教學和科研人才為主，授予學位的類型主要是學術型學位。 目前，我國學術型學位按招生學科門類分為12大類，12大類下面再分為88個一級學科
『貳』 naivebayes.fit訓練集的預測值怎麼找
1.關於貝葉斯分類
bayes 是一種統計學分類方法，它基於貝葉斯定理，它假定一個屬性值對給定類的影響獨立於其它屬性點的值。該假定稱作類條件獨立。做次假定是為了簡化所需計算，並在此意義下稱為「樸素的」。
bayes分類的演算法大致如下：
（1）對於屬性值是離散的，並且目標label值也是離散的情況下。分別計算label不同取值的概率，以及樣本在label情況下的概率值，然後將這些概率值相乘最後得到一個概率的乘積，選擇概率乘積最大的那個值對應的label值就為預測的結果。
例如以下：是預測蘋果在給定屬性的情況是甜還是不甜的情況：
color={0,1,2,3} weight={2,3,4};是屬性序列，為離散型。sweet={yes,no}是目標值，也為離散型；
這時我們要預測在color=3,weight=3的情況下的目標值，計算過程如下：
P{y=yes}=2/5=0.4; P{color=3|yes}=1/2=0.5;P{weight=3|yes}=1/2=0.5; 故F{color=3,weight=3}取yesd的概率為 0.4*0.5*0.5=0.1;
P{y=no}=3/5=0.6; P{color=3|no}=1/3 P{weight=3|no}=1/3; 故P{color=3,weight=3}取no為 0.6*1/3*1/3=1/15;
0.1>1/15 所以認為 F{color=3,weight=3}=yes;
(2)對於屬性值是連續的情況，思想和離散是相同的，只是這時候我們計算屬性的概率用的是高斯密度：
這里的Xk就是樣本的取值，u是樣本所在列的均值，kesi是標准差；
最後代碼如下：
/*
* To change this template, choose Tools | Templates
* and open the template in the editor.
*/
package auxiliary;
import java.util.ArrayList;
/**
*
* @author Michael Kong
*/
public class NaiveBayes extends Classifier {
boolean isClassfication[];
ArrayList <Double>lblClass=new ArrayList<Double>(); //存儲目標值的種類
ArrayList<Integer>lblCount=new ArrayList<Integer>();//存儲目標值的個數
ArrayList<Float>lblProba=new ArrayList<Float>();//存儲對應的label的概率
CountProbility countlblPro;
/*@ClassListBasedLabel是將訓練數組按照 label的順序來分類存儲*/
ArrayList<ArrayList<ArrayList<Double>>> ClassListBasedLabel=new ArrayList<ArrayList<ArrayList<Double>>> ();
public NaiveBayes() {
}
@Override
/**
* @train主要完成求一些概率
* 1.labels中的不同取值的概率f(Yi); 對應28,29行兩段代碼
* 2.將訓練數組按目標值分類存儲 第37行代碼
* */
public void train(boolean[] isCategory, double[][] features, double[] labels){
isClassfication=isCategory;
countlblPro=new CountProbility(isCategory,features,labels);
countlblPro.getlblClass(lblClass, lblCount, lblProba);
ArrayList<ArrayList<Double>> trainingList=countlblPro.UnionFeaLbl(features, labels); //union the features[][] and labels[]
ClassListBasedLabel=countlblPro.getClassListBasedLabel(lblClass, trainingList);
}
@Override
/**3.在Y的條件下，計算Xi的概率 f(Xi/Y)；
* 4.返回使得Yi*Xi*...概率最大的那個label的取值
* */
public double predict(double[] features) {
int max_index; //用於記錄使概率取得最大的那個索引
int index=0; //這個索引是 標識不同的labels 所對應的概率
ArrayList<Double> pro_=new ArrayList<Double>(); //這個概率數組是存儲features[] 在不同labels下對應的概率
for(ArrayList<ArrayList<Double>> elements: ClassListBasedLabel) //依次取不同的label值對應的元祖集合
{
ArrayList<Double> pro=new ArrayList<Double>();//存同一個label對應的所有概率，之後其中的元素自乘
double probility=1.0; //計算概率的乘積
for(int i=0;i<features.length;i++)
{
if(isClassfication[i]) //用於對屬性的離散還是連續做判斷
{
int count=0;
for(ArrayList<Double> element:elements) //依次取labels中的所有元祖
{
if(element.get(i).equals(features[i])) //如果這個元祖的第index數據和b相等，那麼就count就加1
count++;
}
if(count==0)
{
pro.add(1/(double)(elements.size()+1));
}
else
pro.add(count/(double)elements.size()); //統計完所有之後 計算概率值 並加入
}
else
{
double Sdev;
double Mean;
double probi=1.0;
Mean=countlblPro.getMean(elements, i);
Sdev=countlblPro.getSdev(elements, i);
if(Sdev!=0)
{
probi*=((1/(Math.sqrt(2*Math.PI)*Sdev))*(Math.exp(-(features[i]-Mean)*(features[i]-Mean)/(2*Sdev*Sdev))));
pro.add(probi);
}
else
pro.add(1.5);
}
}
for(double pi:pro)
probility*=pi; //將所有概率相乘
probility*=lblProba.get(index);//最後再乘以一個 Yi
pro_.add(probility);// 放入pro_ 至此 一個循環結束，
index++;
}
double max_pro=pro_.get(0);
max_index=0;
for(int i=1;i<pro_.size();i++)
{
if(pro_.get(i)>=max_pro)
{
max_pro=pro_.get(i);
max_index=i;
}
}
return lblClass.get(max_index);
}
public class CountProbility
{
boolean []isCatory;
double[][]features;
private double[]labels;
public CountProbility(boolean[] isCategory, double[][] features, double[] labels)
{
this.isCatory=isCategory;
this.features=features;
this.labels=labels;
}
//獲取label中取值情況
public void getlblClass( ArrayList <Double>lblClass,ArrayList<Integer>lblCount,ArrayList<Float>lblProba)
{
int j=0;
for(double i:labels)
{
//如果當前的label不存在於lblClass則加入
if(!lblClass.contains(i))
{
lblClass.add(j,i);
lblCount.add(j++,1);
}
else //如果label中已經存在，就將其計數加1
{
int index=lblClass.indexOf(i);
int count=lblCount.get(index);
lblCount.set(index,++count);
}
}
for(int i=0;i<lblClass.size();i++)
{
// System.out.println("值為"+lblClass.get(i)+"的個數有"+lblCount.get(i)+"概率是"+lblCount.get(i)/(float)labels.length);
lblProba.add(i,lblCount.get(i)/(float)labels.length);
}
}
//將label[]和features[][]合並
public ArrayList<ArrayList<Double>> UnionFeaLbl(double[][] features, double[] labels)
{
ArrayList<ArrayList<Double>>traingList=new ArrayList<ArrayList<Double>>();
for(int i=0;i<features.length;i++)
{
ArrayList<Double>elements=new ArrayList<Double>();
for(int j=0;j<features[i].length;j++)
{
elements.add(j,features[i][j]);
}
elements.add(features[i].length,labels[i]);
traingList.add(i,elements);
}
return traingList;
}
/*將測試數組按label的值分類存儲*/
public ArrayList<ArrayList<ArrayList<Double>>> getClassListBasedLabel (ArrayList <Double>lblClass,ArrayList<ArrayList<Double>>trainingList)
{
ArrayList<ArrayList<ArrayList<Double>>> ClassListBasedLabel=new ArrayList<ArrayList<ArrayList<Double>>> () ;
for(double num:lblClass)
{
ArrayList<ArrayList<Double>> elements=new ArrayList<ArrayList<Double>>();
for(ArrayList<Double>element:trainingList)
{
if(element.get(element.size()-1).equals(num))
elements.add(element);
}
ClassListBasedLabel.add(elements);
}
return ClassListBasedLabel;
}
public double getMean(ArrayList<ArrayList<Double>> elements,int index)
{
double sum=0.0;
double Mean;
for(ArrayList<Double> element:elements)
{
sum+=element.get(index);
}
Mean=sum/(double)elements.size();
return Mean;
}
public double getSdev(ArrayList<ArrayList<Double>> elements,int index)
{
double dev=0.0;
double Mean;
Mean=getMean(elements,index);
for(ArrayList<Double> element:elements)
{
dev+=Math.pow((element.get(index)-Mean),2);
}
dev=Math.sqrt(dev/elements.size());
return dev;
}
}
}
『叄』 貝葉斯網路演算法Java實現
public static void main(String[] args){
int n=10;//定義n
int[] π={};//定義存放π的數組
for(int i=0;i++;i<n){
π[i]=Ф;
int Pold=g(i,π[i]);//調用g方法
boolean OkToProceed=true;//定義布爾值
while(OkToProceed &&Math.abs(π[i])<u){
//寫不下去了。。。好多都不知道是什麼方法
}
}
}
『肆』 如何調用waka中的貝葉斯分類器的java代碼
在分類問題中，因變數Y可以看做是數據的label，屬於分類變數。所謂分類問題，就是能夠在數據的自變數X空間內找到一些decisionboundaries，把label不同的數據分開，如果某種方法所找出的這些decisionboundaries在自變數X空間內是線性的，這時就說這種方法是一種線性分類器。貝葉斯分類器的分類原理是通過某對象的先驗概率，利用貝葉斯公式計算出其後驗概率，即該對象屬於某一類的概率，選擇具有最大後驗概率的類作為該對象所屬的類。也就是說，貝葉斯分類器是最小錯誤率意義上的優化。目前研究較多的貝葉斯分類器主要有四種，分別是：NaiveBayes、TAN、BAN和GBN。
『伍』 誰有樸素貝葉斯對文本分類的C++版呀，現在在做畢業設計，要用到樸素貝葉斯對文本情感的分類。前面的分詞、
都有 基於樸素貝葉斯分類器的文本分類演算法(C語言).doc ，C++的改一下就行了。
『陸』 大數據分析工具詳盡介紹&數據分析演算法
大數據分析工具詳盡介紹&數據分析演算法
1、 Hadoop
Hadoop 是一個能夠對大量數據進行分布式處理的軟體框架。但是 Hadoop 是以一種可靠、高效、可伸縮的方式進行處理的。Hadoop 是可靠的，因為它假設計算元素和存儲會失敗，因此它維護多個工作數據副本，確保能夠針對失敗的節點重新分布處理。Hadoop 是高效的，因為它以並行的方式工作，通過並行處理加快處理速度。Hadoop 還是可伸縮的，能夠處理 PB 級數據。此外，Hadoop 依賴於社區伺服器，因此它的成本比較低，任何人都可以使用。
Hadoop是一個能夠讓用戶輕松架構和使用的分布式計算平台。用戶可以輕松地在Hadoop上開發和運行處理海量數據的應用程序。它主要有以下幾個優點：
⒈高可靠性。Hadoop按位存儲和處理數據的能力值得人們信賴。
⒉高擴展性。Hadoop是在可用的計算機集簇間分配數據並完成計算任務的，這些集簇可以方便地擴展到數以千計的節點中。
⒊高效性。Hadoop能夠在節點之間動態地移動數據，並保證各個節點的動態平衡，因此處理速度非常快。
⒋高容錯性。Hadoop能夠自動保存數據的多個副本，並且能夠自動將失敗的任務重新分配。
Hadoop帶有用 Java 語言編寫的框架，因此運行在 linux 生產平台上是非常理想的。Hadoop 上的應用程序也可以使用其他語言編寫，比如 C++。
2、 HPCC
HPCC，High Performance Computing and Communications（高性能計算與通信）的縮寫。1993年，由美國科學、工程、技術聯邦協調理事會向國會提交了「重大挑戰項目：高性能計算與 通信」的報告，也就是被稱為HPCC計劃的報告，即美國總統科學戰略項目，其目的是通過加強研究與開發解決一批重要的科學與技術挑戰問題。HPCC是美國 實施信息高速公路而上實施的計劃，該計劃的實施將耗資百億美元，其主要目標要達到：開發可擴展的計算系統及相關軟體，以支持太位級網路傳輸性能，開發千兆 比特網路技術，擴展研究和教育機構及網路連接能力。
該項目主要由五部分組成：
1、高性能計算機系統（HPCS），內容包括今後幾代計算機系統的研究、系統設計工具、先進的典型系統及原有系統的評價等；
2、先進軟體技術與演算法（ASTA），內容有巨大挑戰問題的軟體支撐、新演算法設計、軟體分支與工具、計算計算及高性能計算研究中心等；
3、國家科研與教育網格（NREN），內容有中接站及10億位級傳輸的研究與開發；
4、基本研究與人類資源（BRHR），內容有基礎研究、培訓、教育及課程教材，被設計通過獎勵調查者-開始的，長期 的調查在可升級的高性能計算中來增加創新意識流，通過提高教育和高性能的計算訓練和通信來加大熟練的和訓練有素的人員的聯營，和來提供必需的基礎架構來支 持這些調查和研究活動；
5、信息基礎結構技術和應用（IITA ），目的在於保證美國在先進信息技術開發方面的領先地位。
3、 Storm
Storm是自由的開源軟體，一個分布式的、容錯的實時計算系統。Storm可以非常可靠的處理龐大的數據流，用於處理Hadoop的批量數據。Storm很簡單，支持許多種編程語言，使用起來非常有趣。Storm由Twitter開源而來，其它知名的應用企業包括Groupon、淘寶、支付寶、阿里巴巴、樂元素、Admaster等等。
Storm有許多應用領域：實時分析、在線機器學習、不停頓的計算、分布式RPC（遠過程調用協議，一種通過網路從遠程計算機程序上請求服務）、 ETL（Extraction-Transformation-Loading的縮寫，即數據抽取、轉換和載入）等等。Storm的處理速度驚人：經測 試，每個節點每秒鍾可以處理100萬個數據元組。Storm是可擴展、容錯，很容易設置和操作。
4、 Apache Drill
為了幫助企業用戶尋找更為有效、加快Hadoop數據查詢的方法，Apache軟體基金會近日發起了一項名為「Drill」的開源項目。Apache Drill 實現了 Google』s Dremel.
據Hadoop廠商MapR Technologies公司產品經理Tomer Shiran介紹，「Drill」已經作為Apache孵化器項目來運作，將面向全球軟體工程師持續推廣。
該項目將會創建出開源版本的谷歌Dremel Hadoop工具（谷歌使用該工具來為Hadoop數據分析工具的互聯網應用提速）。而「Drill」將有助於Hadoop用戶實現更快查詢海量數據集的目的。
「Drill」項目其實也是從谷歌的Dremel項目中獲得靈感：該項目幫助谷歌實現海量數據集的分析處理，包括分析抓取Web文檔、跟蹤安裝在Android Market上的應用程序數據、分析垃圾郵件、分析谷歌分布式構建系統上的測試結果等等。
通過開發「Drill」Apache開源項目，組織機構將有望建立Drill所屬的API介面和靈活強大的體系架構，從而幫助支持廣泛的數據源、數據格式和查詢語言。
5、 RapidMiner
RapidMiner是世界領先的數據挖掘解決方案，在一個非常大的程度上有著先進技術。它數據挖掘任務涉及范圍廣泛，包括各種數據藝術，能簡化數據挖掘過程的設計和評價。
功能和特點
免費提供數據挖掘技術和庫
100%用Java代碼（可運行在操作系統）
數據挖掘過程簡單，強大和直觀
內部XML保證了標准化的格式來表示交換數據挖掘過程
可以用簡單腳本語言自動進行大規模進程
多層次的數據視圖，確保有效和透明的數據
圖形用戶界面的互動原型
命令行（批處理模式）自動大規模應用
Java API（應用編程介面）
簡單的插件和推廣機制
強大的可視化引擎，許多尖端的高維數據的可視化建模
400多個數據挖掘運營商支持
耶魯大學已成功地應用在許多不同的應用領域，包括文本挖掘，多媒體挖掘，功能設計，數據流挖掘，集成開發的方法和分布式數據挖掘。
6、 Pentaho BI
Pentaho BI 平台不同於傳統的BI 產品，它是一個以流程為中心的，面向解決方案（Solution）的框架。其目的在於將一系列企業級BI產品、開源軟體、API等等組件集成起來，方便商務智能應用的開發。它的出現，使得一系列的面向商務智能的獨立產品如Jfree、Quartz等等，能夠集成在一起，構成一項項復雜的、完整的商務智能解決方案。
Pentaho BI 平台，Pentaho Open BI 套件的核心架構和基礎，是以流程為中心的，因為其中樞控制器是一個工作流引擎。工作流引擎使用流程定義來定義在BI 平台上執行的商業智能流程。流程可以很容易的被定製，也可以添加新的流程。BI 平台包含組件和報表，用以分析這些流程的性能。目前，Pentaho的主要組成元素包括報表生成、分析、數據挖掘和工作流管理等等。這些組件通過 J2EE、WebService、SOAP、HTTP、Java、JavaScript、Portals等技術集成到Pentaho平台中來。 Pentaho的發行，主要以Pentaho SDK的形式進行。
Pentaho SDK共包含五個部分：Pentaho平台、Pentaho示例資料庫、可獨立運行的Pentaho平台、Pentaho解決方案示例和一個預先配製好的 Pentaho網路伺服器。其中Pentaho平台是Pentaho平台最主要的部分，囊括了Pentaho平台源代碼的主體；Pentaho資料庫為 Pentaho平台的正常運行提供的數據服務，包括配置信息、Solution相關的信息等等，對於Pentaho平台來說它不是必須的，通過配置是可以用其它資料庫服務取代的；可獨立運行的Pentaho平台是Pentaho平台的獨立運行模式的示例，它演示了如何使Pentaho平台在沒有應用伺服器支持的情況下獨立運行；
Pentaho解決方案示例是一個Eclipse工程，用來演示如何為Pentaho平台開發相關的商業智能解決方案。
Pentaho BI 平台構建於伺服器，引擎和組件的基礎之上。這些提供了系統的J2EE 伺服器，安全，portal，工作流，規則引擎，圖表，協作，內容管理，數據集成，分析和建模功能。這些組件的大部分是基於標準的，可使用其他產品替換之。
7、 SAS Enterprise Miner
§ 支持整個數據挖掘過程的完備工具集
§ 易用的圖形界面,適合不同類型的用戶快速建模
§ 強大的模型管理和評估功能
§ 快速便捷的模型發布機制, 促進業務閉環形成
數據分析演算法
大數據分析主要依靠機器學習和大規模計算。機器學習包括監督學習、非監督學習、強化學習等，而監督學習又包括分類學習、回歸學習、排序學習、匹配學習等（見圖1）。分類是最常見的機器學習應用問題，比如垃圾郵件過濾、人臉檢測、用戶畫像、文本情感分析、網頁歸類等，本質上都是分類問題。分類學習也是機器學習領域，研究最徹底、使用最廣泛的一個分支。
最近、Fernández-Delgado等人在JMLR（Journal of Machine Learning Research，機器學習頂級期刊）雜志發表了一篇有趣的論文。他們讓179種不同的分類學習方法（分類學習演算法）在UCI 121個數據集上進行了「大比武」（UCI是機器學習公用數據集，每個數據集的規模都不大）。結果發現Random Forest（隨機森林）和SVM（支持向量機）名列第一、第二名，但兩者差異不大。在84.3%的數據上、Random Forest壓倒了其它90%的方法。也就是說，在大多數情況下，只用Random Forest 或 SVM事情就搞定了。
KNN
K最近鄰演算法。給定一些已經訓練好的數據，輸入一個新的測試數據點，計算包含於此測試數據點的最近的點的分類情況，哪個分類的類型佔多數，則此測試點的分類與此相同，所以在這里,有的時候可以復制不同的分類點不同的權重。近的點的權重大點，遠的點自然就小點。詳細介紹鏈接
Naive Bayes
樸素貝葉斯演算法。樸素貝葉斯演算法是貝葉斯演算法裡面一種比較簡單的分類演算法，用到了一個比較重要的貝葉斯定理，用一句簡單的話概括就是條件概率的相互轉換推導。詳細介紹鏈接
樸素貝葉斯分類是一種十分簡單的分類演算法，叫它樸素貝葉斯分類是因為這種方法的思想真的很樸素，樸素貝葉斯的思想基礎是這樣的：對於給出的待分類項，求解在此項出現的條件下各個類別出現的概率，哪個最大，就認為此待分類項屬於哪個類別。通俗來說，就好比這么個道理，你在街上看到一個黑人，我問你你猜這哥們哪裡來的，你十有八九猜非洲。為什麼呢？因為黑人中非洲人的比率最高，當然人家也可能是美洲人或亞洲人，但在沒有其它可用信息下，我們會選擇條件概率最大的類別，這就是樸素貝葉斯的思想基礎。
SVM
支持向量機演算法。支持向量機演算法是一種對線性和非線性數據進行分類的方法，非線性數據進行分類的時候可以通過核函數轉為線性的情況再處理。其中的一個關鍵的步驟是搜索最大邊緣超平面。詳細介紹鏈接
Apriori
Apriori演算法是關聯規則挖掘演算法，通過連接和剪枝運算挖掘出頻繁項集，然後根據頻繁項集得到關聯規則，關聯規則的導出需要滿足最小置信度的要求。詳細介紹鏈接
PageRank
網頁重要性/排名演算法。PageRank演算法最早產生於Google,核心思想是通過網頁的入鏈數作為一個網頁好快的判定標准，如果1個網頁內部包含了多個指向外部的鏈接，則PR值將會被均分，PageRank演算法也會遭到LinkSpan攻擊。詳細介紹鏈接
RandomForest
隨機森林演算法。演算法思想是決策樹+boosting.決策樹採用的是CART分類回歸數,通過組合各個決策樹的弱分類器,構成一個最終的強分類器,在構造決策樹的時候採取隨機數量的樣本數和隨機的部分屬性進行子決策樹的構建,避免了過分擬合的現象發生。詳細介紹鏈接
Artificial Neural Network
「神經網路」這個詞實際是來自於生物學，而我們所指的神經網路正確的名稱應該是「人工神經網路（ANNs）」。
人工神經網路也具有初步的自適應與自組織能力。在學習或訓練過程中改變突觸權重值，以適應周圍環境的要求。同一網路因學習方式及內容不同可具有不同的功能。人工神經網路是一個具有學習能力的系統，可以發展知識，以致超過設計者原有的知識水平。通常，它的學習訓練方式可分為兩種，一種是有監督或稱有導師的學習，這時利用給定的樣本標准進行分類或模仿；另一種是無監督學習或稱無為導師學習，這時，只規定學習方式或某些規則，則具體的學習內容隨系統所處環境 （即輸入信號情況）而異，系統可以自動發現環境特徵和規律性，具有更近似人腦的功能。
『柒』 發現公司里的大數據開發掙得很多，想轉行，
轉行這個詞彙，一直是職場上此起彼伏的一個熱門話題，相信很多朋友都想過或已經經歷過轉行。工作可謂是我們生存乃至生活的主要收入來源，誰都希望擁有一份高薪又穩定的工作，以此來改善自己的生活和實現自己的大大小小的夢想!但又擔心轉行後的工作待遇達不到自己的預期，顧慮重重……
不少想進入大數據分析行業的零基礎學員經常會有這樣一些疑問：大數據分析零基礎應該怎麼學習?自己適合學習大數據分析嗎?人生，就是在不斷地做選擇，然後在這個選擇過程中成長，讓自己從一棵小樹苗變成參天大樹。就是我們每個對大數據充滿幻想終於下定決心行動的學員的選擇，我們給了自己4個月的時間，想要在大數據分析這個領域汲取養分，讓自己壯大成長。
【明確方向】
通過國家的戰略規劃，看到BAT的大牛們都在大數據行業布局，新聞媒體追捧這大數據分析行業的項目和熱點，我想如果我還沒有能力獨立判斷的時候，跟著國家政策和互聯網大佬們的步調走，這應該是錯不了的。
【付諸行動】
明確了方向之後，我就整裝待發，剛開始是在網路上購買了很多的視頻教程，也買了很多書籍，但是最大的問題就在於，我不知道怎麼入手，沒關系，有信心有耐心肯定能戰勝困難，我堅持了一個月，學習的節奏越來越亂，陸陸續續出現了很多的問題，沒人指導，請教了幾個業內的朋友，但對方工作繁忙，問了幾次之後就不好意思了，自學陷入了死循環。
意識到我學習效率的低下，以及無人指導的問題想想未來的康莊大道，咬咬牙告訴自己，一定好好好學，不然就浪費太多時間最後還會是一無所獲。最後找到組織(AAA教育)一起學習進步!
大數據分析零基礎學習路線，有信心能堅持學習的話，那就當下開始行動吧!
一、大數據技術基礎
1、linux操作基礎
linux系統簡介與安裝
linux常用命令–文件操作
linux常用命令–用戶管理與許可權
linux常用命令–系統管理
linux常用命令–免密登陸配置與網路管理
linux上常用軟體安裝
linux本地yum源配置及yum軟體安裝
linux防火牆配置
linux高級文本處理命令cut、sed、awk
linux定時任務crontab
2、shell編程
shell編程–基本語法
shell編程–流程式控制制
shell編程–函數
shell編程–綜合案例–自動化部署腳本
3、內存資料庫redis
redis和nosql簡介
redis客戶端連接
redis的string類型數據結構操作及應用-對象緩存
redis的list類型數據結構操作及應用案例-任務調度隊列
redis的hash及set數據結構操作及應用案例-購物車
redis的sortedset數據結構操作及應用案例-排行榜
4、布式協調服務zookeeper
zookeeper簡介及應用場景
zookeeper集群安裝部署
zookeeper的數據節點與命令行操作
zookeeper的java客戶端基本操作及事件監聽
zookeeper核心機制及數據節點
zookeeper應用案例–分布式共享資源鎖
zookeeper應用案例–伺服器上下線動態感知
zookeeper的數據一致性原理及leader選舉機制
5、java高級特性增強
Java多線程基本知識
Java同步關鍵詞詳解
java並發包線程池及在開源軟體中的應用
Java並發包消息隊里及在開源軟體中的應用
Java JMS技術
Java動態代理反射
6、輕量級RPC框架開發
RPC原理學習
Nio原理學習
Netty常用API學習
輕量級RPC框架需求分析及原理分析
輕量級RPC框架開發
二、離線計算系統
1、hadoop快速入門
hadoop背景介紹
分布式系統概述
離線數據分析流程介紹
集群搭建
集群使用初步
2、HDFS增強
HDFS的概念和特性
HDFS的shell(命令行客戶端)操作
HDFS的工作機制
NAMENODE的工作機制
java的api操作
案例1：開發shell採集腳本
3、MAPREDUCE詳解
自定義hadoop的RPC框架
Maprece編程規范及示例編寫
Maprece程序運行模式及debug方法
maprece程序運行模式的內在機理
maprece運算框架的主體工作流程
自定義對象的序列化方法
MapRece編程案例
4、MAPREDUCE增強
Maprece排序
自定義partitioner
Maprece的combiner
maprece工作機制詳解
5、MAPREDUCE實戰
maptask並行度機制-文件切片
maptask並行度設置
倒排索引
共同好友
6、federation介紹和hive使用
Hadoop的HA機制
HA集群的安裝部署
集群運維測試之Datanode動態上下線
集群運維測試之Namenode狀態切換管理
集群運維測試之數據塊的balance
HA下HDFS-API變化
hive簡介
hive架構
hive安裝部署
hvie初使用
7、hive增強和flume介紹
HQL-DDL基本語法
HQL-DML基本語法
HIVE的join
HIVE 參數配置
HIVE 自定義函數和Transform
HIVE 執行HQL的實例分析
HIVE最佳實踐注意點
HIVE優化策略
HIVE實戰案例
Flume介紹
Flume的安裝部署
案例：採集目錄到HDFS
案例：採集文件到HDFS
三、流式計算
1、Storm從入門到精通
Storm是什麼
Storm架構分析
Storm架構分析
Storm編程模型、Tuple源碼、並發度分析
Storm WordCount案例及常用Api分析
Storm集群部署實戰
Storm+Kafka+Redis業務指標計算
Storm源碼下載編譯
Strom集群啟動及源碼分析
Storm任務提交及源碼分析
Storm數據發送流程分析
Storm通信機制分析
Storm消息容錯機制及源碼分析
Storm多stream項目分析
編寫自己的流式任務執行框架
2、Storm上下游及架構集成
消息隊列是什麼
Kakfa核心組件
Kafka集群部署實戰及常用命令
Kafka配置文件梳理
Kakfa JavaApi學習
Kafka文件存儲機制分析
Redis基礎及單機環境部署
Redis數據結構及典型案例
Flume快速入門
Flume+Kafka+Storm+Redis整合
四、內存計算體系Spark
1、scala編程
scala編程介紹
scala相關軟體安裝
scala基礎語法
scala方法和函數
scala函數式編程特點
scala數組和集合
scala編程練習(單機版WordCount)
scala面向對象
scala模式匹配
actor編程介紹
option和偏函數
實戰：actor的並發WordCount
柯里化
隱式轉換
2、AKKA與RPC
Akka並發編程框架
實戰：RPC編程實戰
3、Spark快速入門
spark介紹
spark環境搭建
RDD簡介
RDD的轉換和動作
實戰：RDD綜合練習
RDD高級運算元
自定義Partitioner
實戰：網站訪問次數
廣播變數
實戰：根據IP計算歸屬地
自定義排序
利用JDBC RDD實現數據導入導出
WorldCount執行流程詳解
4、RDD詳解
RDD依賴關系
RDD緩存機制
RDD的Checkpoint檢查點機制
Spark任務執行過程分析
RDD的Stage劃分
5、Spark-Sql應用
Spark-SQL
Spark結合Hive
DataFrame
實戰：Spark-SQL和DataFrame案例
6、SparkStreaming應用實戰
Spark-Streaming簡介
Spark-Streaming編程
實戰：StageFulWordCount
Flume結合Spark Streaming
Kafka結合Spark Streaming
窗口函數
ELK技術棧介紹
ElasticSearch安裝和使用
Storm架構分析
Storm編程模型、Tuple源碼、並發度分析
Storm WordCount案例及常用Api分析
7、Spark核心源碼解析
Spark源碼編譯
Spark遠程debug
Spark任務提交行流程源碼分析
Spark通信流程源碼分析
SparkContext創建過程源碼分析
DriverActor和ClientActor通信過程源碼分析
Worker啟動Executor過程源碼分析
Executor向DriverActor注冊過程源碼分析
Executor向Driver注冊過程源碼分析
DAGScheler和TaskScheler源碼分析
Shuffle過程源碼分析
Task執行過程源碼分析
五、機器學習演算法
1、python及numpy庫
機器學習簡介
機器學習與python
python語言–快速入門
python語言–數據類型詳解
python語言–流程式控制制語句
python語言–函數使用
python語言–模塊和包
phthon語言–面向對象
python機器學習演算法庫–numpy
機器學習必備數學知識–概率論
2、常用演算法實現
knn分類演算法–演算法原理
knn分類演算法–代碼實現
knn分類演算法–手寫字識別案例
lineage回歸分類演算法–演算法原理
lineage回歸分類演算法–演算法實現及demo
樸素貝葉斯分類演算法–演算法原理
樸素貝葉斯分類演算法–演算法實現
樸素貝葉斯分類演算法–垃圾郵件識別應用案例
kmeans聚類演算法–演算法原理
kmeans聚類演算法–演算法實現
kmeans聚類演算法–地理位置聚類應用
決策樹分類演算法–演算法原理
決策樹分類演算法–演算法實現
時下的大數據分析時代與人工智慧熱潮，相信有許多對大數據分析師非常感興趣、躍躍欲試想著轉行的朋友，但面向整個社會，最不缺的其實就是人才，對於是否轉行大數據分析行列，對於能否勇敢一次跳出自己的舒適圈，不少人還是躊躇滿志啊!畢竟好多決定，一旦做出了就很難再回頭了。不過如果你已經轉行到大數據分析領域，就不要後悔，做到如何脫穎而出才是關鍵。因此本文給出一些建議，針對想要轉行大數據分析行列且是零基礎轉行的小夥伴們，希望對你們有所裨益，也希望你們將來學有所成，不後悔，更不灰心!
相關推薦：
《轉行大數據分析師後悔了》、《ui設計培訓四個月騙局大爆料》、《零基礎學大數據分析現實嗎》、《大數據分析十八般工具》