Ⅰ 貝葉斯定理先驗概率計算要怎麼弄
貝葉斯公式是機器學習中的基礎公式，也是概率統計里的常用公式，貝葉斯公式常用於監督學習演算法中的生成（式）模型（Generative
Model），想要對機器學習演算法建立體系化的知識結構，對生成模型的理解至關重要，本篇只簡述貝葉斯公式。並對先驗概率和後驗概率的知識點進行整理，以便隨時查閱。首先給出兩個例子
第一個例子。一所學校裡面有 60% 的男生，40%
的女生。男生總是穿長褲，女生則一半穿長褲一半穿裙子。假設你走在校園中，迎面走來一個穿長褲的學生（很不幸的是你高度近似，你只看得見他（她）穿的是否長褲，而無法確定他（她）的性別），你能夠推斷出他（她）是男生的概率是多大嗎？
第二個例子。兩個一模一樣的碗，一號碗有30顆水果糖和10顆巧克力糖，二號碗有水果糖和巧克力糖各20顆。現在隨機選擇一個碗，從中摸出一顆糖，發現是水果糖。請問這顆水果糖來自一號碗的概率有多大？
公式
P（A|B）=P（B|A）∗P(A)/P(B)P（A|B）=P（B|A）∗P(A)/P(B)
P（A|B）P（A|B）
想要理解貝葉斯公式首先要對
A，B所代表的意義有所了解。如果我們作為一個出題人，要如何考查這個公式呢？給出一系列條件，求P（A|B）顯然是一種方法。簡單舉幾個例子（只涉及最後的問題）。
Ⅱ 樸素貝葉斯算是有監督還是無監督學習
監督學習
英漢詞典解釋
監督學習詞性解釋
【計】 supervised learning
supervised learning
supervised learning
監督學習
利用一組已知類別的樣本調整分類器的參數，使其達到所要求性能的過程，也稱為監督訓練或有教師學習。正如人們通過已知病例學習診斷技術那樣，計算機要通過學習才能具有識別各種事物和現象的能力。用來進行學習的材料就是與被識別對象屬於同類的有限數量樣本。監督學習中在給予計算機學習樣本的同時，還告訴計算各個樣本所屬的類別。若所給的學習樣本不帶有類別信息,就是無監督學習。任何一種學習都有一定的目的,對於模式識別來說，就是要通過有限數量樣本的學習，使分類器在對無限多個模式進行分類時所產生的錯誤概率最小。
不同設計方法的分類器有不同的學習演算法。對於貝葉斯分類器來說，就是用學習樣本估計特徵向量的類條件概率密度函數。在已知類條件概率密度函數形式的條件下，用給定的獨立和隨機獲取的樣本集，根據最大似然法或貝葉斯學習估計出類條件概率密度函數的參數。例如，假定模式的特徵向量服從正態分布，樣本的平均特徵向量和樣本協方差矩陣就是正態分布的均值向量和協方差矩陣的最大似然估計。在類條件概率密度函數的形式未知的情況下，有各種非參數方法，用學習樣本對類條件概率密度函數進行估計。在分類決策規則用判別函數表示的一般情況下,可以確定一個學習目標,例如使分類器對所給樣本進行分類的結果盡可能與「教師」所給的類別一致，然後用迭代優化演算法求取判別函數中的參數值。
在無監督學習的情況下，用全部學習樣本可以估計混合概率密度函數，若認為每一模式類的概率密度函數只有一個極大值，則可以根據混合概率密度函數的形狀求出用來把各類分開的分界面。
Ⅲ 智能演算法有哪些
（1）人工神經網路（Artificial Neural Network）類：反向傳播（Backpropagation）、波爾茲曼機（Boltzmann Machine）、卷積神經網路（Convolutional Neural Network）、Hopfield網路（hopfield Network）、多層感知器（Multilyer Perceptron）、徑向基函數網路（Radial Basis Function Network，RBFN）、受限波爾茲曼機（Restricted Boltzmann Machine）、回歸神經網路（Recurrent Neural Network，RNN）、自組織映射（Self-organizing Map，SOM）、尖峰神經網路（Spiking Neural Network）等。
（2）貝葉斯類（Bayesin）：樸素貝葉斯（Naive Bayes）、高斯貝葉斯（Gaussian Naive Bayes）、多項樸素貝葉斯（Multinomial Naive Bayes）、平均-依賴性評估（Averaged One-Dependence Estimators，AODE）
貝葉斯信念網路（Bayesian Belief Network，BBN）、貝葉斯網路（Bayesian Network，BN）等。
（3）決策樹（Decision Tree）類：分類和回歸樹（Classification and Regression Tree，CART）、迭代Dichotomiser3（Iterative Dichotomiser 3， ID3）,C4.5演算法（C4.5 Algorithm）、C5.0演算法（C5.0 Algorithm）、卡方自動交互檢測（Chi-squared Automatic Interaction Detection，CHAID）、決策殘端（Decision Stump）、ID3演算法（ID3 Algorithm）、隨機森林（Random Forest）、SLIQ（Supervised Learning in Quest）等。
（4）線性分類器（Linear Classifier）類：Fisher的線性判別（Fisher』s Linear Discriminant）
線性回歸（Linear Regression）、邏輯回歸（Logistic Regression）、多項邏輯回歸（Multionmial Logistic Regression）、樸素貝葉斯分類器（Naive Bayes Classifier）、感知（Perception）、支持向量機（Support Vector Machine）等。
常見的無監督學習類演算法包括：
（1） 人工神經網路（Artificial Neural Network）類：生成對抗網路（Generative Adversarial Networks，GAN），前饋神經網路（Feedforward Neural Network）、邏輯學習機（Logic Learning Machine）、自組織映射（Self-organizing Map）等。
（2） 關聯規則學習（Association Rule Learning）類：先驗演算法（Apriori Algorithm）、Eclat演算法（Eclat Algorithm）、FP-Growth演算法等。
（3）分層聚類演算法（Hierarchical Clustering）：單連鎖聚類（Single-linkage Clustering），概念聚類（Conceptual Clustering）等。
（4）聚類分析（Cluster analysis）：BIRCH演算法、DBSCAN演算法，期望最大化（Expectation-maximization，EM）、模糊聚類（Fuzzy Clustering）、K-means演算法、K均值聚類（K-means Clustering）、K-medians聚類、均值漂移演算法（Mean-shift）、OPTICS演算法等。
Ⅳ 什麼是無監督學習
監督學習
利用一組已知類別的樣本調整分類器的參數，使其達到所要求性能的過程，也稱為監督訓練或有教師學習。正如人們通過已知病例學習診斷技術那樣，計算機要通過學習才能具有識別各種事物和現象的能力。用來進行學習的材料就是與被識別對象屬於同類的有限數量樣本。監督學習中在給予計算機學習樣本的同時，還告訴計算各個樣本所屬的類別。若所給的學習樣本不帶有類別信息,就是無監督學習。任何一種學習都有一定的目的,對於模式識別來說，就是要通過有限數量樣本的學習，使分類器在對無限多個模式進行分類時所產生的錯誤概率最小。
不同設計方法的分類器有不同的學習演算法。對於貝葉斯分類器來說，就是用學習樣本估計特徵向量的類條件概率密度函數。在已知類條件概率密度函數形式的條件下，用給定的獨立和隨機獲取的樣本集，根據最大似然法或貝葉斯學習估計出類條件概率密度函數的參數。例如，假定模式的特徵向量服從正態分布，樣本的平均特徵向量和樣本協方差矩陣就是正態分布的均值向量和協方差矩陣的最大似然估計。在類條件概率密度函數的形式未知的情況下，有各種非參數方法，用學習樣本對類條件概率密度函數進行估計。在分類決策規則用判別函數表示的一般情況下,可以確定一個學習目標,例如使分類器對所給樣本進行分類的結果盡可能與「教師」所給的類別一致，然後用迭代優化演算法求取判別函數中的參數值。
在無監督學習的情況下，用全部學習樣本可以估計混合概率密度函數，若認為每一模式類的概率密度函數只有一個極大值，則可以根據混合概率密度函數的形狀求出用來把各類分開的分界面。
Ⅳ 常見的監督學習演算法
K-近鄰演算法，決策樹，樸素貝葉斯，邏輯回歸這些都是比較常見的。所有的回歸演算法和分類演算法都屬於監督學習。
在機器學習中，無監督學習就是聚類，事先不知道樣本的類別，通過某種辦法，把相似的樣本放在一起歸位一類；而監督型學習就是有訓練樣本，帶有屬性標簽，也可以理解成樣本有輸入有輸出。
回歸和分類的演算法區別在於輸出變數的類型，定量輸出稱為回歸，或者說是連續變數預測；定性輸出稱為分類，或者說是離散變數預測。
Ⅵ 第10天：NLP補充——樸素貝葉斯(Naive-Bayes)
1、引言
貝葉斯方法是一個歷史悠久，樸素貝葉斯中的樸素一詞的來源就是假設各特徵之間相互獨立。這一假設使得樸素貝葉斯演算法變得簡單，但有時會犧牲一定的分類准確率。當然有著堅實的理論基礎的方法，同時處理很多問題時直接而又高效，很多高級自然語言處理模型也可以從它演化而來。因此，學習貝葉斯方法，是研究自然語言處理問題的一個非常好的切入口。
2、貝葉斯公式
貝葉斯公式其實很簡單，但是很常用，就一行：
而我們二分類問題的最終目的就是要判斷 P(「屬於某類」|「具有某特徵」) 是否大於1/2就夠了。貝葉斯方法把計算「具有某特徵的條件下屬於某類」的概率轉換成需要計算「屬於某類的條件下具有某特徵」的概率，而後者獲取方法就簡單多了，我們只需要找到一些包含已知特徵標簽的樣本，即可進行訓練。而樣本的類別標簽都是明確的，所以貝葉斯方法在機器學習里屬於有監督學習方法。
這里再補充一下，一般『先驗概率』、『後驗概率』是相對出現的，比如 P(Y)與 P(Y|X) 是關於 Y的先驗概率與後驗概率， P(X)與 P(X|Y)是關於 X的先驗概率與後驗概率。
4、垃圾郵件識別
我們可以通過一個例子來對郵件進行分類，識別垃圾郵件和普通郵件，如果我們選擇使用樸素貝葉斯分類器，那目標就是判斷 P(「垃圾郵件」|「具有某特徵」) 是否大於1/2。現在假設我們有垃圾郵件和正常郵件各1萬封作為訓練集。需要判斷以下這個郵件是否屬於垃圾郵件：
也就是判斷概率 P(「垃圾郵件」|「我司可辦理正規發票（保真）17%增值稅發票點數優惠！」)是否大於1/2。我們不難發現：通過上述的理解，也就是將其轉換成的這個概率，計算的方法：就是寫個計數器，然後+1 +1 +1統計出所有垃圾郵件和正常郵件中出現這句話的次數啊。也就是：
於是當我們接觸到了中文NLP中，其中最為重要的技術之一：分詞！！！也就是把一整句話拆分成更細粒度的詞語來進行表示。另外，分詞之後去除標點符號、數字甚至無關成分(停用詞)是特徵預處理中的一項技術。我們觀察（「我」,「司」,「可」,「辦理」,「正規發票」,「保真」,「增值稅」,「發票」,「點數」,「優惠」)，這可以理解成一個向量：向量的每一維度都表示著該特徵詞在文本中的特定位置存在。這種將特徵拆分成更小的單元，依據這些更靈活、更細粒度的特徵進行判斷的思維方式，在自然語言處理與機器學習中都是非常常見又有效的。因此貝葉斯公式就變成了：
1、樸素貝葉斯(Naive Bayes)，「Naive」在何處？
加上條件獨立假設的貝葉斯方法就是樸素貝葉斯方法（Naive Bayes）。將句子（「我」,「司」,「可」,「辦理」,「正規發票」) 中的 （「我」,「司」）與（「正規發票」）調換一下順序，就變成了一個新的句子（「正規發票」,「可」,「辦理」, 「我」, 「司」)。新句子與舊句子的意思完全不同。但由於乘法交換律，樸素貝葉斯方法中算出來二者的條件概率完全一樣！計算過程如下：
其中「發票」重復了三次。
3、處理重復詞語的三種方式
(1)、多項式模型：
如果我們考慮重復詞語的情況，也就是說，重復的詞語我們視為其出現多次，直接按條件獨立假設的方式推導，則有：
統計計算 P(「詞語」|S）時也是如此。
我們掃描一下訓練集，發現「正規發票」這個詞從出現過！！！ ，於是 P(「正規發票」|S）=0 …問題嚴重了，整個概率都變成0了！！！樸素貝葉斯方法面對一堆0，很凄慘地失效了…更殘酷的是這種情況其實很常見，因為哪怕訓練集再大，也可能有覆蓋不到的詞語。本質上還是樣本數量太少，不滿足大數定律，計算出來的概率失真 *。為了解決這樣的問題，一種分析思路就是直接不考慮這樣的詞語，但這種方法就相當於默認給P(「正規發票」|S）賦值為1。其實效果不太好，大量的統計信息給浪費掉了。我們進一步分析，既然可以默認賦值為1，為什麼不能默認賦值為一個很小的數？這就是平滑技術的基本思路，依舊保持著一貫的作風，朴實/土但是直接而有效。對於伯努利模型，P(「正規發票」|S）的一種平滑演算法是：
接下來的核心問題就是訓練出一個靠譜的分類器。首先需要有打好標簽的文本。這個好找，豆瓣影評上就有大量網友對之前電影的評價，並且對電影進行1星到5星的評價。我們可以認為3星以上的評論都是好評，3星以下的評論都是差評。這樣就分別得到了好評差評兩類的語料樣本。剩下就可以用樸素貝葉斯方法進行訓練了。基本思路如下：
但是由於自然語言的特點，在提取特徵的過程當中，有一些tricks需要注意：
當然經過以上的處理，情感分析還是會有一部分誤判。這里涉及到許多問題，都是情感分析的難點：
(2)、拼寫糾錯
拼寫糾錯本質上也是一個分類問題。但按照錯誤類型不同，又分為兩種情況：
真詞錯誤復雜一些，我們將在接下來的文章中進行探討。而對於非詞錯誤，就可以直接採用貝葉斯方法，其基本思路如下：
訓練樣本1：該場景下的正常用詞語料庫，用於計算 P(候選詞i)。
訓練樣本2：該場景下錯誤詞與正確詞對應關系的語料庫，用於計算 P(錯誤詞|候選詞i)
當然，樸素貝葉斯也是有缺陷的。比如我們知道樸素貝葉斯的局限性來源於其條件獨立假設，它將文本看成是詞袋子模型，不考慮詞語之間的順序信息，例如：樸素貝葉斯會把「武松打死了老虎」與「老虎打死了武松」認作是一個意思。那麼有沒有一種方法提高其對詞語順序的識別能力呢？當然有，就是這里要提到的N-gram語言模型。接下來詳細給大家介紹N-gram語言模型。
1、從假設性獨立到聯合概率鏈規則
與我們之前我們垃圾郵件識別中的條件獨立假設是一樣的：
4、N-gram實際應用舉例
(1)、詞性標注
詞性標注是一個典型的多分類問題。常見的詞性包括名詞、動詞、形容詞、副詞等。而一個詞可能屬於多種詞性。如「愛」，可能是動詞，可能是形容詞，也可能是名詞。但是一般來說，「愛」作為動詞還是比較常見的。所以統一給「愛」分配為動詞准確率也還足夠高。這種最簡單粗暴的思想非常好實現，如果准確率要求不高則也比較常用。它只需要基於詞性標注語料庫做一個統計就夠了，連貝葉斯方法、最大似然法都不要用。詞性標注語料庫一般是由專業人員搜集好了的，長下面這個樣子。其中斜線後面的字母表示一種詞性，詞性越多說明語料庫分得越細；需要比較以下各概率的大小，選擇概率最大的詞性即可：
將公式進行以下改造，比較各概率的大小，選擇概率最大的詞性：
N-gram分類器是結合貝葉斯方法和語言模型的分類器。這里用 Y1,Y2分別表示這垃圾郵件和正常郵件，用 X表示被判斷的郵件的句子。根據貝葉斯公式有：
比較這些概率的大小，找出使得 P(Yi|X)最大的 Yi即可得到 X 所屬的分類(分詞方案)了。Yi作為分詞方案，其實就是個詞串，比如（「我司」，「可」，「辦理」，「正規發票」）（「我」，「司可辦」，「理正規」，「發票」），也就是一個向量了。而上面貝葉斯公式中 P(X|Yi)項的意思就是在分類方案 Yi的前提下，其對應句子為 X的概率。而無論分詞方案是（「我司」，「可」，「辦理」，「正規發票」）還是（「我」，「司可辦」，「理正規」，「發票」），或者其他什麼方案，其對應的句子都是「我司可辦理正規發票」。也就是說任意假想的一種分詞方式之下生成的句子總是唯一的（只需把分詞之間的分界符號扔掉剩下的內容都一樣）。於是可以將 P(X|Yi)看作是恆等於1的。這樣貝葉斯公式又進一步化簡成為：
也就是說我們
Ⅶ 哪些機器學習演算法可以處理多分類
maxsoft作為logistics二分類的改進版，天生適合多分類；神經網路(如bp神經網路，隨機權神經網路，RBF神經網路等)；通過建立多個支持向量機或者最小二乘支持向量機分類模型，通過投票演算法選擇概率最大的分類標簽；也可以通過聚類演算法(KNN，kMeans等)等無監督學習演算法實現分類。
樸素貝葉斯分類器演算法是最受歡迎的學習方法之一，按照相似性分類，用流行的貝葉斯概率定理來建立機器學習模型，特別是用於疾病預測和文檔分類。 它是基於貝葉斯概率定理的單詞的內容的主觀分析的簡單分類。
如果特徵數量遠大於訓練樣本數，則使用邏輯回歸或線性核方法的SVM。
如果特徵數較小，而樣本數量相對較多，可以考慮高斯核方法的SVM。
如果特徵數少兒樣本數極大，可以考慮增加一些特徵，再使用邏輯回歸或線性核方法的SVM
神經網路則對上述情況都可適用，但訓練時間較長。
想要學習了解更多機器學習的信息，推薦CDA數據分析師課程。CDA 與國際知名考試服務機構 Pearson VUE 合作,認證考點覆蓋全球。課程內容綜合使用統計分析方法、統計模型、運籌學、機器學習、文本挖掘演算法，而非單一的機器學習演算法。 點擊預約免費試聽課。
Ⅷ 機器學習有哪些演算法
1. 線性回歸
在統計學和機器學習領域，線性回歸可能是最廣為人知也最易理解的演算法之一。
2. Logistic 回歸
Logistic 回歸是機器學習從統計學領域借鑒過來的另一種技術。它是二分類問題的首選方法。
3. 線性判別分析
Logistic 回歸是一種傳統的分類演算法，它的使用場景僅限於二分類問題。如果你有兩個以上的類，那麼線性判別分析演算法（LDA）是首選的線性分類技術。
4.分類和回歸樹
決策樹是一類重要的機器學習預測建模演算法。
5. 樸素貝葉斯
樸素貝葉斯是一種簡單而強大的預測建模演算法。
6. K 最近鄰演算法
K 最近鄰（KNN）演算法是非常簡單而有效的。KNN 的模型表示就是整個訓練數據集。
7. 學習向量量化
KNN 演算法的一個缺點是，你需要處理整個訓練數據集。
8. 支持向量機
支持向量機（SVM）可能是目前最流行、被討論地最多的機器學習演算法之一。
9. 袋裝法和隨機森林
隨機森林是最流行也最強大的機器學習演算法之一，它是一種集成機器學習演算法。
想要學習了解更多機器學習的知識，推薦CDA數據分析師課程。CDA（Certified Data Analyst），即「CDA 數據分析師」，是在數字經濟大背景和人工智慧時代趨勢下，面向全行業的專業權威國際資格認證，旨在提升全民數字技能，助力企業數字化轉型，推動行業數字化發展。點擊預約免費試聽課。