python貝葉斯網路參數學習

A. Python課程內容都學習什麼啊

賀聖軍Python輕松入門到項目實戰（經典完整版）（超清視頻）網路網盤

鏈接: https://pan..com/s/1C9k1o65FuQKNe68L3xEx3w

若資源有問題歡迎追問~

B. 貝葉斯網路學習

BN學習的目的就是要找到一個最能真實反映當前研究問題中現有的各研究對象之間相互依賴關系的BN模型，BN學習可以分為以下兩個階段:①結構學習(Structure Learn-ing)，即網路拓撲結構的學習。②參數學習(Parameter Learning)，即網路中每個節點變數的局部先驗條件概率分布的學習。

比較簡單的BN學習方法是先依據專家知識確定BN的拓撲結構，然後通過給定的樣本數據學習BN的概率分布(參數)。比較復雜的BN學習方法是BN的拓撲結構和概率分布都是通過給定樣本數據學習得出，這也是現在的研究熱點。結構學習和參數學習是相互聯系的，一方面BN的結構是由聯合概率分布函數來直接決定;另一方面，節點的條件概率依賴於BN的拓撲結構。

2.2.1 貝葉斯網路結構學習

BN結構學習就是利用訓練樣本數據，尋找對數據和先驗知識擬合的最好的網路拓撲結構。學習分為完備數據結構學習和不完備數據結構學習兩種情況。目前，具有完備數據的 BN 結構學習方法比較成熟，而從不完備數據中學習 BN 結構比較困難，現有演算法仍存在缺陷。

2. 2. 1. 1 具有完備數據的貝葉斯網路結構學習

當訓練樣本完備時，常用的 BN 結構學習演算法可以分為兩種: 基於搜索記分的方法和基於統計測試的方法。

( 1) 基於搜索評分的結構學習演算法。基於搜索評分的結構學習演算法將結構學習視為搜索最佳網路問題。其核心思想是: 首先添加任一條邊，然後使用搜索方法添加新的邊，最後利用評分函數評分，測試新舊網路分值的大小。學習的目的就是找到評分最大的結構。這是個連續進行的過程，直到老模型的分數不再比新模型的分數低為止。評分方法有很多，如基於熵的評分、最小描述長度( LMS) 的評分以及貝葉斯評分。這類演算法有一個共同點: 為每個候選的 BN 定義一種評價網路結構與樣本集吻合程度的測度，然後，通過遺傳和進化演算法、模擬退火法或者爬山演算法搜索具有最佳測度的拓撲網路結構。

( 2) 基於統計測試的結構學習演算法。該學習演算法的核心思想是: 首先進行訓練樣本統計測試，尤其是測試條件獨立性; 然後，利用節點集間的條件獨立性構造 DAG( 有向無環圖) ，以盡可能地囊括這些條件獨立性，它將獨立的概念從構造結構中分離出來。

具有代表性的統計測試的結構學習演算法有: ①Spirtes 等( 1993) 提出 SGS 演算法，是一個典型的用條件獨立性測試確定拓撲結構的演算法，該演算法從無向完全圖出發，如果相鄰結點間存在無向分隔割集，則刪除它們的邊，然後通過統計測試來確定剩餘邊的方向。②Acid 等( 1999) 提出了有向圖構造演算法 EP，證明有向圖模型無論是否為單連接結構都對分類問題的影響效果不大。③Cheng Jie 等( 2002) 年將統計測試與資訊理論結合，通過相互信息量的計算來確定節點間的條件獨立性，用相互信息量代替條件獨立測試，從而構造多連接有向圖模型。

2. 2. 1. 2 缺失數據情況下的貝葉斯網路結構學習

在數據不完整的情況下，BN 結構學習會比較困難，現有的研究演算法主要是基於打分的結構學習。數據不完備會導致出現以下兩方面問題: ①一些充分統計因子不存在，導致無法直接進行結構打分; ②打分函數不再具有可分解形式，因此不能進行局部搜索。圍繞這兩方面問題相繼出現了一些解決的方法，如 Friedman( 1997) 借鑒參數學習的選擇 － 期望最大演算法，提出模型的 EM 結構學習方法; Sebastian 等( 1997) 將 BC 演算法應用於結構學習; Fried-man( 1998) 引入一種使用貝葉斯打分方法學習概率模型的新方法，貝葉斯結構期望最大演算法，簡稱為 Bayesian － SEM 演算法。

2. 2. 2 貝葉斯網路參數學習

BN 參數學習的目標是: 給定訓練樣本和網路拓撲結構，利用先驗知識，確定 BN 模型各個節點處的條件概率。參數學習同樣可以分為完備數據和不完備數據兩種情況。數據完備時的參數學習演算法包括由 Fayyad( 1990) 提出的貝葉斯估計方法和 Spiegelhalter( 1996) 提出的最大似然估計 ( MLE) 方法; 從不完備的數據中學習概率參數的演算法主要有 Gibbs 樣本法( Heckerman，1995) 和期望-最大 ( EM) 演算法( Spiegelhalter，1990; Mallet，1991; Lauritzen，1991等) 。

2. 2. 3 貝葉斯網路推理

概率推理是 BN 應用的主要目的之一。BN 推理是根據某些已知給定值的節點，估計未知節點的值。即在給定一個 BN 模型的情況下，依據已知條件，利用貝葉斯概率中條件概率的計算方法，計算出所感興趣的目標節點發生的概率。在 BN 推理中主要包括以下 3 種推理方式:

( 1) 因果推理: 也稱自上向下的推理，目的是由原因推出結論。已知證據 ( 原因) ，根據BN 的推理計算，求出在該證據 ( 原因) 發生的情況下結果發生的概率。

( 2) 診斷推理: 也稱自下向上的推理，目的是由結論推出原因。是在已知結果情況下，根據 BN 推理計算，得到導致該結果發生的原因即其發生的概率。該推理常用在故障診斷、病理診斷中，目的是找到故障發生、疾病發生的原因。

( 3) 支持推理: 目的是對原因之間的相互影響進行分析，提供用以支持所發生現象的解釋。

BN 推理演算法大體可以分為精確推理演算法和近似推理演算法兩大類。理論上，所有類型的 BN 都可以用精確推理演算法進行概率推理，但實際上 BN 精確推理是一個 NP-hard 問題( Cooper，1990) ，尤其當模型結構較復雜、包含大量的變數時，精確推理就變得尤為困難。而近似推理相比精確推理來說，是解決復雜網路模型的一個較好辦法，它可以大大簡化計算和推理過程。因此，現階段 BN 研究中許多情況下都採用近似演算法。

C. Python有沒有支持貝葉斯網路的包

Bayesian-belief-networks允許你用純Python創建貝葉斯信念網路和其他圖模型，目前支持四種不同的推理方法。
支持的圖模型
離散變數的貝葉斯信念網路
有著高斯分布的連續變數的高斯貝葉斯網路
推理引擎
消息傳遞和聯合樹演算法（Junction Tree Algorithm）
和積演算法（The Sum Proct Algorithm）
MCMC采樣的近似推理
高斯貝葉斯網路中得Exact Propagation

D. 貝葉斯網路，看完這篇我終於理解了(附代碼)！

概率圖模型是用圖來表示變數概率依賴關系的理論，結合概率論與圖論的知識，利用圖來表示與模型有關的變數的聯合概率分布。由圖靈獎獲得者Pearl開發出來。

如果用一個詞來形容概率圖模型（Probabilistic Graphical Model）的話，那就是「優雅」。對於一個實際問題，我們希望能夠挖掘隱含在數據中的知識。概率圖模型構建了這樣一幅圖，用觀測結點表示觀測到的數據，用隱含結點表示潛在的知識，用邊來描述知識與數據的相互關系， 最後基於這樣的關系圖獲得一個概率分布 ，非常「優雅」地解決了問題。

概率圖中的節點分為隱含節點和觀測節點，邊分為有向邊和無向邊。從概率論的角度，節點對應於隨機變數，邊對應於隨機變數的依賴或相關關系，其中 有向邊表示單向的依賴，無向邊表示相互依賴關系 。

概率圖模型分為 貝葉斯網路（Bayesian Network）和馬爾可夫網路（Markov Network） 兩大類。貝葉斯網路可以用一個有向圖結構表示，馬爾可夫網路可以表 示成一個無向圖的網路結構。更詳細地說，概率圖模型包括了樸素貝葉斯模型、最大熵模型、隱馬爾可夫模型、條件隨機場、主題模型等，在機器學習的諸多場景中都有著廣泛的應用。

長久以來，人們對一件事情發生或不發生的概率，只有固定的0和1，即要麼發生，要麼不發生，從來不會去考慮某件事情發生的概率有多大，不發生的概率又是多大。而且概率雖然未知，但最起碼是一個確定的值。比如如果問那時的人們一個問題：「有一個袋子，裡面裝著若干個白球和黑球，請問從袋子中取得白球的概率是多少？」他們會想都不用想，會立馬告訴你，取出白球的概率就是1/2，要麼取到白球，要麼取不到白球，即θ只能有一個值，而且不論你取了多少次，取得白球的 概率θ始終都是1/2 ，即不隨觀察結果X 的變化而變化。

這種 頻率派 的觀點長期統治著人們的觀念，直到後來一個名叫Thomas Bayes的人物出現。

托馬斯·貝葉斯Thomas Bayes（1702-1763）在世時，並不為當時的人們所熟知，很少發表論文或出版著作，與當時學術界的人溝通交流也很少，用現在的話來說，貝葉斯就是活生生一民間學術「屌絲」，可這個「屌絲」最終發表了一篇名為「An essay towards solving a problem in the doctrine of chances」，翻譯過來則是：機遇理論中一個問題的解。你可能覺得我要說：這篇論文的發表隨機產生轟動效應，從而奠定貝葉斯在學術史上的地位。

這篇論文可以用上面的例子來說明，「有一個袋子，裡面裝著若干個白球和黑球，請問從袋子中取得白球的概率θ是多少？」貝葉斯認為取得白球的概率是個不確定的值，因為其中含有機遇的成分。比如，一個朋友創業，你明明知道創業的結果就兩種，即要麼成功要麼失敗，但你依然會忍不住去估計他創業成功的幾率有多大？你如果對他為人比較了解，而且有方法、思路清晰、有毅力、且能團結周圍的人，你會不由自主的估計他創業成功的幾率可能在80%以上。這種不同於最開始的「非黑即白、非0即1」的思考方式，便是 貝葉斯式的思考方式。

先簡單總結下頻率派與貝葉斯派各自不同的思考方式：

貝葉斯派既然把看做是一個隨機變數，所以要計算的分布，便得事先知道的無條件分布，即在有樣本之前（或觀察到X之前），有著怎樣的分布呢？

比如往檯球桌上扔一個球，這個球落會落在何處呢？如果是不偏不倚的把球拋出去，那麼此球落在檯球桌上的任一位置都有著相同的機會，即球落在檯球桌上某一位置的概率服從均勻分布。這種在實驗之前定下的屬於基本前提性質的分布稱為 先驗分布，或著無條件分布 。

其中，先驗信息一般來源於經驗跟歷史資料。比如林丹跟某選手對決，解說一般會根據林丹歷次比賽的成績對此次比賽的勝負做個大致的判斷。再比如，某工廠每天都要對產品進行質檢，以評估產品的不合格率θ，經過一段時間後便會積累大量的歷史資料，這些歷史資料便是先驗知識，有了這些先驗知識，便在決定對一個產品是否需要每天質檢時便有了依據，如果以往的歷史資料顯示，某產品的不合格率只有0.01%，便可視為信得過產品或免檢產品，只每月抽檢一兩次，從而省去大量的人力物力。

而 後驗分布 π（θ|X）一般也認為是在給定樣本X的情況下的θ條件分布，而使π（θ|X）達到最大的值θMD稱為 最大後驗估計 ，類似於經典統計學中的 極大似然估計 。

綜合起來看，則好比是人類剛開始時對大自然只有少得可憐的先驗知識，但隨著不斷觀察、實驗獲得更多的樣本、結果，使得人們對自然界的規律摸得越來越透徹。所以，貝葉斯方法既符合人們日常生活的思考方式，也符合人們認識自然的規律，經過不斷的發展，最終占據統計學領域的半壁江山，與經典統計學分庭抗禮。

條件概率 （又稱後驗概率）就是事件A在另外一個事件B已經發生條件下的發生概率。條件概率表示為P(A|B)，讀作「在B條件下A的概率」。

比如上圖，在同一個樣本空間Ω中的事件或者子集A與B，如果隨機從Ω中選出的一個元素屬於B，那麼這個隨機選擇的元素還屬於A的概率就定義為在B的前提下A的條件概率：

聯合概率：

邊緣概率(先驗概率)：P(A)或者P(B)

貝葉斯網路(Bayesian network)，又稱信念網路(Belief Network)，或有向無環圖模型(directed acyclic graphical model)，是一種概率圖模型，於1985年由Judea Pearl首先提出。它是一種模擬人類推理過程中因果關系的不確定性處理模型，其網路拓樸結構是一個有向無環圖(DAG)。

貝葉斯網路的有向無環圖中的節點表示隨機變數

它們可以是可觀察到的變數，或隱變數、未知參數等。認為有因果關系（或非條件獨立）的變數或命題則用箭頭來連接。若兩個節點間以一個單箭頭連接在一起，表示其中一個節點是「因(parents)」，另一個是「果(children)」，兩節點就會產生一個條件概率值。

例如，假設節點E直接影響到節點H，即E→H，則用從E指向H的箭頭建立結點E到結點H的有向弧(E,H)，權值(即連接強度)用條件概率P(H|E)來表示，如下圖所示：

簡言之，把某個研究系統中涉及的隨機變數，根據是否條件獨立繪制在一個有向圖中，就形成了貝葉斯網路。其主要用來描述隨機變數之間的條件依賴，用圈表示隨機變數(random variables)，用箭頭表示條件依賴(conditional dependencies)。

此外，對於任意的隨機變數，其聯合概率可由各自的局部條件概率分布相乘而得出：

1. head-to-head

依上圖，所以有：P(a,b,c) = P(a) P(b) P(c|a,b)成立，即在c未知的條件下，a、b被阻斷(blocked)，是獨立的，稱之為head-to-head條件獨立。

2. tail-to-tail

考慮c未知，跟c已知這兩種情況：

3. head-to-tail

還是分c未知跟c已知這兩種情況：

wikipedia上是這樣定義因子圖的：將一個具有多變數的全局函數因子分解，得到幾個局部函數的乘積，以此為基礎得到的一個雙向圖叫做因子圖（Factor Graph）。

通俗來講，所謂因子圖就是對函數進行因子分解得到的 一種概率圖 。一般內含兩種節點：變數節點和函數節點。我們知道，一個全局函數通過因式分解能夠分解為多個局部函數的乘積，這些局部函數和對應的變數關系就體現在因子圖上。

舉個例子，現在有一個全局函數，其因式分解方程為：

其中fA,fB,fC,fD,fE為各函數，表示變數之間的關系，可以是條件概率也可以是其他關系。其對應的因子圖為：

在概率圖中，求某個變數的邊緣分布是常見的問題。這問題有很多求解方法，其中之一就是把貝葉斯網路或馬爾科夫隨機場轉換成因子圖，然後用sum-proct演算法求解。換言之，基於因子圖可以用 sum-proct 演算法 高效的求各個變數的邊緣分布。

詳細的sum-proct演算法過程，請查看博文： 從貝葉斯方法談到貝葉斯網路

樸素貝葉斯(Naive Bayesian)是經典的機器學習演算法之一，也是為數不多的基於概率論的分類演算法。樸素貝葉斯原理簡單，也很容易實現，多用於文本分類，比如垃圾郵件過濾。**樸素貝葉斯可以看做是貝葉斯網路的特殊情況：即該網路中無邊，各個節點都是獨立的。 **

樸素貝葉斯樸素在哪裡呢？ —— 兩個假設 ：

貝葉斯公式如下：

下面以一個例子來解釋樸素貝葉斯，給定數據如下：

現在給我們的問題是，如果一對男女朋友，男生想女生求婚，男生的四個特點分別是不帥，性格不好，身高矮，不上進，請你判斷一下女生是嫁還是不嫁？

這是一個典型的分類問題，轉為數學問題就是比較p(嫁|(不帥、性格不好、身高矮、不上進))與p(不嫁|(不帥、性格不好、身高矮、不上進))的概率，誰的概率大，我就能給出嫁或者不嫁的答案！這里我們聯繫到樸素貝葉斯公式：

我們需要求p(嫁|(不帥、性格不好、身高矮、不上進),這是我們不知道的，但是通過樸素貝葉斯公式可以轉化為好求的三個量，這三個變數都能通過統計的方法求得。

等等，為什麼這個成立呢？學過概率論的同學可能有感覺了，這個等式成立的條件需要特徵之間相互獨立吧！對的！這也就是為什麼樸素貝葉斯分類有樸素一詞的來源，樸素貝葉斯演算法是假設各個特徵之間相互獨立，那麼這個等式就成立了！

但是為什麼需要假設特徵之間相互獨立呢？

根據上面倆個原因，樸素貝葉斯法對條件概率分布做了條件獨立性的假設，由於這是一個較強的假設，樸素貝葉斯也由此得名！這一假設使得樸素貝葉斯法變得簡單，但有時會犧牲一定的分類准確率。

樸素貝葉斯優點 ：

樸素貝葉斯缺點 ：

理論上，樸素貝葉斯模型與其他分類方法相比具有最小的誤差率。但是實際上並非總是如此，這是因為樸素貝葉斯模型假設屬性之間相互獨立，這個假設在實際應用中往往是不成立的，在屬性個數比較多或者屬性之間相關性較大時，分類效果不好。

樸素貝葉斯模型(Naive Bayesian Model)的 樸素(Naive)的含義是"很簡單很天真" 地假設樣本特徵彼此獨立. 這個假設現實中基本上不存在, 但特徵相關性很小的實際情況還是很多的, 所以這個模型仍然能夠工作得很好。

新聞分類 GitHub： 點擊進入

【 機器學習通俗易懂系列文章 】

從貝葉斯方法談到貝葉斯網路