em演算法在網上購物系統中的應用

❶ 急求如何用MATLab實現EM演算法

最大期望演算法（Expectation Maximization Algorithm，又譯期望最大化演算法），是一種迭代演算法，用於含有隱變數（hidden variable）的概率參數模型的最大似然估計或極大後驗概率估計。
實現代碼如下：
02 Jul 2015 hui cheng
06 May 2015 Mei Dong
very good job！

12 Nov 2014 Jobaer
please, sir , send me a source code on image segmentation. I want to segement weeds from soil.My email address is [email protected] .

18 Jan 2014 HuangJunFeng HuangJunFeng
16 Dec 2013 widdy
19 Feb 2013 Tong Chu
01 Jan 2013 manas nag
sir
after executing this it is declaring that k is undefined

04 Dec 2012 Jason Rebello
Some people want to know how to view the segmented image. For example suppose you have two classes ie k=2; us the following code to view it
[row col] = size(ima);
final_img = zeros(row,col);
for i=1:row
for j=1:col
if mask(i,j)==1
final_img(i,j)=1;
else
final_img(i,j)=255;
end
end
end
imshow(final_img/255);
This is a naive way of viewing it .. you may have to change somethings if k>2. Anywayz hope it helps. The mask basically stores the segmented image.

16 Nov 2011 surya
great job.i am using the same algorithm in my project for x-ray images.can u please tell how to view the segmented image

Comment only

18 Feb 2010 prashanth
Sir, I am starting my project on the same subject. i was unable to find the algorithm psuedocode for em algorithm. kindly send me one at [email protected]. Also can u just tell me the explanation for the source code..

Comment only

21 Dec 2009 maria
Hi, could you please explain how I can use "mask" to see result of segmentation??

Comment only

17 Mar 2009 Patrick
Greetings Prof., Very nice .. could you please let me know what exactly does the mask variable store ? As what i see it classifies each pixel that falls within each class . Am i correct in that assumption?
Thanks

24 May 2008 darko brajicic
great job!

27 Apr 2008 Bilo Bilo
Thanks

15 Aug 2007 smiled fisher
06 Nov 2006 Karthik Raja T
HI, Greetings,can it for my color image segmentation ?

04 Sep 2006 Mikel Rodriguez
12 Jul 2006 carlos mas
03 May 2006 Mohamed Sami
look when u make a code u must show us the output to see it then u read ur code .. try to explain that with output we can see bye

❷ em演算法原理

我最近也在看EM演算法，主要是它在無監督學習中的應用，例子倒是沒有，原理差不多弄明白了一些，其實是出於一種很自然的想法，似然度均值的最大化，但是中間有些問題就是在迭代的過程中似然度是單調增加的，這個證明過程比較繁瑣，具體你在模式識別中的應用可以參考這個WiKi頁：http://en.wikipedia.org/wiki/Expectation-maximization_algorithm

❸ EM演算法怎麼用在聚類上

k-means -> probabilistic model mixtures -> infinite probabilistic model mixtures(DP) 或者 infinite k-means

1. EM為含隱變數的概率模型提供了一個通用的框架。

2. 而用於聚類的模型其實都是離散混合模型。有限混合或者無限混合（狄利克雷過程），離散混合模型一定是含有隱變數的。所以EM就可以用來求解了。你先選一個聚類模型。你的任務簡單，就沒得選GMM或者DPGMM。若任務復雜些，可以搞分層的，或者時序的。然後用EM求解即可，求解過程中還會用到采樣或者變分，自己看想用哪個。

   
   

❹ em演算法的EM演算法

在統計計算中，最大期望（EM）演算法是在概率（probabilistic）模型中尋找參數最大似然估計或者最大後驗估計的演算法，其中概率模型依賴於無法觀測的隱藏變數（Latent Variable）。最大期望經常用在機器學習和計算機視覺的數據聚類（Data Clustering）領域。
最大期望演算法經過兩個步驟交替進行計算：
第一步是計算期望（E），利用對隱藏變數的現有估計值，計算其最大似然估計值；
第二步是最大化（M），最大化在 E 步上求得的最大似然值來計算參數的值。
M 步上找到的參數估計值被用於下一個 E 步計算中，這個過程不斷交替進行。
總體來說，EM的演算法流程如下：
1.初始化分布參數
2.重復直到收斂：
E步驟：估計未知參數的期望值，給出當前的參數估計。
M步驟：重新估計分布參數，以使得數據的似然性最大，給出未知變數的期望估計。

❺ 三維機器學習EM演算法問題.

學習機器學習十大演算法，相當於電腦的中級水平。
演算法（Algorithm）是指解題方案的准確而完整的描述，是一系列解決問題的清晰指令，演算法代表著用系統的方法描述解決問題的策略機制。也就是說，能夠對一定規范的輸入，在有限時間內獲得所要求的輸出。如果一個演算法有缺陷，或不適合於某個問題，執行這個演算法將不會解決這個問題。不同的演算法可能用不同的時間、空間或效率來完成同樣的任務。一個演算法的優劣可以用空間復雜度與時間復雜度來衡量。
演算法中的指令描述的是一個計算，當其運行時能從一個初始狀態和（可能為空的）初始輸入開始，經過一系列有限而清晰定義的狀態，最終產生輸出並停止於一個終態。一個狀態到另一個狀態的轉移不一定是確定的。隨機化演算法在內的一些演算法，包含了一些隨機輸入。
形式化演算法的概念部分源自嘗試解決希爾伯特提出的判定問題，並在其後嘗試定義有效計算性或者有效方法中成形。這些嘗試包括庫爾特·哥德爾、Jacques Herbrand和斯蒂芬·科爾·克萊尼分別於1930年、1934年和1935年提出的遞歸函數，阿隆佐·邱奇於1936年提出的λ演算，1936年Emil Leon Post的Formulation 1和艾倫·圖靈1937年提出的圖靈機。即使在當前，依然常有直覺想法難以定義為形式化演算法的情況。
一，數據對象的運算和操作：計算機可以執行的基本操作是以指令的形式描述的。一個計算機系統能執行的所有指令的集合，成為該計算機系統的指令系統。一個計算機的基本運算和操作有如下四類：[1]
1，算術運算：加減乘除等運算
2，邏輯運算：或、且、非等運算
3，關系運算：大於、小於、等於、不等於等運算
4，數據傳輸：輸入、輸出、賦值等運算[1]
二，演算法的控制結構：一個演算法的功能結構不僅取決於所選用的操作，而且還與各操作之間的執行順序有關。[

❻ EM演算法有什麼用

EM演算法是求含有隱變數的極大似然估計，可以用於包含隱變數的參數估計

❼ 誰做過 EM演算法 java實現

參考：

packagenlp;
/**
*@authorOrisun
*date2011-10-22
*/
importjava.util.ArrayList;

publicclassBaumWelch{

intM;//隱藏狀態的種數
intN;//輸出活動的種數
double[]PI;//初始狀態概率矩陣
double[][]A;//狀態轉移矩陣
double[][]B;//混淆矩陣

ArrayList<Integer>observation=newArrayList<Integer>();//觀察到的集合
ArrayList<Integer>state=newArrayList<Integer>();//中間狀態集合
int[]out_seq={2,1,1,1,2,2,2,2,2,1,1,1,1,2,2,2,2,1,1,
1,1,1,2,2,2,1,1,1,1,1,2,1};//測試用的觀察序列
int[]hidden_seq={1,1,1,1,2,2,2,2,2,2,2,2,2,2,2,2,2,1,
1,1,1,1,2,2,2,1,1,1,1,1,1,1};//測試用的隱藏狀態序列
intT=32;//序列長度為32

double[][]alpha=newdouble[T][];//向前變數
doublePO;
double[][]beta=newdouble[T][];//向後變數
double[][]gamma=newdouble[T][];
double[][][]xi=newdouble[T-1][][];

//初始化參數。Baum-Welch得到的是局部最優解，所以初始參數直接影響解的好壞
publicvoidinitParameters(){
M=2;
N=2;
PI=newdouble[M];
PI[0]=0.5;
PI[1]=0.5;
A=newdouble[M][];
B=newdouble[M][];
for(inti=0;i<M;i++){
A[i]=newdouble[M];
B[i]=newdouble[N];
}
A[0][0]=0.8125;
A[0][1]=0.1875;
A[1][0]=0.2;
A[1][1]=0.8;
B[0][0]=0.875;
B[0][1]=0.125;
B[1][0]=0.25;
B[1][1]=0.75;

observation.add(1);
observation.add(2);
state.add(1);
state.add(2);

for(intt=0;t<T;t++){
alpha[t]=newdouble[M];
beta[t]=newdouble[M];
gamma[t]=newdouble[M];
}
for(intt=0;t<T-1;t++){
xi[t]=newdouble[M][];
for(inti=0;i<M;i++)
xi[t][i]=newdouble[M];
}
}

//更新向前變數
publicvoipdateAlpha(){
for(inti=0;i<M;i++){
alpha[0][i]=PI[i]*B[i][observation.indexOf(out_seq[0])];
}
for(intt=1;t<T;t++){
for(inti=0;i<M;i++){
alpha[t][i]=0;
for(intj=0;j<M;j++){
alpha[t][i]+=alpha[t-1][j]*A[j][i];
}
alpha[t][i]*=B[i][observation.indexOf(out_seq[t])];
}
}
}

//更新觀察序列出現的概率，它在一些公式中當分母
publicvoipdatePO(){
for(inti=0;i<M;i++)
PO+=alpha[T-1][i];
}

//更新向後變數
publicvoipdateBeta(){
for(inti=0;i<M;i++){
beta[T-1][i]=1;
}
for(intt=T-2;t>=0;t--){
for(inti=0;i<M;i++){
for(intj=0;j<M;j++){
beta[t][i]+=A[i][j]
*B[j][observation.indexOf(out_seq[t+1])]
*beta[t+1][j];
}
}
}
}

//更新xi
publicvoipdateXi(){
for(intt=0;t<T-1;t++){
doublefrac=0.0;
for(inti=0;i<M;i++){
for(intj=0;j<M;j++){
frac+=alpha[t][i]*A[i][j]
*B[j][observation.indexOf(out_seq[t+1])]
*beta[t+1][j];
}
}
for(inti=0;i<M;i++){
for(intj=0;j<M;j++){
xi[t][i][j]=alpha[t][i]*A[i][j]
*B[j][observation.indexOf(out_seq[t+1])]
*beta[t+1][j]/frac;
}
}
}
}

//更新gamma
publicvoipdateGamma(){
for(intt=0;t<T-1;t++){
doublefrac=0.0;
for(inti=0;i<M;i++){
frac+=alpha[t][i]*beta[t][i];
}
//doublefrac=PO;
for(inti=0;i<M;i++){
gamma[t][i]=alpha[t][i]*beta[t][i]/frac;
}
//for(inti=0;i<M;i++){
//gamma[t][i]=0;
//for(intj=0;j<M;j++)
//gamma[t][i]+=xi[t][i][j];
//}
}
}

//更新狀態概率矩陣
publicvoipdatePI(){
for(inti=0;i<M;i++)
PI[i]=gamma[0][i];
}

//更新狀態轉移矩陣
publicvoipdateA(){
for(inti=0;i<M;i++){
doublefrac=0.0;
for(intt=0;t<T-1;t++){
frac+=gamma[t][i];
}
for(intj=0;j<M;j++){
doubledem=0.0;
//for(intt=0;t<T-1;t++){
//dem+=xi[t][i][j];
//for(intk=0;k<M;k++)
//frac+=xi[t][i][k];
//}
for(intt=0;t<T-1;t++){
dem+=xi[t][i][j];
}
A[i][j]=dem/frac;
}
}
}

//更新混淆矩陣
publicvoipdateB(){
for(inti=0;i<M;i++){
doublefrac=0.0;
for(intt=0;t<T;t++)
frac+=gamma[t][i];
for(intj=0;j<N;j++){
doubledem=0.0;
for(intt=0;t<T;t++){
if(out_seq[t]==observation.get(j))
dem+=gamma[t][i];
}
B[i][j]=dem/frac;
}
}
}

//運行Baum-Welch演算法
publicvoidrun(){
initParameters();
intiter=22;//迭代次數
while(iter-->0){
//E-Step
updateAlpha();
//updatePO();
updateBeta();
updateGamma();
updatePI();
updateXi();
//M-Step
updateA();
updateB();
}
}

publicstaticvoidmain(String[]args){
BaumWelchbw=newBaumWelch();
bw.run();
System.out.println("訓練後的初始狀態概率矩陣：");
for(inti=0;i<bw.M;i++)
System.out.print(bw.PI[i]+"	");
System.out.println();
System.out.println("訓練後的狀態轉移矩陣：");
for(inti=0;i<bw.M;i++){
for(intj=0;j<bw.M;j++){
System.out.print(bw.A[i][j]+"	");
}
System.out.println();
}
System.out.println("訓練後的混淆矩陣：");
for(inti=0;i<bw.M;i++){
for(intj=0;j<bw.N;j++){
System.out.print(bw.B[i][j]+"	");
}
System.out.println();
}
}
}

❽ em演算法為什麼可以解決隱含數據問題

EM演算法可以看成是特殊情況下計算極大似然的一種演算法。
現實的數據經常有一些比較奇怪的問題，比如缺失數據、含有隱變數等問題。當這些問題出現的時候，計算極大似然函數通常是比較困難的，而EM演算法可以解決這個問題。
EM演算法已經有很多應用，比如最經典的Hidden Markov模型等。

❾ em演算法的EM演算法簡述

迭代使用EM步驟，直至收斂。
可以有一些比較形象的比喻說法把這個演算法講清楚。比如說食堂的大師傅炒了一份菜，要等分成兩份給兩個人吃，顯然沒有必要拿來天平一點一點的精確的去稱分量，最簡單的辦法是先隨意的把菜分到兩個碗中，然後觀察是否一樣多，把比較多的那一份取出一點放到另一個碗中，這個過程一直迭代地執行下去，直到大家看不出兩個碗所容納的菜有什麼分量上的不同為止。EM演算法就是這樣，假設我們估計知道A和B兩個參數，在開始狀態下二者都是未知的，並且知道了A的信息就可以得到B的信息，反過來知道了B也就得到了A。可以考慮首先賦予A某種初值，以此得到B的估計值，然後從B的當前值出發，重新估計A的取值，這個過程一直持續到收斂為止。
EM 演算法是 Dempster，Laind，Rubin 於 1977 年提出的求參數極大似然估計的一種方法，它可以從非完整數據集中對參數進行 MLE 估計，是一種非常簡單實用的學習演算法。這種方法可以廣泛地應用於處理缺損數據，截尾數據，帶有雜訊等所謂的不完全數據(incomplete data)。
假定集合Z = (X,Y)由觀測數據 X 和未觀測數據Y 組成，X 和Z = (X,Y)分別稱為不完整數據和完整數據。假設Z的聯合概率密度被參數化地定義為P(X,Y|Θ)，其中Θ表示要被估計的參數。Θ的最大似然估計是求不完整數據的對數似然函數L(X;Θ)的最大值而得到的：
L(Θ;X)= log p(X|Θ) = ∫log p(X,Y|Θ)dY ；
EM演算法包括兩個步驟：由E步和M步組成，它是通過迭代地最大化完整數據的對數似然函數Lc(X;Θ)的期望來最大化不完整數據的對數似然函數，其中：
Lc(X;Θ) =log p(X,Y |Θ) ；
假設在演算法第t次迭代後Θ獲得的估計記為Θ(t) ，則在(t+1)次迭代時，
E-步：計算完整數據的對數似然函數的期望，記為：
Q(Θ|Θ (t)) = E{Lc(Θ;Z)|X;Θ(t)}；
M-步：通過最大化Q(Θ|Θ(t) ) 來獲得新的Θ 。
通過交替使用這兩個步驟，EM演算法逐步改進模型的參數，使參數和訓練樣本的似然概率逐漸增大，最後終止於一個極大點。直觀地理解EM演算法，它也可被看作為一個逐次逼近演算法：事先並不知道模型的參數，可以隨機的選擇一套參數或者事先粗略地給定某個初始參數λ0 ，確定出對應於這組參數的最可能的狀態，計算每個訓練樣本的可能結果的概率，在當前的狀態下再由樣本對參數修正，重新估計參數λ，並在新的參數下重新確定模型的狀態，這樣，通過多次的迭代，循環直至某個收斂條件滿足為止，就可以使得模型的參數逐漸逼近真實參數。
EM演算法的主要目的是提供一個簡單的迭代演算法計算後驗密度函數，它的最大優點是簡單和穩定，但容易陷入局部最優。

❿ em演算法是什麼

最大期望演算法（Expectation-Maximization algorithm, EM），或Dempster-Laird-Rubin演算法，是一類通過迭代進行極大似然估計（Maximum Likelihood Estimation, MLE）的優化演算法 ，通常作為牛頓迭代法（Newton-Raphson method）的替代用於對包含隱變數（latent variable）或缺失數據（incomplete-data）的概率模型進行參數估計。
EM演算法的標准計算框架由E步（Expectation-step）和M步（Maximization step）交替組成，演算法的收斂性可以確保迭代至少逼近局部極大值 。EM演算法是MM演算法（Minorize-Maximization algorithm）的特例之一，有多個改進版本，包括使用了貝葉斯推斷的EM演算法、EM梯度演算法、廣義EM演算法等 。
由於迭代規則容易實現並可以靈活考慮隱變數，EM演算法被廣泛應用於處理數據的缺測值 ，以及很多機器學習（machine learning）演算法，包括高斯混合模型（Gaussian Mixture Model, GMM） 和隱馬爾可夫模型（Hidden Markov Model, HMM） 的參數估計。