混合高斯聚類演算法

❶ 比較kmeans演算法和混合高斯模型，哪個模型的聚類效果更好

kmeans得到的index索引是一個列向量，假設聚類成類，則index中只有，，這幾個數

❷ MATLAB 代碼，用高斯混合模型聚類分析處理xlsx文件，只需要三行代碼

MATLAB是以矩陣為基本的數據運算單位，它能夠很好的與C語言進行混合編程，對於符號運算，其可以直接調用maple的命令，增加了它的適用范圍。下面就為大家介紹MATLAB如何讀寫Excel數據文件的步驟

❸ 高斯模型屬於估算模型還是進一步預測模型

估算模型。
高斯混合模型通常被歸類為聚類演算法，但本質上 他是一個密度估計演算法。
高斯模型就是用高斯概率密度函數(正態分布曲線)精確地量化事物，將一個事物分解為若乾的基於高斯概率密度函數(正態分布曲線)形成的模型。
對圖像背景建立高斯模型的原理及過程，圖像灰度直方圖反映的是圖像中某個灰度值出現的頻次，也可以以為是圖像灰度概率密度的估計。如果圖像所包含的目標區域和背景區域相差比較大，且背景區域和目標區域在灰度上有一定的差異，那麼該圖像的灰度直方圖呈現雙峰-谷形狀，其中一個峰對應於目標，另一個峰對應於背景的中心灰度。
對於復雜的圖像，尤其是醫學圖像，一般是多峰的。通過將直方圖的多峰特性看作是多個高斯分布的疊加，可以解決圖像的分割問題。
在智能監控系統中，對於運動目標的檢測是中心內容，而在運動目標檢測提取中，背景目標對於目標的識別和跟蹤至關重要。而建模正是背景目標提取的一個重要環節。

❹ 使用k-means聚類演算法的優點是什麼使用高斯混合模型聚類演算法的優點是什麼

高斯混合模型就是用高斯概率密度函數（正態分布曲線）精確地量化事物，它是一個將事物分解為若乾的基於高斯概率密度函數（正態分布曲線）形成的模型。 高斯模型就是用高斯概率密度函數（正態分布曲線）精確地量化事物

❺ 高斯演算法求分數

高斯混合模型GMM
首先介紹高斯分布的概率密度函數。一維高斯分布的概率密度函數如下：

多維變數X=(x1,x2,…xn)的聯合概率密度函數為：

這里引用李航《統計學習方法》書中的定義

簡而言之，GMM是多個高斯分布的加權和，並且權重α之和等於1 。

Sklearn
sklearn.mixture 是一個應用高斯混合模型進行非監督學習的包(支持 diagonal，spherical，tied，full 四種協方差矩陣)。GaussianMixture 對象實現了用來擬合高斯混合模型的期望最大 (EM) 演算法。它還可以為多變數模型繪制置信橢圓體，同時計算 BIC（Bayesian Information Criterion，貝葉斯信息准則）來評估數據中聚類的數量。詳情見Sklearn中文官網2.1. 高斯混合模型。

期望最大演算法EM
這里引用周志華《機器學習》書中的定義

上面是基本概念。關於數學公式推導，真心建議直接看吳恩達老師的課件。這里給出自己推導的結果

示例演示
演示GMM的使用。

import numpy as np
import matplotlib.pyplot as plt
from matplotlib.colors import LogNorm
from sklearn import mixture

n_samples = 300

# generate random sample, two components
np.random.seed(0)

# generate spherical data centered on (20, 20)
shifted_gaussian = np.random.randn(n_samples, 2) + np.array([20, 20])

# generate zero centered stretched Gaussian data
C = np.array([[0., -0.7], [3.5, .7]])
stretched_gaussian = np.dot(np.random.randn(n_samples, 2), C)

# concatenate the two datasets into the final training set
X_train = np.vstack([shifted_gaussian, stretched_gaussian])

# fit a Gaussian Mixture Model with two components
clf = mixture.GaussianMixture(n_components=2, covariance_type='full')
clf.fit(X_train)

# display predicted scores by the model as a contour plot
x = np.linspace(-20., 30.)
y = np.linspace(-20., 40.)
X, Y = np.meshgrid(x, y)
XX = np.array([X.ravel(), Y.ravel()]).T
Z = -clf.score_samples(XX)
Z = Z.reshape(X.shape)

CS = plt.contour(X, Y, Z, norm=LogNorm(vmin=1.0, vmax=1000.0),
levels=np.logspace(0, 3, 10))
CB = plt.colorbar(CS, shrink=0.8, extend='both')
plt.scatter(X_train[:, 0], X_train[:, 1], .8)

plt.title('Negative log-likelihood predicted by a GMM')
plt.axis('tight')
plt.show()
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
運行結果

❻ 基於混合高斯模型的EM演算法在MATLAB中實現後，為什麼輸出的極大似然函數值隨著聚類個數的增多而變大

應該是「過擬合」了吧。雖然在EM中沒有真正的「過擬合」一說，但是類別增多，每個數據點會以更高的概率分配到這些類別上。

❼ kmeans||最先在哪篇論文中出現

Scalable KMeans++，這篇裡面詳述了kmeans||的聚類中心選擇規則。

❽ 機器學習的基本任務是什麼

就目前而言，大家都聽說過人工智慧、物聯網以及大數據。當然，人工智慧的熱度最高。可以說，我國當下的人工智慧發展是處於領先水平的。現如今，人工智慧有很多的應用早已在人們的生活中普及，那麼大家是否知道機器學習的基本任務是什麼呢？下面我們直接進入正題。
1.機器學習的概念是什麼？
對於機器學習的概念，網路上是這么解釋的，機器學習是一門多領域交叉學科，涉及概率論、統計學、逼近論、凸分析、演算法復雜度理論等多門學科。專門研究計算機怎樣模擬或實現人類的學習行為，以獲取新的知識或技能，重新組織已有的知識結構使之不斷改善自身的性能。
2.機器學習中的任務
當然，機器學習基於數據，並以此獲取新知識、新技能。它的任務有很多，分類是其基本任務之一。分類就是將新數據劃分到合適的類別中，一般用於類別型的目標特徵，如果目標特徵為連續型，則往往採用回歸方法。回歸是對新目標特徵進行預測，是機器學習中使用非常廣泛的方法之一。
3.分類和回歸
機器學習中的分類和回歸，都是先根據標簽值或目標值建立模型或規則，然後利用這些帶有目標值的數據形成的模型或規則，對新數據進行識別或預測。這兩種方法都屬於監督學習。與監督學習相對是無監督學習，無監督學習不指定目標值或預先無法知道目標值，它可以將把相似或相近的數據劃分到相同的組里，聚類就是解決這一類問題的方法之一。
4.機器學習的演算法都有哪些呢？
機器學習除了監督學習、無監督學習這兩種最常見的方法外，還有半監督學習、強化學習等方法，這些基本任務間的關系就是機器學習包括監督學習和無監督學習，而監督學習就是基於輸入數據及目標值訓練預測模型，而具體細分為分類和回歸，其中分類就是有決策樹、支持向量機、樸素貝葉斯、K-近鄰、集成方法等等，而回歸則是有線性回歸、邏輯回歸、集成方法、神經網路知識等等。而非監督學習就是根據輸入數據對數據進行分組，其中最具體的方式就是聚類，而涉及到的演算法有K-均值演算法，高斯混合演算法、分層聚類演算法等等。
通過這篇文章我們給大家介紹了關於機器學習基本任務的知識，從中我們不難發現機器學習有很多可供運用和發展的東西，我們在學習機器學習的時候一定要好好吸收這些知識的，讓自己的基礎更加牢固，能夠融會貫通。

❾ 用於數據挖掘的聚類演算法有哪些，各有何優勢

聚類方法的分類，主要分為層次化聚類演算法，劃分式聚類演算法，基於密度的聚類演算法，基於網格的聚類演算法，基於模型的聚類演算法等。

而衡量聚類演算法優劣的標准主要是這幾個方面：處理大的數據集的能力；處理任意形狀，包括有間隙的嵌套的數據的能力；演算法處理的結果與數據輸入的順序是否相關，也就是說演算法是否獨立於數據輸入順序；處理數據雜訊的能力；是否需要預先知道聚類個數，是否需要用戶給出領域知識；演算法處理有很多屬性數據的能力，也就是對數據維數是否敏感。

.聚類演算法主要有兩種演算法，一種是自下而上法（bottom-up），一種是自上而下法（top-down）。這兩種路徑本質上各有優勢，主要看實際應用的時候要根據數據適用於哪一種，Hierarchical methods中比較新的演算法有BIRCH主要是在數據體量很大的時候使用；ROCK優勢在於異常數據抗干擾性強……

關於數據挖掘的相關學習，推薦CDA數據師的相關課程，課程以項目調動學員數據挖掘實用能力的場景式教學為主，在講師設計的業務場景下由講師不斷提出業務問題，再由學員循序漸進思考並操作解決問題的過程中，幫助學員掌握真正過硬的解決業務問題的數據挖掘能力。這種教學方式能夠引發學員的獨立思考及主觀能動性，學員掌握的技能知識可以快速轉化為自身能夠靈活應用的技能，在面對不同場景時能夠自由發揮。點擊預約免費試聽課。

❿ 怎樣用matlab作聚類分析啊求操作T_T T_T

展示如何使用MATLAB進行聚類分析
分別運用分層聚類、K均值聚類以及高斯混合模型來進行分析，然後比較三者的結果
生成隨機二維分布圖形，三個中心
% 使用高斯分布（正態分布）
% 隨機生成3個中心以及標准差
s = rng(5,'v5normal');
mu = round((rand(3,2)-0.5)*19)+1;
sigma = round(rand(3,2)*40)/10+1;
X = [mvnrnd(mu(1,:),sigma(1,:),200); ...
mvnrnd(mu(2,:),sigma(2,:),300); ...
mvnrnd(mu(3,:),sigma(3,:),400)];
% 作圖
P1 = figure;clf;
scatter(X(:,1),X(:,2),10,'ro');
title('研究樣本散點分布圖')

K均值聚類
% 距離用傳統歐式距離，分成兩類
[cidx2,cmeans2,sumd2,D2] = kmeans(X,2,'dist','sqEuclidean');
P2 = figure;clf;
[silh2,h2] = silhouette(X,cidx2,'sqeuclidean');
從輪廓圖上面看，第二類結果比較好，但是第一類有部分數據表現不佳。有相當部分的點落在0.8以下。

分層聚類

eucD = pdist(X,'euclidean');
clustTreeEuc = linkage(eucD,'average');
cophenet(clustTreeEuc,eucD);
P3 = figure;clf;
[h,nodes] = dendrogram(clustTreeEuc,20);
set(gca,'TickDir','out','TickLength',[.002 0],'XTickLabel',[]);

可以選擇dendrogram顯示的結點數目，這里選擇20 。結果顯示可能可以分成三類

重新調用K均值法
改為分成三類
[cidx3,cmeans3,sumd3,D3] = kmeans(X,3,'dist','sqEuclidean');
P4 = figure;clf;
[silh3,h3] = silhouette(X,cidx3,'sqeuclidean');

圖上看，比前面的結果略有改善。

將分類的結果展示出來
P5 = figure;clf
ptsymb = {'bo','ro','go',',mo','c+'};
MarkFace = {[0 0 1],[.8 0 0],[0 .5 0]};
hold on
for i =1:3
clust = find(cidx3 == i);
plot(X(clust,1),X(clust,2),ptsymb{i},'MarkerSize',3,'MarkerFace',MarkFace{i},'MarkerEdgeColor','black');
plot(cmeans3(i,1),cmeans3(i,2),ptsymb{i},'MarkerSize',10,'MarkerFace',MarkFace{i});
end
hold off

運用高斯混合分布模型進行聚類分析
分別用分布圖、熱能圖和概率圖展示結果 等高線

% 等高線
options = statset('Display','off');
gm = gmdistribution.fit(X,3,'Options',options);
P6 = figure;clf
scatter(X(:,1),X(:,2),10,'ro');
hold on
ezcontour(@(x,y) pdf(gm,[x,y]),[-15 15],[-15 10]);
hold off
P7 = figure;clf
scatter(X(:,1),X(:,2),10,'ro');
hold on
ezsurf(@(x,y) pdf(gm,[x,y]),[-15 15],[-15 10]);
hold off
view(33,24)

熱能圖
cluster1 = (cidx3 == 1);
cluster3 = (cidx3 == 2);
% 通過觀察，K均值方法的第二類是gm的第三類
cluster2 = (cidx3 == 3);
% 計算分類概率
P = posterior(gm,X);
P8 = figure;clf
plot3(X(cluster1,1),X(cluster1,2),P(cluster1,1),'r.')
grid on;hold on
plot3(X(cluster2,1),X(cluster2,2),P(cluster2,2),'bo')
plot3(X(cluster3,1),X(cluster3,2),P(cluster3,3),'g*')
legend('第 1 類','第 2 類','第 3 類','Location','NW')
clrmap = jet(80); colormap(clrmap(9:72,:))
ylabel(colorbar,'Component 1 Posterior Probability')
view(-45,20);
% 第三類點部分概率值較低，可能需要其他數據來進行分析。

% 概率圖
P9 = figure;clf
[~,order] = sort(P(:,1));
plot(1:size(X,1),P(order,1),'r-',1:size(X,1),P(order,2),'b-',1:size(X,1),P(order,3),'y-');
legend({'Cluster 1 Score' 'Cluster 2 Score' 'Cluster 3 Score'},'location','NW');
ylabel('Cluster Membership Score');
xlabel('Point Ranking');

通過AIC准則尋找最優的分類數
高斯混合模型法的最大好處是給出分類好壞的標准
AIC = zeros(1,4);
NlogL = AIC;
GM = cell(1,4);
for k = 1:4
GM{k} = gmdistribution.fit(X,k);
AIC(k)= GM{k}.AIC;
NlogL(k) = GM{k}.NlogL;
end
[minAIC,numComponents] = min(AIC);
按AIC准則給出的最優分類數為： 3 對應的AIC值為： 8647.63

後記
（1）pluskid指出K均值演算法的初值對結果很重要，但是在運行時還沒有發現類似的結果。也許Mathworks對該演算法進行過優化。有時間會仔細研究下代碼，將結果放上來。
分享：

56
喜歡
4
贈金筆
閱讀(21209)┊ 評論 (4)┊ 收藏(1) ┊轉載原文 ┊ 喜歡▼ ┊列印┊舉報

前一篇：[轉載]拉普拉斯矩陣
後一篇：[轉載]用matlab做聚類分析