❶ 如何用python對文本進行聚類
實現原理：
首先從Tourist_spots_5A_BD.txt中讀取景點信息，然後通過調用無界面瀏覽器PhantomJS（Firefox可替代）訪問網路鏈接"http://ke..com/"，通過Selenium獲取輸入對話框ID，輸入關鍵詞如"故宮"，再訪問該網路頁面。最後通過分析DOM樹結構獲取摘要的ID並獲取其值。核心代碼如下：
driver.find_elements_by_xpath("//div[@class='lemma-summary']/div")
PS：Selenium更多應用於自動化測試，推薦Python爬蟲使用scrapy等開源工具。
# coding=utf-8
"""
Created on 2015-09-04 @author: Eastmount
"""
import time
import re
import os
import sys
import codecs
import shutil
from selenium import webdriver
from selenium.webdriver.common.keys import Keys
import selenium.webdriver.support.ui as ui
from selenium.webdriver.common.action_chains import ActionChains
#Open PhantomJS
driver = webdriver.PhantomJS(executable_path="G:\phantomjs-1.9.1-windows\phantomjs.exe")
#driver = webdriver.Firefox()
wait = ui.WebDriverWait(driver,10)
#Get the Content of 5A tourist spots
def getInfobox(entityName, fileName):
try:
#create paths and txt files
print u'文件名稱: ', fileName
info = codecs.open(fileName, 'w', 'utf-8')
#locate input notice: 1.visit url by unicode 2.write files
#Error: Message: Element not found in the cache -
# Perhaps the page has changed since it was looked up
#解決方法: 使用Selenium和Phantomjs
print u'實體名稱: ', entityName.rstrip('\n')
driver.get("http://ke..com/")
elem_inp = driver.find_element_by_xpath("//form[@id='searchForm']/input")
elem_inp.send_keys(entityName)
elem_inp.send_keys(Keys.RETURN)
info.write(entityName.rstrip('\n')+'\r\n') #codecs不支持'\n'換行
time.sleep(2)
#load content 摘要
elem_value = driver.find_elements_by_xpath("//div[@class='lemma-summary']/div")
for value in elem_value:
print value.text
info.writelines(value.text + '\r\n')
time.sleep(2)
except Exception,e: #'utf8' codec can't decode byte
print "Error: ",e
finally:
print '\n'
info.close()
#Main function
def main():
#By function get information
path = "BaiSpider\\"
if os.path.isdir(path):
shutil.rmtree(path, True)
os.makedirs(path)
source = open("Tourist_spots_5A_BD.txt", 'r')
num = 1
for entityName in source:
entityName = unicode(entityName, "utf-8")
if u'故宮' in entityName: #else add a '?'
entityName = u'北京故宮'
name = "%04d" % num
fileName = path + str(name) + ".txt"
getInfobox(entityName, fileName)
num = num + 1
print 'End Read Files!'
source.close()
driver.close()
if __name__ == '__main__':
main()
❷ python代碼如何應用系統聚類和K-means聚類法進行聚類分析 然後選擇變數，建立適當的模型
-Means聚類演算法
k-means演算法以k為參數，把n個對象分成k個簇，使簇內具有較高的相似度，而簇間的相似度較低。
隨機選擇k個點作為初始的聚類中心。
對於剩下的點，根據其與聚類中心的距離，將其歸入最近的簇。
對每個簇，計算所有點的均值作為新的聚類中心。
重復2，3直到聚類中心不再發生改變
Figure 1
K-means的應用
數據介紹：
現有1999年全國31個省份城鎮居民家庭平均每人全年消費性支出的八大主要變數數據，這八大變數分別是：食品、衣著、家庭設備用品及服務、醫療保健、交通和通訊、娛樂教育文化服務、居住以及雜項商品和服務。利用已有數據，對31個省份進行聚類。
實驗目的：
通過聚類，了解1999年各個省份的消費水平在國內的情況。
技術路線：
sklearn.cluster.Kmeans
數據實例：
❸ python數據做聚類分析，結果的圖怎麼在二維平面表示出來
python中用pdf_multivariate求解多維密度分布，然後用plot_surface畫三維曲面圖；
另外用matlab也！
❹ python聚類分析需要多長時間
有沒有編程基礎？如果以前學過其他語言，底子比較好，那麼從開始學Python到寫出一個最簡單的爬蟲幾天就可以搞定。如果沒有編程基礎，對普通人來說需要的時間就長了，光是學Python就很費時間，因為要打基矗
❺ python對數據進行聚類怎麼顯示數據分類
將其整理成數據集為：
[ [1,0,"yes"],[1,1,"yes"],[0,1,"yes"],[0,0,"no"],[1,0,"no"] ]
演算法過程：
1、計算原始的信息熵。
2、依次計算數據集中每個樣本的每個特徵的信息熵。
3、比較不同特徵信息熵的大小，選出信息熵最大的特徵值並輸出。
運行結果：
col : 0 curInfoGain : 2.37744375108 baseInfoGain : 0.0
col : 1 curInfoGain : 1.37744375108 baseInfoGain : 2.37744375108
bestInfoGain : 2.37744375108 bestFeature: 0
結果分析：
說明按照第一列，即有無喉結這個特徵來進行分類的效果更好。
思考：
1、能否利用決策樹演算法，將樣本最終的分類結果進行輸出？如樣本1,2,3屬於男性，4屬於女性。
2、示常式序生成的決策樹只有一層，當特徵量增多的時候，如何生成具有多層結構的決策樹？
3、如何評判分類結果的好壞？
在下一篇文章中，我將主要對以上三個問題進行分析和解答。如果您也感興趣，歡迎您訂閱我的文章，也可以在下方進行評論，如果有疑問或認為不對的地方，您也可以留言，我將積極與您進行解答。
完整代碼如下：
from math import log
"""
計算信息熵
"""
def calcEntropy(dataset):
diclabel = {} ## 標簽字典，用於記錄每個分類標簽出現的次數
for record in dataset:
label = record[-1]
if label not in diclabel.keys():
diclabel[label] = 0
diclabel[label] += 1
### 計算熵
entropy = 0.0
cnt = len(dataset)
for label in diclabel.keys():
prob = float(1.0 * diclabel[label]/cnt)
entropy -= prob * log(prob,2)
return entropy
def initDataSet():
dataset = [[1,0,"yes"],[1,1,"yes"],[0,1,"yes"],[0,0,"no"],[1,0,"no"]]
label = ["male","female"]
return dataset,label
#### 拆分dataset ,根據指定的過濾選項值，去掉指定的列形成一個新的數據集
def splitDataset(dataset , col, value):
retset = [] ## 拆分後的數據集
for record in dataset:
if record[col] == value :
recedFeatVec = record[:col]
recedFeatVec.extend(record[col+1:]) ### 將指定的列剔除
retset.append(recedFeatVec) ### 將新形成的特徵值列表追加到返回的列表中
return retset
### 找出信息熵增益最大的特徵值
### 參數：
### dataset : 原始的數據集
def findBestFeature(dataset):
numFeatures = len(dataset[0]) - 1 ### 特徵值的個數
baseEntropy = calcEntropy(dataset) ### 計算原始數據集的熵
baseInfoGain = 0.0 ### 初始信息增益
bestFeature = -1 ### 初始的最優分類特徵值索引
### 計算每個特徵值的熵
for col in range(numFeatures):
features = [record[col] for record in dataset] ### 提取每一列的特徵向量 如此處col= 0 ，則features = [1,1,0,0]
uniqueFeat = set(features)
curInfoGain = 0 ### 根據每一列進行拆分，所獲得的信息增益
for featVal in uniqueFeat:
subDataset = splitDataset(dataset,col,featVal) ### 根據col列的featVal特徵值來對數據集進行劃分
prob = 1.0 * len(subDataset)/numFeatures ### 計運算元特徵數據集所佔比例
curInfoGain += prob * calcEntropy(subDataset) ### 計算col列的特徵值featVal所產生的信息增益
# print "col : " ,col , " featVal : " , featVal , " curInfoGain :" ,curInfoGain ," baseInfoGain : " ,baseInfoGain
print "col : " ,col , " curInfoGain :" ,curInfoGain ," baseInfoGain : " ,baseInfoGain
if curInfoGain > baseInfoGain:
baseInfoGain = curInfoGain
bestFeature = col
return baseInfoGain,bestFeature ### 輸出最大的信息增益，以獲得該增益的列
dataset,label = initDataSet()
infogain , bestFeature = findBestFeature(dataset)
print "bestInfoGain :" , infogain, " bestFeature:",bestFeature
❻ python聚類分析可以用字元串嗎
可以用，不過不建議。 在Python中，String對象是定長對象，一旦創建，長度就不可變化，若是使用+號連接兩個字元串，則會新開辟一段長度總和長度的內存，再將兩個字元串memcpy進去。如果要連接N個String對象，則要進行N-1次內存申請和拷貝。
❼ python如何做數據分析
Python做數據分析比較好用且流行的是numpy、pandas庫，有興趣的話，可以深入了解、學習一下。
❽ python聚類如何解釋
代碼如下：# -*- coding: utf-8 -*-from sklearn.cluster import KMeansfrom sklearn.externals import joblibimport numpy final = open('c:/test/final.dat' , 'r') data = [line.strip().split('\t') for line in final]feature = [[float(x) for x in row[3:]] for row in data] #調用kmeans類clf = KMeans(n_clusters=9)s = clf.fit(feature)print s #9個中心print clf.cluster_centers_ #每個樣本所屬的簇print clf.labels_ #用來評估簇的個數是否合適，距離越小說明簇分的越好，選取臨界點的簇個數print clf.inertia_ #進行預測print clf.predict(feature) #保存模型joblib.mp(clf , 'c:/km.pkl') #載入保存的模型clf = joblib.load('c:/km.pkl') '''#用來評估簇的個數是否合適，距離越小說明簇分的越好，選取臨界點的簇個數for i in range(5,30,1): clf = KMeans(n_clusters=i) s = clf.fit(feature) print i , clf.inertia_
❾ 怎麼用python進行聚類分析
、K均值聚類K-Means演算法思想簡單，效果卻很好，是最有名的聚類演算法。聚類演算法的步驟如下：1：初始化K個樣本作為初始聚類中心；2：計算每個樣本點到K個中心的距離，選擇最近的中心作為其分類，直到所有樣本點分類完畢；3：分別計算K個類中所有樣本的質心，作為新的中心點，完成一輪迭代。通常的迭代結束條件為新的質心與之前的質心偏移值小於一
❿ Python怎麼構建文本矩陣並聚類
可能我很快回答不了你的問題。還需要細細回味一下。
但是我覺得你的問題是一個比較明顯的短文本聚類問題，這個問題應該在國際上都是比較難的吧。
如果還涉及到中文，中文的相關處理又不能照抄英文短文本聚類的方法，相關資料更加少了。
我倒是建議你 多看一些短文本聚類相關的文章。
問題一:技術上python矩陣表示的話：你可以使用python包,如下：
from numpy import matrix
A = matrix( [[1,2,3],[11,12,13],[21,22,23]])
這樣你需要額外規定化：行i表示文檔編號i的文檔,列j表示詞j出現次數,A[i][j]表示在文檔i中詞j的出現頻率
或者
如同那篇文章所說的採用dict表示法:A = [{'額外':1},{'每天':1,'回帖':1},......]表示整個文檔集合。
問題二:如同這樣的問題本質一樣，短文本聚類是否還適合傳統的分詞,去除副詞...等處理步驟，
如何選擇合適的模型來表示這類問題，我覺得你還是參考一些這方面的文章,最好中文的。
比如現在很火的微博,也會有好多的人嘗試對其中成幹上萬評論進行聚類。很多進行二類或者三類聚類/分類：支持-中立-反對。
論壇的評論應該很早以前就有研究聚類/分類.我覺得去那裡參考會更好.如果不是特別面向指定目的的聚類，我覺得採用一些使用寬泛的方法就行了。感覺結果不會很好。
問題三：EM演算法感覺像純數學的東西，學術功底不夠深，我也不好發表看法。
感覺這個問題的本質已經超出我的知識范疇。最簡單文檔聚類無非：分詞-文本預處理[同義詞之類]-文檔與詞計頻矩陣表示-(TF-IDF預處理)-kmeans跑起來-輸出結果.