python兩組數據差

㈠ python數據統計分析

1. 常用函數庫

  scipy包中的stats模塊和statsmodels包是python常用的數據分析工具，scipy.stats以前有一個models子模塊，後來被移除了。這個模塊被重寫並成為了現在獨立的statsmodels包。

 scipy的stats包含一些比較基本的工具，比如：t檢驗，正態性檢驗，卡方檢驗之類，statsmodels提供了更為系統的統計模型，包括線性模型，時序分析，還包含數據集，做圖工具等等。

2. 小樣本數據的正態性檢驗

(1) 用途

 夏皮羅維爾克檢驗法 (Shapiro-Wilk) 用於檢驗參數提供的一組小樣本數據線是否符合正態分布，統計量越大則表示數據越符合正態分布，但是在非正態分布的小樣本數據中也經常會出現較大的W值。需要查表來估計其概率。由於原假設是其符合正態分布，所以當P值小於指定顯著水平時表示其不符合正態分布。

 正態性檢驗是數據分析的第一步，數據是否符合正態性決定了後續使用不同的分析和預測方法，當數據不符合正態性分布時，我們可以通過不同的轉換方法把非正太態數據轉換成正態分布後再使用相應的統計方法進行下一步操作。

(2) 示例

(3) 結果分析

 返回結果 p-value=0.029035290703177452，比指定的顯著水平（一般為5%）小，則拒絕假設：x不服從正態分布。

3. 檢驗樣本是否服務某一分布

(1) 用途

 科爾莫戈羅夫檢驗(Kolmogorov-Smirnov test)，檢驗樣本數據是否服從某一分布，僅適用於連續分布的檢驗。下例中用它檢驗正態分布。

(2) 示例

(3) 結果分析

 生成300個服從N(0,1)標准正態分布的隨機數，在使用k-s檢驗該數據是否服從正態分布，提出假設：x從正態分布。最終返回的結果，p-value=0.9260909172362317，比指定的顯著水平（一般為5%）大，則我們不能拒絕假設：x服從正態分布。這並不是說x服從正態分布一定是正確的，而是說沒有充分的證據證明x不服從正態分布。因此我們的假設被接受，認為x服從正態分布。如果p-value小於我們指定的顯著性水平，則我們可以肯定地拒絕提出的假設，認為x肯定不服從正態分布，這個拒絕是絕對正確的。

4.方差齊性檢驗

(1) 用途

 方差反映了一組數據與其平均值的偏離程度，方差齊性檢驗用以檢驗兩組或多組數據與其平均值偏離程度是否存在差異，也是很多檢驗和演算法的先決條件。

(2) 示例

(3) 結果分析

 返回結果 p-value=0.19337536323599344, 比指定的顯著水平（假設為5%）大，認為兩組數據具有方差齊性。

5. 圖形描述相關性

(1) 用途

 最常用的兩變數相關性分析，是用作圖描述相關性，圖的橫軸是一個變數，縱軸是另一變數，畫散點圖，從圖中可以直觀地看到相關性的方向和強弱，線性正相關一般形成由左下到右上的圖形；負面相關則是從左上到右下的圖形，還有一些非線性相關也能從圖中觀察到。

(2) 示例

(3) 結果分析

 從圖中可以看到明顯的正相關趨勢。

6. 正態資料的相關分析

(1) 用途

 皮爾森相關系數（Pearson correlation coefficient）是反應兩變數之間線性相關程度的統計量，用它來分析正態分布的兩個連續型變數之間的相關性。常用於分析自變數之間，以及自變數和因變數之間的相關性。

(2) 示例

(3) 結果分析

 返回結果的第一個值為相關系數表示線性相關程度，其取值范圍在[-1,1]，絕對值越接近1，說明兩個變數的相關性越強，絕對值越接近0說明兩個變數的相關性越差。當兩個變數完全不相關時相關系數為0。第二個值為p-value，統計學上，一般當p-value<0.05時，可以認為兩變數存在相關性。

7. 非正態資料的相關分析

(1) 用途

 斯皮爾曼等級相關系數(Spearman』s correlation coefficient for ranked data )，它主要用於評價順序變數間的線性相關關系，在計算過程中，只考慮變數值的順序（rank, 值或稱等級），而不考慮變數值的大小。常用於計算類型變數的相關性。

(2) 示例

(3) 結果分析

 返回結果的第一個值為相關系數表示線性相關程度，本例中correlation趨近於1表示正相關。第二個值為p-value，p-value越小，表示相關程度越顯著。

8. 單樣本T檢驗

(1) 用途

 單樣本T檢驗，用於檢驗數據是否來自一致均值的總體，T檢驗主要是以均值為核心的檢驗。注意以下幾種T檢驗都是雙側T檢驗。

(2) 示例

(3) 結果分析

 本例中生成了2列100行的數組，ttest_1samp的第二個參數是分別對兩列估計的均值，p-value返回結果，第一列1.47820719e-06比指定的顯著水平（一般為5%）小，認為差異顯著，拒絕假設；第二列2.83088106e-01大於指定顯著水平，不能拒絕假設：服從正態分布。

9. 兩獨立樣本T檢驗

(1) 用途

 由於比較兩組數據是否來自於同一正態分布的總體。注意：如果要比較的兩組數據不滿足方差齊性， 需要在ttest_ind()函數中添加參數equal_var = False。

(2) 示例

(3) 結果分析

 返回結果的第一個值為統計量，第二個值為p-value，pvalue=0.19313343989106416，比指定的顯著水平（一般為5%）大，不能拒絕假設，兩組數據來自於同一總結，兩組數據之間無差異。

10. 配對樣本T檢驗

(1) 用途

 配對樣本T檢驗可視為單樣本T檢驗的擴展，檢驗的對象由一群來自正態分布獨立樣本更改為二群配對樣本觀測值之差。它常用於比較同一受試對象處理的前後差異，或者按照某一條件進行兩兩配對分別給與不同處理的受試對象之間是否存在差異。

(2) 示例

(3) 結果分析

 返回結果的第一個值為統計量，第二個值為p-value，pvalue=0.80964043445811551，比指定的顯著水平（一般為5%）大，不能拒絕假設。

11. 單因素方差分析

(1) 用途

 方差分析(Analysis of Variance，簡稱ANOVA)，又稱F檢驗，用於兩個及兩個以上樣本均數差別的顯著性檢驗。方差分析主要是考慮各組之間的平均數差別。

 單因素方差分析（One-wayAnova），是檢驗由單一因素影響的多組樣本某因變數的均值是否有顯著差異。

 當因變數Y是數值型，自變數X是分類值，通常的做法是按X的類別把實例成分幾組，分析Y值在X的不同分組中是否存在差異。

(2) 示例

(3) 結果分析

 返回結果的第一個值為統計量，它由組間差異除以組間差異得到，上例中組間差異很大，第二個返回值p-value=6.2231520821576832e-19小於邊界值（一般為0.05）,拒絕原假設, 即認為以上三組數據存在統計學差異，並不能判斷是哪兩組之間存在差異 。只有兩組數據時，效果同 stats.levene 一樣。

12. 多因素方差分析

(1) 用途

 當有兩個或者兩個以上自變數對因變數產生影響時，可以用多因素方差分析的方法來進行分析。它不僅要考慮每個因素的主效應，還要考慮因素之間的交互效應。

(2) 示例

(3) 結果分析

 上述程序定義了公式，公式中，"~"用於隔離因變數和自變數，」+「用於分隔各個自變數， ":"表示兩個自變數交互影響。從返回結果的P值可以看出，X1和X2的值組間差異不大，而組合後的T:G的組間有明顯差異。

13. 卡方檢驗

(1) 用途

 上面介紹的T檢驗是參數檢驗，卡方檢驗是一種非參數檢驗方法。相對來說，非參數檢驗對數據分布的要求比較寬松，並且也不要求太大數據量。卡方檢驗是一種對計數資料的假設檢驗方法，主要是比較理論頻數和實際頻數的吻合程度。常用於特徵選擇，比如，檢驗男人和女人在是否患有高血壓上有無區別，如果有區別，則說明性別與是否患有高血壓有關，在後續分析時就需要把性別這個分類變數放入模型訓練。

 基本數據有R行C列, 故通稱RC列聯表(contingency table), 簡稱RC表，它是觀測數據按兩個或更多屬性（定性變數）分類時所列出的頻數表。

(2) 示例

(3) 結果分析

 卡方檢驗函數的參數是列聯表中的頻數，返回結果第一個值為統計量值，第二個結果為p-value值，p-value=0.54543425102570975，比指定的顯著水平（一般5%）大，不能拒絕原假設，即相關性不顯著。第三個結果是自由度，第四個結果的數組是列聯表的期望值分布。

14. 單變數統計分析

(1) 用途

 單變數統計描述是數據分析中最簡單的形式，其中被分析的數據只包含一個變數，不處理原因或關系。單變數分析的主要目的是通過對數據的統計描述了解當前數據的基本情況，並找出數據的分布模型。

 單變數數據統計描述從集中趨勢上看，指標有：均值，中位數，分位數，眾數；從離散程度上看，指標有：極差、四分位數、方差、標准差、協方差、變異系數，從分布上看，有偏度，峰度等。需要考慮的還有極大值，極小值（數值型變數）和頻數，構成比（分類或等級變數）。

 此外，還可以用統計圖直觀展示數據分布特徵，如：柱狀圖、正方圖、箱式圖、頻率多邊形和餅狀圖。

15. 多元線性回歸

(1) 用途

 多元線性回歸模型（multivariable linear regression model ），因變數Y（計量資料）往往受到多個變數X的影響，多元線性回歸模型用於計算各個自變數對因變數的影響程度，可以認為是對多維空間中的點做線性擬合。

(2) 示例

(3) 結果分析

 直接通過返回結果中各變數的P值與0.05比較，來判定對應的解釋變數的顯著性，P<0.05則認為自變數具有統計學意義，從上例中可以看到收入INCOME最有顯著性。

16. 邏輯回歸

(1) 用途

 當因變數Y為2分類變數（或多分類變數時）可以用相應的logistic回歸分析各個自變數對因變數的影響程度。

(2) 示例

(3) 結果分析

 直接通過返回結果中各變數的P值與0.05比較，來判定對應的解釋變數的顯著性，P<0.05則認為自變數具有統計學意義。

㈡ 用python求數據表中數據的均值與方差

以下為代碼：

numstr = input("請輸入全部數據：用英文逗號(,)，中文逗號(，)，

空格( )，製表符(tab鍵)或換行(請一次性復制過來)中的一種統一分隔數據：")

if "," in numstr:

numlist = numstr.split(",")

elif "，" in numstr:

numlist = numstr.split("，")

elif " " in numstr:

numlist = numstr.split(" ")

elif " " in numstr:

numlist = numstr.split(" ")

elif " " in numstr:

numlist = numstr.split(" ")

else:

numlist = [numstr]

numlist = list(map(lambda x:x.strip(",").strip("，").

strip(" ").strip(" ").strip(" "), numlist))

for i in numlist.():

try:

a = float(i)

except:

numlist.remove(i)

print("已過濾字元串：%s"%i)

#好了，上面很多隻是方便用戶而已（但還是有一些有用的），主要是下面

numlist = list(map(lambda x:float(x), numlist))#所有字元串轉為浮點

print("最終數列：",numlist)#輸出最終數列，進行核對

average = sum(numlist)/len(numlist)#用數列和除以出列長度得到平均數

variance = 0#方差，先記為0

for i in numlist:#遍歷列表

variance += (i - average) ** 2#反正就是公式對吧，先加進去

variance /= len(numlist)#還是公式，那一長串還得除以一個數列長度

print("均值：%.2f 方差：%.2f"%(average, variance))#分兩行輸出

以下為輸出效果：

請輸入全部數據：用英文逗號(,)，中文逗號(，)，空格( )，製表符(tab鍵)或換行(請一次性復制過來)中的一種統一分隔數據：38,22,99,10,99,7, 25,,40

已過濾字元串：

最終數列： [38.0, 22.0, 99.0, 10.0, 99.0, 7.0, 25.0, 40.0]

均值：42.50

方差：1181.75

以下為解析：

平均值的思路就是總和除以列表長度，方差的思路就是把所有的(x-均值)²加起來，最後再除以一個長度即可。

本程序的優點：輸入時逗號後出現空格與不小心多打逗號等情況都不會出問題，可以接受小數，可以先輸出最終數列以供核對。

㈢ python 如何對兩個數組做差處理

轉成集合，通過集合的求差方法，然後將結果再轉成list

㈣ python txt數據 作差

我的Python 版本為 : 3.6.2， 環境為 Windows 7

#-*-coding:utf-8-*-

importos

initFile='./test.txt'
resultFile='./test1.txt'


definit():
	print('初始化數據中,請稍等....
')
	withopen(initFile,'w')asf:
		initValue=1
		currentValue=1
		while(True):
			ifcurrentValue>10000:break
			f.write(str(currentValue)+'
')
			currentValue+=initValue
			initValue+=1
	print('初始數據文件已經生成成功,它位於[{}]
'.format(initFile))


defaction():
	ifnotos.path.exists(initFile):
		returnprint('初始文件不存在,請選初始化數據
')
	print('這是所有式子:
')
	withopen(resultFile,'w')as_f:
		withopen(initFile,'r')asf:
			mark=None
			forlineinf.readlines():
				line=int(line.strip())
				ifmark==None:
					mark=line
				else:
					print('{}-{}={}'.format(line,mark,line-mark))
					_f.write(
						str(line-mark)+'
'
					)
					mark=line
	print('結果文件已經成功生成,它位於[{}]
'.format(resultFile))


defmenu():
	print('請選擇你的需求：')
	id=int(input('1、初始化數據2、已有數據,生成結果
'))
	if(id==1):init()
	if(id==2):action()
	returnmenu()

menu()

㈤ python怎麼提取一組數據中差值為10以內的數

python提取一組數據中差值為10以內的數：潘森提取速度入賬數據，可以將數組讀取出來，然後一個一個的進行提取，按照數組的幾維來進行讀取。

a=[10, 8, 2, 45, 69, 38, 11, 15] #假設該列表為需要輸入的一組數，a.sort(reverse = True) #首先對這組數進行從大到小的排序。

print a #輸出排序結果。

min = a[0] #令min變數記錄該列表中最大的值。

for i in range( len(a) -1 ): #i用來控制列表下標, 元素個數-1為了防止下面的相減越界。

if a[i] - a[i+1] < min: #當前一個數減後一個小於當前min里的值時, 更新最小值。

可移植性：

由於它的開源本質，Python已經被移植在許多平台上（經過改動使它能夠工作在不同平台上）。這些平台包括linux、Windows、FreeBSD、Macintosh、Solaris、OS/2、Amiga、AROS、AS/400、BeOS、OS/39。

、z/OS、Palm OS、QNX、VMS、Psion、Acom RISC OS、VxWorks、PlayStation、Sharp Zaurus、Windows CE、PocketPC、Symbian以及Google基於linux開發的android平台。

一個用編譯性語言比如C或C++寫的程序可以從源文件（即C或C++語言）轉換到一個你的計算機使用的語言（二進制代碼，即0和1）。這個過程通過編譯器和不同的標記、選項完成。

㈥ 2 如何用Python進行數據計算

numpy計算平均數 標准差 相關系數等基本知識

NumPy 是python 語言的一個第三方庫，其支持大量高維度數組與矩陣運算。此外，NumPy 也針對數組運算提供大量的數學函數。

#導入Numpy庫，並命名為np

import numpy as np

#創建一維數組

a = np.array([1, 2, 3])

# NumPy可以很方便地創建連續數組，比如我使用arange或linspace函數進行創建：

b = np.arange(1,5,1) // 返回一個有終點和起點、固定步長的排列，如起點是1，終點是4，步長為1，即【1,2,3,4】，

c = np.linspace(1,9,5) 返回一個有終點和起點、元素個數的的排列，如起點是1，終點是9，元素個數為5,即【1,3,5,7,9】

#通過NumPy可以自由地創建等差數組，同時也可以進行加、減、乘、除、求n次方和取余數。

求和：np.sum(a)

求取平均值：np.mean(a)

求取中位數：np.median(a)

求取加權平均數：np.average(a)

求取方差：var() np.var(a)

求取最小值：np.amin(a)

求取最大值：np.amax(a)

將兩個數相加：np.add(x1, x2)

將兩個數相減：np.subtract(x1, x2)

將兩個數相乘：np.multiply(x1, x2)

將兩個數相除：np.divide(x1, x2)

立方：np.power(x1, x2)

除余：np.remainder(x1, x2)

相關系數計算：np.corrcoef(a1, a2) (a1、a2都是矩陣)

㈦ 利用Python畫Venn韋恩圖分析數據差異及共同點

有時候我們的數據之間需要比較異同點，這時我們可以利用Python畫Venn韋恩圖來分析

示例速覽

例如我有兩組數據（字元串列表），一組自己的數據，一組文獻上的數據，需要分析共同的個數

結果：
可得到如下數據圖表 兩組數據之間有39個相同的