python模糊數據歸類

『壹』 python語言中有哪些數據類型

python數據類型有很多，這里為大家簡單例舉幾個：

第一種：整數

python可以處理任意大小的整數，當然包含負整數，在python程序中，整數的表示方法和數學上的寫法一模一樣，比如：1,100，-8080,0,等。

計算機由於使用二進制，所以有時候用十六進製表示整數比較方便，十六進制用0x前綴和0-9，a-f表示，比如：0xff00。

第二種：浮點數

浮點數也就是小數，之所以稱為浮點數，是因為按照科學計數法表示時，一個浮點數的小數點位置是可變的。浮點數可以用數學寫法，比如1.23,3.15,-9.01等。但是對於很大或者很小的浮點數，就必須用科學計數法表示，把10用e替代，1.23x10^9就是1.23e9。

整數和浮點數在計算機內部存儲的方法是不同的，整數運算永遠是精確的，而浮點數運算則可能會有四捨五入的誤差。

第三種：字元串

字元串是以「或」括起來的任意文本，比如'abc'，'xyz'等。請注意，「或」本身只是一種表示方式，不是字元串的一部分，因此，字元串'abc'只有a，b，c這3個字元。

第四個：布爾值

布爾值和布爾代數的表示完全一致，一個布爾值只有True、False兩種值，要麼是True，要麼是False，在python中，可以直接用True、False表示布爾值，也可以通過布爾運算計算出來。

布爾值可以用and、or或not運算。

and運算是與運算，只有所有都為True，and運算結果才是True。

or運算是或運算，只要其中有一個為True，or運算結果就是True。

not運算是非運算，它是一個單目運算符，把True變成False，False變成True。

第五個：空值

空值是python里一個特殊的值，用None表示。None不能理解為0，因為0是有意義的，而None是一個特殊的空值。

此外，python還提供了列表、字典等多種數據類型，還允許創建自定義數據類型。

『貳』 Python 數據可視化：分類特徵統計圖

上一課已經體驗到了 Seaborn 相對 Matplotlib 的優勢，本課將要介紹的是 Seaborn 對分類數據的統計，也是它的長項。

針對分類數據的統計圖，可以使用 sns.catplot 繪制，其完整參數如下：

本課使用演繹的方式來學習，首先理解這個函數的基本使用方法，重點是常用參數的含義。

其他的參數，根據名稱也能基本理解。

下面就依據 kind 參數的不同取值，分門別類地介紹各種不同類型的分類統計圖。

讀入數據集：

然後用這個數據集制圖，看看效果：

輸出結果：

毫無疑問，這里繪制的是散點圖。但是，該散點圖的橫坐標是分類特徵 time 中的三個值，並且用 hue='kind' 又將分類特徵插入到圖像中，即用不同顏色的的點代表又一個分類特徵 kind 的值，最終得到這些類別組合下每個記錄中的 pulse 特徵值，並以上述圖示表示出來。也可以理解為，x='time', hue='kind' 引入了圖中的兩個特徵維度。

語句 ① 中，就沒有特別聲明參數 kind 的值，此時是使用默認值 'strip'。

與 ① 等效的還有另外一個對應函數 sns.stripplot。

輸出結果：

② 與 ① 的效果一樣。

不過，在 sns.catplot 中的兩個參數 row、col，在類似 sns.stripplot 這樣的專有函數中是沒有的。因此，下面的圖，只有用 sns.catplot 才能簡潔直觀。

輸出結果：

不過，如果換一個叫角度來說，類似 sns.stripplot 這樣的專有函數，表達簡單，參數與 sns.catplot 相比，有所精簡，使用起來更方便。

仔細比較，sns.catplot 和 sns.stripplot 兩者還是稍有區別的，雖然在一般情況下兩者是通用的。

因此，不要追求某一個是萬能的，各有各的用途，存在即合理。

不過，下面的聲明請注意： 如果沒有非常的必要，比如繪制分區圖，在本課中後續都演示如何使用專有名稱的函數。

前面已經初步解釋了這個函數，為了格式完整，這里再重復一下，即 sns.catplot 中參數 kind='strip'。

如果非要將此函數翻譯為漢語，可以稱之為「條狀散點圖」。以分類特徵為一坐標軸，在另外一個坐標軸上，根據分類特徵，將該分類特徵數據所在記錄中的連續值沿坐標軸描點。

從語句 ② 的結果圖中可以看到，這些點雖然縱軸的數值有相同的，但是沒有將它們重疊。因此，我們看到的好像是「一束」散點，實際上，所有點的橫坐標都應該是相應特徵分類數據，也不要把分類特徵的值理解為一個范圍，分散開僅僅是為了圖示的視覺需要。

輸出結果：

④ 相對 ② 的圖示，在於此時同一縱軸值的都重合了——本來它們的橫軸值都是一樣的。實現此效果的參數是 jitter=0，它可以表示點的「振動」，如果默認或者 jitter=True，意味著允許描點在某個范圍振動——語句 ② 的效果；還可設置為某個 0 到 1 的浮點，表示許可振動的幅度。請對比下面的操作。

輸出結果：

語句 ② 中使用 hue='kind' 參數向圖中提供了另外一個分類特徵，但是，如果感覺圖有點亂，還可以這樣做：

輸出結果：

dodge=True 的作用就在於將 hue='kind' 所引入的特徵數據分開，相對 ② 的效果有很大差異。

並且，在 ⑤ 中還使用了 paletter='Set2' 設置了色彩方案。

sns.stripplot 函數中的其他有關參數，請讀者使用幫助文檔了解。

此函數即 sns.catplot 的參數 kind='swarm'。

輸出結果：

再繪制一張簡單的圖，一遍研究這種圖示的本質。

輸出結果：

此圖只使用了一個特徵的數據，簡化表象，才能探究 sns.swarmplot 的本質。它同樣是將該特徵中的數據，依據其他特徵的連續值在圖中描點，並且所有點在默認情況下不彼此重疊——這方面與 sns.stripplot 一樣。但是，與之不同的是，這些點不是隨機分布的，它們經過調整之後，均勻對稱分布在分類特徵數值所在直線的兩側，這樣能很好地表示數據的分布特點。但是，這種方式不適合「大數據」。

sns.swarmplot 的參數似乎也沒有什麼太特殊的。下面使用幾個，熟悉一番基本操作。

在分類維度上還可以再引入一個維度，用不同顏色的點表示另外一種類別，即使用 hue 參數來實現。

輸出結果：

這里用 hue = 'smoker' 參數又引入了一個分類特徵，在圖中用不同顏色來區分。

如果覺得會 smoker 特徵的值都混在一起有點亂，還可以使用下面方式把他們分開——老調重彈。

輸出結果：

生成此效果的參數就是 dodge=True，它的作用就是當 hue 參數設置了特徵之後，將 hue 的特徵數據進行分類。

sns.catplot 函數的參數 kind 可以有三個值，都是用於繪制分類的分布圖：

下面依次對這三個專有函數進行闡述。

『叄』 PYTHON實現對CSV文件多維不同單位數據的歸一化處理

1）線性歸一化
這種歸一化比較適用在數值比較集中的情況，缺陷就是如果max和min不穩定，很容易使得歸一化結果不穩定，使得後續的效果不穩定，實際使用中可以用經驗常量來代替max和min。
2）標准差標准化
經過處理的數據符合標准正態分布，即均值為0，標准差為1。
3）非線性歸一化
經常用在數據分化較大的場景，有些數值大，有些很小。通過一些數學函數，將原始值進行映射。該方法包括log、指數、反正切等。需要根據數據分布的情況，決定非線性函數的曲線。
log函數：x = lg(x)/lg(max)
反正切函數：x = atan(x)*2/pi
Python實現
線性歸一化
定義數組：x = numpy.array(x)
獲取二維數組列方向的最大值：x.max(axis = 0)
獲取二維數組列方向的最小值：x.min(axis = 0)
對二維數組進行線性歸一化：
def max_min_normalization(data_value, data_col_max_values, data_col_min_values):
""" Data normalization using max value and min value

Args:
data_value: The data to be normalized
data_col_max_values: The maximum value of data's columns
data_col_min_values: The minimum value of data's columns
"""
data_shape = data_value.shape
data_rows = data_shape[0]
data_cols = data_shape[1]

for i in xrange(0, data_rows, 1):
for j in xrange(0, data_cols, 1):
data_value[i][j] = \
(data_value[i][j] - data_col_min_values[j]) / \
(data_col_max_values[j] - data_col_min_values[j])

標准差歸一化
定義數組：x = numpy.array(x)
獲取二維數組列方向的均值：x.mean(axis = 0)
獲取二維數組列方向的標准差：x.std(axis = 0)
對二維數組進行標准差歸一化：
def standard_deviation_normalization(data_value, data_col_means,
data_col_standard_deviation):
""" Data normalization using standard deviation

Args:
data_value: The data to be normalized
data_col_means: The means of data's columns
data_col_standard_deviation: The variance of data's columns
"""
data_shape = data_value.shape
data_rows = data_shape[0]
data_cols = data_shape[1]

for i in xrange(0, data_rows, 1):
for j in xrange(0, data_cols, 1):
data_value[i][j] = \
(data_value[i][j] - data_col_means[j]) / \
data_col_standard_deviation[j]

非線性歸一化（以lg為例）
定義數組：x = numpy.array(x)
獲取二維數組列方向的最大值：x.max(axis=0)
獲取二維數組每個元素的lg值：numpy.log10(x)
獲取二維數組列方向的最大值的lg值：numpy.log10(x.max(axis=0))
對二維數組使用lg進行非線性歸一化：
def nonlinearity_normalization_lg(data_value_after_lg,
data_col_max_values_after_lg):
""" Data normalization using lg

Args:
data_value_after_lg: The data to be normalized
data_col_max_values_after_lg: The maximum value of data's columns
"""

data_shape = data_value_after_lg.shape
data_rows = data_shape[0]
data_cols = data_shape[1]

for i in xrange(0, data_rows, 1):
for j in xrange(0, data_cols, 1):
data_value_after_lg[i][j] = \
data_value_after_lg[i][j] / data_col_max_values_after_lg[j]

『肆』 python數據類型有哪些

Python基本數據類型一般分為：數字、字元串、列表、元組、字典、集合這六種基本數據類型。

其中數字又包含整型(整型又包括標准整型、長整型(Python2.7及之前版本有)）、浮點型、復數類型、布爾型(布爾型就是只有兩個值的整型)、這幾種數字類型。列表、元組、字元串都是序列。

1、數字

數字類型是不可更改的對象。對變數改變數字值就是生成/創建新的對象。Python支持多種數字類型：

整型(標准整型和長整型(Python2.7及之前的有這種類型))、布爾型、雙精度浮點型、十進制浮點型、復數。

2、標准整型

int，標准整型，在大多數32位機器上標准整型取值范圍是-2^31到2^31-1，也就是-2147483648~2147483647，如果在64位機器使用64位編譯器，那麼這個系統的標准整型將是64位。

3、布爾型

bool，從Python2.3開始Python中添加了布爾類型。布爾類型有兩種True和False。對於沒有__nozero__方法的對象默認是True。

對於值為0的數字、空集（空列表、空元組、空字典等）在Python中的布爾類型中都是False。

>>>bool(1)
True
>>>bool('a')
True
>>>bool(0)
False
>>>bool('')
False

4、浮點型

float，每個浮點型佔8個位元組（64位），完全遵守IEEE754號規范（52M/11E/1S）,其中52個位用於表示底，11個位用於表示指數（可表示的范圍大約是±10**308.25），剩下的一個位表示符號。這看上去相當完美，然而，實際精度依賴於機器架構和創建Python解釋器的編譯器。

浮點型值通常都有一個小數點和一個可選的後綴e（大寫或小寫，表示科學計數法）。在e和指數之間可以用正（+）或負（-）表示指數的正負（正數的話可以省略符號）。

以上是Python核心編程的對浮點型(雙精度浮點型)的說明。經過Python實測浮點型默認長度是24位元組如果超出這個范圍會自動

5、復數類型

complex，在復數中虛數不能單獨存在，它們總是和一個值為0.0的實數部分一起來構成一個復數。復數由實數部分和虛數部分構成。表示虛數的語法：real+imagj。

實數部分和虛數部分都是浮點型。虛數部分必須有後綴j或J。