python中logbook用法

1. python基本語法規則有哪些

Python基本語法

Python的語法相對比C，C++，Java更加簡潔，比較符合人的正常思維。本篇介紹Python的基本語法，通過本篇文章你可以學到以下內容。

掌握Python的基本語法

識別Python中的關鍵字

Python是一門腳本語言，有以下特點：

面向對象：類

語法塊：使用縮進進行標記

注釋： #單行注釋，"""多行注釋"""，'''我也是多行注釋''

列印與輸出：print(), input()

變數: 變數在賦值的時候確定變數的類型

模塊：通過import 模塊名進行載入模塊

Python的標識符

標識符是用戶編程時使用的名字，用於給變數、常量、函數、語句塊等命名，以建立起名稱與使用之間的關系。標識符通常由字母和數字以及其它字元構成。

標識符的命名遵循以下規定：

開頭以字母或者下劃線_，剩下的字元數字字母或者下劃線

Python遵循小駝峰命名法

不是使用Python中的關鍵字進行命名

代碼示例:

num = 10 # 這是一個int類型變數

錯誤命名示例:

123rate(數字開頭)、 mac book pro(含有空格)，class(關鍵字)

Python關鍵字
以下列表中的關鍵字不可以當做標識符進行使用。Python語言的關鍵字只包含小寫字母。

2. Python實操：手把手教你用Matplotlib把數據畫出來

作者：邁克爾·貝耶勒（Michael Beyeler）

如需轉載請聯系華章 科技

如果已安裝Anaconda Python版本，就已經安裝好了可以使用的 Matplotlib。否則，可能要訪問官網並從中獲取安裝說明：

http://matplotlib.org

正如使用np作為 NumPy 的縮寫，我們將使用一些標準的縮寫來表示 Matplotlib 的引入：

在本書中，plt介面會被頻繁使用。

讓我們創建第一個繪圖。

假設想要畫出正弦函數sin(x)的線性圖。得到函數在x坐標軸上0≤x＜10內所有點的值。我們將使用 NumPy 中的 linspace 函數來在x坐標軸上創建一個從0到10的線性空間，以及100個采樣點：

可以使用 NumPy 中的sin函數得到所有x點的值，並通過調用plt中的plot函數把結果畫出來：

你親自嘗試了嗎？發生了什麼嗎？有沒有什麼東西出現？

實際情況是，取決於你在哪裡運行腳本，可能無法看到任何東西。有下面幾種可能性：

1. 從.py腳本中繪圖

如果從一個腳本中運行 Matplotlib，需要加上下面的這行調用：

在腳本末尾調用這個函數，你的繪圖就會出現！

2. 從 IPython shell 中繪圖

這實際上是互動式地執行Matplotlib最方便的方式。為了讓繪圖出現，需要在啟動 IPython 後使用所謂的%matplotlib魔法命令。

接下來，無須每次調用plt.show()函數，所有的繪圖將會自動出現。

3. 從 Jupyter Notebook 中繪圖

如果你是從基於瀏覽器的 Jupyter Notebook 中看這段代碼，需要使用同樣的%matplotlib魔法命令。然而，也可以直接在notebook中嵌入圖形，這會有兩種輸出選項：

在本書中，將會使用inline選項：

現在再次嘗試一下：

上面的命令會得到下面的繪圖輸出結果：

如果想要把繪圖保存下來留作以後使用，可以直接在 IPython 或者 Jupyter Notebook 使用下面的命令保存：

僅需要確保你使用了支持的文件後綴，比如.jpg、.png、.tif、.svg、.eps或者.pdf。

作為本章最後一個測試，讓我們對外部數據集進行可視化，比如scikit-learn中的數字數據集。

為此，需要三個可視化工具：

那麼開始引入這些包吧：

第一步是載入實際數據：

如果沒記錯的話，digits應該有兩個不同的數據域：data域包含了真正的圖像數據，target域包含了圖像的標簽。相對於相信我們的記憶，我們還是應該對digits稍加 探索 。輸入它的名字，添加一個點號，然後按Tab鍵：digits.<TAB>，這個操作將向我們展示digits也包含了一些其他的域，比如一個名為images的域。images和data這兩個域，似乎簡單從形狀上就可以區分。

兩種情況中，第一維對應的都是數據集中的圖像數量。然而，data中所有像素都在一個大的向量中排列，而images保留了各個圖像8×8的空間排列。

因此，如果想要繪制出一副單獨的圖像，使用images將更加合適。首先，使用NumPy的數組切片從數據集中獲取一幅圖像：

這里是從1797個元素的數組中獲取了它的第一行數據，這行數據對應的是8×8=64個像素。下面就可以使用plt中的imshow函數來繪制這幅圖像：

上面的命令得到下面的輸出：

此外，這里也使用cmap參數指定了一個顏色映射。默認情況下，Matplotlib 使用MATLAB默認的顏色映射jet。然而，在灰度圖像的情況下，gray顏色映射更有效。

最後，可以使用plt的subplot函數繪制全部數字的樣例。subplot函數與MATLAB中的函數一樣，需要指定行數、列數以及當前的子繪圖索引（從1開始計算）。我們將使用for 循環在數據集中迭代出前十張圖像，每張圖像都分配到一個單獨的子繪圖中。

這會得到下面的輸出結果：

關於作者：Michael Beyeler，華盛頓大學神經工程和數據科學專業的博士後，主攻仿生視覺計算模型，用以為盲人植入人工視網膜（仿生眼睛），改善盲人的視覺體驗。 他的工作屬於神經科學、計算機工程、計算機視覺和機器學習的交叉領域。同時他也是多個開源項目的積極貢獻者。

本文摘編自《機器學習：使用OpenCV和Python進行智能圖像處理》，經出版方授權發布。

3. python中怎麼讀取文件內容

用open命令打開你要讀取的文件，返回一個文件對象
然後在這個對象上執行read,readlines,readline等命令讀取文件
或使用for循環自動按行讀取文件

4. 如何用Python批量獲取經緯度坐標

python根據地址獲取經緯度方法一：
from geopy.geocoders import Nominatim
#使用geopy查詢
def geocodeN(address):
gps=Nominatim()
location=gps.geocode(address)
return location.longitude,location.latitude

使用Geopy包 ： github.com/geopy/geopy （僅能精確到城鎮，具體街道無結果返回）
另外還有一種使用高德地圖或網路地圖API的方法，有興趣的朋友可以參考下。
參考鏈接：https://panxu.net/article/8382.html

5. python對excel操作

Python對於Excel的操作是多種多樣的，掌握了相關用法就可以隨心所欲的操作數據了！

操作xls文件

xlrd（讀操作）：

import xlrd

1、引入xlrd模塊

workbook=xlrd.open_workbook("36.xls")

2、打開[36.xls]文件，獲取excel文件的workbook（工作簿）對象

names=workbook.sheet_names()

3、獲取所有sheet的名字

worksheet=workbook.sheet_by_index(0)

4、通過sheet索引獲得sheet對象

worksheet為excel表第一個sheet表的實例化對象

worksheet=workbook.sheet_by_name("各省市")

5、通過sheet名獲得sheet對象

worksheet為excel表sheet名為【各省市】的實例化對象

nrows=worksheet.nrows

6、獲取該表的總行數

ncols=worksheet.ncols

7、獲取該表的總列數

row_data=worksheet.row_values(n)

8、獲取該表第n行的內容

col_data=worksheet.col_values(n)

9、獲取該表第n列的內容

cell_value=worksheet.cell_value(i,j)

10、獲取該表第i行第j列的單元格內容

xlwt（寫操作）：

import xlwt

1、引入xlwt模塊

book=xlwt.Workbook(encoding="utf-8")

2、創建一個Workbook對象，相當於創建了一個Excel文件

sheet = book.add_sheet('test')

3、創建一個sheet對象，一個sheet對象對應Excel文件中的一張表格。

sheet.write(i, j, '各省市')

4、向sheet表的第i行第j列，寫入'各省市'

book.save('Data\\36.xls')

5、保存為Data目錄下【36.xls】文件

操作xlsx文件

openpyxl（讀操作）：

import openpyxl

1、引入openpyxl模塊

workbook=openpyxl.load_workbook("36.xlsx")

2、打開[36.xlsx]文件，獲取excel文件的workbook（工作簿）對象

names=workbook.sheetnames

worksheet=workbook.worksheets[0]

worksheet=workbook["各省市"]

ws = workbook.active

6、獲取當前活躍的worksheet,默認就是第一個worksheet

nrows=worksheet.max_row

7、獲取該表的總行數

ncols=worksheet.max_column

8、獲取該表的總列數

content_A1= worksheet['A1'].value

9、獲取該表A1單元格的內容

content_A1=worksheet.cell(row=1,column=1).value

10、獲取該表第1列第1列的內容

openpyxl（寫操作）：

workbook=openpyxl.Workbook()worksheet = workbook.active

3、獲取當前活躍的worksheet,默認就是第一個worksheet

worksheet.title="test"

4、worksheet的名稱設置為"test"

worksheet = workbook.create_sheet()

5、創建一個新的sheet表，默認插在工作簿末尾

worksheet.cell(i,j,'空')

6、第i行第j列的值改成'空'

worksheet["B2"]="空"

7、將B2的值改成'空'

worksheet.insert_cols(1)

8、在第一列之前插入一列

worksheet.append(["新增","台灣省"])

9、添加行

workbook.save("Data\\36.xlsx")

10、保存為Data目錄下【36.xlsx】文件

pandas處理excel文件

pandas操作：

import pandas as pd

1、引入pandas模塊

data = pd.read_excel('36.xls')

2、讀取[36.xls]或者[36.xlsx]文件

data = pd.read_csv('36.csv')

3、讀取[36.csv]文件

data=data.dropna(subset=['店鋪'])

4、過濾掉data店鋪列有缺失的數據

data.sort_values("客戶網名", inplace=True)

5、將data數據按照客戶網名列進行從小到大排序

data = pd.read_csv(36.csv, skiprows = [0,1,2],sep = None, skipfooter = 4)

6、讀取[36.csv]文件，前三行和後四行的數據略過

data = data.fillna('空')

7、將data中的空白處填充成'空'

data.drop_plicates('訂單','first',inplace=True)

8、data中的數據，按照【訂單】列做去重處理，保留第一條數據

data=pd.DataFrame(data,columns=['訂單','倉庫'])

9、只保留data中【訂單】【倉庫】列的數據

data = data[(data[u'展現量'] > 0)]

10、只保留【展現量】列中大於0的數據

data= data[data["訂單"].str.contains('000')]

11、只保留【訂單】列中包含'000'的數據

data= data[data["倉庫"]=='正品倉']

12、只保留【倉庫】列是'正品倉'的數據

xs= data[data["店鋪"]=='南極人']['銷售額']

13、獲取店鋪是南極人的銷售額數據

data['訂單'] = data['訂單'].str[3:7]

14、【訂單】列的值只保留4-8個位元組的值

data["郵資"] = np.where((data['店鋪'].str.contains('T|t')) & -(data['倉庫'] == '代發倉'), 8, data['郵資'])

15、滿足店鋪列包含 T 或 t 並且倉庫不等於'代發倉'的話，將郵資的值改成8，否則值不變

data = np.array(data).tolist()

16、將data從DataFrame轉換成列表

data=pd.DataFrame(data)

17、將列表轉換成DataFrame格式

zhan = data[u'展現'].sum().round(2)

18、將data中所有展現列數據求和，並取兩位小數

sum=data.groupby(['店鋪'])['刷單'].sum()

19、將data中按照店鋪對刷單進行求和

counts=data['店鋪'].value_counts()

20、將data按照店鋪進行計算

avg=data.groupby(['店鋪'])['刷單'].mean()

21、將data按照店鋪對刷單進行求平均數

count = pd.concat([counts,sum], axis=1, ignore_index=True, sort=True)

22、將counts和sum兩個DataFrame進行了組合

count=count.rename(index=str, columns={0: "訂單", 1: "成本"})

23、將新生成的DataFrame列名進行修改

data = pd.merge(sum, counts, how='left', left_on='店鋪', right_on='店鋪')

24、將列表轉換成DataFrame格式

from openpyxl import Workbook 

wb=Workbook()  

ws1=wb.active 

data.to_excel('36.xlsx') 

wb.close()

25、data完整的寫入到關閉過程，執行此操作的時候【36.xlsx】不能是打開狀態

excel格式操作

樣式處理：

1、打開【36.xlsx】

sheet=workbook.worksheets[0]

2、將第一個sheet對象賦值給sheet

sheet.column_dimensions['A'].width = 20.0

3、將A列的寬度設置為20

sheet.row_dismensions[1].height = 20.0

4、將第一行的行高設置為20

sheet.merge_cells('A1:A2')

5、將sheet表A1和A2單元格合並

sheet.unmerge_cells('A1:A2')

6、將sheet表A1和A2單元格取消合並

sheet.insert_rows(2,2)

7、將sheet表從第2行插入2行

sheet.insert_cols(3,2)

8、將sheet表從第3列插入2列

sheet.delete_rows(2)

9、刪除第2行

sheet.delete_cols(3, 2)

10、將sheet表從第3列開始刪除2列

from openpyxl.styles import Font, Border, PatternFill, colors, Alignment

11、分別引入字體、邊框、圖案填充、顏色、對齊方式

sheet.cell(i,j).font = Font(name='Times New Roman', size=14, bold=True, color=colors.WHITE)

12、設置sheet表第 i 行第 j 列的字體

sheet.cell(i,j).alignment = Alignment(horizontal='center', vertical='center')

13、設置sheet表第 i 行第 j 列的字體對齊方式

left, right, top, bottom = [Side(style='thin', color='000000')] * 4sheet.cell(i,j).border = Border(left=left, right=right, top=top, bottom=bottom)

14、引入邊框樣式並調用

fill = PatternFill("solid", fgColor="1874CD")sheet.cell(1,j).fill = fill

15、引入填充樣式，並調用

import xlrd

from openpyxl import Workbook

from openpyxl import load_workbook

workbook=load_workbook(filename='C:/Users/EDZ/Desktop/工作/2021.08.03/大兄弟.xlsx')

sheet=workbook.active

sheet.insert_cols(idx=1)

sheet.merge_cells(A1:A3)

sheet['A1']=['上海','山東','浙江']

6. 可以讓你快速用Python進行數據分析的10個小技巧

一些小提示和小技巧可能是非常有用的，特別是在編程領域。有時候使用一點點黑客技術，既可以節省時間，還可能挽救「生命」。

一個小小的快捷方式或附加組件有時真是天賜之物，並且可以成為真正的生產力助推器。所以，這里有一些小提示和小技巧，有些可能是新的，但我相信在下一個數據分析項目中會讓你非常方便。

Pandas中數據框數據的Profiling過程

Profiling（分析器）是一個幫助我們理解數據的過程，而Pandas Profiling是一個Python包，它可以簡單快速地對Pandas 的數據框數據進行 探索 性數據分析。

Pandas中df.describe()和df.info()函數可以實現EDA過程第一步。但是，它們只提供了對數據非常基本的概述，對於大型數據集沒有太大幫助。 而Pandas中的Profiling功能簡單通過一行代碼就能顯示大量信息，且在互動式HTML報告中也是如此。

對於給定的數據集，Pandas中的profiling包計算了以下統計信息：

由Pandas Profiling包計算出的統計信息包括直方圖、眾數、相關系數、分位數、描述統計量、其他信息——類型、單一變數值、缺失值等。

安裝

用pip安裝或者用conda安裝

pip install pandas-profiling

conda install -c anaconda pandas-profiling

用法

下面代碼是用很久以前的泰坦尼克數據集來演示多功能Python分析器的結果。

#importing the necessary packages

import pandas as pd

import pandas_profiling

df = pd.read_csv('titanic/train.csv')

pandas_profiling.ProfileReport(df)

一行代碼就能實現在Jupyter Notebook中顯示完整的數據分析報告，該報告非常詳細，且包含了必要的圖表信息。

還可以使用以下代碼將報告導出到互動式HTML文件中。

profile = pandas_profiling.ProfileReport(df)

profile.to_file(outputfile="Titanic data profiling.html")

Pandas實現互動式作圖

Pandas有一個內置的.plot（）函數作為DataFrame類的一部分。但是，使用此功能呈現的可視化不是互動式的，這使得它沒那麼吸引人。同樣，使用pandas.DataFrame.plot（）函數繪制圖表也不能實現交互。 如果我們需要在不對代碼進行重大修改的情況下用Pandas繪制互動式圖表怎麼辦呢？這個時候就可以用Cufflinks庫來實現。

Cufflinks庫可以將有強大功能的plotly和擁有靈活性的pandas結合在一起，非常便於繪圖。下面就來看在pandas中如何安裝和使用Cufflinks庫。

安裝

pip install plotly

# Plotly is a pre-requisite before installing cufflinks

pip install cufflinks

用法

#importing Pandas

import pandas as pd

#importing plotly and cufflinks in offline mode

import cufflinks as cf

import plotly.offline

cf.go_offline()

cf.set_config_file(offline=False, world_readable=True)

是時候展示泰坦尼克號數據集的魔力了。

df.iplot()

df.iplot() vs df.plot()

右側的可視化顯示了靜態圖表，而左側圖表是互動式的，更詳細，並且所有這些在語法上都沒有任何重大更改。

Magic命令

Magic命令是Jupyter notebook中的一組便捷功能，旨在解決標准數據分析中的一些常見問題。使用命令％lsmagic可以看到所有的可用命令。

所有可用的Magic命令列表

Magic命令有兩種：行magic命令（line magics），以單個％字元為前綴，在單行輸入操作；單元magic命令（cell magics），以雙%%字元為前綴，可以在多行輸入操作。如果設置為1，則不用鍵入%即可調用Magic函數。

接下來看一些在常見數據分析任務中可能用到的命令：

% pastebin

％pastebin將代碼上傳到Pastebin並返回url。Pastebin是一個在線內容託管服務，可以存儲純文本，如源代碼片段，然後通過url可以與其他人共享。事實上，Github gist也類似於pastebin，只是有版本控制。

在file.py文件中寫一個包含以下內容的python腳本，並試著運行看看結果。

#file.py

def foo(x):

return x

在Jupyter Notebook中使用％pastebin生成一個pastebin url。

%matplotlib notebook

函數用於在Jupyter notebook中呈現靜態matplotlib圖。用notebook替換inline，可以輕松獲得可縮放和可調整大小的繪圖。但記得這個函數要在導入matplotlib庫之前調用。

%run

用％run函數在notebook中運行一個python腳本試試。

%run file.py

%%writefile

%% writefile是將單元格內容寫入文件中。以下代碼將腳本寫入名為foo.py的文件並保存在當前目錄中。

%%latex

%%latex函數將單元格內容以LaTeX形式呈現。此函數對於在單元格中編寫數學公式和方程很有用。

查找並解決錯誤

互動式調試器也是一個神奇的功能，我把它單獨定義了一類。如果在運行代碼單元時出現異常，請在新行中鍵入％debug並運行它。 這將打開一個互動式調試環境，它能直接定位到發生異常的位置。還可以檢查程序中分配的變數值，並在此處執行操作。退出調試器單擊q即可。

Printing也有小技巧

如果您想生成美觀的數據結構，pprint是首選。它在列印字典數據或JSON數據時特別有用。接下來看一個使用print和pprint來顯示輸出的示例。

讓你的筆記脫穎而出

我們可以在您的Jupyter notebook中使用警示框/注釋框來突出顯示重要內容或其他需要突出的內容。注釋的顏色取決於指定的警報類型。只需在需要突出顯示的單元格中添加以下任一代碼或所有代碼即可。

藍色警示框：信息提示

<p class="alert alert-block alert-info">

<b>Tip:</b> Use blue boxes (alert-info) for tips and notes.

If it』s a note, you don』t have to include the word 「Note」.

</p>

黃色警示框：警告

<p class="alert alert-block alert-warning">

<b>Example:</b> Yellow Boxes are generally used to include additional examples or mathematical formulas.

</p>

綠色警示框：成功

<p class="alert alert-block alert-success">

Use green box only when necessary like to display links to related content.

</p>

紅色警示框：高危

<p class="alert alert-block alert-danger">

It is good to avoid red boxes but can be used to alert users to not delete some important part of code etc.

</p>

列印單元格所有代碼的輸出結果

假如有一個Jupyter Notebook的單元格，其中包含以下代碼行：

In [1]: 10+5

11+6

Out [1]: 17

單元格的正常屬性是只列印最後一個輸出，而對於其他輸出，我們需要添加print()函數。然而通過在notebook頂部添加以下代碼段可以一次列印所有輸出。

添加代碼後所有的輸出結果就會一個接一個地列印出來。

In [1]: 10+5

11+6

12+7

Out [1]: 15

Out [1]: 17

Out [1]: 19

恢復原始設置：

InteractiveShell.ast_node_interactivity = "last_expr"

使用'i'選項運行python腳本

從命令行運行python腳本的典型方法是：python hello.py。但是，如果在運行相同的腳本時添加-i，例如python -i hello.py，就能提供更多優勢。接下來看看結果如何。

首先，即使程序結束，python也不會退出解釋器。因此，我們可以檢查變數的值和程序中定義的函數的正確性。

其次，我們可以輕松地調用python調試器，因為我們仍然在解釋器中：

import pdb

pdb.pm()

這能定位異常發生的位置，然後我們可以處理異常代碼。

自動評論代碼

Ctrl / Cmd + /自動注釋單元格中的選定行，再次命中組合將取消注釋相同的代碼行。

刪除容易恢復難

你有沒有意外刪除過Jupyter notebook中的單元格？如果答案是肯定的，那麼可以掌握這個撤消刪除操作的快捷方式。

如果您刪除了單元格的內容，可以通過按CTRL / CMD + Z輕松恢復它。

如果需要恢復整個已刪除的單元格，請按ESC + Z或EDIT>撤消刪除單元格。

結論

在本文中，我列出了使用Python和Jupyter notebook時收集的一些小提示。我相信它們會對你有用，能讓你有所收獲，從而實現輕松編碼！

7. 如何用python寫 數據分析工具

• 數據導入

• 導入本地的或者web端的CSV文件；

• 數據變換；

• 數據統計描述；

• 假設檢驗

• 單樣本t檢驗；

• 可視化；

• 創建自定義函數。

數據導入

這是很關鍵的一步，為了後續的分析我們首先需要導入數據。通常來說，數據是CSV格式，就算不是，至少也可以轉換成CSV格式。在Python中，我們的操作如下：

Python

1

2

3

4

5

6

7

8

import pandas as pd

# Reading data locally

df = pd.read_csv('/Users/al-ahmadgaidasaad/Documents/d.csv')

# Reading data from web

data_url = "t/Analysis-with-Programming/master/2014/Python/Numerical-Descriptions-of-the-Data/data.csv"

df = pd.read_csv(data_url)

為了讀取本地CSV文件，我們需要pandas這個數據分析庫中的相應模塊。其中的read_csv函數能夠讀取本地和web數據。

數據變換

既然在工作空間有了數據，接下來就是數據變換。統計學家和科學家們通常會在這一步移除分析中的非必要數據。我們先看看數據：

Python

1

2

3

4

5

6

7

8

9

10

11

12

13

14

15

16

17

18

19

20

21

# Head of the data

print df.head()

# OUTPUT

0 12432934148330010553

1 41589235 4287806335257

2 17871922 19551074 4544

317152 14501 3536 1960731687

4 12662385 25303315 8520

# Tail of the data

print df.tail()

# OUTPUT

74 2505 20878 3519 1973716513

7560303 40065 7062 1942261808

76 63116756 3561 1591023349

7713345 38902 2583 1109668663

78 2623 18264 3745 1678716900

對R語言程序員來說，上述操作等價於通過print(head(df))來列印數據的前6行，以及通過print(tail(df))來列印數據的後6行。當然Python中，默認列印是5行，而R則是6行。因此R的代碼head(df, n = 10)，在Python中就是df.head(n = 10)，列印數據尾部也是同樣道理。

在R語言中，數據列和行的名字通過colnames和rownames來分別進行提取。在Python中，我們則使用columns和index屬性來提取，如下：

Python

1

2

3

4

5

6

7

8

9

10

11

# Extracting column names

print df.columns

# OUTPUT

Index([u'Abra', u'Apayao', u'Benguet', u'Ifugao', u'Kalinga'], dtype='object')

# Extracting row names or the index

print df.index

# OUTPUT

Int64Index([0, 1, 2, 3, 4, 5, 6, 7, 8, 9, 10, 11, 12, 13, 14, 15, 16, 17, 18, 19, 20, 21, 22, 23, 24, 25, 26, 27, 28, 29, 30, 31, 32, 33, 34, 35, 36, 37, 38, 39, 40, 41, 42, 43, 44, 45, 46, 47, 48, 49, 50, 51, 52, 53, 54, 55, 56, 57, 58, 59, 60, 61, 62, 63, 64, 65, 66, 67, 68, 69, 70, 71, 72, 73, 74, 75, 76, 77, 78], dtype='int64')

數據轉置使用T方法，

Python

1

2

3

4

5

6

7

8

9

10

11

12

13

14

15

16

17

18

19

20

21

22

23

24

25

26

# Transpose data

print df.T

# OUTPUT

01 23 45 67 89

Abra1243 41581787171521266 5576 927215401039 5424

Apayao2934 92351922145012385 7452109917038138210588

Benguet148 42871955 353625307712796 24632592 1064

Ifugao3300

... 69 70 71 72 73 74 75 76 77

Abra ...12763 247059094 620913316 250560303 631113345

Apayao ...376251953235126 6335386132087840065 675638902

Benguet... 2354 4045 5987 3530 2585 3519 7062 3561 2583

Ifugao ... 9838171251894015560 774619737194221591011096

Kalinga...

78

Abra2623

Apayao 18264

Benguet 3745

Ifugao 16787

Kalinga16900

Other transformations such as sort can be done using<code>sort</code>attribute. Now let's extract a specific column. In Python, we do it using either<code>iloc</code>or<code>ix</code>attributes, but<code>ix</code>is more robust and thus I prefer it. Assuming we want the head of the first column of the data, we have

其他變換，例如排序就是用sort屬性。現在我們提取特定的某列數據。Python中，可以使用iloc或者ix屬性。但是我更喜歡用ix，因為它更穩定一些。假設我們需數據第一列的前5行，我們有：

Python

1

2

3

4

5

6

7

8

9

print df.ix[:, 0].head()

# OUTPUT

0 1243

1 4158

2 1787

317152

4 1266

Name: Abra, dtype: int64

順便提一下，Python的索引是從0開始而非1。為了取出從11到20行的前3列數據，我們有：

Python

1

2

3

4

5

6

7

8

9

10

11

12

13

14

15

print df.ix[10:20, 0:3]

# OUTPUT

AbraApayaoBenguet

109811311 2560

1127366 15093 3039

12 11001701 2382

13 7212 11001 1088

14 10481427 2847

1525679 15661 2942

16 10552191 2119

17 54376461734

18 10291183 2302

1923710 12222 2598

20 10912343 2654

上述命令相當於df.ix[10:20, ['Abra', 'Apayao', 'Benguet']]。

為了舍棄數據中的列，這里是列1(Apayao)和列2(Benguet)，我們使用drop屬性，如下：

Python

1

2

3

4

5

6

7

8

9

print df.drop(df.columns[[1, 2]], axis = 1).head()

# OUTPUT

AbraIfugaoKalinga

0 1243330010553

1 4158806335257

2 17871074 4544

317152 1960731687

4 12663315 8520

axis參數告訴函數到底舍棄列還是行。如果axis等於0，那麼就舍棄行。

統計描述

下一步就是通過describe屬性，對數據的統計特性進行描述：

Python

1

2

3

4

5

6

7

8

9

10

11

12

print df.describe()

# OUTPUT

AbraApayaoBenguetIfugao Kalinga

count 79.000000 79.00000079.000000 79.000000 79.000000

mean 12874.37974716860.6455703237.39240512414.62025330446.417722

std16746.46694515448.1537941588.536429 5034.28201922245.707692

min927.000000401.000000 148.000000 1074.000000 2346.000000

25% 1524.000000 3435.5000002328.000000 8205.000000 8601.500000

50% 5790.00000010588.0000003202.00000013044.00000024494.000000

75%13330.50000033289.0000003918.50000016099.50000052510.500000

max60303.00000054625.0000008813.00000021031.00000068663.000000

假設檢驗

Python有一個很好的統計推斷包。那就是scipy裡面的stats。ttest_1samp實現了單樣本t檢驗。因此，如果我們想檢驗數據Abra列的稻穀產量均值，通過零假設，這里我們假定總體稻穀產量均值為15000，我們有：

Python

1

2

3

4

5

6

7

from scipy import stats as ss

# Perform one sample t-test using 1500 as the true mean

print ss.ttest_1samp(a = df.ix[:, 'Abra'], popmean = 15000)

# OUTPUT

(-1.1281738488299586, 0.26270472069109496)

返回下述值組成的元祖：

• t : 浮點或數組類型
  t統計量

• prob : 浮點或數組類型
  two-tailed p-value 雙側概率值

通過上面的輸出，看到p值是0.267遠大於α等於0.05，因此沒有充分的證據說平均稻穀產量不是150000。將這個檢驗應用到所有的變數，同樣假設均值為15000，我們有：

Python

1

2

3

4

5

6

print ss.ttest_1samp(a = df, popmean = 15000)

# OUTPUT

(array([ -1.12817385, 1.07053437, -65.81425599,-4.564575, 6.17156198]),

array([2.62704721e-01, 2.87680340e-01, 4.15643528e-70,

1.83764399e-05, 2.82461897e-08]))

第一個數組是t統計量，第二個數組則是相應的p值。

可視化

Python中有許多可視化模塊，最流行的當屬matpalotlib庫。稍加提及，我們也可選擇bokeh和seaborn模塊。之前的博文中，我已經說明了matplotlib庫中的盒須圖模塊功能。

;

• 重復100次; 然後

• 計算出置信區間包含真實均值的百分比

Python中，程序如下：

Python

1

2

3

4

5

6

7

8

9

10

11

12

13

14

15

16

17

18

19

20

21

22

23

24

25

import numpy as np

import scipy.stats as ss

def case(n = 10, mu = 3, sigma = np.sqrt(5), p = 0.025, rep = 100):

m = np.zeros((rep, 4))

for i in range(rep):

norm = np.random.normal(loc = mu, scale = sigma, size = n)

xbar = np.mean(norm)

low = xbar - ss.norm.ppf(q = 1 - p) * (sigma / np.sqrt(n))

up = xbar + ss.norm.ppf(q = 1 - p) * (sigma / np.sqrt(n))

if (mu > low) & (mu < up):

rem = 1

else:

rem = 0

m[i, :] = [xbar, low, up, rem]

inside = np.sum(m[:, 3])

per = inside / rep

desc = "There are " + str(inside) + " confidence intervals that contain "

"the true mean (" + str(mu) + "), that is " + str(per) + " percent of the total CIs"

return {"Matrix": m, "Decision": desc}

上述代碼讀起來很簡單，但是循環的時候就很慢了。下面針對上述代碼進行了改進，這多虧了Python專家，看我上篇博文的15條意見吧。

Python

1

2

3

4

5

6

7

8

9

10

11

12

13

14

15

16

17

18

19

import numpy as np

import scipy.stats as ss

def case2(n = 10, mu = 3, sigma = np.sqrt(5), p = 0.025, rep = 100):

scaled_crit = ss.norm.ppf(q = 1 - p) * (sigma / np.sqrt(n))

norm = np.random.normal(loc = mu, scale = sigma, size = (rep, n))

xbar = norm.mean(1)

low = xbar - scaled_crit

up = xbar + scaled_crit

rem = (mu > low) & (mu < up)

m = np.c_[xbar, low, up, rem]

inside = np.sum(m[:, 3])

per = inside / rep

desc = "There are " + str(inside) + " confidence intervals that contain "

"the true mean (" + str(mu) + "), that is " + str(per) + " percent of the total CIs"

return {"Matrix": m, "Decision": desc}

更新

那些對於本文ipython notebook版本感興趣的，請點擊這里。這篇文章由Nuttens Claude負責轉換成ipython notebook 。

8. python中怎麼定義一個字母

一、標識符

1.凡是我們自己取的名字，都是標識符。

2.在Python里，標識符由字母、下劃線(_)和數字組成，且不能以數字開頭，例如：

readBook43 #合法的標識符

read#9 # 不合法的標識符，標識符不能包含#符號

3read #不合法的標識符，標識符不能以數字開頭

3.在Python里，標識符是嚴格區分大小寫的，例如：apple和Apple是不同的標識符。

4.標識符可以是函數名、類名、變數名、模塊名、項目名。

5.標識符不能使用關鍵字，通過keyword.kwlist可以查看python中所有的關鍵字。

importkeywordprint(keyword.kwlist)

執行結果：

C:\software\python\python.exe D:/myworkspace/test/test/test.py

[『False『, 『None『, 『True『, 『and『, 『as『, 『assert『, 『async『, 『await『, 『break『, 『class『, 『continue『, 『def『, 『del『, 『elif『, 『else『, 『except『, 『finally『, 『for『, 『from『, 『global『, 『if『, 『import『, 『in『, 『is『, 『lambda『, 『nonlocal『, 『not『, 『or『, 『pass『, 『raise『, 『return『, 『try『, 『while『, 『with『, 『yield『]

Process finished with exit code 0

除此之外，為了規范命名標識符，標識符有一個約定俗成的寫法：

1)見名知意：起一個有意義的名字，盡量做到看一眼就可以知道標識符是什麼意思，從提高代碼的可讀性。例如，

老師使用teacher來表示，學生使用student來表示，盡量避免使用拼音。

2)根據 Python之父Gud推薦的規范，在為Python中的變數命名時，建議對類名用大寫字母開頭的單詞(如CapWorld)，

也叫駝峰式命名法，模塊名應該用小寫加下劃線的方式(如low_with_under)。

二、行和縮進

1.Python與其他語言最大的區別就是，Python的代碼塊不使用大括弧{}來控制類，函數以及其他邏輯判斷。python最具特色的就是用縮進來寫模塊。

2.一般默認縮進為4個空格，但其實縮進的空白數量是可變的，但是所有代碼塊的語句必須包含相同的空白數量，這個必須嚴格執行。

3.多行語句：python語句中一般以新行作為語句的結束符。但是我們可以使用斜杠(＼)將一行的語句分為多行顯示。

#等同於a ="drftuyhjiko,lprtguyhjikm"

a = "drftuyhjiko,lprtguyhj""ikm"

三、引號和注釋

1.Python引號

python可以使用單引號(『)、雙引號(")、三引號(『『『)或(""")來表示字元串，但引號必須是成對的。其中三引號可以由多行組成，

編寫多行文本的快捷語法，常用於文檔字元串，在文件的特定地點，被當做注釋。(也就是我們說的多行注釋)

a = 『read『 #使用單引號表示字元串

b = "book" #使用雙引號表示字元串

c = 『『『book『『『 #使用三單引號表示字元串

d = """book""" #使用三雙引號表示字元串

e = """student

read

book""" #使用三雙引號多行表示字元串

"""這里是注釋

這里是注釋"""

2.Python注釋

1)python中單行注釋採用#開頭。快捷鍵：ctrl+/

2)python中多行注釋採用三引號(『『『)或(""")成對的括起來

"""這里是注釋1"""

#這是注釋2

『『『這是注釋3『『『

四、輸入和輸出

1.input輸入：

input從控制台裡面獲取一個數據，獲取到的數據類型都是字元串類型。

2.print輸出：

print默認輸出是換行的(即列印輸出的內容後面有一個換行符)，不同的數據之間用逗號隔開，要想輸出一行內容且不換行，

可以在結尾寫end=『『(這里是兩個單引號)

book_name = input("請輸入書本名字：") #運行後，從控制台輸入內容

book_price = 『￥38『

print(book_price)print(book_name, end=『『)print(book_price)

運行結果：

C:\software\python\python.exe D:/myworkspace/test/test/test.py

請輸入書本名字：百年孤獨

￥38百年孤獨￥38Process finished with exit code 0