python統計庫

A. python 數據挖掘需要用哪些庫和工具

python 數據挖掘常用的庫太多了！主要分為以下幾大類：
第一數據獲取：request,BeautifulSoup
第二基本數學庫：numpy
第三 資料庫出路 pymongo
第四 圖形可視化 matplotlib
第五 樹分析基本的庫 pandas

數據挖掘一般是指從大量的數據中通過演算法搜索隱藏於其中信息的過程。數據挖掘本質上像是機器學習和人工智慧的基礎，它的主要目的是從各種各樣的數據來源中，提取出超集的信息，然後將這些信息合並讓你發現你從來沒有想到過的模式和內在關系。這就意味著，數據挖掘不是一種用來證明假說的方法，而是用來構建各種各樣的假說的方法。

想要了解更多有關python 數據挖掘的信息，可以了解一下CDA數據分析師的課程。CDA數據分析師證書的含金量是很高的，簡單從兩個方面分析一下：首先是企業對於CDA的認可，經管之家CDA LEVEL Ⅲ數據科學家認證證書，屬於行業頂尖的人才認證，已獲得IBM大數據大學，中國電信，蘇寧，德勤，獵聘，CDMS等企業的認可。CDA證書逐漸獲得各企業用人單位認可與引進，如中國電信、中國移動、德勤，蘇寧，中國銀行，重慶統計局等。點擊預約免費試聽課。

B. 常用Python機器學習庫有哪些

Python作為一門理想的集成語言，將各種技術綁定在一起，除了為用戶提供更方便的功能之外，還是一個理想的粘合平台，在開發人員與外部庫的低層次集成人員之間搭建連接，以便用C、C++實現更高效的演算法。
使用Python編程可以快速遷移代碼並進行改動，無須花費過多的精力在修改代碼與代碼規范上。開發者在Python中封裝了很多優秀的依賴庫，可以直接拿來使用，常見的機器學習庫如下：
1、Scikit-Learn
Scikit-Learn基於Numpy和Scipy，是專門為機器學習建造的一個Python模塊，提供了大量用於數據挖掘和分析的工具，包括數據預處理、交叉驗證、演算法與可視化演算法等一系列介面。
Scikit-Learn基本功能可分為六個部分：分類、回歸、聚類、數據降維、模型選擇、數據預處理。其中集成了大量分類、回歸、聚類功能，包括支持向量機、邏輯回歸、隨機森林、樸素貝葉斯等。
2、Orange3
Orange3是一個基於組件的數據挖掘和機器學習軟體套裝，支持Python進行腳本開發。它包含一系列的數據可視化、檢索、預處理和建模技術，具有一個良好的用戶界面，同時也可以作為Python的一個模塊使用。
用戶可通過數據可視化進行數據分析，包含統計分布圖、柱狀圖、散點圖，以及更深層次的決策樹、分層聚簇、熱點圖、MDS等，並可使用它自帶的各類附加功能組件進行NLP、文本挖掘、構建網路分析等。
3、XGBoost
XGBoost是專注於梯度提升演算法的機器學習函數庫，因其優良的學習效果及高效的訓練速度而獲得廣泛的關注。XGBoost支持並行處理，比起同樣實現了梯度提升演算法的Scikit-Learn庫，其性能提升10倍以上。XGBoost可以處理回歸、分類和排序等多種任務。
4、NuPIC
NuPIC是專注於時間序列的一個機器學習平台，其核心演算法為HTM演算法，相比於深度學習，其更為接近人類大腦的運行結構。HTM演算法的理論依據主要是人腦中處理高級認知功能的新皮質部分的運行原理。NuPIC可用於預測以及異常檢測，使用面非常廣，僅要求輸入時間序列即可。
5、Milk
Milk是Python中的一個機器學習工具包。Milk注重提升運行速度與降低內存佔用，因此大部分對性能敏感的代碼都是使用C++編寫的，為了便利性在此基礎上提供Python介面。重點提供監督分類方法，如SVMs、KNN、隨機森林和決策樹等。

C. 使用python做量化交易策略測試和回驗，有哪些比較成熟一些的庫

numpy
介紹：一個用python實現的科學計算包。包括：1、一個強大的N維數組對象Array；2、比較成熟的（廣播）函數庫；3、用於整合C/C++和Fortran代碼的工具包；4、實用的線性代數、傅里葉變換和隨機數生成函數。numpy和稀疏矩陣運算包scipy配合使用更加方便。
scipy
介紹：SciPy是一款方便、易於使用、專為科學和工程設計的Python工具包。它包括統計、優化、線性代數、傅里葉變換、信號和圖像處理、常微分方程求解等等。
pandas
介紹：Python Data Analysis Library 或 pandas 是基於NumPy 的一種工具，該工具是為了解決數據分析任務而創建的。Pandas 納入了大量庫和一些標準的數據模型，提供了高效地操作大型數據集所需的工具。pandas提供了大量能使我們快速便捷地處理數據的函數和方法。你很快就會發現，它是使Python成為強大而高效的數據分析環境的重要因素之一。
quantdsl
介紹： quantdsl包是Quant DSL語法在Python中的一個實現。Quant DSL 是財務定量分析領域專用語言，也是對衍生工具進行建模的功能編程語言。Quant DSL封裝了金融和交易中使用的模型（比如市場動態模型、最小二乘法、蒙特卡羅方法、貨幣的時間價值）。
statistics
介紹：python內建的統計庫，該庫提供用於計算數值數據的數學統計的功能。
PyQL
介紹： PyQL構建在Cython之上，並在QuantLib之上創建一個很淺的Pythonic層，是對QuantLib的一個包裝，並利用Cython更好的性能。

D. 2017年10大流行Python庫有哪些

1、NumPy
NumPy是構建科學計算 stack 的最基礎的包。它為 Python 中的 n 維數組和矩陣的操作提供了大量有用的功能。該庫還提供了 NumPy 數組類型的數學運算向量化，可以提升性能，從而加快執行速度。

2、SciPy
SciPy 是一個工程和科學軟體庫， 包含線性代數、優化、集成和統計的模塊。SciPy 庫的主
要功能建立在 NumPy 的基礎之上，它通過其特定的子模塊提供高效的數值常式操作。SciPy 的所有子模塊中的函數都有詳細的文檔，這也是一個優勢。
3、Pandas
Pandas是一個 Python 包，旨在通過「標記(labeled)」和「關系(relational)」數據進行工作，簡單直觀。Pandas 是 data wrangling 的完美工具。它設計用於快速簡單的數據操作、聚合和可視化。
4、Seaborn
Seaborn 主要關注統計模型的可視化;這種可視化包括熱度圖(heat map)，可以總結數據但也描繪總體分布。Seaborn 基於 Matplotlib，並高度依賴於它。
5、Bokeh
Bokeh是一個很好的可視化庫，其目的是互動式可視化，不過這個庫獨立於 Matplotlib，它通過現代瀏覽器以數據驅動文檔(D3.js)的風格呈現。
6、Scikits
Scikits 是 SciPy Stack 的附加軟體包，專為特定功能(如圖像處理和輔助機器學習)而設計。其中最突出的一個是 scikit-learn。該軟體包構建於 SciPy 之上，並大量使用其數學操作，是使用 Python 進行機器學習的實際上的行業標准。
7、Theano
Theano 是一個 Python 包，它定義了與 NumPy 類似的多維數組，以及數學運算和表達式。該庫是經過編譯的，使其在所有架構上能夠高效運行。這個庫最初由蒙特利爾大學機器學習組開發，主要是為了滿足機器學習的需求。
8、Keras
Keras是一個使用高層介面構建神經網路的開源庫，它是用 Python 編寫的。它簡單易懂，具有高級可擴展性。Keras 極其容易上手，而且可以進行快速的原型設計，足以用於嚴肅的建模。
9、Gensim
Gensim是一個用於 Python 的開源庫，實現了用於向量空間建模和主題建模的工具。Gensim 實現了諸如分層 Dirichlet 進程(HDP)、潛在語義分析(LSA)和潛在 Dirichlet 分配(LDA)等演算法，還有 tf-idf、隨機投影、word2vec 和 document2vec，以便於檢查一組文檔(通常稱為語料庫)中文本的重復模式。
10、Scrapy
Scrapy 是用於從網路檢索結構化數據的爬蟲程序的庫。它現在已經發展成了一個完整的框架，可以從 API 收集數據，也可以用作通用的爬蟲。該庫在介面設計上遵循著名的 Don』t Repeat Yourself 原則——提醒用戶編寫通用的可復用的代碼，因此可以用來開發和擴展大型爬蟲。

E. python 的庫有多少

庫都是人說的算，比如說你寫了一個很好用的庫，開源出去然後再告知python，python也覺得這個好就給你發行了。

去網上搜了，現在大於500多個庫

F. python數據分析需要哪些庫

1.Numpy庫
是Python開源的數值計算擴展工具，提供了Python對多維數組的支持，能夠支持高級的維度數組與矩陣運算。此外，針對數組運算也提供了大量的數學函數庫，Numpy是大部分Python科學計算的基礎，具有很多功能。
2.Pandas庫
是一個基於Numpy的數據分析包，為了解決數據分析任務而創建的。Pandas中納入了大量庫和標準的數據模型，提供了高效地操作大型數據集所需要的函數和方法，使用戶能快速便捷地處理數據。
3.Matplotlib庫
是一個用在Python中繪制數組的2D圖形庫，雖然它起源於模仿MATLAB圖形命令，但它獨立於MATLAB，可以通過Pythonic和面向對象的方式使用，是Python中Z出色的繪圖庫。主要用純Python語言編寫的，它大量使用Numpy和其他擴展代碼，即使對大型數組也能提供良好的性能。
4.Seaborn庫
是Python中基於Matplotlib的數據可視化工具，提供了很多高層封裝的函數，幫助數據分析人員快速繪制美觀的數據圖形，從而避免了許多額外的參數配置問題。
5.NLTK庫
被稱為使用Python進行教學和計算語言學工作的Z佳工具，以及用自然語言進行游戲的神奇圖書館。NLTK是一個領先的平台，用於構建使用人類語言數據的Python程序，它為超過50個語料庫和詞彙資源提供了易於使用的介面，還提供了一套文本處理庫，用於分類、標記化、詞干化、解析和語義推理、NLP庫的包裝器和一個活躍的討論社區。

G. python哪些標准庫

標准庫比較多 功能也不同：
標准庫
sys
系統相關的參數和函數。 sys 庫一般用來訪問和修改系統相關信息，比如查看 python 版本、系統環境變數、模塊信息和 python 解釋器相關信息等等。
os
操作系統介面模塊。這個庫提供了訪問操作系統相關依賴的方式，比如輸入輸出操作、讀寫操作、操作系統異常錯誤信息、進程線程管理、文件管理、調度程序等等。
re
正則表達式操作。這個庫是我喜歡並且經常會用到的庫，在對大量字元串進行處理的時候用正則表達式是最快速有效的方式，但是正則表達式的學習曲線較高，有興趣的朋友可以訪問這個網站學習。
math
數學函數庫。 math 庫提供了對 C 語言標準定義的數學函數訪問，比如數論（Number-theoretic）的各種表示方法、冪和對數函數（Power and logarithmic functions）、三角函數（Trigonometric functions）、常量圓周率（π）和自然常數（e）等等。
random
生成偽隨機數。
偽隨機數與隨機數（真隨機數）不同的是執行環境，隨機數是真實世界中通過物理過程實踐得出結論，而偽隨機數是通過計算機的特定演算法生成的數，所以這個過程是可預測的、有規律的，只是循環周期較長，並不能與現實場景相切合。
random庫提供生成隨機數，可以模擬現實世界中隨機取數、隨機抽獎等等。
logging
日誌記錄工具。這個庫提供了對應用程序和庫函數的日誌記錄，日常開發中我們經常需要通過日誌列印出當前程序的運行狀態，實時查看可能出現的堆棧異常和錯誤信息。
json
Json 編碼和解碼器。 json 庫提供了對 json 數據的支持，日常開發中我們做前後端分離需要對傳輸數據 json 進行序列化和反序列化操作，以保證對數據的完整性和有效性，而序列化和反序列化其實就是編碼和解碼的過程。
pickle
Python 對象序列化庫。 pickle 庫支持對 python 對象進行序列化和反序列化操作，當我們需要將處理好的對象保存到文件或資料庫中時，就可以將其序列化成二進制數據，從而更好的保存起來。
shelve
Python 對象持久化。簡單的數據存儲方案。
socket
底層網路介面。 socket（套接字） 庫提供了標準的BSD（伯克利套接字） Socket API，可以通過訪問底層操作系統 Socket 的相關介面進行網路通訊。
datetime
基本日期和時間類型庫。該庫提供了各種簡單和復雜的方式處理日期和時間，日常我們會用時間測算時間消耗、復雜度，對存儲的創建時間和修改時間也需要進一步說明，對計時器的描述和控制也需要用到該庫。
hashlib
安全哈希和消息摘要。摘要演算法 其實就是對某些數據進行加密（不可逆的加密演算法），因為被加密的數據無法破解，所以就能防止被篡改。常見的摘要演算法有 MD5、SHA1，一般我們會用 MD5 對用戶口令進行加密，防止盜用後被輕易破解；而 SHA1 與 MD5 類似，但是 SHA1 會產生更長的長度，也更安全，但是演算法的復雜性通常伴隨著存儲空間和時間的消耗。要說比SHA1更長的字元長度，還有 SHA224、SHA256、SHA384 和 SHA512，看名字就能知道。
大家都知道無論演算法生成的字元長度如何都有可能發生碰撞（被破解），這是不可避免的，所以具體場景具體情況而定。
configparser
配置文件解析器。 configparser 庫可以輕松定製配置文件，通過解析配置文件的信息我們就可以全局訪問相關配置。
urllib
URL 處理模塊。 urllib 庫集成了處理 URLs（統一資源定位符）的各種模塊：
URL urllib.request URL robots.txt urllib 庫對訪問網路有很好的支持，提供了對數據的訪問和處理、文件的上傳和下載、記錄 cookie 和 session 等等。
itertools
為高效循環而創建迭代器的函數。 itertools 庫也是經常需要用到，當我們要對某些數進行 for-in 時就需要先將其處理成一個可迭代對象，之後我們才能進行遍歷操作。
collections
容器數據類型庫。 collections 庫提供了對所有容器數據類型的支持，包括 dict, list, set 和 tuple。我們可以用此庫對不同數據類型進行操作，常有的函數方法有這些：
namedtuple() 創建命名元組子類的工廠函數 deque 類似列表(list)的容器，實現了在兩端快速添加(append)和彈出(pop) ChainMap 類似字典(dict)的容器類，將多個映射集合到一個視圖裡面 Counter 字典的子類，提供了可哈希對象的計數功能 OrderedDict 字典的子類，保存了他們被添加的順序 defaultdict 字典的子類，提供了一個工廠函數，為字典查詢提供一個默認值 UserDict 封裝了字典對象，簡化了字典子類化 UserList 封裝了列表對象，簡化了列表子類化 UserString 封裝了列表對象，簡化了字元串子類化 functools
高階函數和可調用對象上的操作。該庫主要調用高階函數，是常規函數的一種補充。目前庫中包含以下幾種函數：
cmp_to_key lru_cache total_ordering partial partialmethod rece singledispatch update_wrapper wraps threading
線程並行庫。 threading 庫支持線程和多線程的操作，針對多線程並發的問題可以給數據加同步鎖，一次只能讓一個線程處理數據，從而避免出現數據讀寫混亂。
在 CPython 解釋器上，因為GIL（全局解釋器鎖）鎖機制的存在的，被設計成線程安全，所以同一時間只能執行一個線程，這就導致了多線程不能發揮出計算機的多核特性。
multiprocessing
進程並行庫。 multiprocessing 庫與 threading 庫很類似，不同的是進程庫可以創建子進程避開 GIL，從而彌補線程庫存在的劣勢和發揮計算機的多核特性。
timeit
測量小代碼片段的執行時間。此庫主要用來計算運行代碼的時間消耗，支持多種方式傳入參數。
atexit
退出處理器。當處理一個函數需要立馬退出時可以使用該庫。
abc
抽象基類。 abc 庫定義抽象基類，以便其他類派生出新類。比如 collections 容器庫中就有此派生出的 collections.abc 類，派生出來的類可以進一步實現。
asyncio
非同步IO庫。 asyncio 庫是一個用 async/await 關鍵字編寫並發的庫，為多個非同步框架提供基礎功能，能夠實現高性能的網路、Web伺服器、資料庫連接和分布式任務隊列等。

淺層和深層復制操作。 庫提供對對象的拷貝，我們都知道要製作對象副本，是無法通過簡單值傳遞創建新變數的方式做到，因為新變數所指向的內存空間依舊是原對象本身，所以對新變數進行任何操作都會改變原對象。那麼， 庫就提供了製作對象副本的各種方法，會開辟一個新的內存空間存放副本對象，修改操作不會對原對象有任何干預。
csv
csv（Comma Separated Values）文件讀寫庫。此庫支持以純文本的形式存儲表格數據（數字和文本）。
operator
標准運算符替代函數庫。此庫是將 python 自有的運算符作為有效函數，比如表達式 x+y 可以用函數 operator.add(x, y) 表示；比如表達式 a*b 可以用函數 operator.mul(a, b) 表示，等等。
enum
枚舉庫。 enum 庫支持創建枚舉類來存儲大量同類型的不可變常量，以便其他函數調用。創建出來的枚舉類是可迭代對象，所以可以用 for-in 枚舉出所有常量。
heapq
堆隊列演算法。這個模塊提供了堆隊列演算法的實現，也稱為優先隊列演算法。優先隊列中的每個元素都有各自的優先順序，優先順序最高的元素最先得到服務。所以當我們要求前n最大/最小值的時候就可以用此演算法來實現， heapq 庫中也提供了相應函數實現。
http
HTTP 模塊。 http 模塊是一個包，收集了多個處理超文本傳輸協議的模塊：
urllib.request http 模塊通過 http.HTTPStatus 枚舉定義了HTTP狀態碼 以及相關聯消息。
profile、pstats
性能分析工具。 profile 模塊提供了 profile 和 cProfile 兩種不同實現的性能分析工具，可用來描述程序各個部分的執行時間和頻率，統計後的信息可以通過 pstats 模塊保存並使用。
ssl
TLS/SSL（傳輸安全協議）。此模塊提供對安全協議的支持，通過應用上下文，可將 TLS（傳輸層安全性協議）或其前身 SSL（安全套接層）支持安全協議，能為互聯網通信提供安全和數據完整性保障。一般 HTTPS 協議都支持 TLS/SSL 加密。
unitest
單元測試框架。 unitest 庫常用於單元測試，受到 JUnit 和其他主流測試庫的啟發， unitest 庫的功能和函數與它們有著相似的風格。
uuid
UUID庫。 uuid 庫主要用途是生成隨機字元串，庫中有多個版本的 UUID 對象方法，比如版本 1、3、4 和 5 的 uuid1() 、 uuid3() 、 uuid4() 和 uuid5() 。需要注意的是，如果要生成隨機字元串，可以使用 uuid1() 和 uuid4() ，但是 uuid1() 會存在隱私風險，因為生成的原理里邊包含用戶訪問計算機的網路地址，而 uuid4() 是通過隨機字元生成。
希望可以幫助到你。

H. 最受歡迎的 15 大 Python 庫有哪些

1、Pandas：是一個Python包，旨在通過「標記」和「關系」數據進行工作，簡單直觀。它設計用於快速簡單的數據操作、聚合和可視化，是數據整理的完美工具。
2、Numpy：是專門為Python中科學計算而設計的軟體集合，它為Python中的n維數組和矩陣的操作提供了大量有用的功能。該庫提供了NumPy數組類型的數學運算向量化，可以改善性能，從而加快執行速度。
3、SciPy：是一個工程和科學軟體庫，包含線性代數，優化，集成和統計的模塊。SciPy庫的主要功能是建立在NumPy上，通過其特定子模塊提供有效的數值常式，並作為數字積分、優化和其他常式。
4、Matplotlib：為輕松生成簡單而強大的可視化而量身定製，它使Python成為像MatLab或Mathematica這樣的科學工具的競爭對手。
5、Seaborn：主要關注統計模型的可視化(包括熱圖)，Seaborn高度依賴於Matplotlib。
6、Bokeh：獨立於Matplotlib，主要焦點是交互性，它通過現代瀏覽器以數據驅動文檔的風格呈現。
7、Plotly：是一個基於Web用於構建可視化的工具箱，提供API給一些編程語言(Python在內)。
8、Scikits：是Scikits
Stack額外的軟體包，專為像圖像處理和機器學習輔助等特定功能而設計。它建立在SciPy之上，中集成了有質量的代碼和良好的文檔、簡單易用並且十分高效，是使用Python進行機器學習的實際行業標准。
9、Theano：是一個Python軟體包，它定義了與NumPy類似的多維數組，以及數學運算和表達式。此庫是被編譯的，可實現在所有架構上的高效運行。
10、TensorFlow：是數據流圖計算的開源庫，旨在滿足谷歌對訓練神經網路的高需求，並且是基於神經網路的機器學習系統DistBelief的繼任者，可以在大型數據集上快速訓練神經網路。
11、Keras：是一個用Python編寫的開源的庫，用於在高層的介面上構建神經網路。它簡單易懂，具有高級可擴展性。
12、NLTK：主要用於符號學和統計學自然語言處理(NLP) 的常見任務，旨在促進NLP及相關領域(語言學，認知科學人工智慧等)的教學和研究。
13、Gensim：是一個用於Python的開源庫，為有向量空間模型和主題模型的工作提供了使用工具。這個庫是為了高效處理大量文本而設計，不僅可以進行內存處理，還可以通過廣泛使用NumPy數據結構和SciPy操作來獲得更高的效率。