如何提高python編碼效率

⑴ 《編寫高質量 python代碼的59個有效方法》txt下載在線閱讀全文,求百度網盤雲資源

《Effective Python》（布雷特·斯拉特金（Brett Slatkin））電子書網盤下載免費在線閱讀

鏈接: https://pan..com/s/1FFAaagdlCWx1DjmfI77rJQ

書名：Effective Python

作者：布雷特·斯拉特金（Brett Slatkin）

譯者：愛飛翔

豆瓣評分：9.0

出版社：機械工業出版社

出版年份：2016-1

頁數：210

內容簡介：

用Python編寫程序，是相當容易的，所以這門語言非常流行。但若想掌握Python所特有的優勢、魅力和表達能力，則相當困難，而且語言中還有很多隱藏的陷阱，容易令開發者犯錯。

本書可以幫你掌握真正的Pythonic編程方式，令你能夠完全發揮出Python語言的強大功能，並寫出健壯而高效的代碼。Scott Meyers在暢銷書《Effective C++》中開創了一種以使用場景為主導的精練教學方式，本書作者Brett Slatkin就以這種方式匯聚了59條優秀的實踐原則、開發技巧和便捷方案，並以實用的代碼範例來解釋它們。

Slatkin根據自己在Google公司多年開發Python基礎架構所積累的經驗，揭示Python語言中一些鮮為人知的微妙特性，並給出了能夠改善代碼功能及運行效率的習慣用法。通過本書，你能夠了解到解決關鍵編程任務所用的最佳方式，並學會編寫易於理解、便於維護且利於改進的代碼。

作者簡介：

Google高級軟體工程師Brett Slatkin融合自己多年Python開發實戰經驗，深入探討編寫高質量Python代碼的技巧、禁忌和最佳實踐。

涵蓋Python3.x和Python2.x主要應用領域，匯聚59條優秀實踐原則、開發技巧和便捷方案，包含大量實用範例代碼。

⑵ 使用python編程處理大量數據，效率太慢怎麼解決

既然存有上千萬個數據，為什麼不使用資料庫呢？
使用小型的sqlite資料庫，加上適當的索引、篩選，肯定能大大提高數據處理速度。
python也自身帶有處理sqlite資料庫的模塊，極其方便。

⑶ 如何提升Python編程能力

一、Python之禪(The Zen of Python)
The Zen of Python是Python語言的指導原則，遵循這些基本原則，你就可以像個Pythonista一樣編程。具體內容你可以在Python命令行輸入import this看到：
The Zen of Python, by Tim Peters

Beautiful is better than ugly.
# 優美勝於醜陋（Python以編寫優美的代碼為目標）

Explicit is better than implicit.
# 明了勝於晦澀（優美的代碼應當是明了的，命名規范，風格相似）

Simple is better than complex.
# 簡潔勝於復雜（優美的代碼應當是簡潔的，不要有復雜的內部實現）

Complex is better than complicated.
# 復雜勝於凌亂（如果復雜不可避免，那代碼間也不能有難懂的關系，要保持介面簡潔）

Flat is better than nested.
# 扁平勝於嵌套（優美的代碼應當是扁平的，不能有太多的嵌套）

Sparse is better than dense.
# 間隔勝於緊湊（優美的代碼有適當的間隔，不要奢望一行代碼解決問題）

Readability counts.
# 可讀性很重要（優美的代碼是可讀的）

Special cases aren't special enough to break the rules.
Although practicality beats purity.
# 即便假借特例的實用性之名，也不可違背這些規則（這些規則至高無上）

Errors should never pass silently.
Unless explicitly silenced.
# 不要包容所有錯誤，除非你確定需要這樣做（精準地捕獲異常，不寫except:pass風格的代碼）

In the face of ambiguity, refuse the temptation to guess.
# 當存在多種可能，不要嘗試去猜測

There should be one-- and preferably only one --obvious way to do it.
# 而是盡量找一種，最好是唯一一種明顯的解決方案（如果不確定，就用窮舉法）

Although that way may not be obvious at first unless you're Dutch.
# 雖然這並不容易，因為你不是 Python 之父（這里的Dutch是指Guido）
Now is better than never.
Although never is often better than *right* now.
# 做也許好過不做，但不假思索就動手還不如不做（動手之前要細思量）
If the implementation is hard to explain, it's a bad idea.
If the implementation is easy to explain, it may be a good idea.
# 如果你無法向人描述你的方案，那肯定不是一個好方案；反之亦然（方案測評標准）
Namespaces are one honking great idea -- let's do more of those!
# 命名空間是一種絕妙的理念，我們應當多加利用（倡導與號召）

這首特別的「詩」開始作為一個笑話，但它確實包含了很多關於Python背後的哲學真理。Python之禪已經正式成文PEP 20，具體內容見：PEP 20
二、PEP8: Python編碼規范(PEP8: Style Guide for Python Code)
Abelson & Sussman在《計算機程序的構造和解釋》一書中說道：程序是寫來給人讀的，只是順帶讓機器執行。所以，我們在編碼時應該盡量讓它更易讀懂。PEP8是Python的編碼規范，官方文檔見：PEP 8，PEP是Python Enhancement Proposal的縮寫。PEP8包括很多編碼的規范，下面主要介紹一下縮進和命名等內容。
空格和縮進(WhiteSpace and Indentation)
空格和縮進在Python語言中非常重要，它替代了其他語言中{}的作用，用來區分代碼塊和作用域。在這方面PEP8有以下的建議：
1、每次縮進使用4個空格
2、不要使用Tab，更不要Tab和空格混用
3、兩個方法之間使用一個空行，兩個Class之間使用兩個空行
4、添加一個空格在字典、列表、序列、參數列表中的「，「後，以及在字典中的」：「之後，而不是之前
5、在賦值和比較兩邊放置一個空格（參數列表中除外）
6、緊隨括弧後面或者參數列表前一個字元不要存在空格

Python命名
命名規范是編程語言的基礎，而且大部分的規范對於高級語言來說都是一樣的，Python的基本規范如下：
1、方法 & 屬性：joined_lower
2、常量：joined_lower or ALL_CAPS
3、類：StudlyCaps
4、類屬性：interface, _internal, __private
5、camelCase only to conform to pre-existing conventions

以上內容只是對PEP8做了非常簡單的介紹，由於今天的主題不在於此，所以就不在這里多講。想要更加深入的了解Python編碼規范，可以閱讀PEP8官方文檔和Google Python編碼規范等內容。
三、交換變數值(Swap Values)
在其他語言中，交換兩個變數值的時候，可以這樣寫：
temp = a
a = b
b = temp

在Python中，我們可以簡單的這樣寫：
b, a = a, b

可能你已經在其他地方見過這種寫法，但是你知道Python是如何實現這種語法的嗎？首先，逗號(,)是Python中tuple數據結構的語法；上面的語法會執行一下的操作：
1、Python會先將右邊的a, b生成一個tuple(元組)，存放在內存中；
2、之後會執行賦值操作，這時候會將tuple拆開；
3、然後將tuple的第一個元素賦值給左邊的第一個變數，第二個元素賦值給左邊第二個變數。
再舉個tuple拆分的例子：
In [1]: people = ['David', 'Pythonista', '15145551234']

In [2]: name, title, phone = people

In [3]: name
Out[3]: 'David'

In [4]: title
Out[4]: 'Pythonista'

In [5]: phone
Out[5]: '15145551234'

這種語法在For循環中非常實用：
In [6]: people = [['David', 'Pythonista', '15145551234'], ['Wu', 'Student', '15101365547']]

In [7]: for name, title, phone in people:
...: print name, phone
...:
David 15145551234
Wu 15101365547

PS：在使用這種語法時，需要確保左邊的變數個數和右邊tuple的個數一致，否則，Python會拋出ValueError異常。
更多tuple的例子：
>>> 1,
(1,)
>>> (1,)
(1,)
>>> (1)
1
>>> value = 1,
>>> value
(1,)

我們知道：逗號(,)在Python中是創建tuple的構造器，所以我們可以按照上面的方式很方便的創建一個tuple；需要注意的是：如果聲明只有一個元素的tuple，末尾必須要帶上逗號，兩個以上的元素則不需要。聲明tuple的語法很簡單，但同時它也比較坑：如果你發現Python中的變數不可思議的變成了tuple，那很可能是因為你多寫了一個逗號。。
四、Python控制台的"_"(Interactive "_")
這是Python中比較有用的一個功能，不過有很多人不知道(我也是接觸Python很久之後才知道的)。。在Python的互動式控制台中，當你計算一個表達式或者調用一個方法的時候，運算的結果都會放在一個臨時的變數 _ 裡面。_(下劃線)用來存儲上一次的列印結果，比如：
>>> import math
>>> math.pi / 3
1.0471975511965976
>>> angle = _
>>> math.cos(angle)
0.50000000000000011
>>> _
0.50000000000000011

PS：當返回結果為None的時候，控制台不會列印，_ 裡面存儲的值也就不會改變。
五、合並字元串(Building Strings from Sub strings)
假如現在有一個list，裡面是一些字元串，你現在需要將它們合並成一個字元串，最簡單的方法，你可以按照下面的方式去處理：
colors = ['red', 'blue', 'green', 'yellow']

result = ''
for s in colors:
result += s

但是，很快你會發現：這種方法非常低效，尤其當list非常大的時候。Python中的字元串對象是不可改變的，因此對任何字元串的操作如拼接，修改等都將產生一個新的字元串對象，而不是基於原字元串。所以，上面的方法會消耗很大的內存：它需要計算，存儲，同時扔掉中間的計算結果。正確的方法是使用Python中的join方法：
result = ','.join(colors)

當合並元素比較少的時候，使用join方法看不出太大的效果；但是當元素多的時候，你會發現join的效率還是非常明顯的。不過，在使用的時候請注意：join只能用於元素是字元串的list，它不會進行任何的強制類型轉換。連接一個存在一個或多個非字元串元素的list時將拋出異常。

⑷ python 爬蟲 解析效率如何提升

提高爬蟲效率的方法
協程。採用協程，讓多個爬蟲一起工作，可以大幅度提高效率。

多進程。使用CPU的多個核，使用幾個核就能提高幾倍。

多線程。將任務分成多個，並發（交替）的執行。

分布式爬蟲。讓多個設備去跑同一個項目，效率也能大幅提升。

打包技術。可以將python文件打包成可執行的exe文件，讓其在後台執行即可。

其他。比如，使用網速好的網路等等。

反爬蟲的措施
限制請求頭，即request header。解決方法：我們可以填寫user-agent聲明自己的身份，有時還要去填寫origin和referer聲明請求的來源。

限制登錄，即不登錄就不能訪問。解決方法：我們可以使用cookies和session的知識去模擬登錄。

復雜的交互，比如設置「驗證碼」來阻攔登錄。這就比較難做，解決方法1：我們用Selenium去手動輸入驗證碼；方法2：我們用一些圖像處理的庫自動識別驗證碼（tesserocr/pytesserart/pillow）。

ip限制。如果這個IP地址，爬取網站頻次太高，那麼伺服器就會暫時封掉來自這個IP地址的請求。 解決方法：使用time.sleep()來對爬蟲的速度進行限制，建立IP代理池或者使用IPIDEA避免IP被封禁。

⑸ 請教一個問題，怎麼提高 python 爬蟲的爬取效率

很多爬蟲工作者都遇到過抓取非常慢的問題，尤其是需要採集大量數據的情況下。那麼如何提高爬蟲採集效率就十分關鍵，一塊了解如何提高爬蟲採集效率問題。
1.盡可能減少網站訪問次數
單次爬蟲的主要把時間消耗在網路請求等待響應上面，所以能減少網站訪問就減少網站訪問，既減少自身的工作量，也減輕網站的壓力，還降低被封的風險。
第一步要做的就是流程優化，盡量精簡流程，避免在多個頁面重復獲取。
隨後去重，同樣是十分重要的手段，一般根據url或者id進行唯一性判別，爬過的就不再繼續爬了。
2.分布式爬蟲
即便把各種法子都用盡了，單機單位時間內能爬的網頁數仍是有限的，面對大量的網頁頁面隊列，可計算的時間仍是很長，這種情況下就必須要用機器換時間了，這就是分布式爬蟲。
第一步，分布式並不是爬蟲的本質，也並不是必須的，對於互相獨立、不存在通信的任務就可手動對任務分割，隨後在多個機器上各自執行，減少每台機器的工作量，費時就會成倍減少。
例如有200W個網頁頁面待爬，可以用5台機器各自爬互不重復的40W個網頁頁面，相對來說單機費時就縮短了5倍。
可是如果存在著需要通信的狀況，例如一個變動的待爬隊列，每爬一次這個隊列就會發生變化，即便分割任務也就有交叉重復，因為各個機器在程序運行時的待爬隊列都不一樣了——這種情況下只能用分布式，一個Master存儲隊列，其他多個Slave各自來取，這樣共享一個隊列，取的情況下互斥也不會重復爬取。IPIDEA提供高匿穩定的IP同時更注重用戶隱私的保護，保障用戶的信息安全。含有240＋國家地區的ip，支持API批量使用，支持多線程高並發使用。

⑹ 想提高Python的運行效率，有什麼方法嗎

1，換一台快一點的電腦
2，可以考慮直接用匯編。用自己的方式來編寫程序。但如果你這樣做了，到最後可能會說：「python是世界上最好的語言！」……

⑺ 自學python的效率不高怎麼辦

一般來說，如果是在工作期間，自學Python的效率都不是很高，首先自製力就是一個很大的問題，另一個就是沒有正確的學習方法、引路人、以及沒有足夠的注意力集中的時間去學習；

所以最好是參加個培訓，這樣會對自己的學習有所幫助；

分兩者情況：

1. 脫產學習：參加全日制的學習，這樣無論是自製力、學習方法、引路人、以及集中的時間都得已解決，最大程度地提高了學習效率；

2. 邊工作邊學習：利用晚上以及周六日的時間，上網課，一來自己付了費，一定程度能夠提高自製力，二來利用充分的時間去提升自己；

綜上來說，沒有基礎還是需要參加培訓領上路，優就業在這方面做的就很不錯，無論是面授課還是網課，都能夠滿足要求。

⑻ 怎樣更好地提高自身的 Python 水平

隨著移動互聯網的普及，伺服器運維所面臨的挑戰也隨之越來越大。當規模增長到一定程度，手動管理方式已經無法應對，自動化運維成為解決問題的銀彈。Python憑借其靈活性，在自動化運維方面已經被廣泛使用，能夠大大提高運維效率，伺服器集群的規模越大，優勢越明顯。現在不論是Linux運維工程師還是Unix運維工程師都需要掌握Python，以提高運維效率。第一個階段：初級，掌握Python的語法和一些常用庫的使用掌握一門語言最好的方法就是用它，所以我覺得邊學語法邊刷Leetcode是掌握Python最快的方式之一。很多隻需要將Python作為腳本或者就是寫一些小程序處理處理文本的話，到這一個階段就足夠了，這個階段已經可以幫我們完成很多很多的事情了。但是如果是一個專業學習Python的，恐怕還需要努力的升級：首先，國內的大多數人都是學習了其他語言（C，C++,Java等）之後來學習Python的，所以Python和這些語言的不同，也就是pythonic的東西需要一些時間去學習了解和掌握；另外，對於自己領域的領域的庫構架的掌握也需要很長的時間去掌握；最後，如果想獨立完成一個Python的項目，項目的布局，發布，開源等都是需要考慮的問題。第二個階段：中級，掌握自己特定領域的庫，掌握pythonic寫法，非常熟悉Python的特性推薦的第一本書是《編寫高質量代碼–改善python程序的91個建議》，這本書大概的提了下Python工程的文件布局，的總結了如何寫出pythonic的代碼，另外，也介紹了一些常用的庫。這里首先推薦在騰訊官方課程渠道上進行直播學習，有號就能無償一直學，每天晚上都是高清直播(企鵝球球：1129中間是834最後加上這個903連在一起就能夠了），除此之外基於python2.7在網上的書籍適合於重頭開始一直讀完，作為一個開發人員，除了基本的語法，這本書裡面提到了一些其他的常用的庫，看了廖老師寫的很多東西，感覺他的思路，以及寫博客寫書的高度，概括性，原理性都十分好，這本書讀完之後，相信就能夠動手寫很多東西了，能夠盡情的玩轉Python解說器了。要想深入的了解Python，有的時候看看Python的源碼也是很重要的，自己通過讀懂源碼，來徹底的了解Python的核心機制，這里推薦《Python源碼剖析——深度探索動態語言核心技術》，這本書並沒有看完，只是在需要深入了解Python某個功能或者數據結構的時候看看相關章節，也覺得受益匪淺。自己領域的書籍和資料也肯定很多，比如web開發的構架都有很多，只有了解熟悉了所有構架，在選擇的時候才能衡量利弊，然後深入掌握某些構架。

⑼ 怎麼樣才能提高python程序的網路吞吐速率

Python是一個很酷的語言，因為你可以在很短的時間內利用很少的代碼做很多事情。不僅如此，它還能輕松地支持多任務，比如多進程等。Python批評者有時會說Python執行緩慢。本文將嘗試介紹6個技巧，可加速你的Python應用程序。
1.讓關鍵代碼依賴於外部包

雖然Python讓許多編程任務變得容易，但它可能並不總能為緊急的任務提供最佳性能。你可以為緊急的任務使用C、C++或機器語言編寫的外部包，這樣可以提高應用程序的性能。這些包都是不能跨平台的，這意味著你需要根據你正在使用的平台，尋找合適的包。簡而言之，這個方案放棄了一些應用程序的可移植性，以換取只有在特定主機上直接編程才能獲得的程序性能。這里有一些你應該考慮加入到你的「性能兵工廠」的包：

• Cython

• PyInlne

• PyPy

• Pyrex

這些包以不同的方式提高性能。例如，Pyrex能夠擴展Python所能做的事情，例如使用C的數據類型來讓內存任務更加有效或直接。PyInIne讓你在Python應用程序中直接使用C代碼。程序中的內聯代碼單獨編譯，但它在利用C語言所能提供的效率的同時，也讓所有的代碼都在同一個地方。
2.排序時使用鍵（key）

有很多老的Python排序代碼，它們在你創建一個自定義的排序時花費你的時間，但在運行時確實能加速執行排序過程。元素排序的最好方法是盡可能使用鍵（key）和默認的sort()排序方法。例如，考慮下面的代碼：


import operatorsomelist = [(1, 5, 8), (6, 2, 4), (9, 7, 5)]somelist.sort(key=operator.itemgetter(0))somelist#Output = [(1, 5, 8), (6, 2, 4), (9, 7, 5)]somelist.sort(key=operator.itemgetter(1))somelist#Output = [(6, 2, 4), (1, 5, 8), (9, 7, 5)]somelist.sort(key=operator.itemgetter(2))somelist#Output = [(6, 2, 4), (9, 7, 5), (1, 5, 8)],

每一個實例中，根據你選擇的作為key參數部分的索引，數組進行了排序。類似於利用數字進行排序，這種方法同樣適用於利用字元串排序。
3.優化循環

每種編程語言都會強調需要優化循環。當使用Python的時候，你可以依靠大量的技巧使得循環運行得更快。然而，開發者經常漏掉的一個方法是：避免在一個循環中使用點操作。例如，考慮下面的代碼：


lowerlist = ['this', 'is', 'lowercase']upper = str.upperupperlist = []append = upperlist.appendfor word in lowerlist:append(upper(word))print(upperlist)#Output = ['THIS', 'IS', 'LOWERCASE']

每一次你調用方法str.upper，Python都會求該方法的值。然而，如果你用一個變數代替求得的值，值就變成了已知的，Python就可以更快地執行任務。優化循環的關鍵，是要減少Python在循環內部執行的工作量，因為Python原生的解釋器在那種情況下，真的會減緩執行的速度。

（注意：優化循環的方法有很多，這只是其中的一個。例如，許多程序員都會說，列表推導是在循環中提高執行速度的最好方式。這里的關鍵是，優化循環是程序取得更高的執行速度的更好方式之一。）
4.使用較新版本的Python

在網上搜索Python信息，都會發現無數人在問，從Python一個版本遷移到另一個版本的問題的信息。一般來說，Python的每一個版本都包含了能讓其比上個版本運行更快的優化。版本遷移的限制因素是，你喜歡的那些庫是否已經遷移到Python的較新版本。相比於詢問是否應該進行版本遷移，關鍵問題是確定一個新版本什麼時候有足夠的支持，以保證遷移的可行性。

你需要驗證你的代碼仍然運行。你需要在Python的新版本下使用你獲得的新庫，然後檢查你的應用程序是否需要重大改變。只有在你作出必要的更正之後，你才會注意到版本之間的差別。然而，如果你正好確保你的應用程序能在新版本下運行，而不需要任何改變，你可能會錯過那些版本升級帶來的新特性。一旦你進行了遷移，你應該為你的新版本下的應用程序寫一個說明，檢查有問題的地方，並且優先考慮利用新版本的特性去更新那些地方。這樣用戶將會在升級的過程中更早的看到一個更大的性能提升。
5.嘗試多種編碼方法

如果每次你創建一個應用程序都是用相同的編碼方法，幾乎肯定會導致一些你的應用程序比它能夠達到的運行效率慢的情況。作為分析過程的一部分，你可以嘗試一些實驗。例如，在一個字典中管理一些元素，你可以採用安全的方法確定元素是否已經存在並更新，或者你可以直接添加元素，然後作為異常處理該元素不存在情況。考慮第一個編碼的例子：


n = 16myDict = {}for i in range(0, n):char = 'abcd'[i%4]if char not in myDict:myDict[char] = 0myDict[char] += 1print(myDict)

這段代碼通常會在myDict開始為空時運行得更快。然而，當mydict通常被數據填充（或者至少大部分被充填）時，另一種方法效果更好。


n = 16myDict = {}for i in range(0, n):char = 'abcd'[i%4]try:myDict[char] += 1except KeyError:myDict[char] = 1print(myDict)

兩種情況下具有相同的輸出：{『d': 4, 『c': 4, 『b': 4, 『a': 4}。唯一的不同是這個輸出是如何得到的。跳出固定的思維模式，創造新的編碼技巧，能夠幫助你利用你的應用程序獲得更快的結果。
6.交叉編譯應用程序

開發者有時會忘記，電腦實際上是不懂任何用於創建現代應用程序的語言，電腦所能懂得是機器代碼。為了能在電腦上運行應用程序，你使用一個應用將人類可讀的代碼你轉換成計算機能理解的。有時候用一種語言，比如Python，寫一個應用，並用另一種語言，比如C++，運行它，從性能的角度來看是有意義的。這取決於你想要應用程序去做什麼，以及主機系統可以提供的資源。

一個有趣的交叉編譯器，Nuitka，可以將你的Python代碼轉換為C++代碼。這么做的結果是，你可以在原生模式下執行應用程序，而不是依靠解釋器。根據平台和任務，你可以看到一個顯著的性能提升。

（注意：Nuitka目前還處於測試階段，所以用它來產品程序時需要小心。實際上，目前最好將其用於實驗。現在也有一些關於交叉編譯是否是得到更好性能的最佳方式的討論。開發者已經利用交叉編譯好幾年了，目的是實現特定的目標，比如更好的應用程序的速度。記住，每一個解決方案都會有得有失，你應該在將一個解決方案用於生產環境之前就好好考慮一下得失情況。）

在使用一個交叉編譯器時，要確保它支持你使用的Python的版本。Nuitka支持Python2.6、2.7、3.2和3.3。想讓這個方案發揮作用，你需要一個Python解釋器和一個C++編譯器。Nuitka支持多種C++編譯器，包括Microsoft Visual Studio、MinGW 和 Clang/LLVM。

交叉編譯也可能帶來一些嚴重的負面影響。例如，當利用Nuitka工作時，你會發現即使一個小程序也能消耗很大的硬碟空間，這是因為Nuitka使用大量的動態鏈接庫（DLLs）實現Python的功能。所以當你面對一個資源有限的系統時，這個方案可能不會很好的起作用。
總結

這六個技巧中的任意一個，都可以幫助你創造更快的Python程序。但任何技巧都不是萬能的，不能每次都起作用。有些技巧在Python的特定版本下比其他技巧的更有效——甚至系統平台也能影響它們的效果。你需要配置你的應用，確定哪個地方讓其運行緩慢，然後嘗試似乎能最好的解決這些問題的一些技巧。

⑽ python函數可以提高代碼執行速度嗎

不同的編程語言，會有不同 的緩存策略，例如，通過哈希映射、優先順序隊列等實現緩存。因此，不同的編程語言，在緩存的解決方案方面具有很大差異，可能需要幾分鍾，也可能需要幾小時。

但是，在Python中，標准工具包functools實現了一種名為LRU(Least Recently Used)的緩存策略，可以通過傳入參數，來設定緩存最近多少次的計算結果，如果傳入參數為None，那麼則不緩存。