如何提高python编码效率

⑴ 《编写高质量 python代码的59个有效方法》txt下载在线阅读全文,求百度网盘云资源

《Effective Python》（布雷特·斯拉特金（Brett Slatkin））电子书网盘下载免费在线阅读

链接: https://pan..com/s/1FFAaagdlCWx1DjmfI77rJQ

书名：Effective Python

作者：布雷特·斯拉特金（Brett Slatkin）

译者：爱飞翔

豆瓣评分：9.0

出版社：机械工业出版社

出版年份：2016-1

页数：210

内容简介：

用Python编写程序，是相当容易的，所以这门语言非常流行。但若想掌握Python所特有的优势、魅力和表达能力，则相当困难，而且语言中还有很多隐藏的陷阱，容易令开发者犯错。

本书可以帮你掌握真正的Pythonic编程方式，令你能够完全发挥出Python语言的强大功能，并写出健壮而高效的代码。Scott Meyers在畅销书《Effective C++》中开创了一种以使用场景为主导的精练教学方式，本书作者Brett Slatkin就以这种方式汇聚了59条优秀的实践原则、开发技巧和便捷方案，并以实用的代码范例来解释它们。

Slatkin根据自己在Google公司多年开发Python基础架构所积累的经验，揭示Python语言中一些鲜为人知的微妙特性，并给出了能够改善代码功能及运行效率的习惯用法。通过本书，你能够了解到解决关键编程任务所用的最佳方式，并学会编写易于理解、便于维护且利于改进的代码。

作者简介：

Google高级软件工程师Brett Slatkin融合自己多年Python开发实战经验，深入探讨编写高质量Python代码的技巧、禁忌和最佳实践。

涵盖Python3.x和Python2.x主要应用领域，汇聚59条优秀实践原则、开发技巧和便捷方案，包含大量实用范例代码。

⑵ 使用python编程处理大量数据，效率太慢怎么解决

既然存有上千万个数据，为什么不使用数据库呢？
使用小型的sqlite数据库，加上适当的索引、筛选，肯定能大大提高数据处理速度。
python也自身带有处理sqlite数据库的模块，极其方便。

⑶ 如何提升Python编程能力

一、Python之禅(The Zen of Python)
The Zen of Python是Python语言的指导原则，遵循这些基本原则，你就可以像个Pythonista一样编程。具体内容你可以在Python命令行输入import this看到：
The Zen of Python, by Tim Peters

Beautiful is better than ugly.
# 优美胜于丑陋（Python以编写优美的代码为目标）

Explicit is better than implicit.
# 明了胜于晦涩（优美的代码应当是明了的，命名规范，风格相似）

Simple is better than complex.
# 简洁胜于复杂（优美的代码应当是简洁的，不要有复杂的内部实现）

Complex is better than complicated.
# 复杂胜于凌乱（如果复杂不可避免，那代码间也不能有难懂的关系，要保持接口简洁）

Flat is better than nested.
# 扁平胜于嵌套（优美的代码应当是扁平的，不能有太多的嵌套）

Sparse is better than dense.
# 间隔胜于紧凑（优美的代码有适当的间隔，不要奢望一行代码解决问题）

Readability counts.
# 可读性很重要（优美的代码是可读的）

Special cases aren't special enough to break the rules.
Although practicality beats purity.
# 即便假借特例的实用性之名，也不可违背这些规则（这些规则至高无上）

Errors should never pass silently.
Unless explicitly silenced.
# 不要包容所有错误，除非你确定需要这样做（精准地捕获异常，不写except:pass风格的代码）

In the face of ambiguity, refuse the temptation to guess.
# 当存在多种可能，不要尝试去猜测

There should be one-- and preferably only one --obvious way to do it.
# 而是尽量找一种，最好是唯一一种明显的解决方案（如果不确定，就用穷举法）

Although that way may not be obvious at first unless you're Dutch.
# 虽然这并不容易，因为你不是 Python 之父（这里的Dutch是指Guido）
Now is better than never.
Although never is often better than *right* now.
# 做也许好过不做，但不假思索就动手还不如不做（动手之前要细思量）
If the implementation is hard to explain, it's a bad idea.
If the implementation is easy to explain, it may be a good idea.
# 如果你无法向人描述你的方案，那肯定不是一个好方案；反之亦然（方案测评标准）
Namespaces are one honking great idea -- let's do more of those!
# 命名空间是一种绝妙的理念，我们应当多加利用（倡导与号召）

这首特别的“诗”开始作为一个笑话，但它确实包含了很多关于Python背后的哲学真理。Python之禅已经正式成文PEP 20，具体内容见：PEP 20
二、PEP8: Python编码规范(PEP8: Style Guide for Python Code)
Abelson & Sussman在《计算机程序的构造和解释》一书中说道：程序是写来给人读的，只是顺带让机器执行。所以，我们在编码时应该尽量让它更易读懂。PEP8是Python的编码规范，官方文档见：PEP 8，PEP是Python Enhancement Proposal的缩写。PEP8包括很多编码的规范，下面主要介绍一下缩进和命名等内容。
空格和缩进(WhiteSpace and Indentation)
空格和缩进在Python语言中非常重要，它替代了其他语言中{}的作用，用来区分代码块和作用域。在这方面PEP8有以下的建议：
1、每次缩进使用4个空格
2、不要使用Tab，更不要Tab和空格混用
3、两个方法之间使用一个空行，两个Class之间使用两个空行
4、添加一个空格在字典、列表、序列、参数列表中的“，“后，以及在字典中的”：“之后，而不是之前
5、在赋值和比较两边放置一个空格（参数列表中除外）
6、紧随括号后面或者参数列表前一个字符不要存在空格

Python命名
命名规范是编程语言的基础，而且大部分的规范对于高级语言来说都是一样的，Python的基本规范如下：
1、方法 & 属性：joined_lower
2、常量：joined_lower or ALL_CAPS
3、类：StudlyCaps
4、类属性：interface, _internal, __private
5、camelCase only to conform to pre-existing conventions

以上内容只是对PEP8做了非常简单的介绍，由于今天的主题不在于此，所以就不在这里多讲。想要更加深入的了解Python编码规范，可以阅读PEP8官方文档和Google Python编码规范等内容。
三、交换变量值(Swap Values)
在其他语言中，交换两个变量值的时候，可以这样写：
temp = a
a = b
b = temp

在Python中，我们可以简单的这样写：
b, a = a, b

可能你已经在其他地方见过这种写法，但是你知道Python是如何实现这种语法的吗？首先，逗号(,)是Python中tuple数据结构的语法；上面的语法会执行一下的操作：
1、Python会先将右边的a, b生成一个tuple(元组)，存放在内存中；
2、之后会执行赋值操作，这时候会将tuple拆开；
3、然后将tuple的第一个元素赋值给左边的第一个变量，第二个元素赋值给左边第二个变量。
再举个tuple拆分的例子：
In [1]: people = ['David', 'Pythonista', '15145551234']

In [2]: name, title, phone = people

In [3]: name
Out[3]: 'David'

In [4]: title
Out[4]: 'Pythonista'

In [5]: phone
Out[5]: '15145551234'

这种语法在For循环中非常实用：
In [6]: people = [['David', 'Pythonista', '15145551234'], ['Wu', 'Student', '15101365547']]

In [7]: for name, title, phone in people:
...: print name, phone
...:
David 15145551234
Wu 15101365547

PS：在使用这种语法时，需要确保左边的变量个数和右边tuple的个数一致，否则，Python会抛出ValueError异常。
更多tuple的例子：
>>> 1,
(1,)
>>> (1,)
(1,)
>>> (1)
1
>>> value = 1,
>>> value
(1,)

我们知道：逗号(,)在Python中是创建tuple的构造器，所以我们可以按照上面的方式很方便的创建一个tuple；需要注意的是：如果声明只有一个元素的tuple，末尾必须要带上逗号，两个以上的元素则不需要。声明tuple的语法很简单，但同时它也比较坑：如果你发现Python中的变量不可思议的变成了tuple，那很可能是因为你多写了一个逗号。。
四、Python控制台的"_"(Interactive "_")
这是Python中比较有用的一个功能，不过有很多人不知道(我也是接触Python很久之后才知道的)。。在Python的交互式控制台中，当你计算一个表达式或者调用一个方法的时候，运算的结果都会放在一个临时的变量 _ 里面。_(下划线)用来存储上一次的打印结果，比如：
>>> import math
>>> math.pi / 3
1.0471975511965976
>>> angle = _
>>> math.cos(angle)
0.50000000000000011
>>> _
0.50000000000000011

PS：当返回结果为None的时候，控制台不会打印，_ 里面存储的值也就不会改变。
五、合并字符串(Building Strings from Sub strings)
假如现在有一个list，里面是一些字符串，你现在需要将它们合并成一个字符串，最简单的方法，你可以按照下面的方式去处理：
colors = ['red', 'blue', 'green', 'yellow']

result = ''
for s in colors:
result += s

但是，很快你会发现：这种方法非常低效，尤其当list非常大的时候。Python中的字符串对象是不可改变的，因此对任何字符串的操作如拼接，修改等都将产生一个新的字符串对象，而不是基于原字符串。所以，上面的方法会消耗很大的内存：它需要计算，存储，同时扔掉中间的计算结果。正确的方法是使用Python中的join方法：
result = ','.join(colors)

当合并元素比较少的时候，使用join方法看不出太大的效果；但是当元素多的时候，你会发现join的效率还是非常明显的。不过，在使用的时候请注意：join只能用于元素是字符串的list，它不会进行任何的强制类型转换。连接一个存在一个或多个非字符串元素的list时将抛出异常。

⑷ python 爬虫 解析效率如何提升

提高爬虫效率的方法
协程。采用协程，让多个爬虫一起工作，可以大幅度提高效率。

多进程。使用CPU的多个核，使用几个核就能提高几倍。

多线程。将任务分成多个，并发（交替）的执行。

分布式爬虫。让多个设备去跑同一个项目，效率也能大幅提升。

打包技术。可以将python文件打包成可执行的exe文件，让其在后台执行即可。

其他。比如，使用网速好的网络等等。

反爬虫的措施
限制请求头，即request header。解决方法：我们可以填写user-agent声明自己的身份，有时还要去填写origin和referer声明请求的来源。

限制登录，即不登录就不能访问。解决方法：我们可以使用cookies和session的知识去模拟登录。

复杂的交互，比如设置“验证码”来阻拦登录。这就比较难做，解决方法1：我们用Selenium去手动输入验证码；方法2：我们用一些图像处理的库自动识别验证码（tesserocr/pytesserart/pillow）。

ip限制。如果这个IP地址，爬取网站频次太高，那么服务器就会暂时封掉来自这个IP地址的请求。 解决方法：使用time.sleep()来对爬虫的速度进行限制，建立IP代理池或者使用IPIDEA避免IP被封禁。

⑸ 请教一个问题，怎么提高 python 爬虫的爬取效率

很多爬虫工作者都遇到过抓取非常慢的问题，尤其是需要采集大量数据的情况下。那么如何提高爬虫采集效率就十分关键，一块了解如何提高爬虫采集效率问题。
1.尽可能减少网站访问次数
单次爬虫的主要把时间消耗在网络请求等待响应上面，所以能减少网站访问就减少网站访问，既减少自身的工作量，也减轻网站的压力，还降低被封的风险。
第一步要做的就是流程优化，尽量精简流程，避免在多个页面重复获取。
随后去重，同样是十分重要的手段，一般根据url或者id进行唯一性判别，爬过的就不再继续爬了。
2.分布式爬虫
即便把各种法子都用尽了，单机单位时间内能爬的网页数仍是有限的，面对大量的网页页面队列，可计算的时间仍是很长，这种情况下就必须要用机器换时间了，这就是分布式爬虫。
第一步，分布式并不是爬虫的本质，也并不是必须的，对于互相独立、不存在通信的任务就可手动对任务分割，随后在多个机器上各自执行，减少每台机器的工作量，费时就会成倍减少。
例如有200W个网页页面待爬，可以用5台机器各自爬互不重复的40W个网页页面，相对来说单机费时就缩短了5倍。
可是如果存在着需要通信的状况，例如一个变动的待爬队列，每爬一次这个队列就会发生变化，即便分割任务也就有交叉重复，因为各个机器在程序运行时的待爬队列都不一样了——这种情况下只能用分布式，一个Master存储队列，其他多个Slave各自来取，这样共享一个队列，取的情况下互斥也不会重复爬取。IPIDEA提供高匿稳定的IP同时更注重用户隐私的保护，保障用户的信息安全。含有240＋国家地区的ip，支持API批量使用，支持多线程高并发使用。

⑹ 想提高Python的运行效率，有什么方法吗

1，换一台快一点的电脑
2，可以考虑直接用汇编。用自己的方式来编写程序。但如果你这样做了，到最后可能会说：“python是世界上最好的语言！”……

⑺ 自学python的效率不高怎么办

一般来说，如果是在工作期间，自学Python的效率都不是很高，首先自制力就是一个很大的问题，另一个就是没有正确的学习方法、引路人、以及没有足够的注意力集中的时间去学习；

所以最好是参加个培训，这样会对自己的学习有所帮助；

分两者情况：

1. 脱产学习：参加全日制的学习，这样无论是自制力、学习方法、引路人、以及集中的时间都得已解决，最大程度地提高了学习效率；

2. 边工作边学习：利用晚上以及周六日的时间，上网课，一来自己付了费，一定程度能够提高自制力，二来利用充分的时间去提升自己；

综上来说，没有基础还是需要参加培训领上路，优就业在这方面做的就很不错，无论是面授课还是网课，都能够满足要求。

⑻ 怎样更好地提高自身的 Python 水平

随着移动互联网的普及，服务器运维所面临的挑战也随之越来越大。当规模增长到一定程度，手动管理方式已经无法应对，自动化运维成为解决问题的银弹。Python凭借其灵活性，在自动化运维方面已经被广泛使用，能够大大提高运维效率，服务器集群的规模越大，优势越明显。现在不论是Linux运维工程师还是Unix运维工程师都需要掌握Python，以提高运维效率。第一个阶段：初级，掌握Python的语法和一些常用库的使用掌握一门语言最好的方法就是用它，所以我觉得边学语法边刷Leetcode是掌握Python最快的方式之一。很多只需要将Python作为脚本或者就是写一些小程序处理处理文本的话，到这一个阶段就足够了，这个阶段已经可以帮我们完成很多很多的事情了。但是如果是一个专业学习Python的，恐怕还需要努力的升级：首先，国内的大多数人都是学习了其他语言（C，C++,Java等）之后来学习Python的，所以Python和这些语言的不同，也就是pythonic的东西需要一些时间去学习了解和掌握；另外，对于自己领域的领域的库构架的掌握也需要很长的时间去掌握；最后，如果想独立完成一个Python的项目，项目的布局，发布，开源等都是需要考虑的问题。第二个阶段：中级，掌握自己特定领域的库，掌握pythonic写法，非常熟悉Python的特性推荐的第一本书是《编写高质量代码–改善python程序的91个建议》，这本书大概的提了下Python工程的文件布局，的总结了如何写出pythonic的代码，另外，也介绍了一些常用的库。这里首先推荐在腾讯官方课程渠道上进行直播学习，有号就能无偿一直学，每天晚上都是高清直播(企鹅球球：1129中间是834最后加上这个903连在一起就能够了），除此之外基于python2.7在网上的书籍适合于重头开始一直读完，作为一个开发人员，除了基本的语法，这本书里面提到了一些其他的常用的库，看了廖老师写的很多东西，感觉他的思路，以及写博客写书的高度，概括性，原理性都十分好，这本书读完之后，相信就能够动手写很多东西了，能够尽情的玩转Python解说器了。要想深入的了解Python，有的时候看看Python的源码也是很重要的，自己通过读懂源码，来彻底的了解Python的核心机制，这里推荐《Python源码剖析——深度探索动态语言核心技术》，这本书并没有看完，只是在需要深入了解Python某个功能或者数据结构的时候看看相关章节，也觉得受益匪浅。自己领域的书籍和资料也肯定很多，比如web开发的构架都有很多，只有了解熟悉了所有构架，在选择的时候才能衡量利弊，然后深入掌握某些构架。

⑼ 怎么样才能提高python程序的网络吞吐速率

Python是一个很酷的语言，因为你可以在很短的时间内利用很少的代码做很多事情。不仅如此，它还能轻松地支持多任务，比如多进程等。Python批评者有时会说Python执行缓慢。本文将尝试介绍6个技巧，可加速你的Python应用程序。
1.让关键代码依赖于外部包

虽然Python让许多编程任务变得容易，但它可能并不总能为紧急的任务提供最佳性能。你可以为紧急的任务使用C、C++或机器语言编写的外部包，这样可以提高应用程序的性能。这些包都是不能跨平台的，这意味着你需要根据你正在使用的平台，寻找合适的包。简而言之，这个方案放弃了一些应用程序的可移植性，以换取只有在特定主机上直接编程才能获得的程序性能。这里有一些你应该考虑加入到你的“性能兵工厂”的包：

• Cython

• PyInlne

• PyPy

• Pyrex

这些包以不同的方式提高性能。例如，Pyrex能够扩展Python所能做的事情，例如使用C的数据类型来让内存任务更加有效或直接。PyInIne让你在Python应用程序中直接使用C代码。程序中的内联代码单独编译，但它在利用C语言所能提供的效率的同时，也让所有的代码都在同一个地方。
2.排序时使用键（key）

有很多老的Python排序代码，它们在你创建一个自定义的排序时花费你的时间，但在运行时确实能加速执行排序过程。元素排序的最好方法是尽可能使用键（key）和默认的sort()排序方法。例如，考虑下面的代码：


import operatorsomelist = [(1, 5, 8), (6, 2, 4), (9, 7, 5)]somelist.sort(key=operator.itemgetter(0))somelist#Output = [(1, 5, 8), (6, 2, 4), (9, 7, 5)]somelist.sort(key=operator.itemgetter(1))somelist#Output = [(6, 2, 4), (1, 5, 8), (9, 7, 5)]somelist.sort(key=operator.itemgetter(2))somelist#Output = [(6, 2, 4), (9, 7, 5), (1, 5, 8)],

每一个实例中，根据你选择的作为key参数部分的索引，数组进行了排序。类似于利用数字进行排序，这种方法同样适用于利用字符串排序。
3.优化循环

每种编程语言都会强调需要优化循环。当使用Python的时候，你可以依靠大量的技巧使得循环运行得更快。然而，开发者经常漏掉的一个方法是：避免在一个循环中使用点操作。例如，考虑下面的代码：


lowerlist = ['this', 'is', 'lowercase']upper = str.upperupperlist = []append = upperlist.appendfor word in lowerlist:append(upper(word))print(upperlist)#Output = ['THIS', 'IS', 'LOWERCASE']

每一次你调用方法str.upper，Python都会求该方法的值。然而，如果你用一个变量代替求得的值，值就变成了已知的，Python就可以更快地执行任务。优化循环的关键，是要减少Python在循环内部执行的工作量，因为Python原生的解释器在那种情况下，真的会减缓执行的速度。

（注意：优化循环的方法有很多，这只是其中的一个。例如，许多程序员都会说，列表推导是在循环中提高执行速度的最好方式。这里的关键是，优化循环是程序取得更高的执行速度的更好方式之一。）
4.使用较新版本的Python

在网上搜索Python信息，都会发现无数人在问，从Python一个版本迁移到另一个版本的问题的信息。一般来说，Python的每一个版本都包含了能让其比上个版本运行更快的优化。版本迁移的限制因素是，你喜欢的那些库是否已经迁移到Python的较新版本。相比于询问是否应该进行版本迁移，关键问题是确定一个新版本什么时候有足够的支持，以保证迁移的可行性。

你需要验证你的代码仍然运行。你需要在Python的新版本下使用你获得的新库，然后检查你的应用程序是否需要重大改变。只有在你作出必要的更正之后，你才会注意到版本之间的差别。然而，如果你正好确保你的应用程序能在新版本下运行，而不需要任何改变，你可能会错过那些版本升级带来的新特性。一旦你进行了迁移，你应该为你的新版本下的应用程序写一个说明，检查有问题的地方，并且优先考虑利用新版本的特性去更新那些地方。这样用户将会在升级的过程中更早的看到一个更大的性能提升。
5.尝试多种编码方法

如果每次你创建一个应用程序都是用相同的编码方法，几乎肯定会导致一些你的应用程序比它能够达到的运行效率慢的情况。作为分析过程的一部分，你可以尝试一些实验。例如，在一个字典中管理一些元素，你可以采用安全的方法确定元素是否已经存在并更新，或者你可以直接添加元素，然后作为异常处理该元素不存在情况。考虑第一个编码的例子：


n = 16myDict = {}for i in range(0, n):char = 'abcd'[i%4]if char not in myDict:myDict[char] = 0myDict[char] += 1print(myDict)

这段代码通常会在myDict开始为空时运行得更快。然而，当mydict通常被数据填充（或者至少大部分被充填）时，另一种方法效果更好。


n = 16myDict = {}for i in range(0, n):char = 'abcd'[i%4]try:myDict[char] += 1except KeyError:myDict[char] = 1print(myDict)

两种情况下具有相同的输出：{‘d': 4, ‘c': 4, ‘b': 4, ‘a': 4}。唯一的不同是这个输出是如何得到的。跳出固定的思维模式，创造新的编码技巧，能够帮助你利用你的应用程序获得更快的结果。
6.交叉编译应用程序

开发者有时会忘记，电脑实际上是不懂任何用于创建现代应用程序的语言，电脑所能懂得是机器代码。为了能在电脑上运行应用程序，你使用一个应用将人类可读的代码你转换成计算机能理解的。有时候用一种语言，比如Python，写一个应用，并用另一种语言，比如C++，运行它，从性能的角度来看是有意义的。这取决于你想要应用程序去做什么，以及主机系统可以提供的资源。

一个有趣的交叉编译器，Nuitka，可以将你的Python代码转换为C++代码。这么做的结果是，你可以在原生模式下执行应用程序，而不是依靠解释器。根据平台和任务，你可以看到一个显着的性能提升。

（注意：Nuitka目前还处于测试阶段，所以用它来产品程序时需要小心。实际上，目前最好将其用于实验。现在也有一些关于交叉编译是否是得到更好性能的最佳方式的讨论。开发者已经利用交叉编译好几年了，目的是实现特定的目标，比如更好的应用程序的速度。记住，每一个解决方案都会有得有失，你应该在将一个解决方案用于生产环境之前就好好考虑一下得失情况。）

在使用一个交叉编译器时，要确保它支持你使用的Python的版本。Nuitka支持Python2.6、2.7、3.2和3.3。想让这个方案发挥作用，你需要一个Python解释器和一个C++编译器。Nuitka支持多种C++编译器，包括Microsoft Visual Studio、MinGW 和 Clang/LLVM。

交叉编译也可能带来一些严重的负面影响。例如，当利用Nuitka工作时，你会发现即使一个小程序也能消耗很大的硬盘空间，这是因为Nuitka使用大量的动态链接库（DLLs）实现Python的功能。所以当你面对一个资源有限的系统时，这个方案可能不会很好的起作用。
总结

这六个技巧中的任意一个，都可以帮助你创造更快的Python程序。但任何技巧都不是万能的，不能每次都起作用。有些技巧在Python的特定版本下比其他技巧的更有效——甚至系统平台也能影响它们的效果。你需要配置你的应用，确定哪个地方让其运行缓慢，然后尝试似乎能最好的解决这些问题的一些技巧。

⑽ python函数可以提高代码执行速度吗

不同的编程语言，会有不同 的缓存策略，例如，通过哈希映射、优先级队列等实现缓存。因此，不同的编程语言，在缓存的解决方案方面具有很大差异，可能需要几分钟，也可能需要几小时。

但是，在Python中，标准工具包functools实现了一种名为LRU(Least Recently Used)的缓存策略，可以通过传入参数，来设定缓存最近多少次的计算结果，如果传入参数为None，那么则不缓存。