㈠ 如何提高python的计算精度
1.round()内置方法
round()如果只有一个数作为参数,不指定位数的时候,返回的是一个整数,而且是最靠近的整数(这点上类似四舍五入)。但是当出现.5的时候,两边的距离都一样,round()取靠近的偶数,这就是为什么round(2.5) = 2。当指定取舍的小数点位数的时候,一般情况也是使用四舍五入的规则,但是碰到.5的这样情况,如果要取舍的位数前的小树是奇数,则直接舍弃,如果偶数这向上取舍。看下面的示例:
>>>round(2.635,2)2.63>>>round(2.645,2)2.65>>>round(2.655,2)2.65>>>round(2.665,2)2.67>>>round(2.675,2)2.672. 使用格式化(效果和round()是一样的。)
>>> a=("%.2f"%2.635)>>> a'2.63'>>> a=("%.2f"%2.645)>>> a'2.65'>>> a=int(2.5)>>> a2
㈡ python 的运算能力比不上c,进行大量运算时候python比c慢的多,这对吗
运算能力是一样的,不过python是动态语言,变量本身带了类型信息,相同的计算会做更多的操作,所以会慢一些。不过动态语言的是优势是开发效率,C的是运行效率,如果是不会大量重复使用的小程序的,算开发+运行的总时间的话,python会比C的小很多,而且python的库很多,内置大整数和decimal模块,可以计算精度很高的运算。
㈢ Python性能分析指南
原文来源 | Huy Nguyen
译文来源 | 开源中国
虽然你所写的每个Python程序并不总是需要严密的性能分析,但是当这样的问题出现时,如果能知道Python生态系统中的许多种工具,这样总是可以让人安心的。
分析一个程序的性能可以归结为回答4个基本的问题:
1.它运行的有多块?
2.那里是速度的瓶颈?
3.它使用了多少内存?
4.哪里发生了内存泄漏?
下面,我们将用一些很酷的工具,深入细节的回答这些问题。
使用time工具粗糙定时
首先,我们可以使用快速然而粗糙的工具:古老的unix工具time,来为我们的代码检测运行时间。
上面三个输入变量的意义在文章 stackoverflow article 中有详细介绍。简单的说:
real – 表示实际的程序运行时间
user – 表示程序在用户态的cpu总时间
sys – 表示在内核态的cpu总时间
通过sys和user时间的求和,你可以直观的得到系统上没有其他程序运行时你的程序运行所需要的CPU周期。
若sys和user时间之和远远少于real时间,那么你可以猜测你的程序的主要性能问题很可能与IO等待相关。
使用计时上下文管理器进行细粒度计时
我们的下一个技术涉及访问细粒度计时信息的直接代码指令。这是一小段代码,我发现使用专门的计时测量是非常重要的:
timer.py
为了使用它,你需要用Python的with关键字和Timer上下文管理器包装想要计时的代码块。它将会在你的代码块开始执行的时候启动计时器,在你的代码块结束的时候停止计时器。
这是一个使用上述代码片段的例子:
我经常将这些计时器的输出记录到文件中,这样就可以观察我的程序的性能如何随着时间进化。
使用分析器逐行统计时间和执行频率
Robert Kern有一个称作line_profiler的不错的项目,我经常使用它查看我的脚步中每行代码多快多频繁的被执行。
想要使用它,你需要通过pip安装该python包:
一旦安装完成,你将会使用一个称做“line_profiler”的新模组和一个“kernprof.py”可执行脚本。
想要使用该工具,首先修改你的源代码,在想要测量的函数上装饰@profile装饰器。不要担心,你不需要导入任何模组。kernprof.py脚本将会在执行的时候将它自动地注入到你的脚步的运行时。
primes.py
一旦你已经设置好了@profile装饰器,使用kernprof.py执行你的脚步。
-l选项通知kernprof注入@profile装饰器到你的脚步的内建函数,-v选项通知kernprof在脚本执行完毕的时候显示计时信息。上述脚本的输出看起来像这样:
寻找具有高Hits值或高Time值的行。这些就是可以通过优化带来最大改善的地方。
程序使用了多少内存?
现在我们对计时有了较好的理解,那么让我们继续弄清楚程序使用了多少内存。我们很幸运,Fabian Pedregosa模仿Robert Kern的line_profiler实现了一个不错的内存分析器。
首先使用pip安装:
(这里建议安装psutil包,因为它可以大大改善memory_profiler的性能)。
就像line_profiler,memory_profiler也需要在感兴趣的函数上面装饰@profile装饰器:
想要观察你的函数使用了多少内存,像下面这样执行:
一旦程序退出,你将会看到看起来像这样的输出:
line_profiler和memory_profiler的IPython快捷方式
memory_profiler和line_profiler有一个鲜为人知的小窍门,两者都有在IPython中的快捷命令。你需要做的就是在IPython会话中输入以下内容:
在这样做的时候你需要访问魔法命令%lprun和%mprun,它们的行为类似于他们的命令行形式。主要区别是你不需要使用@profiledecorator来修饰你要分析的函数。只需要在IPython会话中像先前一样直接运行分析:
这样可以节省你很多时间和精力,因为你的源代码不需要为使用这些分析命令而进行修改。
内存泄漏在哪里?
cPython解释器使用引用计数做为记录内存使用的主要方法。这意味着每个对象包含一个计数器,当某处对该对象的引用被存储时计数器增加,当引用被删除时计数器递减。当计数器到达零时,cPython解释器就知道该对象不再被使用,所以删除对象,释放占用的内存。
如果程序中不再被使用的对象的引用一直被占有,那么就经常发生内存泄漏。
查找这种“内存泄漏”最快的方式是使用Marius Gedminas编写的objgraph,这是一个极好的工具。该工具允许你查看内存中对象的数量,定位含有该对象的引用的所有代码的位置。
一开始,首先安装objgraph:
一旦你已经安装了这个工具,在你的代码中插入一行声明调用调试器:
最普遍的对象是哪些?
在运行的时候,你可以通过执行下述指令查看程序中前20个最普遍的对象:
哪些对象已经被添加或删除?
我们也可以查看两个时间点之间那些对象已经被添加或删除:
谁引用着泄漏的对象?
继续,你还可以查看哪里包含给定对象的引用。让我们以下述简单的程序做为一个例子:
想要看看哪里包含变量x的引用,执行objgraph.show_backref()函数:
该命令的输出应该是一副PNG图像,保存在/tmp/backrefs.png,它看起来是像这样:
在运行的时候,你可以通过执行下述指令查看程序中前20个最普遍的对象:最下面有红字的盒子是我们感兴趣的对象。我们可以看到,它被符号x引用了一次,被列表y引用了三次。如果是x引起了一个内存泄漏,我们可以使用这个方法,通过跟踪它的所有引用,来检查为什么它没有自动的被释放。
回顾一下,objgraph 使我们可以:
显示占据python程序内存的头N个对象
显示一段时间以后哪些对象被删除活增加了
在我们的脚本中显示某个给定对象的所有引用
努力与精度
在本帖中,我给你显示了怎样用几个工具来分析python程序的性能。通过这些工具与技术的武装,你可以获得所有需要的信息,来跟踪一个python程序中大多数的内存泄漏,以及识别出其速度瓶颈。
对许多其他观点来说,运行一次性能分析就意味着在努力目标与事实精度之间做出平衡。如果感到困惑,那么就实现能适应你目前需求的最简单的解决方案。
参考
stack overflow – time explained(堆栈溢出 – 时间解释)
line_profiler(线性分析器)
memory_profiler(内存分析器)
objgraph(对象图)
end
㈣ python的运算速度与cpu性能有关吗
所有的编程语言最终都会被编译成机器语言(0和1),然后由CPU运算执行,所以都是和起性能相关的
㈤ 为什么Python适合科学计算
python做科学计算的特点:
1. 科学库很全。
科学库:numpy,scipy。作图:matplotlib。并行:mpi4py。调试:pdb。
2. 效率高。
如果你能学好numpy(array特性,f2py),那么你代码执行效率不会比fortran,C差太多。但如果你用不好array,那样写出来的程序效率就只能呵呵了。所以入门后,请一定花足够多的时间去了解numpy的array类。
3. 易于调试。
pdb是我见过最好的调试工具,没有之一。直接在程序断点处给你一个截面,这只有文本解释语言才能办到。毫不夸张的说,你用python开发程序只要fortran的1/10时间。
4. 其他。
它丰富而且统一,不像C++的库那么杂(好比linux的各种发行版),python学好numpy就可以做科学计算了。python的第三方库很全,但是不杂。python基于类的语言特性让它比起fortran等更加容易规模化开发。
python和老牌科学计算语言fortran相比,有着众多的优势,如果能用f2py接合两者,那是极好的。
㈥ Python在科学计算中和C比较,性能差距大吗
numpy/scipy底层都是纯C的,性能不会比来matlab差。scikit-learn,
genism等都是建立在numpy/scipy之上。源python只是提供了一个胶水层。另外纯python部分百也可以再用pypy
jit一下,性能相当可观度
㈦ Python计算性能差的几条原因
首先,Python对于底层操作得抽象使得vectorization(向量化)计算性能提升方法,不能一步实现。在纯Python代码中,我们不能除以元素均为float类型数据得列表,只能每次除以其中得一个元素,这就是不能向量化。当然,这个问题可以通过使用类似Numpy这样得外部库添加向量化操作来解决。
其次,Python对于底层操作得抽象使得基于使用L1/L2层cache来存储数据用于下次运算的性能优化方法不能实现。因为python得garbage_collect机制,使得数据在内存中不得到最优排列,这产生了许多内存碎片,进而会引发以下这种情况,如果某次数据传递完全利用了bus得带宽,但因为内存碎片造成了一次原算所需数据得缺失,所以本次运算会被丢弃,还要至少再重发一次数据,这就造成了数据发送时间得延长,也会造成性能下降。
然后是Python的动态类型和不被编译。许多静态语言,比如C,首先会对代码进行编译,而在编译阶段,编译器会使用很多技巧来最优化所生成得中间代码以及变量存储在内存中得排列方式(比如结构体中得边界对齐).而纯Python代码虽然也进行编译,但不会像C语言编译那样进行存储优化,而且更糟糕得是,其动态特征使得对原生Python代码得优化难以进行,因为在运行过程中python代码不断变化。但现在有一些方法来减轻这种问题对于性能得影响,首先想到得是Cextension,这个第三方模块让Python可以被编译。
最后,是大家最熟悉得GIL(全局线程琐),这使得纯Python代码在使用多线程技术时,不能利用当前最流行得多核CPU,极大得影响了其计算性能。不过,这个问题可以通过使用multiprocessing模块来首先进行多进程操作,或使用Cextension等其他方法来克服这个问题。
㈧ 如何看待 python 的性能
在这个行业,相信大家不止一个人也不止一次的说过类似的话:"一个成熟的系统不会是由一门语言去包打天下的”。
还有就是python 在企业中可以作为主要使用语言,比如做web开发的公司,为什么不呢,真正涉及到密集运算的部分很少,我们可以用很多替代方案解决,例如用c重写那部分,用python粘合,或者是用其他语言重写,再提供service接口等等,那个不是要命的问题,业务复杂度和需求变更才是要命的,这个小时讨论,只有两个小时编码,1个小时测试,快速发布到线上所有环境让用户使用才是要命的问题,这个时候你跟我扯性能,那不是搞笑吗?
还有一点是大部分国内的企业用非python是因为能用python真正解决问题的程序员相比之下少一些,这个来自于我们内部的数据统计,我们是做智能招聘的,通过大把(千万级)的简历分析得到的结果。(不是那种学了一段时间python就妄下定义的人),市场的选择而已,并不能说明问题。
是的,我自己所在的公司就是用python做为主要开发语言,也包括科学计算,海量分析相关的东西,没见到他们工作时说python性能差,性能差的地方只占他们工作的百分之几,换个语言就绕过去了,当然你要说用python去写游戏客户端图像处理那部分那就真的蛋疼了。每种语言都有他合适的应用场景。
㈨ python的性能
PPT的性能,这个你也找找这方面的消息吧,关于这个性能的一些介绍上多了解一下这个情况。