python数据平滑处理

A. python使用matplotlib怎么画光滑曲线

matplotlib 是Python最着名的绘图库，它提供了一整套和matlab相似的命令API，十分适合交互式地进行制图。而且也可以方便地将它作为绘图控件，嵌入GUI应用程序中。
它的文档相当完备，并且 Gallery页面 中有上百幅缩略图，打开之后都有源程序。因此如果你需要绘制某种类型的图，只需要在这个页面中浏览/复制/粘贴一下，基本上都能搞定。

在Linux下比较着名的数据图工具还有gnuplot，这个是免费的，Python有一个包可以调用gnuplot，但是语法比较不习惯，而且画图质量不高。
而 Matplotlib则比较强：Matlab的语法、python语言、latex的画图质量（还可以使用内嵌的latex引擎绘制的数学公式）。

快速绘图
matplotlib的pyplot子库提供了和matlab类似的绘图API，方便用户快速绘制2D图表。例子：

?

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31

#
coding=gbk
'''
Created
on Jul 12,2014
python
科学计算学习：numpy快速处理数据测试
@author:
皮皮
'''
importstring
importmatplotlib.pyplot
as plt
importnumpy
as np

if__name__
== '__main__':
file
= open(E:machine_learningdatasetshousing_datahousing_data_ages.txt, 'r')
linesList
= file.readlines()
#
print(linesList)
linesList
= [line.strip().split(,) forline
in linesList]
file.close()
print(linesList:)
print(linesList)
#
years = [string.atof(x[0])forx
in linesList]
years
= [x[0]forx
in linesList]
print(years)
price
= [x[1]forx
in linesList]
print(price)
plt.plot(years,
price, 'b*')#,label=$cos(x^2)$)
plt.plot(years,
price, 'r')
plt.xlabel(years(+2000))
plt.ylabel(housing
average price(*2000yuan))
plt.ylim(0,15)
plt.title('line_regression
& gradient decrease')
plt.legend()
plt.show()

B. python的语言特点有

Python语言在软件开发公司中具有多样化的应用，例如游戏、Web框架和应用程序、语言开发、原型设计、图形设计应用程序等。这使得该语言的应用会比业内使用的其他编程语言更多。它的一些优点是 -
广泛的支持库
它提供大型标准库，包括字符串操作、Internet、Web服务工具、操作系统接口和协议等领域。大多数高度使用的编程任务已编写到其中，限制了用Python编写的代码的长度。
集成功能
Python集成了企业应用程序集成，通过调用COM或COBRA组件可以轻松开发Web服务。它具有强大的控制功能，因为它通过Jython直接通过C、C ++或Java调用。 Python还处理XML和其他标记语言，因为它可以通过相同的字节代码在所有现代操作系统上运行。
提高程序员的工作效率
该语言具有广泛的支持库和干净的面向对象设计，使用Java、VB、Perl、C、C ++和C＃等语言时，程序员的工作效率提高了2到10倍。
生产率
凭借其强大的流程集成功能、单元测试框架和增强的控制功能有助于提高大多数应用程序的速度和应用程序的生产率。它是构建可扩展的多协议网络应用程序的绝佳选择。
Python的局限性或缺点
Pyt hon具有各种各样的优势特性，与其他编程相比，程序员更喜欢这种语言，因为它易于学习和编写代码。但是，这种语言仍然没有在包括企业开发商店在内的一些计算领域占据一席之地。因此，这种语言可能无法解决某些企业解决方案，其局限性包括 -
使用其他语言有困难
Python爱好者已经习惯了它的特性和广泛的库，因此他们在学习或使用其他编程语言时遇到了问题。 Python专家可能会看到对“值”或变量“类型”的声明、添加花括号或分号作为繁重任务的语法要求。
移动计算领域的弱势
Python已经在许多桌面和服务器平台上出现，但它被视为移动计算的弱语言。这就是为什么很少有移动应用程序像Carbonnelle一样内置的原因。
速度变慢
Python在解释器而不是编译器的帮助下执行，这将导致它变慢，因为编译和执行有助于它正常工作。另一方面，可以看出它对于许多Web应用程序来说也很快。
运行时错误
Python语言是动态类型的，因此它有许多Python开发人员报告的设计限制。甚至可以看出它需要更多的测试时间，并且在最终运行应用程序时，会出现错误。
欠发达的数据库访问层
与JDBC和ODBC等流行技术相比，Python的数据库访问层有点不发达和原始。 但是，它不能应用于需要复杂遗留数据平滑交互的企业。

C. Python爬虫：如何在一个月内学会爬取大规模数

爬虫是入门Python最好的方式，没有之一。Python有很多应用的方向，比如后台开发、web开发、科学计算等等，但爬虫对于初学者而言更友好，原理简单，几行代码就能实现基本的爬虫，学习的过程更加平滑，你能体会更大的成就感。
掌握基本的爬虫后，你再去学习Python数据分析、web开发甚至机器学习，都会更得心应手。因为这个过程中，Python基本语法、库的使用，以及如何查找文档你都非常熟悉了。
对于小白来说，爬虫可能是一件非常复杂、技术门槛很高的事情。比如有人认为学爬虫必须精通 Python，然后哼哧哼哧系统学习 Python 的每个知识点，很久之后发现仍然爬不了数据；有的人则认为先要掌握网页的知识，遂开始 HTMLCSS，结果入了前端的坑，瘁……
但掌握正确的方法，在短时间内做到能够爬取主流网站的数据，其实非常容易实现，但建议你从一开始就要有一个具体的目标。
在目标的驱动下，你的学习才会更加精准和高效。那些所有你认为必须的前置知识，都是可以在完成目标的过程中学到的。这里给你一条平滑的、零基础快速入门的学习路径。
1.学习 Python 包并实现基本的爬虫过程
2.了解非结构化数据的存储
3.学习scrapy，搭建工程化爬虫
4.学习数据库知识，应对大规模数据存储与提取
5.掌握各种技巧，应对特殊网站的反爬措施
6.分布式爬虫，实现大规模并发采集，提升效率
- -
学习 Python 包并实现基本的爬虫过程
大部分Python爬虫都是按“发送请求——获得页面——解析页面——抽取并储存内容”这样的流程来进行，这其实也是模拟了我们使用浏览器获取网页信息的过程。
Python爬虫相关的包很多：urllib、requests、bs4、scrapy、pyspider 等，建议从requests+Xpath 开始，requests 负责连接网站，返回网页，Xpath 用于解析网页，便于抽取数据。
如果你用过 BeautifulSoup，会发现 Xpath 要省事不少，一层一层检查元素代码的工作，全都省略了。这样下来基本套路都差不多，一般的静态网站根本不在话下，豆瓣、糗事网络、腾讯新闻等基本上都可以上手了。
当然如果你需要爬取异步加载的网站，可以学习浏览器抓包分析真实请求或者学习Selenium来实现自动化，这样，知乎、时光网、猫途鹰这些动态的网站也可以迎刃而解。
- -
了解非结构化数据的存储
爬回来的数据可以直接用文档形式存在本地，也可以存入数据库中。
开始数据量不大的时候，你可以直接通过 Python 的语法或 pandas 的方法将数据存为csv这样的文件。
当然你可能发现爬回来的数据并不是干净的，可能会有缺失、错误等等，你还需要对数据进行清洗，可以学习 pandas 包的基本用法来做数据的预处理，得到更干净的数据。
- -
学习 scrapy，搭建工程化的爬虫
掌握前面的技术一般量级的数据和代码基本没有问题了，但是在遇到非常复杂的情况，可能仍然会力不从心，这个时候，强大的 scrapy 框架就非常有用了。
scrapy 是一个功能非常强大的爬虫框架，它不仅能便捷地构建request，还有强大的 selector 能够方便地解析 response，然而它最让人惊喜的还是它超高的性能，让你可以将爬虫工程化、模块化。
学会 scrapy，你可以自己去搭建一些爬虫框架，你就基本具备爬虫工程师的思维了。
- -
学习数据库基础，应对大规模数据存储
爬回来的数据量小的时候，你可以用文档的形式来存储，一旦数据量大了，这就有点行不通了。所以掌握一种数据库是必须的，学习目前比较主流的 MongoDB 就OK。
MongoDB 可以方便你去存储一些非结构化的数据，比如各种评论的文本，图片的链接等等。你也可以利用PyMongo，更方便地在Python中操作MongoDB。
因为这里要用到的数据库知识其实非常简单，主要是数据如何入库、如何进行提取，在需要的时候再学习就行。
- -
掌握各种技巧，应对特殊网站的反爬措施
当然，爬虫过程中也会经历一些绝望啊，比如被网站封IP、比如各种奇怪的验证码、userAgent访问限制、各种动态加载等等。
遇到这些反爬虫的手段，当然还需要一些高级的技巧来应对，常规的比如访问频率控制、使用代理IP池、抓包、验证码的OCR处理等等。
往往网站在高效开发和反爬虫之间会偏向前者，这也为爬虫提供了空间，掌握这些应对反爬虫的技巧，绝大部分的网站已经难不到你了。
- -
分布式Python爬虫，实现大规模并发采集
爬取基本数据已经不是问题了，你的瓶颈会集中到爬取海量数据的效率。这个时候，相信你会很自然地接触到一个很厉害的名字：分布式爬虫。
分布式这个东西，听起来很恐怖，但其实就是利用多线程的原理让多个爬虫同时工作，需要你掌握 Scrapy + MongoDB + Redis 这三种工具。
Scrapy 前面我们说过了，用于做基本的

D. python的opencv怎么对图像进行平滑处理

帧差法的代码：
#define
threshold_diff1
10
//设置简单帧差法阈值
#define
threshold_diff2
10
//设置简单帧差法阈值
int
main(int
argc,unsigned
char*
argv[])
{
Mat
img_src1,img_src2,img_src3;//3帧法需要3帧图片
Mat
img_dst,gray1,gray2

E. 如何使用Python绘制光滑实验数据曲线

楼主的问题是否是“怎样描绘出没有数据点的位置的曲线”，或者是“x在某个位置时，即使没有数据，我也想知道他的y值是多少，好绘制曲线”。这就是个预测未知数据的问题。

传统的方法就是回归，python的scipy可以做。流行一点的就是机器学习，python的scikit-learn可以做。

但问题在于，仅由光强能预测出开路电压吗（当然，有可能可以预测。）？就是你的图1和图2的曲线都不能说是不可能发生的情况吧，所以想预测开路电压值还需引入其他影响因子。这样你才能知道平滑曲线到底应该像图1还是图2还是其他样子。

如果是单因子的话，从散点图观察，有点像 y = Alnx + B，用线性回归模型确定A,B的值就可以通过x预测y的值，从而绘制平滑的曲线了。

F. arima模型python 怎么看平稳性

时间序列分析(一) 如何判断序列是否平稳
序列平稳不平稳，一般采用两种方法：
第一种：看图法
图是指时序图，例如(eviews画滴)：

分析：什么样的图不平稳，先说下什么是平稳，平稳就是围绕着一个常数上下波动。
看看上面这个图，很明显的增长趋势，不平稳。

第二种：自相关系数和偏相关系数
还以上面的序列为例：用eviews得到自相关和偏相关图，Q统计量和伴随概率。

分析：判断平稳与否的话，用自相关图和偏相关图就可以了。
平稳的序列的自相关图和偏相关图不是拖尾就是截尾。截尾就是在某阶之后，系数都为 0 ，怎么理解呢，看上面偏相关的图，当阶数为 1 的时候，系数值还是很大， 0.914. 二阶长的时候突然就变成了 0.050. 后面的值都很小，认为是趋于 0 ，这种状况就是截尾。再就是拖尾，拖尾就是有一个衰减的趋势，但是不都为 0 。
自相关图既不是拖尾也不是截尾。以上的图的自相关是一个三角对称的形式，这种趋势是单调趋势的典型图形。

下面是通过自相关的其他功能
如果自相关是拖尾，偏相关截尾，则用 AR 算法
如果自相关截尾，偏相关拖尾，则用 MA 算法
如果自相关和偏相关都是拖尾，则用 ARMA 算法， ARIMA 是 ARMA 算法的扩展版，用法类似 。
不平稳，怎么办？
答案是差分
还是上面那个序列，两种方法都证明他是不靠谱的，不平稳的。确定不平稳后，依次进行1阶、2阶、3阶...差分，直到平稳位置。先来个一阶差分，上图。

从图上看，一阶差分的效果不错，看着是平稳的。

G. 怎么用python画数据分布直方图

计算频数：
给定一个序列t：
hist = {}
for x in t:
hist[x] = hist.get(x,0)+1
得到的结果是一个将值映射到其频数的字典。将其除以n即可把频数转换成频率，这称为归一化：
n = float(len(t))
pmf = {}
for x, freq in hist.items():
pmf[x] = freq/n

绘制直方图：
Vals, freqs = hist.Render()
rectangles = pyplot.bar(vals, freqs)
pyplot.show()

绘制概率质量函数：
采用柱状图，可以用pyplot.bar或myplot.Hist。如果Pmf中的值不多，柱状图就比较合适
采用折线图，可以用pyplot.plot或者myplot.Pmf。如果Pmf中的值较多，且比较平滑，折线图就比较合适。

*百分比差异图
直观显示两组数据的分布差异，详见教材。

H. 怎么用python做光滑折线图，谢谢了，困扰我很多天了

参考python散点的平滑曲线化方法

I. python有哪些特点和优点

显着的优点

Python 语言拥有诸多的优点，这其中，以下几个优点特别显着：

简单易学：Python语言相对于其他编程语言来说，属于比较容易学习的一门编程语言，它注重的是如何解决问题而不是编程语言的语法和结构。正是因为Python语言简单易学，所以，已经有越来越多的初学者选择Python语言作为编程的入门语言。例如，在浙江省 2017年高中信息技术改革中，《算法与程序设计》课程将使用 Python语言替换原有的VB 语言。

语法优美：Python语言力求代码简洁、优美。在Python语言中，采用缩进来标识代码块，通过减少无用的大括号，去除语句末尾的分号等视觉杂讯，使得代码的可读性显着提高。阅读一段良好的Python程序就感觉像是在读英语一样，它使你能够专注于解决问题，而不用太纠结编程语言本身的语法。

丰富强大的库：Python语言号称自带电池(Battery Included)，寓意是Python语言的类库非常的全面，包含了解决各种问题的类库。无论实现什么功能，都有现成的类库可以使用。如果一个功能比较特殊，标准库没有提供相应的支持，那么，很大概率也会有相应的开源项目提供了类似的功能。合理使用Python的类库和开源项目，能够快速的实现功能，满足业务需求。

开发效率高：Python的各个优点是相辅相成的。例如，Python语言因为有了丰富强大的类库，所以，Python的开发效率能够显着提高。相对于 C、C++ 和 Java等编译语言，Python开发者的效率提高了数倍。实现相同的功能，Python代码的文件往往只有 C、C++和Java代码的1/5~1/3。虽然Python语言拥有很多吸引人的特性，但是，各大互联网公司广泛使用Python语言，很大程度上是因为Python语言开发效率高这个特点。开发效率高的语言，能够更好的满足互联网快速迭代的需求，因此，Python语言在互联网公司使用非常广泛。

应用领域广泛：Python语言的另一大优点就是应用领域广泛，工程师可以使用Python 做很多的事情。例如，Web开发、网络编程、自动化运维、Linux系统管理、数据分析、科学计算、人工智能、机器学习等等。Python语言介于脚本语言和系统语言之间，我们根据需要，既可以将它当做一门脚本语言来编写脚本，也可以将它当做一个系统语言来编写服务。

不可忽视的缺点

毫无疑问，Python确实有用很多的优点，每一个优点看起来都非常吸引人。但是，Python并不是没有缺点的，最主要的缺点有以下几个：

Python的执行速度不够快。当然，这也不是一个很严重的问题，一般情况下，我们不会拿Python语言与C/C++这样的语言进行直接比较。在Python语言的执行速度上，一方面，网络或磁盘的延迟，会抵消掉部分Python本身消耗的时间；另一方面，因为Python 特别容易和C结合起来，因此，我们可以通过分离一部分需要优化速度的应用，将其转换为编译好的扩展，并在整个系统中使用Python脚本将这部分应用连接起来，以提高程序的整体效率。

Python的GIL锁限制并发：Python的另一个大问题是，对多处理器支持不好。如果读者接触Python时间比较长，那么，一定听说过GIL这个词。GIL是指Python全局解释器锁（Global Interpreter Lock），当Python的默认解释器要执行字节码时，都需要先申请这个锁。这意味着，如果试图通过多线程扩展应用程序，将总是被这个全局解释器锁限制。当然，我们可以使用多进程的架构来提高程序的并发，也可以选择不同的Python实现来运行我们的程序。

Python 2与Python 3不兼容： 如果一个普通的软件或者库，不能够做到后向兼容，那么，它会被用户无情的抛弃了。在Python中，一个槽点是Python 2与Python 3不兼容。因为Python没有向后兼容，给所有的Python工程师带来了无数的烦恼。

上述就是总结的Python语言的优缺点。总体来说，Python目前的发展还是非常不错的。借着人工智能时代的东风，Python开发人员的未来一定会很光明。

J. python scikit-learn 有什么算法

1，前言

很久不发文章，主要是Copy别人的总感觉有些不爽，所以整理些干货，希望相互学习吧。不啰嗦，进入主题吧，本文主要时说的为朴素贝叶斯分类算法。与逻辑回归，决策树一样，是较为广泛使用的有监督分类算法，简单且易于理解（号称十大数据挖掘算法中最简单的算法）。但其在处理文本分类，邮件分类，拼写纠错，中文分词，统计机器翻译等自然语言处理范畴较为广泛使用，或许主要得益于基于概率理论，本文主要为小编从理论理解到实践的过程记录。

2，公式推断

一些贝叶斯定理预习知识：我们知道当事件A和事件B独立时，P（AB）=P（A）（B），但如果事件不独立，则P（AB）=P（A）P（B|A）。为两件事件同时发生时的一般公式，即无论事件A和B是否独立。当然也可以写成P（AB）=P（B）P（A|B），表示若要两件事同事发生，则需要事件B发生后，事件A也要发生。

由上可知，P（A）P（B|A）= P（B）P（A|B）

推出P（B|A）=

其中P（B）为先验概率，P（B|A）为B的后验概率，P（A|B）为A的后验概率（在这里也为似然值），P（A）为A的先验概率（在这也为归一化常量）。

由上推导可知，其实朴素贝叶斯法就是在贝叶斯定理基础上，加上特征条件独立假设，对特定输入的X（样本，包含N个特征），求出后验概率最大值时的类标签Y（如是否为垃圾邮件），理解起来比逻辑回归要简单多，有木有，这也是本算法优点之一，当然运行起来由于得益于特征独立假设，运行速度也更快。

8. Python代码

# -*-coding: utf-8 -*-

importtime

fromsklearn import metrics

fromsklearn.naive_bayes import GaussianNB

fromsklearn.naive_bayes import MultinomialNB

fromsklearn.naive_bayes import BernoulliNB

fromsklearn.neighbors import KNeighborsClassifier

fromsklearn.linear_model import LogisticRegression

fromsklearn.ensemble import RandomForestClassifier

fromsklearn import tree

fromsklearn.ensemble import GradientBoostingClassifier

fromsklearn.svm import SVC

importnumpy as np

importurllib

# urlwith dataset

url ="-learning-databases/pima-indians-diabetes/pima-indians-diabetes.data"

#download the file

raw_data= urllib.request.urlopen(url)

#load the CSV file as a numpy matrix

dataset= np.loadtxt(raw_data, delimiter=",")

#separate the data from the target attributes

X =dataset[:,0:7]

#X=preprocessing.MinMaxScaler().fit_transform(x)

#print(X)

y =dataset[:,8]

print(" 调用scikit的朴素贝叶斯算法包GaussianNB ")

model= GaussianNB()

start_time= time.time()

model.fit(X,y)

print('training took %fs!' % (time.time() - start_time))

print(model)

expected= y

predicted= model.predict(X)

print(metrics.classification_report(expected,predicted))

print(metrics.confusion_matrix(expected,predicted))

print(" 调用scikit的朴素贝叶斯算法包MultinomialNB ")

model= MultinomialNB(alpha=1)

start_time= time.time()

model.fit(X,y)

print('training took %fs!' % (time.time() - start_time))

print(model)

expected= y

predicted= model.predict(X)

print(metrics.classification_report(expected,predicted))

print(metrics.confusion_matrix(expected,predicted))

print(" 调用scikit的朴素贝叶斯算法包BernoulliNB ")

model= BernoulliNB(alpha=1,binarize=0.0)

start_time= time.time()

model.fit(X,y)

print('training took %fs!' % (time.time() - start_time))

print(model)

expected= y

predicted= model.predict(X)

print(metrics.classification_report(expected,predicted))

print(metrics.confusion_matrix(expected,predicted))

print(" 调用scikit的KNeighborsClassifier ")

model= KNeighborsClassifier()

start_time= time.time()

model.fit(X,y)

print('training took %fs!' % (time.time() - start_time))

print(model)

expected= y

predicted= model.predict(X)

print(metrics.classification_report(expected,predicted))

print(metrics.confusion_matrix(expected,predicted))

print(" 调用scikit的LogisticRegression(penalty='l2')")

model= LogisticRegression(penalty='l2')

start_time= time.time()

model.fit(X,y)

print('training took %fs!' % (time.time() - start_time))

print(model)

expected= y

predicted= model.predict(X)

print(metrics.classification_report(expected,predicted))

print(metrics.confusion_matrix(expected,predicted))

print(" 调用scikit的RandomForestClassifier(n_estimators=8) ")

model= RandomForestClassifier(n_estimators=8)

start_time= time.time()

model.fit(X,y)

print('training took %fs!' % (time.time() - start_time))

print(model)

expected= y

predicted= model.predict(X)

print(metrics.classification_report(expected,predicted))

print(metrics.confusion_matrix(expected,predicted))

print(" 调用scikit的tree.DecisionTreeClassifier()")

model= tree.DecisionTreeClassifier()

start_time= time.time()

model.fit(X,y)

print('training took %fs!' % (time.time() - start_time))

print(model)

expected= y

predicted= model.predict(X)

print(metrics.classification_report(expected,predicted))

print(metrics.confusion_matrix(expected,predicted))

print(" 调用scikit的GradientBoostingClassifier(n_estimators=200) ")

model= GradientBoostingClassifier(n_estimators=200)

start_time= time.time()

model.fit(X,y)

print('training took %fs!' % (time.time() - start_time))

print(model)

expected= y

predicted= model.predict(X)

print(metrics.classification_report(expected,predicted))

print(metrics.confusion_matrix(expected,predicted))

print(" 调用scikit的SVC(kernel='rbf', probability=True) ")

model= SVC(kernel='rbf', probability=True)

start_time= time.time()

model.fit(X,y)

print('training took %fs!' % (time.time() - start_time))

print(model)

expected= y

predicted= model.predict(X)

print(metrics.classification_report(expected,predicted))

print(metrics.confusion_matrix(expected,predicted))

"""

# 预处理代码集锦

importpandas as pd

df=pd.DataFrame(dataset)

print(df.head(3))

print(df.describe())##描述性分析

print(df.corr())##各特征相关性分析

##计算每行每列数据的缺失值个数

defnum_missing(x):

return sum(x.isnull())

print("Missing values per column:")

print(df.apply(num_missing, axis=0)) #axis=0代表函数应用于每一列

print(" Missing values per row:")

print(df.apply(num_missing, axis=1).head()) #axis=1代表函数应用于每一行"""