ngandrewpython实现

Ⅰ 如何正确学习数据科学中的 python

作者 | skura

来源 | AI开发者

大多数有抱负的数据科学家是通过学习为开发人员开设的编程课程开始认识 python 的，他们也开始解决类似 leetcode 网站上的 python 编程难题。他们认为在开始使用 python 分析数据之前，必须熟悉编程概念。

资深数据分析师 Manu Jeevan 认为，这是一个巨大的错误，因为数据科学家使用 python 来对数据进行检索、清洗、可视化和构建模型，而不是开发软件应用程序。实际上，为了完成这些任务，你必须将大部分时间集中在学习 python 中的模块和库上。他认为，学习数据科学的正确姿势应该如下文，AI 开发者进行了编译整理。

请按照下面这个步骤来学习数据科学的 python。

配置编程环境

Jupyter Notebook 是开发和展示数据科学项目的强大编程环境。

在电脑上安装 Jupyter Notebook 最简单的方法是通过 Anaconda 进行安装。Anaconda 是数据科学中使用最广泛的 python 工具，它预装了所有最流行的库。

你可以浏览标题为“A Beginner’s Guide to Installing Jupyter Notebook Using Anaconda Distribution”的博客文章（https://medium.com/better-programming/beginners-quick-guide-for-handling-issues-launching-jupyter-notebook-for-python-using-anaconda-8be3d57a209b），了解如何安装 Anaconda。安装 Anaconda 时，请选择最新的 python 3 版本。

安装完 Anaconda 后，请阅读 Code Academy 的这篇文章（https://www.codecademy.com/articles/how-to-use-jupyter-notebooks），了解如何使用 Jupyter Notebook。

只学习 python 的基础知识

Code Academy 有一门关于 python 的优秀课程，大约需要 20 个小时才能完成。你不必升级到 pro 版本，因为你的目标只是熟悉 python 编程语言的基础知识。课程地址：https://www.codecademy.com/learn/learn-python-3

NumPy 和 Pandas，学习的绝佳资源

在处理计算量大的算法和大量数据时，python 速度较慢。你可能会问，既然如此那为什么 python 是数据科学最流行的编程语言？

答案是，在 python 中，很容易以 C 或 Fortran 扩展的形式将数字处理任务转移到底层。这正是 NumPy 和 Pandas 所做的事情。

首先，你应该学会 NumPy。它是用 python 进行科学计算的最基本的模块。NumPy 支持高度优化的多维数组，这是大多数机器学习算法最基本的数据结构。

接下来，你应该学习 Pandas。数据科学家花费大部分时间清洗数据，这也被称为数据整。

Pandas 是操作数据最流行的 python 库。Pandas 是 NumPy 的延伸。Pandas 的底层代码广泛使用 NumPy 库。Pandas 的主要数据结构称为数据帧。

Pandas 的创造者 Wes McKinney 写了一本很棒的书，叫做《Python for Data Analysis》（https://www.amazon.com/Python-Data-Analysis-Wrangling-IPython-ebook/dp/B075X4LT6K）。在书中的第 4、5、7、8 和 10 章可以学习 Pandas 和 NumPy。这些章节涵盖了最常用的 NumPy 和 Pandas 特性来处理数据。

学习使用 Matplotlib 可视化数据

Matplotlib 是用于创建基本可视化图形的基本 python 包。你必须学习如何使用 Matplotlib 创建一些最常见的图表，如折线图、条形图、散点图、柱状图和方框图。

另一个建立在 Matplotlib 之上并与 Pandas 紧密结合的好的绘图库是 Seaborn。在这个阶段，我建议你快速学习如何在 Matplotlib 中创建基本图表，而不是专注于 Seaborn。

我写了一个关于如何使用 Matplotlib 开发基本图的教程，该教程由四个部分组成。

你可以通过这些教程来掌握 Matplotlib 的基本知识。

简而言之，你不必花太多时间学习 Matplotlib，因为现在公司已经开始采用 Tableau 和 Qlik 等工具来创建交互式可视化。

如何使用 SQL 和 python

数据有组织地驻留在数据库中。因此，你需要知道如何使用 SQL 检索数据，并使用 python 在 Jupyter Notebook 中执行分析。

数据科学家使用 SQL 和 Pandas 来操纵数据。有一些数据操作任务使用 SQL 就可以很容易地执行，并且有一些任务可以使用 Pandas 高效地完成。我个人喜欢使用 SQL 来检索数据并在 Pandas 中进行操作。

如今，公司使用 Mode Analytics 和 Databricks 等分析平台来轻松地使用 python 和 SQL。

所以，你应该知道如何一起有效地使用 SQL 和 python。要了解这一点，你可以在计算机上安装 SQLite 数据库，并在其中存储一个 CSV 文件，然后使用 python 和 SQL 对其进行分析。

这里有一篇精彩的博客文章，向你展示了如何做到这一点：Programming with Databases in Python using SQLite（https://medium.com/analytics-vidhya/programming-with-databases-in-python-using-sqlite-4cecbef51ab9）。

在浏览上述博客文章之前，你应该了解 SQL 的基础知识。Mode Analytics 上有一个很好的关于 SQL 的教程：Introction to SQL（https://medium.com/analytics-vidhya/programming-with-databases-in-python-using-sqlite-4cecbef51ab9）。通过他们的基本 SQL 部分，了解 SQL 的基本知识，每个数据科学家都应该知道如何使用 SQL 有效地检索数据。

学习和 python 相关的基本统计学知识

多数有抱负的数据科学家在不学习统计学的基础知识的情况下，就直接跳到机器学习知识的学习中。

不要犯这个错误，因为统计学是数据科学的支柱。而且，很多数据科学家学习统计学只是学习理论概念，而不是学习实践概念。

我的意思是，通过实践概念，你应该知道什么样的问题可以用统计学来解决，了解使用统计数据可以解决哪些挑战。

以下是你应该了解的一些基本统计概念：

抽样、频率分布、平均值、中位数、模式、变异性度量、概率基础、显着性检验、标准差、z 评分、置信区间和假设检验（包括 A/B 检验）

要学习这些知识，有一本很好的书可以看看：《Practical Statistics for Data Scientists: 50 Essential Concepts》（https://www.amazon.com/Practical-Statistics-Data-Scientists-Essential/dp/9352135652）。不幸的是，本书中的代码示例是用 R 编写的，但是很多人包括我自己在内使用的是 Python。

我建议你阅读本书的前四章。阅读本书的前 4 章，了解我前面提到的基本统计概念，你可以忽略代码示例，只了解这些概念。本书的其余章节主要集中在机器学习上。我将在下一部分讨论如何学习机器学习。

大多数人建议使用 Think Stats （https://www.amazon.com/Think-Stats-Allen-B-Downey/dp/1449307116）来学习 python 的统计知识，但这本书的作者教授了自己的自定义函数，而不是使用标准的 python 库来进行统计知识讲解。因此，我不推荐这本书。

接下来，你的目标是实现在 Python 中学习的基本概念。StatsModels 是一个流行的 python 库，用于在 python 中构建统计模型。StatsModels 网站提供了关于如何使用 Python 实现统计概念的优秀教程。

或者，你也可以观看 Ga?l Varoquaux 的视频。他向你展示了如何使用 Pandas 和统计模型进行推理和探索性统计。

使用 Scikit-Learn 进行机器学习

Scikit-Learn 是 Python 中最流行的机器学习库之一。你的目标是学习如何使用 Scikit Learn 实现一些最常见的机器学习算法。

你应该像下面这样做。

首先，观看 Andrew Ng 在 Coursera 上的机器学习课程（https://www.coursera.org/learn/machine-learning）的第 1、2、 3、6,、7 和第 8 周视频。我跳过了关于神经网络的部分，因为作为初学者，你必须关注最通用的机器学习技术。

完成后，阅读“Hands-On Machine Learning with Scikit-Learn and TensorFlow”一书（https://www.amazon.com/Hands-Machine-Learning-Scikit-Learn-TensorFlow/dp/1491962291）。你只需浏览这本书的第一部分（大约 300 页），它是最实用的机器学习书籍之一。

通过完成本书中的编码练习，你将学习如何使用 python 实现你在 Andrew Ng 课程中学习到的理论概念。

结论

最后一步是做一个涵盖上述所有步骤的数据科学项目。你可以找到你喜欢的数据集，然后提出有趣的业务问题，再通过分析来回答这些问题。但是，请不要选择像泰坦尼克号这样的通用数据集。你可以阅读“19 places to find free data sets for your data science project”来查找合适的数据集（https://www.dataquest.io/blog/free-datasets-for-projects/）。

另一种方法是将数据科学应用到你感兴趣的领域。例如，如果你想预测股票市场价格，那么你可以从 Yahoo Finance （https://www.scrapehero.com/scrape-yahoo-finance-stock-market-data/）中获取实时数据，并将其存储在 SQL 数据库中，然后使用机器学习来预测股票价格。

如果你希望从其它行业转行到数据科学，我建议你完成一个利用你的领域专业知识的项目。关于这些，我在以前的博客文章"A Step-by-Step Guide to Transitioning your Career to Data Science – Part 1"（https://www.kdnuggets.com/2019/05/guide-transitioning-career-data-science-part-1.html） 和"A Step-by-Step Guide to Transitioning your Career to Data Science – Part 2"（https://www.kdnuggets.com/2019/06/guide-transitioning-career-data-science-part-2.html）中有提到过。

Ⅱ 如何用Python做爬虫

在我们日常上网浏览网页的时候，经常会看到一些好看的图片，我们就希望把这些图片保存下载，或者用户用来做桌面壁纸，或者用来做设计的素材。

我们最常规的做法就是通过鼠标右键，选择另存为。但有些图片鼠标右键的时候并没有另存为选项，还有办法就通过就是通过截图工具截取下来，但这样就降低图片的清晰度。好吧其实你很厉害的，右键查看页面源代码。

我们可以通过python来实现这样一个简单的爬虫功能，把我们想要的代码爬取到本地。下面就看看如何使用python来实现这样一个功能。

Ⅲ 人工智能专业的学习步骤

这个可以到专业学习院校了解
人工智能
就业方向：科学研究，工程开发。计算机方向。软件工程。应用数学。电气自动化。通信。机械制造
人工智能可以说是一门高尖端学科，属于社会科学和自然科学的交叉，涉及了数学、心理学、神经生理学、信息论、计算机科学、哲学和认知科学、不定性论以及控制论。研究范畴包括自然语言处理、机器学习、神经网络、模式识别、智能搜索等。应用领域包括机器翻译、语言和图像理解、自动程序设计、专家系统等。

Ⅳ 一周就学会Python你真的能够做到吗

也许在很多人看来，python是一门很“容易”学的编程语言，“容易”到什么程度？他们认为：一周就能学会python！

在知乎上有一条有趣的动态：

该条动态的作者认为一个高考600分以上的人，一天时间能学会 Python，一周时间就能推完 Andrew Ng 的 ML 课程。

恰好，我是一个高考600分以上的人，学过 Python，也看过 Andrew Ng 的 Machine Learning 课程。所以我想设身处地就这个话题聊一聊，到底能不能在短时间内学会 Python，这里我们不限制时间为一天，就一周好了。

我并不反对上图中作者的观点，因为我确实只用了一天就初学和上手了 Python（大学四年级），还写出了小应用。不过这个学习成果存在一个不可忽略的前提条件：在学习 Python 之前，我已经写过两年 C++ 和一年 Java 了。

和没有一点基础的人相比，我已经拥有了大量的编程实践经验和计算机理论知识，所以我能一天上手 Python，并不是非常奇怪和罕见的现象。

针对上面的问题，我的观点是：即使是高考600分以上的人，如果没有一定的编程基础，也很难在一周内学会 Python。

当然，也不排除有人是天才，可以速成。但是至今我还没有发现这样的人。我女朋友、我周围的同学，高考都是600分甚至650分以上，但我真的没有见过谁能一天或一周就学会编程的。

那么，更一般的情况是，高考600分以上的人尚且不能一周学会 Python，那些没有600分以下的人是不是更难学会呢？从概率上讲，是的，这里不是歧视，只是阐述一种现象。

但为什么时常有人说可以快速入门 “Python”，是他们在说假话吗？

我想他们并没有说假话，只是忽略了一个关键的问题——我在前文提到的“基础”。有了基础之后，一周入门 Python，速成 Django，一天学会爬虫，这都是再正常不过的事情了。但这些对于完全没有接触过编程的同学来说，实在是难度太大。

之前听过我的一个直系学长关于创业的讲座，那是2014年，我才大二。学长的名字杜昶旭，朗播网的创始人兼CEO，现在早已有了一份自己的事业。我印象最深刻的一幕，是台下的同学请他分享一下自己在创业过程中遇到的困难，他答道——当你走过荆棘、越过重重困难走到山顶的时候，你看到的是一望无际的远方和光明，之前的困难你都会忘得一干二净。

这句话我十分认同，我在第一次高考失利后复读过一年，每当我读到自己在复读时期记录的点滴生活，都会感叹那些日子是多么艰难，却总是忘记那就是我曾经的生活，忘记复读的那个人是我，忘记那些日子究竟有多苦。唯一记得的就是我复读后的成绩——比前一年多考了140多分。

人在经历重重磨难并取得暂时的成功后，会很容易忘记自己受过的苦，记得的只是成功。

所以，当有人告诉你可以快速学会一项大部分人都很难学好的技能时，有三种可能，一是他在装逼，二是他是天才，三是他努力过了却忘记了自己的努力。大部分情况下，是第三种。

一周学不会 Python。

为什么很多人都觉得 Python 简单，到底是谁在说 Python 简单，Python 是否真的简单，如果真的简单它到底简单在哪里？

我想，很多人说 Python 简单指的是“语法”层面的简单。的确如此，Python 和其他编程语言如 C++、Java、PHP、Go 相比，语法要简单很多。

除了语法简单，Python 天然适合和数据打交道，对数据的处理相对其他编程语言也是比较方便，内置的数据结构也比较少。

但是我们很容易忽略一个问题：编程语言不能独立于业务而单独存在，编程是为了解决问题的。各个编程语言都有自己擅长的方面，比如 Linux 内核系统调用、底层交互方面，C++ 可能更占优势；实际业务场景中有大量的计算任务和并发时，可能要达到某一参数指标，Go 会更加简单。

只是语法简单没有用，在能满足业务要求的前提下，谁最容易达成目标，谁才是最简单的。

况且，Python也没有传说中那么简单，只会语法和能做出东西是有本质区别的，就像你会了 Python 语法，但你能做出数据分析吗，能写爬虫吗，能开发 Web 吗？任何一门编程语言往深学，都会成为工具，能用工具完成具体的任务才是真的学好并用好了它。

我喜欢买书，也喜欢看书，下图是我从书柜上随便拿的几本关于Python的书，有的我看完了，有的正在看，有的还没看，每本书都有几百页厚，任何一个方向往深了学，都不简单。

我们学习的时候，千万不能在刚开始的时候就给自己一个心理暗示：这很简单，很容易学好，如果这样，你将很难在学习中坚持下去。

我时常看到一个有趣的现象，不少人都很在意“编程语言排行榜”，如果自己正在学习 Python 或 C++，而 Python 或 C++ 的排名又上升了，他就会格外开心，反之就开始骂爹喊娘。

其实大可不必这样，学习编程的时候一定不要把自己限定在某一门编程语言中。在实际工作中，大多数情况下我们是根据项目来选择合适的编程语言，而不是根据编程语言选择合适的项目。

比如你一直写 C++，但是来了一个适合用 PHP 做的需求，即使你不会 PHP，你也得用 PHP 写。不会写也要一天入门，工作就是这样的，别问我为什么，工作一年半我已经写过 JAVA、JavaScript、C++、PHP、Python、Lua、Go ... 而我当初入职面试的岗位是C++工程师...

多了解一点没坏处。

经常有朋友们问我：

很多初学编程的朋友对如何入门伤透了脑筋，而我的回答只能是：

其实大家现在学习编程比我们当初的条件好多了，我们刚学编程那会儿，慕课还没有流行起来，我那时学C语言看的还是谭浩强的书。哪里有现在这么方便，动不动就送你1024G资料的福利，掩面。

其实学编程和学外语一样，都是阶梯式进步的，而它的特点就是，在学习很长一段时间后都感受不到进步，但突然某一天就开窍了，想通了很多问题，感受到自己的经验值得到了大幅度的提升，然后又会陷入一段平淡期。

当你多经历几次这样的循环，你就算是学会编程了。

学习编程，我们不应该以天为单位，而应该以年为单位。如果非得给一个最快能入门的时间，那就定为三个月吧，如果你真的在三个月里用大量的时间投入去看一门课，啃一本书，三个月后你应该会到达一个新的 Level，就算是入门了。

更多Python知识，请关注：Python自学网！！

Ⅳ 想学习人工智能，如何下手学习呢

1、选择一种编程语言
首先，你得学会一种编程语言。虽然编程语言的选择有很多种，但大部分人都会选择从Python开始，因为Python的库更适用于机器学习。
2、学习代数、微积分、概率统计学的基础知识
如果你想了解机器学习更深层次的东西，学习这些知识是必不可少的，且会让你获益匪浅。同时我们可以利用Python科学数据库如Numpy&SciPy的优势。在学习不同的算法时，你需要将数据可视化，并学会利用在算法中用到的代数、微积分等概念属性。
3、学习Python库
机器学习库中已经写好了无数个Python库。你就挨个学习吧。在Python中，可以先从SciPy, PyBrain, Matplotlib 和Numpy开始学习，这些对你写机器学习算法都将十分有用。
其实，这也是学习人工智能的第一步。
4、Andrew-Ng课程
强烈推荐Andrew-NG的免费课程，了解机器学习的概念及算法理论。
学习完他的课程以后，你对人工智能现象就会有一些了解了。
5、学习Scikit-Learn库
最强大的API之一，拥有各种算法功能强大的数据编码器（Algorithms Powerful Data Encoders）
强烈推荐你看看这本书——Python Machine Learning Edition 2，中文名《Python 机器学习》第2版，作者Sebastian Raschka。

“我刚开始学习人工智能时就读了这本书。读完本书，你就会了解如何实现机器学习中的各种算法”。
从机器学习算法理论（数学解释）和优化方法到实战编码，本书涵盖了Python实战算法和Scikit-Learn API在Python中的应用等知识。
6、实战时间
你也应该积极参加网络上各种编程竞赛。这类竞赛一般都很耗时，但不管怎样，你在刚开始的时候没必要一定要取得一个很高的排名，因为参加比赛的人都很优秀。刚开始，在他们面前你可能只是个无名小卒，但也别灰心，你只要每天持续练习，向每个人学习就好了。
就拿我来说吧，我在比赛中从来没进过前十。但是，我仍然在坚持。因为想要取得排名的话，你需要投入大量的时间。而我的目标，仅仅是重在参与，学习更多知识罢了。

Ⅵ 数据挖掘方向，Python中还需要学习哪些内容

就题论题，还包括：
1. Python 数据库连接库，例如MySQL 连接库的应用，这决定你的数据从哪里来。这里面涉及到sql语法和数据库基本知识，是你在学习的时候必须一起学会的。
2. Python 做基本数据计算和预处理的库，包括numpy ，scipy，pandas 这三个用得最多。
3. 数据分析和挖掘库，主要是sklearn，Statsmodels。前者是最广泛的机器学习库，后者是侧重于统计分析的库。（要知道统计分析大多时候和数据挖掘都错不能分开使用）
4. 图形展示库。matpotlib，这是用的最多的了。
说完题主本身 要求，楼上几位说的对，你还需要一些关于数据挖掘算法的基本知识和认知，否则即使你调用相关库得到结果，很可能你都不知道怎么解读，如何优化，甚至在什么场景下还如何选择算法等。因此基本知识你得了解。主要包括：
1.统计学相关，看看深入浅出数据分析和漫画统计学吧，虽然是入门的书籍，但很容易懂。
2.数据挖掘相关，看看数据挖掘导论吧，这是讲算法本身得书。
剩下的就是去实践了。有项目就多参与下项目，看看真正的数据挖掘项目是怎么开展的，流程怎样等。没有项目可以去参加一些数据挖掘或机器学习方面的大赛，也是增加经验得好方法。

Ⅶ 分享!5个好用的Python工具

1、 IDLE

IDLE直译过来就是集成开发与学习环境的意思，一般安装 Python 时也会默认安装 IDLE。每个语言都可以有自己的IDLE。它让Python的入门变得简单，对于没什么基础的人写就对了。它的主要功能包括Python shell 窗口(交互式解释器)、跨平台(Windows、Linux、UNIX、Mac OS X)、智能缩进、代码着色、自动提示、可以实现断点提示、单步执行等调试功能的基本集成调试器。

2、 Scikit-learn

scikit-learn是一个建立在Scipy基础上的用于机器学习的Python模块。其中scikit-learn是最有名的，是开源的，任何人都可以免费地使用这个库或者进行二次开发。它是一个非常强大的工具，能为库的开发提供高水平的支持和严格的管理。它也得到了很多第三方工具的支持，有丰富的功能适用于各种用例。

3、Theano

Theano是一个较老牌和稳定的机器学习python库之一，虽然目前使用的人数有所下降。但它毕竟是一个祖师级的存在，一定有它的优点所在。Theano基于Python擅长处理多维数组，属于比较底层的框架，theano起初也是为了深度学习中大规模人工神经网络算法的运算所设计，我们可利用符号化式语言定义想要的结果，支持GPU加速，非常适合深度学习Python。

4、Selenium

Selenium 是自动化的最佳工具之一。它属于 Python 测试的自动化。它在 Web 应用程序中用于自动化框架。支持多款主流浏览器，提供了功能丰富的API接口，常被用作爬虫工具。使用它可以用许多编程语言编写测试脚本，包括Java、C#、python、ruby等。还可以集成 Junit 和 TestNG 等铀工具来管理测试用例并生成报告。

5、Skulpt

Skulpt 是一个用 Javascript 实现的在线 Python 执行环境，完全依靠浏览器端模拟实现Python运行的工具。不需要任何预处理、插件或服务器端支持，只需编写python并重新载入即可。因为代码完全是在浏览器中运行的，所以不用担心服务器崩溃的问题。

关于分享!5个好用的Python工具，环球青藤小编就和大家分享到这里了，学习是永无止境的，学习一项技能更是受益终身，所以，只要肯努力学，什么时候开始都不晚。如果您还想继续了解关于python编程的学习方法及素材等内容，可以点击本站其他文章学习。

Ⅷ 如何用Python做爬虫

1）首先你要明白爬虫怎样工作。

想象你是一只蜘蛛，现在你被放到了互联“网”上。那么，你需要把所有的网页都看一遍。怎么办呢？没问题呀，你就随便从某个地方开始，比如说人民日报的首页，这个叫initial pages，用$表示吧。

在人民日报的首页，你看到那个页面引向的各种链接。于是你很开心地从爬到了“国内新闻”那个页面。太好了，这样你就已经爬完了俩页面（首页和国内新闻）！暂且不用管爬下来的页面怎么处理的，你就想象你把这个页面完完整整抄成了个html放到了你身上。

突然你发现， 在国内新闻这个页面上，有一个链接链回“首页”。作为一只聪明的蜘蛛，你肯定知道你不用爬回去的吧，因为你已经看过了啊。所以，你需要用你的脑子，存下你已经看过的页面地址。这样，每次看到一个可能需要爬的新链接，你就先查查你脑子里是不是已经去过这个页面地址。如果去过，那就别去了。

好的，理论上如果所有的页面可以从initial page达到的话，那么可以证明你一定可以爬完所有的网页。

那么在python里怎么实现呢？
很简单

import Queue

initial_page = "初始化页"

url_queue = Queue.Queue()
seen = set()

seen.insert(initial_page)
url_queue.put(initial_page)

while(True): #一直进行直到海枯石烂
if url_queue.size()>0:
current_url = url_queue.get() #拿出队例中第一个的url
store(current_url) #把这个url代表的网页存储好
for next_url in extract_urls(current_url): #提取把这个url里链向的url
if next_url not in seen:
seen.put(next_url)
url_queue.put(next_url)
else:
break

写得已经很伪代码了。

所有的爬虫的backbone都在这里，下面分析一下为什么爬虫事实上是个非常复杂的东西——搜索引擎公司通常有一整个团队来维护和开发。

2）效率
如果你直接加工一下上面的代码直接运行的话，你需要一整年才能爬下整个豆瓣的内容。更别说Google这样的搜索引擎需要爬下全网的内容了。

问题出在哪呢？需要爬的网页实在太多太多了，而上面的代码太慢太慢了。设想全网有N个网站，那么分析一下判重的复杂度就是N*log(N)，因为所有网页要遍历一次，而每次判重用set的话需要log(N)的复杂度。OK，OK，我知道python的set实现是hash——不过这样还是太慢了，至少内存使用效率不高。

通常的判重做法是怎样呢？Bloom Filter. 简单讲它仍然是一种hash的方法，但是它的特点是，它可以使用固定的内存（不随url的数量而增长）以O(1)的效率判定url是否已经在set中。可惜天下没有白吃的午餐，它的唯一问题在于，如果这个url不在set中，BF可以100%确定这个url没有看过。但是如果这个url在set中，它会告诉你：这个url应该已经出现过，不过我有2%的不确定性。注意这里的不确定性在你分配的内存足够大的时候，可以变得很小很少。一个简单的教程:Bloom Filters by Example

注意到这个特点，url如果被看过，那么可能以小概率重复看一看（没关系，多看看不会累死）。但是如果没被看过，一定会被看一下（这个很重要，不然我们就要漏掉一些网页了！）。 [IMPORTANT: 此段有问题，请暂时略过]

好，现在已经接近处理判重最快的方法了。另外一个瓶颈——你只有一台机器。不管你的带宽有多大，只要你的机器下载网页的速度是瓶颈的话，那么你只有加快这个速度。用一台机子不够的话——用很多台吧！当然，我们假设每台机子都已经进了最大的效率——使用多线程（python的话，多进程吧）。

3）集群化抓取
爬取豆瓣的时候，我总共用了100多台机器昼夜不停地运行了一个月。想象如果只用一台机子你就得运行100个月了...

那么，假设你现在有100台机器可以用，怎么用python实现一个分布式的爬取算法呢？

我们把这100台中的99台运算能力较小的机器叫作slave，另外一台较大的机器叫作master，那么回顾上面代码中的url_queue，如果我们能把这个queue放到这台master机器上，所有的slave都可以通过网络跟master联通，每当一个slave完成下载一个网页，就向master请求一个新的网页来抓取。而每次slave新抓到一个网页，就把这个网页上所有的链接送到master的queue里去。同样，bloom filter也放到master上，但是现在master只发送确定没有被访问过的url给slave。Bloom Filter放到master的内存里，而被访问过的url放到运行在master上的Redis里，这样保证所有操作都是O(1)。（至少平摊是O(1)，Redis的访问效率见:LINSERT – Redis)

考虑如何用python实现：
在各台slave上装好scrapy，那么各台机子就变成了一台有抓取能力的slave，在master上装好Redis和rq用作分布式队列。

代码于是写成

#slave.py

current_url = request_from_master()
to_send = []
for next_url in extract_urls(current_url):
to_send.append(next_url)

store(current_url);
send_to_master(to_send)

#master.py
distributed_queue = DistributedQueue()
bf = BloomFilter()

initial_pages = "www.renmingribao.com"

while(True):
if request == 'GET':
if distributed_queue.size()>0:
send(distributed_queue.get())
else:
break
elif request == 'POST':
bf.put(request.url)

好的，其实你能想到，有人已经给你写好了你需要的：darkrho/scrapy-redis · GitHub

4）展望及后处理
虽然上面用很多“简单”，但是真正要实现一个商业规模可用的爬虫并不是一件容易的事。上面的代码用来爬一个整体的网站几乎没有太大的问题。

但是如果附加上你需要这些后续处理，比如

有效地存储（数据库应该怎样安排）

有效地判重（这里指网页判重，咱可不想把人民日报和抄袭它的大民日报都爬一遍）

有效地信息抽取（比如怎么样抽取出网页上所有的地址抽取出来，“朝阳区奋进路中华道”），搜索引擎通常不需要存储所有的信息，比如图片我存来干嘛...

及时更新（预测这个网页多久会更新一次）

如你所想，这里每一个点都可以供很多研究者十数年的研究。虽然如此，
“路漫漫其修远兮,吾将上下而求索”。

所以，不要问怎么入门，直接上路就好了：）

Ⅸ angularcli安装需要python环境吗

由于Angular4升级了，旧版的Angular-Cli支持性不是很好，所以Angular-Cli也需要升级更新，本质就是删除掉以前的，再重新安装就好了。

Angular-Cli is more than tool,it is a platform!

一、安装Angular-Cli

经过n次的失败安装，终于在最后一次安装成功，为了使同学们少走弯路，现将经验写下来：

1、查看你的node以及npm版本：

[html]view plain

• node-v查看node版本

• npm-v查看npm版本




要求所有版本都是最新的，不然可能会出错。

2、设置淘宝镜像，这样下载东西就是从国内网站下载了，网速更快

[html]view plain

• npmconfigsetregistry





3、因为angular-cli是用typescript写的，所以要先装这两个：

[html]view plain

• npminstall-gtypescripttypings

[html]view plain

4、安装angular-cli:

[html]view plain

• npminstall-gangular-cli@latest

上面这个语句安装的最新版本是28.3，[email protected]:并且可能会报这个错

[html]view plain

• [email protected]:angular-clihasbeenrenamedto@angular/cli.Pleaseupdate

• yourdependencies.

最新版安装应该是

[html]view plain

• npminstall-g@angular/cli

这时，ng -v是这样的

[html]view plain

• __________

• /\________||______/___|||__|

• /△|'_/_`|||||/_`|'__|||||||

• /___||||(_|||_|||(_|||||___||___||

• /_/\_\_||_|\__,|\__,_|_|\__,_|_|\____|_____|___|

• |___/

• @angular/cli:1.3.2

• node:8.4.0

• os:win32x64





包之间的依赖也发生改变了。



如果你之前安装失败过，最好在安装angular-cli之前先卸载干净，用以下两句：

[html]view plain

• npmuninstall-gangular-cli

• npmcacheclean

卸载新版本

npm uninstall @angular/cli

可能新版本会提示使用npm cache verify删除，可能删除不成功，强制删除

[html]view plain

• npmcacheverify--force



同时，在检查你全局的那些npm文件下还残留下图这两个文件，



路径：C盘-->用户-->你登录的账户-->AppData-->Roaming-->npm




有的话也要删掉，删掉后再用"

[html]view plain

• <preclass="html"name="code">npminstall-g@angular/cli

• </pre>

• <pre></pre>

安装最新的angular-cli即可。


二、失败以及解决办法
1、缺少Python环境

a、下载ht

b、安装 最好安装在C盘

c、配置环境变量，有些同学是在公司，有时候没有权限配置系统环境变量，那么在用户变量哪里配置也是可以的电脑->属性->高级配置->环境变量->把安装的Python路径复制到path里面就可以了

Ⅹ 如何用9行Python代码编写一个简易神经网络

学习人工智能时，我给自己定了一个目标－－用Python写一个简单的神经网络。为了确保真得理解它，我要求自己不使用任何神经网络库，从头写起。多亏了Andrew Trask写得一篇精彩的博客，我做到了！下面贴出那九行代码：在这篇文章中，我将解释我是如何做得，以便你可以写出你自己的。我将会提供一个长点的但是更完美的源代码。

首先，神经网络是什么？人脑由几千亿由突触相互连接的细胞（神经元）组成。突触传入足够的兴奋就会引起神经元的兴奋。这个过程被称为“思考”。我们可以在计算机上写一个神经网络来模拟这个过程。不需要在生物分子水平模拟人脑，只需模拟更高层级的规则。我们使用矩阵（二维数据表格）这一数学工具，并且为了简单明了，只模拟一个有3个输入和一个输出的神经元。

我们将训练神经元解决下面的问题。前四个例子被称作训练集。你发现规律了吗？‘？’是0还是1？你可能发现了，输出总是等于输入中最左列的值。所以‘？’应该是1。

训练过程

但是如何使我们的神经元回答正确呢？赋予每个输入一个权重，可以是一个正的或负的数字。拥有较大正（或负）权重的输入将决定神经元的输出。首先设置每个权重的初始值为一个随机数字，然后开始训练过程：

取一个训练样本的输入，使用权重调整它们，通过一个特殊的公式计算神经元的输出。

计算误差，即神经元的输出与训练样本中的期待输出之间的差值。

根据误差略微地调整权重。

重复这个过程1万次。最终权重将会变为符合训练集的一个最优解。如果使用神经元考虑这种规律的一个新情形，它将会给出一个很棒的预测。

这个过程就是back propagation。

计算神经元输出的公式

你可能会想，计算神经元输出的公式是什么？首先，计算神经元输入的加权和，即接着使之规范化，结果在0，1之间。为此使用一个数学函数－－Sigmoid函数：Sigmoid函数的图形是一条“S”状的曲线。把第一个方程代入第二个，计算神经元输出的最终公式为：你可能注意到了，为了简单，我们没有引入最低兴奋阈值。

调整权重的公式

我们在训练时不断调整权重。但是怎么调整呢？可以使用“Error Weighted Derivative”公式：为什么使用这个公式？首先，我们想使调整和误差的大小成比例。其次，乘以输入（0或1），如果输入是0，权重就不会调整。最后，乘以Sigmoid曲线的斜率（图4）。为了理解最后一条，考虑这些：

我们使用Sigmoid曲线计算神经元的输出

如果输出是一个大的正（或负）数，这意味着神经元采用这种（或另一种）方式

从图四可以看出，在较大数值处，Sigmoid曲线斜率小

如果神经元认为当前权重是正确的，就不会对它进行很大调整。乘以Sigmoid曲线斜率便可以实现这一点

Sigmoid曲线的斜率可以通过求导得到：把第二个等式代入第一个等式里，得到调整权重的最终公式：当然有其他公式，它们可以使神经元学习得更快，但是这个公式的优点是非常简单。

构造Python代码

虽然我们没有使用神经网络库，但是将导入Python数学库numpy里的4个方法。分别是：

exp－－自然指数

array－－创建矩阵

dot－－进行矩阵乘法

random－－产生随机数

比如， 我们可以使用array()方法表示前面展示的训练集：“.T”方法用于矩阵转置（行变列）。所以，计算机这样存储数字：我觉得我们可以开始构建更优美的源代码了。给出这个源代码后，我会做一个总结。

我对每一行源代码都添加了注释来解释所有内容。注意在每次迭代时，我们同时处理所有训练集数据。所以变量都是矩阵（二维数据表格）。下面是一个用Python写地完整的示例代码。

我们做到了！我们用Python构建了一个简单的神经网络！

首先神经网络对自己赋予随机权重，然后使用训练集训练自己。接着，它考虑一种新的情形[1, 0, 0]并且预测了0.99993704。正确答案是1。非常接近！

传统计算机程序通常不会学习。而神经网络却能自己学习，适应并对新情形做出反应，这是多么神奇，就像人类一样。