python爬虫面试题

Ⅰ 爬虫python入门难学吗

只要自己肯努力！是很好学的！
计算机基础、网络基础，这些先基本了解一下，然后选择一个编程技术方向，现在热门的编程岗位就是Web前端、java，如果是为了就业可以考虑这两个技术方向，如果是对编程感兴趣，可以学Python，语法简单，可以迅速做一些小项目。
"编程"就是我们为了完成某项任务, 将解决问题的步骤, 用计算机能够理解的语言写成指令, 这就是"编程". 而后, 计算机会根据这些指令一步步执行, 最后完成任务.
编程语言有很多种，只需要精通一门编程语言或者说一个技术方向就可以了，可以结合自身，选择一门自己喜欢并合适自己的。

HTML5+JS（web前端开发）
什么是前端？在网站上看到的一切图片、文字、视频、都是前端写的。
目前web前端开发还是热门编程方向，这门语言对于零基础的学员来说学起来难度不大。

Java
java仍然是市场上最流行和最火爆的编程语言，常常跟企业联系在一起, 因为具备一些很好的语言特性, 以及丰富的框架, 在企业应用中最被青睐。

Python
Python是动态形的灵活的解释性语言，从软件开发到Web开发，Python都有在被使用，因为他的解释性，适合轻量级开发，Python是很多新手会选择的编程语言。

C语言
C语言，语法较多，时间相对还是比较多的，所以也可以考虑从C语言入手，因为打好编程基础，以后再学其他语言会很快上手。如果是快速就业，不太适合C语言

C++
和C语言一样，语法有一定难度，C++是一种最广泛支持范式的编程语言，。当然如果C学的不错，C++上手也会快。

Ⅱ Python学到什么程度可以面试工作

学到什么程度 可以参加工作 这个认识我觉得应该改改
因为每门流行的语言都是日新月异的 新的技术层出不穷，那么公司对新技术的要求也是随时变化，怎么能保持这个的同步 那么只有在实际的工作中 一边学习一边实践 一边积累。
既然 谈到了工作这个问题，那得先给自己定个位 自己学的是python 开发的哪个方面（不会面面都精通吧），是web 开发 还是桌面应用开发等等，要找准方向

3、 爬虫，不是抓取到数据就完事了，如果有数据抽取、清洗、消重等方面经验，也是加分项

4、 一般公司都会有自己的爬虫系统，而新进员工除了跟着学习以外最常做的工作就是维护爬虫系统，这点要有了解

5、 最后一个加分项就是前端知识，尤其是常用的 js、ajax、html/xhtml、css 等相关技术为最佳，其中 js 代码的熟悉是很重要的

6、 补充一条，随着手持设备的市场占比越来越高，app 的数据采集、抓包工具的熟练使用会越来越重要

Ⅲ Python面试数据分析，爬虫和深度学习一般都问什么问题，笔试题目考哪些

一面: 技术面试

面试官是一个比较老练的技术总监，貌似80后：

1. 你先简单做个自我介绍吧。

答：恩，好的，面试官你好，很高兴能来到贵公司面试爬虫工程师一职。我叫XXX，来自于***，毕业于****大学，**学历。（如果专业不是计算机专业，就不要介绍自己的专业，如果是大专以下学历，也不要说自己学历，扬长避短这个道理大家应该都懂得）有2年多爬虫工作经验（如果真实是1年多，就说2年，如果真实是2年多就说3年），工作过2家公司（公司尽量不要说太多，如果2-3年经验说2家就好，以免说的过多让人觉得这人太容易干一段不干，说的太少，可能在一个公司技术积累比较单一），第一家是从实习开始工作的。我就主要介绍下我上家公司的情况吧。我上家公司是****，是一家外包公司（如果是培训班毕业的尽可能说外包，因为在外包公司，任何项目都可能做，方便后面很多问题的解释），我在这家公司做了一年多，这家公司在****。我们这家公司是共有50多人。我在里面负责公司的数据采集爬取，数据处理，绘图分析等（爬虫爬下来的数据很多都会进行一些清洗，可以把自己数据处理，绘图的经验说出来，增加优势，如果没有的话，就业余花时间去学习这方面，常规的方法都不难）。期间主要负责了集团对一些招聘网站、电商网站、金融网站、汽车网站（如果是单一业务的公司，你可能就说不了这么多种类了，一般采集的数据都会比较单一，这就体现了说外包的好处）。我之所以在上家公司离职是因为上家的公司项目基本都已经做完上线了，后面又接的项目感觉挑战性不大，希望寻找一个平台做更多的项目（这个离职原因因人而异，如果换城市的话也可以简单粗暴说我家人、朋友在这边，如果还是同一个城市的话也可以按照我的那样说，也可以其他方式，但是建议不要说公司经营不好之类的，不喜欢这家公司等等，经营不好可能跟公司员工也有关系，如果回答不喜欢上家公司，面试官会接着问，为什么不喜欢，如果我们公司也是这种情况，你会不喜欢吗，面试offer几率就会大大减少）。因为来之前了解过贵公司，现在主要做金融数据采集的任务，后面也会进行一些大数据分析的工作，觉得项目规划很有远见就过来了。（面试前先查下公司底细，知己知彼）因为我在之前公司做过爬虫、分析方面的工作，贵公司的这个项目也刚好是处于初期阶段，我非常喜欢贵公司的这些项目。并且我认为我有能力将贵公司的项目做好，能胜任贵公司爬虫工程师一职，我的情况大概就是这样，您看您们这边还需了解其他什么吗？

2.你主要采集的产业领域有哪些？接触过金融行业吗？

答：我之前主要接触过汽车行业，招聘行业，电商行业，金融行业，金融行业也接触过，但是说实话项目并不是很多，但是技术是相通的，可能刚开始不是很熟悉，只要适应一俩个星期都不是问题。

3.介绍爬虫用到的技术

答：requests、scrapy：爬虫框架和分布式爬虫

xpath：网页数据提取

re：正则匹配

numpy、pandas：处理数据

matplotlib:绘图

mysql:数据存储

redis：爬虫数据去重和url去重

云打：处理常规验证码

复杂验证码：用selenium模拟登陆、处理滑块验证码等（滑块验证码有方法，之前破解过滑块验证码，有空我会出个基本使用教程，进行滑块验证码破解，但不一定通用，因为每个网站反爬措施设置都不一样）

4.处理过的最难的验证码？

答：12306点击图片验证码。原理：图片发送给打码平台，平台返回图片位置数值，通过计算返回数字和图片坐标的关系，进行模拟登陆

5.当开发遇到甩锅问题怎么解决？

答：如果是小问题自己感觉影响不大，背锅就背了，毕竟如果是刚入公司很多不懂，可能会犯一些错误，如果是大问题，就找责任人（虚心点，不卑不亢）

二面：人事面试 主要问题:

1.你为什么要从上家公司离职？

答：上家公司离职是因为上家的公司项目基本都已经做完上线了，后面又接的项目感觉挑战性不大，希望寻找一个平台做更多的项目

2.来之前了解过我们公司吗？

答：来之前了解过贵公司，现在主要做金融数据采集的任务，后面也会进行一些大数据分析的工作

3.简单介绍一下你最大的缺点跟优点？

答：我的优点是对工作认真负责，团队协作能力好，缺点是言辞表达需要提高，还有对一些细节的把握（我最大的缺点就是对细节过分追求，有多少人想这样说的，能把自己的缺点说成这么好听的优点，也是666了，这样说面试成绩减10分缺点就老老实实说一点模棱两可的缺点就好了，不要过于滑头，也不要太实在）

4.你怎么理解你应聘的职位，针对你应聘的职位你最擅长的是什么？

答：这份职位不仅仅是爬虫方面的技术岗位，更是学习新知识，探索新领域的一条路，希望能有机会给公司贡献一份力量。最擅长数据采集、处理分析

5.你对加班有什么看法？除了工资，你希望在公司得到什么？

答：1，适当的加班可以接受，过度的加班不能，因为要考虑个人，家庭等因素，同时我也会尽量在规定的时间内完成分配给我的任务，当然加班也希望获得相应的加班费。2，希望这份工作能让我发挥我的技能专长，这会给我带来一种满足感，我还希望我所做的工作能够对我目前的技能水平形成一个挑战，从而能促使我提升着急。

6.你的期望薪资是多少？

答：我的期望薪资是13K，因为上家公司已经是10k，而且自己也会的东西比较多，前端、后端、爬虫都会，跳槽希望有一定的增长。

7.你什么时候能到岗上班？

答：因为我已经从上家公司离职，可以随时到岗。（想早上班就别托，先答应越早越好）

8.你还有什么要问我的吗？

答：问了公司的福利待遇，上班时间，培养计划。（上班时间是5天制，没有培养计划，项目初创时期）最后结束面试，说这2天会电话通知，因为后面还好几个竞争对手面试。

结论：面试是个概率事件，同时也跟运气有关，在我的话术之上多进行面试总结，多面一些公司，相信大家都能找到理想工作

Ⅳ Python面试中会被问到哪些问题

数据分析，涉及到数据的收集，清洗，然后才是分析。这方面的各种基本问题都会涉及到，就看面试官想了解你哪方面的技能了，如果偏重分析，那么其中用到的库如pandas，scipy，numpy，matplotlib你要熟练到如数家珍，涉及到excel操作的库也要了解。如果岗位侧重于数据收集，可能问你爬虫访面的问题更多一点。不管怎么样，祝你面试成功，年入100k。

Ⅳ python实战 面试爬虫岗位需要掌握哪些知识

作为一个容易上手的开发工具，python近几年有很多小伙伴在学习，那么大家有没有想过往python哪个模块继续深造呢？爬虫是最近热点久居不下的模块，不知道广大学习python的大军中，有没有想在爬虫领域进行大展身手的。今天小编就面试爬虫岗位需要掌握哪些知识这个点跟大家进行分析。

1.Python

因为面试的是Python爬虫岗位，面试官大多数会考察面试者的基础的Python知识，包括但不限于：

• Python2.x与Python3.x的区别

• Python的装饰器

• Python的异步

• Python的一些常用内置库，比如多线程之类的

2.数据结构与算法

数据结构与算法是对面试者尤其是校招生面试的一个很重要的点，当然小公司不会太在意这些，从目前的招聘情况来看对面试者的数据结构与算法的重视程度与企业的好坏成正比，那些从不问你数据结构的你就要当心他们是否把你当码农用的，当然以上情况不绝对，最终解释权归面试官所有。

3.Python爬虫

最重要也是最关键的一点当然是你的Python爬虫相关的知识与经验储备，这通常也是面试官考察的重点，包括但不限于：

• 你遇到过的反爬虫的策略有哪些？

• 你常用的反反爬虫的方案有哪些？

• 你用过多线程和异步吗？除此之外你还用过什么方法来提高爬虫效率？

• 有没有做过增量式抓取？

• 对Python爬虫框架是否有了解？

4.爬虫相关的项目经验

• 爬虫重在实践，除了理论知识之外，面试官也会十分注重爬虫相关的项目：

• 你做过哪些爬虫项目？如果有Github最好

• 你认为你做的最好的爬虫项目是哪个？其中解决了什么难题？有什么特别之处？

以上4个模块为大家面试python爬虫岗位提供一个参考，不知道要为面试准备什么的小伙伴可以好好看看，最后小编祝大家能面试到自己想去的岗位。更多Python学习推荐:PyThon学习网教学中心。

Ⅵ 爬虫面试常见问题

一、项目问题：

1.你写爬虫的时候都遇到过什么反爬虫措施，你是怎样解决的。

2.用的什么框架。为什么选择这个框架。

二、框架问题：

1.scrapy的基本结构(五个部分都是什么，请求发出去的整个流程)。

2.scrapy的去重原理(指纹去重到底是什么原理)。

3.scrapy中间件有几种类，你用过哪些中间件。

4.scrapy中间件在哪里起的作业(面向切片编程)。

三、代理问题：

1.为什么会用到代理。

2.代理怎么使用(具体代码， 请求在什么时候添加的代理)。

3.代理失效了怎么处理。

四、验证码处理：

1.登陆验证码处理?

2.爬取速度过快出现的验证码处理?

3.如何用机器识别验证码?

关于爬虫面试常见问题，青藤小编就和您分享到这里了。如果您对python编程有浓厚的兴趣，希望这篇文章可以为您提供帮助。如果您还想了解更多关于python编程的技巧及素材等内容，可以点击本站的其他文章进行学习。

Ⅶ Python面试题，线程与进程的区别，Python中如何创建多线程

进程和线程

这两个概念属于操作系统，我们经常听说，但是可能很少有人会细究它们的含义。对于工程师而言，两者的定义和区别还是很有必要了解清楚的。

首先说进程，进程可以看成是 CPU执行的具体的任务 。在操作系统当中，由于CPU的运行速度非常快，要比计算机当中的其他设备要快得多。比如内存、磁盘等等，所以如果CPU一次只执行一个任务，那么会导致CPU大量时间在等待这些设备，这样操作效率很低。为了提升计算机的运行效率，把机器的技能尽可能压榨出来，CPU是轮询工作的。也就是说 它一次只执行一个任务，执行一小段碎片时间之后立即切换 ，去执行其他任务。

所以在早期的单核机器的时候，看起来电脑也是并发工作的。我们可以一边听歌一边上网，也不会觉得卡顿。但实际上，这是CPU轮询的结果。在这个例子当中，听歌的软件和上网的软件对于CPU而言都是 独立的进程 。我们可以把进程简单地理解成运行的应用，比如在安卓手机里面，一个app启动的时候就会对应系统中的一个进程。当然这种说法不完全准确， 一个应用也是可以启动多个进程的 。

进程是对应CPU而言的，线程则更多针对的是程序。即使是CPU在执行当前进程的时候，程序运行的任务其实也是有分工的。举个例子，比如听歌软件当中，我们需要显示歌词的字幕，需要播放声音，需要监听用户的行为，比如是否发生了切歌、调节音量等等。所以，我们需要 进一步拆分CPU的工作 ，让它在执行当前进程的时候，继续通过轮询的方式来同时做多件事情。

进程中的任务就是线程，所以从这点上来说， 进程和线程是包含关系 。一个进程当中可以包含多个线程，对于CPU而言，不能直接执行线程，一个线程一定属于一个进程。所以我们知道，CPU进程切换切换的是执行的应用程序或者是软件，而进程内部的线程切换，切换的是软件当中具体的执行任务。

关于进程和线程有一个经典的模型可以说明它们之间的关系，假设CPU是一家工厂，工厂当中有多个车间。不同的车间对应不同的生产任务，有的车间生产汽车轮胎，有的车间生产汽车骨架。但是工厂的电力是有限的，同时只能满足一个厂房的使用。

为了让大家的进度协调，所以工厂需要轮流提供各个车间的供电。 这里的车间对应的就是进程 。

一个车间虽然只生产一种产品，但是其中的工序却不止一个。一个车间可能会有好几条流水线，具体的生产任务其实是流水线完成的，每一条流水线对应一个具体执行的任务。但是同样的， 车间同一时刻也只能执行一条流水线 ，所以我们需要车间在这些流水线之间切换供电，让各个流水线生产进度统一。

这里车间里的 流水线自然对应的就是线程的概念 ，这个模型很好地诠释了CPU、进程和线程之间的关系。实际的原理也的确如此，不过CPU中的情况要比现实中的车间复杂得多。因为对于进程和CPU来说，它们面临的局面都是实时变化的。车间当中的流水线是x个，下一刻可能就成了y个。

了解完了线程和进程的概念之后，对于理解电脑的配置也有帮助。比如我们买电脑，经常会碰到一个术语，就是这个电脑的CPU是某某核某某线程的。比如我当年买的第一台笔记本是4核8线程的，这其实是在说这台电脑的CPU有 4个计算核心 ，但是使用了超线程技术，使得可以把一个物理核心模拟成两个逻辑核心。相当于我们可以用4个核心同时执行8个线程，相当于8个核心同时执行，但其实有4个核心是模拟出来的虚拟核心。

有一个问题是 为什么是4核8线程而不是4核8进程呢 ？因为CPU并不会直接执行进程，而是执行的是进程当中的某一个线程。就好像车间并不能直接生产零件，只有流水线才能生产零件。车间负责的更多是资源的调配，所以教科书里有一句非常经典的话来诠释： 进程是资源分配的最小单元，线程是CPU调度的最小单元 。

启动线程

Python当中为我们提供了完善的threading库，通过它，我们可以非常方便地创建线程来执行多线程。

首先，我们引入threading中的Thread，这是一个线程的类，我们可以通过创建一个线程的实例来执行多线程。

from threading import Thread t = Thread(target=func, name='therad', args=(x, y)) t.start()

简单解释一下它的用法，我们传入了三个参数，分别是 target，name和args ，从名字上我们就可以猜测出它们的含义。首先是target，它传入的是一个方法，也就是我们希望多线程执行的方法。name是我们为这个新创建的线程起的名字，这个参数可以省略，如果省略的话，系统会为它起一个系统名。当我们执行Python的时候启动的线程名叫MainThread，通过线程的名字我们可以做区分。args是会传递给target这个函数的参数。

我们来举个经典的例子：

import time, threading # 新线程执行的代码: def loop(n): print('thread %s is running...' % threading.current_thread().name) for i in range(n): print('thread %s >>> %s' % (threading.current_thread().name, i)) time.sleep(5) print('thread %s ended.' % threading.current_thread().name) print('thread %s is running...' % threading.current_thread().name) t = threading.Thread(target=loop, name='LoopThread', args=(10, )) t.start() print('thread %s ended.' % threading.current_thread().name)

我们创建了一个非常简单的loop函数，用来执行一个循环来打印数字，我们每次打印一个数字之后这个线程会睡眠5秒钟，所以我们看到的结果应该是每过5秒钟屏幕上多出一行数字。

我们在Jupyter里执行一下：

表面上看这个结果没毛病，但是其实有一个问题，什么问题呢？ 输出的顺序不太对 ，为什么我们在打印了第一个数字0之后，主线程就结束了呢？另外一个问题是，既然主线程已经结束了， 为什么Python进程没有结束 ， 还在向外打印结果呢？

因为线程之间是独立的，对于主线程而言，它在执行了t.start()之后，并 不会停留，而是会一直往下执行一直到结束 。如果我们不希望主线程在这个时候结束，而是阻塞等待子线程运行结束之后再继续运行，我们可以在代码当中加上t.join()这一行来实现这点。

t.start() t.join() print('thread %s ended.' % threading.current_thread().name)

join操作可以让主线程在join处挂起等待，直到子线程执行结束之后，再继续往下执行。我们加上了join之后的运行结果是这样的：

这个就是我们预期的样子了，等待子线程执行结束之后再继续。

我们再来看第二个问题，为什么主线程结束的时候，子线程还在继续运行，Python进程没有退出呢？这是因为默认情况下我们创建的都是用户级线程，对于进程而言， 会等待所有用户级线程执行结束之后才退出 。这里就有了一个问题，那假如我们创建了一个线程尝试从一个接口当中获取数据，由于接口一直没有返回，当前进程岂不是会永远等待下去？

这显然是不合理的，所以为了解决这个问题，我们可以把创建出来的线程设置成 守护线程 。

守护线程

守护线程即daemon线程，它的英文直译其实是后台驻留程序，所以我们也可以理解成 后台线程 ，这样更方便理解。daemon线程和用户线程级别不同，进程不会主动等待daemon线程的执行， 当所有用户级线程执行结束之后即会退出。进程退出时会kill掉所有守护线程 。

我们传入daemon=True参数来将创建出来的线程设置成后台线程：

t = threading.Thread(target=loop, name='LoopThread', args=(10, ), daemon=True)

这样我们再执行看到的结果就是这样了：

这里有一点需要注意，如果你 在jupyter当中运行是看不到这样的结果的 。因为jupyter自身是一个进程，对于jupyter当中的cell而言，它一直是有用户级线程存活的，所以进程不会退出。所以想要看到这样的效果，只能通过命令行执行Python文件。

如果我们想要等待这个子线程结束，就必须通过join方法。另外，为了预防子线程锁死一直无法退出的情况， 我们还可以 在joih当中设置timeout ，即最长等待时间，当等待时间到达之后，将不再等待。

比如我在join当中设置的timeout等于5时，屏幕上就只会输出5个数字。

另外，如果没有设置成后台线程的话，设置timeout虽然也有用，但是 进程仍然会等待所有子线程结束 。所以屏幕上的输出结果会是这样的：

虽然主线程继续往下执行并且结束了，但是子线程仍然一直运行，直到子线程也运行结束。

关于join设置timeout这里有一个坑，如果我们只有一个线程要等待还好，如果有多个线程，我们用一个循环将它们设置等待的话。那么 主线程一共会等待N * timeout的时间 ，这里的N是线程的数量。因为每个线程计算是否超时的开始时间是上一个线程超时结束的时间，它会等待所有线程都超时，才会一起终止它们。

比如我这样创建3个线程：

ths = [] for i in range(3): t = threading.Thread(target=loop, name='LoopThread' + str(i), args=(10, ), daemon=True) ths.append(t) for t in ths: t.start() for t in ths: t.join(2)

最后屏幕上输出的结果是这样的：

所有线程都存活了6秒。

总结

在今天的文章当中，我们一起简单了解了 操作系统当中线程和进程的概念 ，以及Python当中如何创建一个线程，以及关于创建线程之后的相关使用。

多线程在许多语言当中都是至关重要的，许多场景下必定会使用到多线程。比如 web后端，比如爬虫，再比如游戏开发 以及其他所有需要涉及开发ui界面的领域。因为凡是涉及到ui，必然会需要一个线程单独渲染页面，另外的线程负责准备数据和执行逻辑。因此，多线程是专业程序员绕不开的一个话题，也是一定要掌握的内容之一。

Ⅷ Python面试数据分析，爬虫和深度学习一般都问什么问题，笔试题目有哪些

简单罗列些:
1.数据清洗与处理:数据读取read_csv等，数据表构建dataframe等，数据整合concat/join/merge等，表结构处理以及切片iloc/loc等，数据统计describe/isnull/sum/apply等，图表展示plot，数据透视表pivot_table等，异常值与缺失数据统计与处理，相关性检验
2.机器学习模型构建:svm,logistic,knn等
3.爬虫:request包
4.深度学习:CNN,RNN，图像处理，音频处理，语义理解。

Ⅸ Python爬虫是什么

为自动提取网页的程序，它为搜索引擎从万维网上下载网页。

网络爬虫为一个自动提取网页的程序，它为搜索引擎从万维网上下载网页，是搜索引擎的重要组成。传统爬虫从一个或若干初始网页的URL开始，获得初始网页上的URL，在抓取网页的过程中，不断从当前页面上抽取新的URL放入队列,直到满足系统的一定停止条件。

将根据一定的搜索策略从队列中选择下一步要抓取的网页URL，并重复上述过程，直到达到系统的某一条件时停止。另外，所有被爬虫抓取的网页将会被系统存贮，进行一定的分析、过滤，并建立索引，以便之后的查询和检索。

(9)python爬虫面试题扩展阅读：

网络爬虫的相关要求规定：

1、由Python标准库提供了系统管理、网络通信、文本处理、数据库接口、图形系统、XML处理等额外的功能。

2、按照网页内容目录层次深浅来爬行页面，处于较浅目录层次的页面首先被爬行。 当同一层次中的页面爬行完毕后，爬虫再深入下一层继续爬行。

3、文本处理，包含文本格式化、正则表达式匹配、文本差异计算与合并、Unicode支持，二进制数据处理等功能。

Ⅹ 请教一道 Python 多线程爬虫的面试题

def saveToFile(FileName,srcList):
a=0
srcTuple = (srcList)
FileName = 'os'+FileName.strip()
res = mkdir(FileName)
if res == False:
return False
#os.mkdir(FileName)
os.chdir(FileName)
que = Queue.Queue()
for sl in srcList:
que.put(sl)
for a in range(0,srcList.__len__()):
threadD = threadDownload(que,a)
threadD.start()
#print threading.enumerate()
while threading.active_count() != 0:
if threading.active_count() == 1:
print FileName+" is Done"
return True