python爬虫定时执行面试

‘壹’ python面试数据分析，爬虫和深度学习一般都问什么问题，笔试题目有哪些

简单罗列些:
1.数据清洗与处理:数据读取read_csv等，数据表构建dataframe等，数据整合concat/join/merge等，表结构处理以及切片iloc/loc等，数据统计describe/isnull/sum/apply等，图表展示plot，数据透视表pivot_table等，异常值与缺失数据统计与处理，相关性检验
2.机器学习模型构建:svm,logistic,knn等
3.爬虫:request包
4.深度学习:CNN,RNN，图像处理，音频处理，语义理解。

‘贰’ Python scrapy爬虫以scrapyd部署到服务器上运行，现在想做一个定时爬取任务该怎样做，scrapyd不支持。

可以用linux 自带定时任务执行 py 程序就可以了实现的。

‘叁’ 请教一道 Python 多线程爬虫的面试题

多线程的例子： import threadingimport timedef show(arg): time.sleep(1) print('thread' + str(arg))for i in range(10): t = threading.Thread(target=show, args=(i,)) t.start()print('main thread stop') 运行效果：

‘肆’ python爬虫要自动运行有什么办法

爬虫自己本地就可以啊，不一定要放到服务器上，弄个台式机，晚上关了显示器，让程序自己去运行呗。
当然你也可以试试阿里云，我在上面部署的scrapy跑的很不错。

如果解决了您的问题请采纳！
如果未解决请继续追问

‘伍’ Python爬虫是什么

为自动提取网页的程序，它为搜索引擎从万维网上下载网页。

网络爬虫为一个自动提取网页的程序，它为搜索引擎从万维网上下载网页，是搜索引擎的重要组成。传统爬虫从一个或若干初始网页的URL开始，获得初始网页上的URL，在抓取网页的过程中，不断从当前页面上抽取新的URL放入队列,直到满足系统的一定停止条件。

将根据一定的搜索策略从队列中选择下一步要抓取的网页URL，并重复上述过程，直到达到系统的某一条件时停止。另外，所有被爬虫抓取的网页将会被系统存贮，进行一定的分析、过滤，并建立索引，以便之后的查询和检索。

(5)python爬虫定时执行面试扩展阅读：

网络爬虫的相关要求规定：

1、由Python标准库提供了系统管理、网络通信、文本处理、数据库接口、图形系统、XML处理等额外的功能。

2、按照网页内容目录层次深浅来爬行页面，处于较浅目录层次的页面首先被爬行。 当同一层次中的页面爬行完毕后，爬虫再深入下一层继续爬行。

3、文本处理，包含文本格式化、正则表达式匹配、文本差异计算与合并、Unicode支持，二进制数据处理等功能。

‘陆’ Python面试数据分析，爬虫和深度学习一般都问什么问题，笔试题目考哪些

一面: 技术面试

面试官是一个比较老练的技术总监，貌似80后：

1. 你先简单做个自我介绍吧。

答：恩，好的，面试官你好，很高兴能来到贵公司面试爬虫工程师一职。我叫XXX，来自于***，毕业于****大学，**学历。（如果专业不是计算机专业，就不要介绍自己的专业，如果是大专以下学历，也不要说自己学历，扬长避短这个道理大家应该都懂得）有2年多爬虫工作经验（如果真实是1年多，就说2年，如果真实是2年多就说3年），工作过2家公司（公司尽量不要说太多，如果2-3年经验说2家就好，以免说的过多让人觉得这人太容易干一段不干，说的太少，可能在一个公司技术积累比较单一），第一家是从实习开始工作的。我就主要介绍下我上家公司的情况吧。我上家公司是****，是一家外包公司（如果是培训班毕业的尽可能说外包，因为在外包公司，任何项目都可能做，方便后面很多问题的解释），我在这家公司做了一年多，这家公司在****。我们这家公司是共有50多人。我在里面负责公司的数据采集爬取，数据处理，绘图分析等（爬虫爬下来的数据很多都会进行一些清洗，可以把自己数据处理，绘图的经验说出来，增加优势，如果没有的话，就业余花时间去学习这方面，常规的方法都不难）。期间主要负责了集团对一些招聘网站、电商网站、金融网站、汽车网站（如果是单一业务的公司，你可能就说不了这么多种类了，一般采集的数据都会比较单一，这就体现了说外包的好处）。我之所以在上家公司离职是因为上家的公司项目基本都已经做完上线了，后面又接的项目感觉挑战性不大，希望寻找一个平台做更多的项目（这个离职原因因人而异，如果换城市的话也可以简单粗暴说我家人、朋友在这边，如果还是同一个城市的话也可以按照我的那样说，也可以其他方式，但是建议不要说公司经营不好之类的，不喜欢这家公司等等，经营不好可能跟公司员工也有关系，如果回答不喜欢上家公司，面试官会接着问，为什么不喜欢，如果我们公司也是这种情况，你会不喜欢吗，面试offer几率就会大大减少）。因为来之前了解过贵公司，现在主要做金融数据采集的任务，后面也会进行一些大数据分析的工作，觉得项目规划很有远见就过来了。（面试前先查下公司底细，知己知彼）因为我在之前公司做过爬虫、分析方面的工作，贵公司的这个项目也刚好是处于初期阶段，我非常喜欢贵公司的这些项目。并且我认为我有能力将贵公司的项目做好，能胜任贵公司爬虫工程师一职，我的情况大概就是这样，您看您们这边还需了解其他什么吗？

2.你主要采集的产业领域有哪些？接触过金融行业吗？

答：我之前主要接触过汽车行业，招聘行业，电商行业，金融行业，金融行业也接触过，但是说实话项目并不是很多，但是技术是相通的，可能刚开始不是很熟悉，只要适应一俩个星期都不是问题。

3.介绍爬虫用到的技术

答：requests、scrapy：爬虫框架和分布式爬虫

xpath：网页数据提取

re：正则匹配

numpy、pandas：处理数据

matplotlib:绘图

mysql:数据存储

redis：爬虫数据去重和url去重

云打：处理常规验证码

复杂验证码：用selenium模拟登陆、处理滑块验证码等（滑块验证码有方法，之前破解过滑块验证码，有空我会出个基本使用教程，进行滑块验证码破解，但不一定通用，因为每个网站反爬措施设置都不一样）

4.处理过的最难的验证码？

答：12306点击图片验证码。原理：图片发送给打码平台，平台返回图片位置数值，通过计算返回数字和图片坐标的关系，进行模拟登陆

5.当开发遇到甩锅问题怎么解决？

答：如果是小问题自己感觉影响不大，背锅就背了，毕竟如果是刚入公司很多不懂，可能会犯一些错误，如果是大问题，就找责任人（虚心点，不卑不亢）

二面：人事面试 主要问题:

1.你为什么要从上家公司离职？

答：上家公司离职是因为上家的公司项目基本都已经做完上线了，后面又接的项目感觉挑战性不大，希望寻找一个平台做更多的项目

2.来之前了解过我们公司吗？

答：来之前了解过贵公司，现在主要做金融数据采集的任务，后面也会进行一些大数据分析的工作

3.简单介绍一下你最大的缺点跟优点？

答：我的优点是对工作认真负责，团队协作能力好，缺点是言辞表达需要提高，还有对一些细节的把握（我最大的缺点就是对细节过分追求，有多少人想这样说的，能把自己的缺点说成这么好听的优点，也是666了，这样说面试成绩减10分缺点就老老实实说一点模棱两可的缺点就好了，不要过于滑头，也不要太实在）

4.你怎么理解你应聘的职位，针对你应聘的职位你最擅长的是什么？

答：这份职位不仅仅是爬虫方面的技术岗位，更是学习新知识，探索新领域的一条路，希望能有机会给公司贡献一份力量。最擅长数据采集、处理分析

5.你对加班有什么看法？除了工资，你希望在公司得到什么？

答：1，适当的加班可以接受，过度的加班不能，因为要考虑个人，家庭等因素，同时我也会尽量在规定的时间内完成分配给我的任务，当然加班也希望获得相应的加班费。2，希望这份工作能让我发挥我的技能专长，这会给我带来一种满足感，我还希望我所做的工作能够对我目前的技能水平形成一个挑战，从而能促使我提升着急。

6.你的期望薪资是多少？

答：我的期望薪资是13K，因为上家公司已经是10k，而且自己也会的东西比较多，前端、后端、爬虫都会，跳槽希望有一定的增长。

7.你什么时候能到岗上班？

答：因为我已经从上家公司离职，可以随时到岗。（想早上班就别托，先答应越早越好）

8.你还有什么要问我的吗？

答：问了公司的福利待遇，上班时间，培养计划。（上班时间是5天制，没有培养计划，项目初创时期）最后结束面试，说这2天会电话通知，因为后面还好几个竞争对手面试。

结论：面试是个概率事件，同时也跟运气有关，在我的话术之上多进行面试总结，多面一些公司，相信大家都能找到理想工作

‘柒’ Python学到什么程度可以面试工作

学到什么程度 可以参加工作 这个认识我觉得应该改改
因为每门流行的语言都是日新月异的 新的技术层出不穷，那么公司对新技术的要求也是随时变化，怎么能保持这个的同步 那么只有在实际的工作中 一边学习一边实践 一边积累。
既然 谈到了工作这个问题，那得先给自己定个位 自己学的是python 开发的哪个方面（不会面面都精通吧），是web 开发 还是桌面应用开发等等，要找准方向

3、 爬虫，不是抓取到数据就完事了，如果有数据抽取、清洗、消重等方面经验，也是加分项

4、 一般公司都会有自己的爬虫系统，而新进员工除了跟着学习以外最常做的工作就是维护爬虫系统，这点要有了解

5、 最后一个加分项就是前端知识，尤其是常用的 js、ajax、html/xhtml、css 等相关技术为最佳，其中 js 代码的熟悉是很重要的

6、 补充一条，随着手持设备的市场占比越来越高，app 的数据采集、抓包工具的熟练使用会越来越重要

‘捌’ python爬虫的工作步骤

当前处于一个大数据的时代，一般网站数据来源有二：网站用户自身产生的数据和网站从其他来源获取的数据，今天要分享的是如何从其他网站获取你想要的数据。

目前最适合用于写爬虫的语言是python，python中最受欢迎的爬虫框架是scrapy,本文围绕scrapy来展开讲解爬虫是怎么工作的。

1.如下图所示，爬虫从编写的spider文件中的start_urls开始，这个列表中的url就是爬虫抓取的第一个网页，它的返回值是该url对应网页的源代码，我们可以用默认的parse(self,response)函数去打印或解析这个源代码

2.我们获取到源代码之后，就可以从网页源代码中找到我们想要的信息或需要进一步访问的url,提取信息这一步，scrapy中集成了xpath,正则(re),功能十分强大，提取到信息之后会通过yield进入到中间件当中。

中间件包括爬虫中间件和下载中间件，爬虫中间件主要用于设置处理爬虫文件中的代码块，下载中间件主要用于判断爬虫进入网页前后的爬取状态，在此中间件中，你可以根据爬虫的返回状态去做进一步判断。

最后我们将yield过来的item，即就是我们想要的数据会在pipeline.py文件中进行处理，存入数据库，写入本地文件，都可以在这里进行，另外，为了减少代码冗余，建议所有与设置参数有关的参数，都写在settings.py中去

‘玖’ python实战 面试爬虫岗位需要掌握哪些知识

作为一个容易上手的开发工具，python近几年有很多小伙伴在学习，那么大家有没有想过往python哪个模块继续深造呢？爬虫是最近热点久居不下的模块，不知道广大学习python的大军中，有没有想在爬虫领域进行大展身手的。今天小编就面试爬虫岗位需要掌握哪些知识这个点跟大家进行分析。

1.Python

因为面试的是Python爬虫岗位，面试官大多数会考察面试者的基础的Python知识，包括但不限于：

• Python2.x与Python3.x的区别

• Python的装饰器

• Python的异步

• Python的一些常用内置库，比如多线程之类的

2.数据结构与算法

数据结构与算法是对面试者尤其是校招生面试的一个很重要的点，当然小公司不会太在意这些，从目前的招聘情况来看对面试者的数据结构与算法的重视程度与企业的好坏成正比，那些从不问你数据结构的你就要当心他们是否把你当码农用的，当然以上情况不绝对，最终解释权归面试官所有。

3.Python爬虫

最重要也是最关键的一点当然是你的Python爬虫相关的知识与经验储备，这通常也是面试官考察的重点，包括但不限于：

• 你遇到过的反爬虫的策略有哪些？

• 你常用的反反爬虫的方案有哪些？

• 你用过多线程和异步吗？除此之外你还用过什么方法来提高爬虫效率？

• 有没有做过增量式抓取？

• 对Python爬虫框架是否有了解？

4.爬虫相关的项目经验

• 爬虫重在实践，除了理论知识之外，面试官也会十分注重爬虫相关的项目：

• 你做过哪些爬虫项目？如果有Github最好

• 你认为你做的最好的爬虫项目是哪个？其中解决了什么难题？有什么特别之处？

以上4个模块为大家面试python爬虫岗位提供一个参考，不知道要为面试准备什么的小伙伴可以好好看看，最后小编祝大家能面试到自己想去的岗位。更多Python学习推荐:PyThon学习网教学中心。