1. 怎样避开豆瓣对爬虫的封锁，从而抓取豆瓣上电影内容
在互联网中，有网络爬虫的地方，绝对少不了反爬虫的身影。网站反爬虫的拦截前提是要正确区分人类访问用户和网络机器人，当发现可疑目标时，通过限制IP地址等措施阻止你继续访问。爬虫该如何突破反爬虫限制？
一、构建合理的HTTP请求头
HTTP的请求头是在你每次向网络服务器发送请求时，传递的一组属性和配置信息。由于浏览器和Python爬虫发送的请求头不同，有可能被反爬虫检测出来。
二、设置cookie的学问
Cookie是一把双刃剑，有它不行，没它更不行。网站会通过cookie跟踪你的访问过程，如果发现你有爬虫行为会立刻中断你的访问，比如你特别快的填写表单，或者短时间内浏览大量页面。而正确地处理cookie，又可以避免很多采集问题，建议在采集网站过程中，检查一下这些网站生成的cookie，然后想想哪一个是爬虫需要处理的。
三、正常的时间访问路径
合理控制采集速度，是Python爬虫不应该破坏的规则，尽量为每个页面访问时间增加一点儿间隔，可以有效帮助你避免反爬虫。
四、使用http
对于分布式爬虫和已经遭遇反爬虫的人来说，使用http将成为你的首选。Ipidea分布地区广，可满足分布式爬虫使用需要。支持api提取，对Python爬虫来说再适合不过。
2. JS解密，这是什么加密方式，如何解密
这是dean edwards的packer
推荐你一个别人做的代码美化工具，用js实现的，可以解压packer打包的文档
http://jsbeautifier.org/
另外告诉你打包的工具还有
jsmin，dojo compressor，yui compressor
3. js有几种加密方式
首先，MD5不是加密算法，是签名算法，哎，到底是有多少国人被毒害了呀。
另外，只要是可以由软件实现的加密算法，js都能使用，只是有效率问题，
一般的
非对称算法，使用的资源都很庞大，所以js很少有。
而对称的加密算法……，由于js是对用户可见的，所以……就和没加密一样。
这也就是为什么真正的高安全网站都不会选择用js做加密，而是选择用https 协议这样的手段。
再次重申，MD5不是加密算法，所以不再上述范围内
4. 反反爬虫的技术手段有哪些
反爬虫
就是和爬虫抗衡，减少被爬取。
因为搜索引擎的流行，网络爬虫已经成了很普及网络技术，
相当部分国内爬虫不遵守robots协议。
所有有了保护自己内容不让别人抓取的反爬虫需求
--------------------------反爬虫方法
1、手工识别和拒绝爬虫的访问
2、通过识别爬虫的User-Agent信息来拒绝爬虫
3、通过网站流量统计系统和日志分析来识别爬虫
4、网站的实时反爬虫防火墙实现
5、通过JS算法，文字经过一定转换后才显示出来，容易被破解。某技术网站采用了这种方法
6、通过CSS隐藏技术，可见的页面样式和HTML里DIV结构不同，增加了爬虫的难度，同时增加自己的维护难度。
技术网站采用了这种方法
7、通过JS不让用户复制，这对非专业人员有效，对技术人员/工程师来说，没有任何效果。不少网站采用。
8、通过flash等插件技术（会被破解，同时对用户不友好，有流失用户的可能性）。早期网站用得多，移动互联网来后，这种方式对用户不友好，少有专业网站采用了。
9、图片化
A:将文字图片化，增加了维护成本，和移动端的可读性
B:将标点符号图片化，再适当增加CSS混淆，这是一种较好的办法，不影响搜索引擎收录，不影响用户使用。但影响爬虫，是一种较好的反爬虫方式，某着名的文学网站采用了这种方法
10、交给专业反爬虫公司来处理
流程
1反爬虫混淆设计器 ---->产生反爬虫混淆素材
2混淆素材--->将服务器端文字变成不可阅读文字
3网络传输--->不可阅读文字+混淆素材
4浏览器-->绘制阶段显示可读文字
5浏览者能看见内容
但是无能有效复制，无法通过底层协议抓取
6混淆算法随时改变，只需要放入新素材就可以了，不需要工程师参与。
特点
依靠文字矩阵变换来提高蜘蛛爬虫软件抓取的代价.
由发布人员，而不是技术人员来更新混淆算法
保护方:内容保护的方法素材易复制,易部署和运营
抓取/窃取方:面对对方快速变化,增加了成本
5. JS加密方法
本文一共介绍了七种方法：
一：最简单的加密解密
二：转义字符""的妙用
三：使用Microsoft出品的脚本编码器Script Encoder来进行编码 （自创简单解码）
四：任意添加NUL空字符（十六进制00H） （自创）
五：无用内容混乱以及换行空格TAB大法
六：自写解密函数法
七：错误的利用 （自创）
在做网页时（其实是网页木马呵呵），最让人烦恼的是自己辛辛苦苦写出来的客户端IE运行的JAVASCRIPT代码常常被别人轻易的拷贝，实在让自己的心里有点不是滋味，要知道自己写点东西也挺累的......^*^
但我们也应该清楚地认识到因为JAVASCRIPT代码是在IE中解释执行，要想绝对的保密是不可能的，我们要做的就是尽可能的增大拷贝者复制的难度，让他知难而退（但愿~!~），下面我结合自己这几年来的实践，及个人研究的心得，和大家一起来探讨一下网页中JAVASCRIPT代码的加密解密技术。
以加密下面的JAVASCRIPT代码为例：
<SCRIPT LANGUAGE="JavaScript">
alert("《黑客防线》");
</SCRIPT>
一：最简单的加密解密
大家对于JAVASCRIPT函数escape()和unescape()想必是比较了解啦（很多网页加密在用它们），分别是编码和解码字符串，比如例子代码用escape()函数加密后变为如下格式：
alert%28%22%u9ED1%u5BA2%u9632%u7EBF%22%29%3B
如何？还看的懂吗？当然其中的ASCII字符"alert"并没有被加密，如果愿意我们可以写点JAVASCRIPT代码重新把它加密如下：
%61%6C%65%72%74%28%22%u9ED1%u5BA2%u9632%u7EBF%22%29%3B
呵呵！如何？这次是完全都加密了！
当然，这样加密后的代码是不能直接运行的，幸好还有eval(codeString)可用，这个函数的作用就是检查JavaScript代码并执行，必选项 codeString 参数是包含有效 JavaScript 代码的字符串值，加上上面的解码unescape()，加密后的结果如下：
<SCRIPT LANGUAGE="JavaScript">
var code=unescape("%61%6C%65%72%74%28%22%u9ED1%u5BA2%u9632%u7EBF%22%29%3B");
eval(code)
</SCRIPT>
是不是很简单？不要高兴，解密也就同样的简单，解密代码都摆给别人啦（unescape()）！呵呵
二：转义字符""的妙用
大家可能对转义字符""不太熟悉，但对于JavaScript提供了一些特殊字符如：n （换行）、 r （回车）、' （单引号 ）等应该是有所了解的吧？其实""后面还可以跟八进制或十六进制的数字，如字符"a"则可以表示为："141"或"x61"（注意是小写字符"x"），至于双字节字符如汉字"黑"则仅能用十六进制表示为"u9ED1"（注意是小写字符"u"），其中字符"u"表示是双字节字符，根据这个原理例子代码则可以表示为：
八进制转义字符串如下:
<SCRIPT LANGUAGE="JavaScript">
eval("")
</SCRIPT>
十六进制转义字符串如下:
<SCRIPT LANGUAGE="JavaScript">
eval("")
</SCRIPT>
这次没有了解码函数，因为JavaScript执行时会自行转换，同样解码也是很简单如下：
<SCRIPT LANGUAGE="JavaScript">
alert("")
</SCRIPT>
就会弹出对话框告诉你解密后的结果！
6. js有哪些加密的方式
JS七种加密解密方法
这篇文章可能对你有所帮助
网页链接
7. 关于JS加密,这个是什么加密方式如何进行加密和解密
7种加密方式：http://www.codesky.net/article/200911/165731.html
8. 豆瓣电影搜索数据JS加密了，请教怎么解码
用的是什么语言？一般通用的可以用正则表达式解析，不过会麻烦一点。
9. 后台加密，js解密有什么好的算法吗
加密是解密的逆算法，最好不好把全部的解密都放在js，因为客户端可以看得见，在服务端稍微变化(部分解密，或二次加密)后，发送到Js，再进行剩余解密（多重解密），相对比较安全。
具体方法很简单，不外乎，字符变Ascill，移位，映射，变形等，自己想一些古怪的更安全。
10. 如何应对网站反爬虫策略如何高效地爬大量数据
一般有一下几种
一些常用的方法
IP代理
对于IP代理,各个语言的Native Request API都提供的IP代理响应的API, 需要解决的主要就是IP源的问题了.
网络上有廉价的代理IP(1元4000个左右), 我做过简单的测试, 100个IP中, 平均可用的在40-60左右, 访问延迟均在200以上.
网络有高质量的代理IP出售, 前提是你有渠道.
因为使用IP代理后, 延迟加大, 失败率提高, 所以可以将爬虫框架中将请求设计为异步, 将请求任务加入请求队列(RabbitMQ,Kafka,Redis), 调用成功后再进行回调处理, 失败则重新加入队列. 每次请求都从IP池中取IP, 如果请求失败则从IP池中删除该失效的IP.
Cookies
有一些网站是基于cookies做反爬虫, 这个基本上就是如 @朱添一 所说的, 维护一套Cookies池
注意研究下目标网站的cookies过期事件, 可以模拟浏览器, 定时生成cookies
限速访问
像开多线程,循环无休眠的的暴力爬取数据, 那真是分分钟被封IP的事, 限速访问实现起来也挺简单(用任务队列实现), 效率问题也不用担心, 一般结合IP代理已经可以很快地实现爬去目标内容.
一些坑
大批量爬取目标网站的内容后, 难免碰到红线触发对方的反爬虫机制. 所以适当的告警提示爬虫失效是很有必有的.
一般被反爬虫后, 请求返回的HttpCode为403的失败页面, 有些网站还会返回输入验证码(如豆瓣), 所以检测到403调用失败, 就发送报警, 可以结合一些监控框架, 如Metrics等, 设置短时间内, 告警到达一定阀值后, 给你发邮件,短信等.
当然, 单纯的检测403错误并不能解决所有情况. 有一些网站比较奇葩, 反爬虫后返回的页面仍然是200的(如去哪儿), 这时候往往爬虫任务会进入解析阶段, 解析失败是必然的. 应对这些办法, 也只能在解析失败的时候, 发送报警, 当告警短时间到达一定阀值, 再触发通知事件.
当然这个解决部分并不完美, 因为有时候, 因为网站结构改变, 而导致解析失败, 同样回触发告警. 而你并不能很简单地区分, 告警是由于哪个原因引起的.