python爬虫教务系统

❶ 关于python爬虫 抓取方正教务系统的问题

同二楼，可以参照这个大神的分析步骤检查下：

http://www.cnblogs.com/dyllove98/archive/2013/07/12/3187186.html

❷ 如何设计一个python分布式爬虫系统

你都没想明白为什么要分布式
========================
我还是认真答一下吧，爬虫这种东西在大批量抓去时主要有下面几个量变引发质变的挑战：
1. 出口IP数量，主要是考虑防止被封禁，带宽反而不是大问题，这个问题可以通过搭建NAT出口集群，或者单机多IP的方式实现
2. 本地端口号耗尽，由于爬虫是服务端编程不太常见的主动发起连接的应用，在普通只有一个IP绑定的机器上会受到65535的限制（一般在50000多就会受到限制）
3. 大容量存储的需求，一般都是通过开源或者自己研发的分布式存储系统来实现，像谷歌（GFS）和网络（百灵）都是自研，这里就不展开说了
4. 动态网页的支持，像京东这种网站，内容都是通过类似Facebook的bigpipe一样动态加载的，直接像curl这样抓取看到的页面几乎是空白的，这就要求爬虫能模拟JS的运行，这方面有很多基于v8引擎的开源项目：
CasperJS, a navigation scripting and testing utility for PhantomJS and SlimerJS
PhantomJS | PhantomJS
由于这个需求，爬虫成了CPU密集型的应用了，分布式的需求也就有了
单机爬虫的主要难点在的异步非阻塞网络编程，老生常谈了。先暂时写这么多吧

❸ 如何用python3.x模拟登陆正方教务系统

首先引入需要使用到的模块

import urllib

import urllib.request

import urllib.parse

import http.cookiejar

接下来将POST的链接用一个变量保存下来

PostUrl = "http://your school's
ip/default6.aspx" #填写你学校教务系统的ip

接着创建cookie对象，handler对象和opener对象

cookie = http.cookiejar.CookieJar()

handler =
urllib.request.HTTPCookieProcessor(cookie)

opener = urllib.request.build_opener(handler)

赋值用户名和密码

username = 'your student id'

password = 'your password'

接下来创建需要提交的表单信息，保存在一个字典变量中

这个时候需要根据刚才POST的表单提交的信息来确定字典的内容（不同学校会不同，因此需要视情况而定）

从刚才上面的截图可以看到，Form Data的内容中出现了一下的情况，

因为浏览器默认是utf-8的编码，但是教务系统是gb2312的，所以这里的中文就无法显示，因此我们需要查看一下登录页面表单中这两个中文对应的是什么控件，这里分别是“学生”还有“登
录”

表单内容

接下来是header部分，这部分直接复制就差不多了

header内容

然后就是生成post的数据和构造request请求

生成post的数据和构造request请求

最后写一个try打印出登录后的页面即可

输出

输出情况：

登录后页面的内容

然后使用正则表达式去匹配自己需要的内容就行了。

❹ python爬虫

编码的转换不对，也就是最后面一个错误提示

❺ python 用 beautifulsoup 获得 <div id="z"></div>的东西

一、你取到的跟浏览器不一样，这一般是因为内容是js生成或者js以ajax取到然后更新进去的。
想要自己写代码解决恐怕你要自己分析一下网页所带的js的功能了，或者想偷懒的话用webbrowser之类的模块通过浏览器来取得内容。
二、要取div的id属性用BeautifulSoup即可达到目的，要是装了PyQuery的就更简单，下面给个BeautifulSoup的例子：
from bs4 import BeautifulSoup
sp = BeautifulSoup('<div id="z"></div>')
assert(sp.div['id'],'z')
print sp.div['id']

❻ 怎么用python爬虫写一个抢课软件

说一下技术上的几个问题吧

1.模拟登陆requests.Session能够跨请求地保持某些参数，比如cookies，即在同一个Session实例发出的所有请求都保持同一个cookies,而requests模块每次会自动处理cookies，这样就很方便地处理登录时的cookies问题。你需要找到教务网登录按钮提交的地址，把你的学号和密码弄到一个字典里发出去，然后就登录成功了。

2.找到选课页面，分析选课页面可以发现，选课页面的url一般是一个前缀加课程序号加乱七八糟的东西，所以你需要手动输入课程序号等等然后拼接url，再访问。

3.访问成功了以后同理，再寻找选课按钮提交的地址，再把需要POST的数据全部放在一个字典里，发出去，检查页面状态，没有成功继续循环。

❼ 毕业设计，Python爬虫系统 目前只知道一点点皮毛。求思路， 爬去信息，然后做成系统，老师还要求

明显串行比多线程的慢啊， 你的思路有一些坑

• python的多线程由于GIL的存在， 不咋好用， 你还不如使用gevent做多路复用的

• python串行的就是一个一个爬呗

• 首先手机1w个url, 对比两个爬虫的效率就可以

库一般而言, 写一个爬虫系统需要输入一堆种子, 这些种子是初始化链接, 你可以通过requests库和pyquery库进行解析, 按照特定的算法比如广度优先的方式再把这些链接对应的内容爬取出来，注意由于一个链接可能出现在多个网页中, 还需要在抓取之前采取排重操作, 这个你可以采用redis, 毕竟基于内存的比较快

❽ python网络爬虫怎么学习

现行环境下，大数据与人工智能的重要依托还是庞大的数据和分析采集，类似于淘宝 京东 网络 腾讯级别的企业 能够通过数据可观的用户群体获取需要的数据，而一般企业可能就没有这种通过产品获取数据的能力和条件，想从事这方面的工作，需掌握以下知识：
1. 学习Python基础知识并实现基本的爬虫过程
一般获取数据的过程都是按照 发送请求-获得页面反馈-解析并且存储数据 这三个流程来实现的。这个过程其实就是模拟了一个人工浏览网页的过程。
Python中爬虫相关的包很多：urllib、requests、bs4、scrapy、pyspider 等，我们可以按照requests 负责连接网站，返回网页，Xpath 用于解析网页，便于抽取数据。
2.了解非结构化数据的存储
爬虫抓取的数据结构复杂 传统的结构化数据库可能并不是特别适合我们使用。我们前期推荐使用MongoDB 就可以。
3. 掌握一些常用的反爬虫技巧
使用代理IP池、抓包、验证码的OCR处理等处理方式即可以解决大部分网站的反爬虫策略。
4.了解分布式存储
分布式这个东西，听起来很恐怖，但其实就是利用多线程的原理让多个爬虫同时工作，需要你掌握 Scrapy + MongoDB + Redis 这三种工具就可以了。

❾ python教务管理系统毕业设计难吗

python教务管理系统毕业设计不难。

教务系统管理平台充分利用互联网络B/S管理系统模式，以网络为平台，为各个学校教务系统的管理提供一个平台，帮助学校管理教务系统，用一个帐号解决学校教务教学管理，并且学校可以自由选择学校需要的教务管理系统，灵活地定制符合学校自己实际情况的教务系统。

系统构成：

成绩信息管理

教务工作人员通过该模块来进行学生成绩的管理，在进行学生成绩的添加时，可用它来为学生设置所在班级的课程表来直接输入成绩。

财务信息管理

教务工作人员通过此模块来管理财务信息，包括学生的缴费和欠费等。在进行缴费时候，打开新的窗口进行缴费录入，在保存的时候要进行数据库的检验，看学生是否已缴过费用，只有在不重复的情况下才能进行缴费。在学生欠费的情况下可以查找出某些班级的学生欠费，可以导出Excel的形式来打印。（如院校通中的财务缴费）

打印信息管理

教务工作人员可以通过打印模块来打印学生成绩信息，选课记表和班级表。可以根据班级、学生学号、课程编号来打印学生成绩单，打印前还要可以预览所要打印的报表。