Ⅰ 如何用python计算两篇新闻文档之间的距离
你好，你可以考虑使用gensim的来做文本的相识度分析。主要使用的算法是tf-idf
tf：term frequency 词频
idf：inverse document frequency 倒文档频率
主要思想是：如果某个词或短语在一篇文章中出现的频率高，并且在其他文章中很少出现，则认为此词或者短语具有很好的类别区分能力，适合用来分类。
第一步：把每个网页文本分词，成为词包（bag of words）。
第三步：统计网页（文档）总数M。
第三步：统计第一个网页词数N，计算第一个网页第一个词在该网页中出现的次数n，再找出该词在所有文档中出现的次数m。则该词的tf-idf 为：n/N * 1/(m/M) （还有其它的归一化公式，这里是最基本最直观的公式）
第四步：重复第三步，计算出一个网页所有词的tf-idf 值。
第五步：重复第四步，计算出所有网页每个词的tf-idf 值。
3、处理用户查询
第一步：对用户查询进行分词。
第二步：根据网页库（文档）的数据，计算用户查询中每个词的tf-idf 值。
4、相似度的计算
使用余弦相似度来计算用户查询和每个网页之间的夹角。夹角越小，越相似。
Ⅱ python能用来抓取新闻吗
最简单可以用urllib，python2.x和python3.x的用法不同，以python2.x为例：
import urllib
html = urllib.open(url)
text = html.read()
复杂些可以用requests库，支持各种请求类型，支持cookies，header等
再复杂些的可以用selenium，支持抓取javascript产生的文本
Ⅲ Python如何简单爬取腾讯新闻网前五页文字内容
可以使用python里面的一个爬虫库，beautifulsoup，这个库可以很方便的爬取数据。爬虫首先就得知道网页的链接，然后获取网页的源代码，通过正则表达式或者其他方法来获取所需要的内容，具体还是要对着网页源代码进行操作，查看需要哪些地方的数据，然后通过beautifulsoup来爬取特定html标签的内容。网上有很多相关的内容，可以看看。
Ⅳ 请教python Scrapy 高手 如何抓取腾讯新闻评论页面内容，有重谢
其实你可以换个思路，scrapy的确是可以爬去js生成的代码，使用webkit中间件，这个网上有教程，你可以搜一下。
但是有个更好的方法，通过请求分析获取到评论的信息，比如：
这个新闻：http://coral.qq.com/1129103872
对应的评论地址：http://coral.qq.com/article/1129103872/comment?reqnum=2000
后面那个reqnum是你要提取的评论数，希望这个能帮到你。
如果解决了您的问题请采纳！
如果未解决请继续追问
Ⅳ python可以做到自动抓取互联网上的新闻更新到网站吗
可以的，首先要自己会写代码 学习爬虫可以从下面一些知识点入手学习。 1、http相关知识。 2、浏览器拦截、抓包。 3、python2 中编码知识，python3 中bytes 和str类型转换。 4、抓取javascript 动态生成的内容。 4、模拟post、get，header等 5、cpython可以做到自动抓取互联网上的新闻更新到网站吗
Ⅵ 给一条新闻标题怎么通过python判断他的重要性
我想你首先应该告诉 Python 什么时候重要的新闻标题吧。
如果你不能明确的给出的话， 你可以通过 机器学习 算法 ， 让它学习你给出的一些训练集， 让它自己找到重要的标题的特征。
然后就是，机器学习内容请另外查找吧，关于这方面我无法对你进行指导了。
Ⅶ python如何利用已有的语料库，对一篇新闻文本进行分词
把自己的语料库(sogou文本分类语料库)放在LTK_DATA/corpora/目录下；
然后在命令行输入以下之后，即可看到所有的txt文件名列表了。
Ⅷ 如何使用python抓取新闻网站最新新闻
所谓网页抓取，就是把URL地址中指定的网络资源从网络流中读取出来，保存到本地。类似于使用程序模拟IE浏览器的功能，把URL作为HTTP请求的内容发送到服务器端，然后读取服务器端的响应资源。在Python中，我们使用urllib2这个组件来抓取网页。u
Ⅸ 新闻研究相关是应该学python吗
建议python。 原因：免费、代码简洁、应用广泛。 当然还有一个让你心动的理由：python有很多机器学习的库可供你选择