线程池共享变量python

1. python进程，线程，协程以及几种自定义线程池

1.线程和进程：
线程是属于进程的，线程运行在进程空间内，同一进程所产生的线程共享同一内存空间，当进程退出时该进程所产生的线程都会被强制退出并清除。线程可与属于同一进程的其它线程共享进程所拥有的全部资源，但是其本身基本上不拥有系统资源，只拥有一点在运行中必不可少的信息(如程序计数器、一组寄存器和栈)。

2.线程、进程与协程：
线程和进程的操作是由程序触发系统接口，最后的执行者是系统；协程的操作则是程序员
协程存在的意义：对于多线程应用，CPU通过切片的方式来切换线程间的执行，线程切换时需要耗时（保持状态，下次继续）。协程，则只使用一个线程，在一个线程中规定某个代码块执行顺序。
协程的适用场景： 当程序中存在大量不需要CPU的操作时（IO），适用于协程；

2. python多线程能提高效率吗

很多爬虫工作者都遇到过抓取速度非常慢，现在的大多数网站都具备了反爬虫技术，对IP的访问频率限制很严格。如果想提升爬虫的速度，大家可以尝试以下方法。

一、尽量减少访问次数。
单次爬虫任务的大多耗时在网络请求等待响应，所以能减少网络请求就尽量减少请求，这样既能减少目标网站的压力，也能减少代理服务器的压力，提高工作效率。

二、精简流程，减少重复。
大部分网站并不是严格意义上的树状结构，而是多重交叉的网状结构，所以从多个入口深入的网页会有很多重复，一般根据URL或者ID进行唯一性判别，爬过的就不需要再爬。一些数据如果可以在一个页面内获取到，也可以在多个页面下获取到，那就选择只在一个页面内获取。

三、多线程任务。
大量爬虫是一个IO阻塞的任务，所以采用多线程的并发方式可以有效地提高整体速度。多线程可以更好地提高资源利用率，程序设计也更加坚定，程序响应也更快。

四、分布式任务。
上面三点都做到极致了，但是单机单位时间内能爬取到的网页数量还不足以达到目标，在指定时间内还不能及时的完成任务，那么就只能多机器来同时进行爬虫任务了，这就是分布式爬虫。

做好以上几点，基本可以将爬虫的效率提升大半，另外爬虫代理ip也是不可缺少的尤其是对于量大的任务，IPIDEA提供全球ip的同时更注重保护数据的安全，也可以减少反爬虫策略的触发，一举多得。

3. python中多线程操作全局变量

你要做的只是打印list的内容，而不是修改list的内容，所以这里不需要加锁，直接打印就行了。

4. python 同步框架中使用线程池是否有意义

有

简单地说就是作为可能是仅有的支持多线程的解释型语言（perl的多线程是残疾，PHP没有多线程），Python的多线程是有compromise的，在任意时间只有一个Python解释器在解释Python bytecode。

如果你的代码是CPU密集型，多个线程的代码很有可能是线性执行的。所以这种情况下多线程是鸡肋，效率可能还不如单线程因为有context switch
但是：如果你的代码是IO密集型，多线程可以明显提高效率。例如制作爬虫（我就不明白为什么Python总和爬虫联系在一起…不过也只想起来这个例子…），绝大多数时间爬虫是在等待socket返回数据。这个时候C代码里是有release GIL的，最终结果是某个线程等待IO的时候其他线程可以继续执行。
反过来讲：你就不应该用Python写CPU密集型的代码…效率摆在那里…
如果确实需要在CPU密集型的代码里用concurrent，就去用multiprocessing库。这个库是基于multi process实现了类multi thread的API接口，并且用pickle部分地实现了变量共享。
再加一条，如果你不知道你的代码到底算CPU密集型还是IO密集型，教你个方法：
multiprocessing这个mole有一个mmy的sub mole，它是基于multithread实现了multiprocessing的API。

5. Python多线程是什么意思

简单地说就是作为可能是仅有的支持多线程的解释型语言（perl的多线程是残疾，PHP没有多线程），Python的多线程是有compromise的，在任意时间只有一个Python解释器在解释Python bytecode。
UPDATE：如评论指出，Ruby也是有thread支持的，而且至少Ruby MRI是有GIL的。
如果你的代码是CPU密集型，多个线程的代码很有可能是线性执行的。所以这种情况下多线程是鸡肋，效率可能还不如单线程因为有context switch
但是：如果你的代码是IO密集型，多线程可以明显提高效率。例如制作爬虫（我就不明白为什么Python总和爬虫联系在一起…不过也只想起来这个例子…），绝大多数时间爬虫是在等待socket返回数据。这个时候C代码里是有release GIL的，最终结果是某个线程等待IO的时候其他线程可以继续执行。
反过来讲：你就不应该用Python写CPU密集型的代码…效率摆在那里…
如果确实需要在CPU密集型的代码里用concurrent，就去用multiprocessing库。这个库是基于multi process实现了类multi thread的API接口，并且用pickle部分地实现了变量共享。
再加一条，如果你不知道你的代码到底算CPU密集型还是IO密集型，教你个方法：
multiprocessing这个mole有一个mmy的sub mole，它是基于multithread实现了multiprocessing的API。
假设你使用的是multiprocessing的Pool，是使用多进程实现了concurrency
from multiprocessing import Pool
如果把这个代码改成下面这样，就变成多线程实现concurrency
from multiprocessing.mmy import Pool
两种方式都跑一下，哪个速度快用哪个就行了。
UPDATE:
刚刚才发现concurrent.futures这个东西，包含ThreadPoolExecutor和ProcessPoolExecutor，可能比multiprocessing更简单

6. Python中的线程池是什么

多线程的做法是，可以同时创建多个线程放入等待执行的序列中。某个线程执行完毕就将它从序列中移除并销毁。不然的话，即时创建，然后就一定要等到它销毁，那这不是多线程，这是单线程.
进程中根据需要，为一些需要慢资源、竟争性资源的任务创建线程，排除等候执行。
线程需要等待分配，如果短时间建立了多个线程，哪个线程先开始执行，由调度程序决定；
...调度>>>执行>>>循环
当线程执行完毕，销毁线程。
比如说，下载图片：我有一个列表,记录了要下载的300张图片的URL。每个图片的来源可能是不同网站(服务器)。那么，主循环里只需要创建300个【下载】线程。每个线程负责一个URL的下载任务。
然后，调序程序开始调度:线程1有数据过来了，分配时间片给线程1处理这段数据...线程n执行完毕,销毁线程n...线程1又有数据过来了，分配时间片给线程1处理这段数据......销毁线程n,没有等待中的线程,调度暂停。
于是，所有的图片下载完了。
这个过程与单线程的不同是，在多线程中，最开始同一时间有300个请求在等待若干个服务器返回数据，而单线程则总是只有一个请求在等待服务器返回数据或者正在处理数据，另外299个请求根本不存在。
这才是多线程与单线程最主要的差别:在等待某个资源的时候，把其它资源给别的线程去使用。

7. python如何实现线程池

#这个类是线程类，用来在主程序中调用生成一个线程。其实线程池就是线程的集合地，
#能够解决有效统一的管理线程，基本就达到了线程池的目的；
#这一段代码是我的爬虫程序中的一部分，希望对你有用。
classSpider(Thread):
def__init__(self,todo_list):
super().__init__()
self.setDaemon(True)
self.todo_list=todo_list
self.stat=IDLE

defis_idle(self):
returnself.stat==IDLE

defrun(self):
whileTrue:
url=self.todo_list.get()

#开始线程工作


#这个函数就是主函数了，
defmain(max_threads):
########这里和上一个函数就是核心代码了。
#创建N个线程，并启动
print('Spawnspiders')
spiders=[Spider(todo_list)foriinrange(max_threads)]
forspdinspiders:
spd.start()


#python主运行代码：
if__name__=='__main__':
main(max_threads)

只能给你这么多解释了，如果想弄懂，还是要去看看基础知识的。

另外可以查一下有没有封装好的三方库。

8. 为什么有人说 Python 的多线程是鸡肋呢

首先，我并不认同这个观点，我觉得觉得Python 的多线程是鸡肋多余的人，应该还没有完全使用过Python 的多线程功能，并没有发掘它的潜在能力。

• 什么是Python多线程

Python多线程最大的优点就是使用方便，很多时候我们并不需要做大量的密集型数据的处理运算，这时候用Python多线程是最方便快捷的，可以大大减少工作量、提高工作效率。

• 总结

从以上几点我们就可以看出，Python多线程并不鸡肋，只是有时候使用者在不巧当的地方使用，它自然不是那么顺手，我们加深熟悉了解Python多线程的适用范围。

9. python多线程和多进程的区别有哪些

python多线程和多进程的区别有七种：

1、多线程可以共享全局变量，多进程不能。

2、多线程中，所有子线程的进程号相同；多进程中，不同的子进程进程号不同。

3、线程共享内存空间；进程的内存是独立的。

4、同一个进程的线程之间可以直接交流；两个进程想通信，必须通过一个中间代理来实现。

5、创建新线程很简单；创建新进程需要对其父进程进行一次克隆。

6、一个线程可以控制和操作同一进程里的其他线程；但是进程只能操作子进程。

7、两者最大的不同在于：在多进程中，同一个变量，各自有一份拷贝存在于每个进程中，互不影响；而多线程中，所有变量都由所有线程共享。

更多Python知识，请关注：Python自学网！！