资讯

精准传达 • 有效沟通

从品牌网站建设到网络营销策划,从策略到执行的一站式服务

python线程池ThreadPoolExecutor(下-创新互联

紧接着上一篇文章  python 线程池ThreadPoolExecutor(上) 我们继续对线程池深入一点了解,其实python中关于线程池,一共有两个模块:

创新互联是一家集网站建设,香河企业网站建设,香河品牌网站建设,网站定制,香河网站建设报价,网络营销,网络优化,香河网站推广为一体的创新建站企业,帮助传统企业提升企业形象加强企业竞争力。可充分满足这一群体相比中小企业更为丰富、高端、多元的互联网需求。同时我们时刻保持专业、时尚、前沿,时刻以成就客户成长自我,坚持不断学习、思考、沉淀、净化自己,让我们为更多的企业打造出实用型网站。

1.threadpool — 是一个比较老的模块了,现在虽然还有一些人在用,但已经不再是主流了;

2.concurrent.futures — 目前线程池主要使用这个模块,主流模块;

ThreadPoolExecutor常用函数

除了 python 线程池ThreadPoolExecutor(上) 文章中介绍的  submit()  /  cancel()   /  done()  /  result()   函数外,今天还需要额外讲解一下另外几个函数:

1.as_completed

虽然 done() 函数提供了判断任务是否结束的方法,但是并不是太实用,因为我们并不知道线程到底什么时候结束,需要一直判断每个任务有没有结束。这时就可以使用 as_completed() 方法一次取出所有任务的结果。

as_completed() 方法是一个生成器,在没有任务完成的时候,会阻塞,在有某个任务完成的时候,就能继续执行for循环后面的语句,然后继续阻塞住,循环到所有的任务结束。

1

2

3

4

5

6

7

8

9

10

11

12

13

14

15

16

17

18

19

20

21

22

23

24

25

26

27

28

29

30

31

# !usr/bin/env python

# -*- coding:utf-8 _*-

"""

@Author:何以解忧

@Blog(个人博客地址): shuopython.com

@WeChat Official Account(微信公众号):猿说python

@Github:www.github.com

@File:python_ThreadPoolExecutor.py

@Time:2019/12/07 21:25

@Motto:不积跬步无以至千里,不积小流无以成江海,程序人生的精彩需要坚持不懈地积累!

"""

fromconcurrent.futuresimportThreadPoolExecutor,as_completed

importtime

# 参数times用来模拟网络请求的时间

defdownload_video(index):

time.sleep(2)

print("download video {} finished at {}".format(index,time.strftime('%Y-%m-%d %H:%M:%S',time.gmtime())))

returnindex

executor=ThreadPoolExecutor(max_workers=2)

urls=[1,2,3,4,5]

all_task=[executor.submit(download_video,(url))forurlinurls]

fortaskinas_completed(all_task):

data=task.result()

print("任务{} down load success".format(data))

输出结果:

1

2

3

4

5

6

7

8

9

10

downloadvideo1finishedat2019-12-0702:33:00

任务1downloadsuccess

downloadvideo2finishedat2019-12-0702:33:00

任务2downloadsuccess

downloadvideo3finishedat2019-12-0702:33:02

任务3downloadsuccess

downloadvideo4finishedat2019-12-0702:33:02

任务4downloadsuccess

downloadvideo5finishedat2019-12-0702:33:04

任务5downloadsuccess

代码分析:

5个任务,2个线程,由于在线程池构造的时候允许同时最多执行2个线程,所以同时执行任务1和任务2,重代码的输出结果来看,任务1和任务2执行后,for循环进入阻塞状态,直到任务1或者任务2结束之后才会for才会继续执行任务3/任务4,并保证同时执行的最多只有两个任务(关于自定义时间格式请参考: python time模块).

2.map

和as_completed() 方法不同的是:map()方法能保证任务的顺序性,举个例子:如果同时下载5个视频,就算第二个视频比第一个视频先下载完成,也会阻塞等待第一个视频下载完成并通知主线程之后,第二个下载完成的视频才回通知主线程,保证按照顺序完成任务,下面举个例子说明一下:

1

2

3

4

5

6

7

8

9

10

11

12

13

14

15

fromconcurrent.futuresimportThreadPoolExecutor,as_completed

importtime

# 参数times用来模拟网络请求的时间

defdownload_video(index):

time.sleep(index)

print("download video {} finished at {}".format(index,time.strftime('%Y-%m-%d %H:%M:%S',time.gmtime())))

returnindex

executor=ThreadPoolExecutor(max_workers=2)

urls=[3,2,1,4,5]

fordatainexecutor.map(download_video,urls):

print("任务{} down load success".format(data))

输出结果:

1

2

3

4

5

6

7

8

9

10

downloadvideo2finishedat2019-12-0703:38:55

downloadvideo3finishedat2019-12-0703:38:56

任务3downloadsuccess

任务2downloadsuccess

downloadvideo1finishedat2019-12-0703:38:56

任务1downloadsuccess

downloadvideo4finishedat2019-12-0703:39:00

任务4downloadsuccess

downloadvideo5finishedat2019-12-0703:39:01

任务5downloadsuccess

代码分析:

重上面的输出结果看来,即便任务2比任务3先完成,for循环输出的内容依旧是提示先完成的任务3再完成任务2,根据列表urls顺序输出,保证任务的顺序性!

3.wait

wait()方法有点类似线程的join()方法,能阻塞主线程,直到线程池中的所有的线程都操作完成!实例代码如下:

1

2

3

4

5

6

7

8

9

10

11

12

13

14

15

16

fromconcurrent.futuresimportThreadPoolExecutor,wait,ALL_COMPLETED,FIRST_COMPLETED

importtime

# 参数times用来模拟网络请求的时间

defdownload_video(index):

time.sleep(2)

print("download video {} finished at {}".format(index,time.strftime('%Y-%m-%d %H:%M:%S',time.gmtime())))

returnindex

executor=ThreadPoolExecutor(max_workers=2)

urls=[1,2,3,4,5]

all_task=[executor.submit(download_video,(url))forurlinurls]

wait(all_task,return_when=ALL_COMPLETED)

print("main ")

输出结果:

1

2

3

4

5

6

downloadvideo2finishedat2019-12-0703:50:22

downloadvideo1finishedat2019-12-0703:50:22

downloadvideo3finishedat2019-12-0703:50:24

downloadvideo4finishedat2019-12-0703:50:24

downloadvideo5finishedat2019-12-0703:50:26

main

wait方法接收3个参数,等待的任务序列、超时时间以及等待条件。等待条件return_when默认为ALL_COMPLETED,表明要等待所有的任务都结束。可以看到运行结果中,确实是所有任务都完成了,主线程才打印出main。等待条件还可以设置为FIRST_COMPLETED,表示第一个任务完成就停止等待。

猜你喜欢:

1.python线程队列Queue-FIFO

2.python 异常处理

3.python __name__ == ‘__main__’详细解释

4.python 不定长参数 *argc,**kargcs

转载请注明:猿说Python » python 线程池ThreadPoolExecutor(下)

另外有需要云服务器可以了解下创新互联cdcxhl.cn,海内外云服务器15元起步,三天无理由+7*72小时售后在线,公司持有idc许可证,提供“云服务器、裸金属服务器、高防服务器、香港服务器、美国服务器、虚拟主机、免备案服务器”等云主机租用服务以及企业上云的综合解决方案,具有“安全稳定、简单易用、服务可用性高、性价比高”等特点与优势,专为企业上云打造定制,能够满足用户丰富、多元化的应用场景需求。


网页标题:python线程池ThreadPoolExecutor(下-创新互联
URL地址:http://www.cdkjz.cn/article/dcpghd.html
多年建站经验

多一份参考,总有益处

联系快上网,免费获得专属《策划方案》及报价

咨询相关问题或预约面谈,可以通过以下方式与我们联系

大客户专线   成都:13518219792   座机:028-86922220