最新下载
热门教程
- 1
- 2
- 3
- 4
- 5
- 6
- 7
- 8
- 9
- 10
python多进程和多线程哪个最快
时间:2017-06-01 编辑:简简单单 来源:一聚教程网
python3.6
threading和multiprocessing
四核+三星250G-850-SSD
自从用多进程和多线程进行编程,一致没搞懂到底谁更快。网上很多都说python多进程更快,因为GIL(全局解释器锁)。
这里先来一张程序的结果图,说明线程和进程谁更快
一些定义
并行是指两个或者多个事件在同一时刻发生。并发是指两个或多个事件在同一时间间隔内发生
线程是操作系统能够进行运算调度的最小单位。它被包含在进程之中,是进程中的实际运作单位。一个程序的执行实例就是一个进程。
实现过程
而python里面的多线程显然得拿到GIL,执行code,最后释放GIL。所以由于GIL,多线程的时候拿不到,实际上,它是并发实现,即多个事件,在同一时间间隔内发生。
但进程有独立GIL,所以可以并行实现。因此,针对多核CPU,理论上采用多进程更能有效利用资源。
现实问题
在网上的教程里面,经常能见到python多线程的身影。比如网络爬虫的教程、端口扫描的教程。
这里拿端口扫描来说,大家可以用多进程实现下面的脚本,会发现python多进程更快。那么不就是和我们分析相悖了吗?
代码如下 | 复制代码 |
importsys,threading fromsocketimport*
host="127.0.0.1"iflen(sys.argv)==1elsesys.argv[1] portList=[iforiinrange(1,1000)] scanList=[] lock=threading.Lock() print('Please waiting... From ',host)
defscanPort(port): try: tcp=socket(AF_INET,SOCK_STREAM) tcp.connect((host,port)) except: pass else: iflock.acquire(): print('[+]port',port,'open') lock.release() finally: tcp.close()
forpinportList: t=threading.Thread(target=scanPort,args=(p,)) scanList.append(t) foriinrange(len(portList)): scanList[i].start() foriinrange(len(portList)): scanList[i].join() |
谁更快
因为python锁的问题,线程进行锁竞争、切换线程,会消耗资源。所以,大胆猜测一下:
在CPU密集型任务下,多进程更快,或者说效果更好;而IO密集型,多线程能有效提高效率。
大家看一下下面的代码:
代码如下 | 复制代码 |
importtime importthreading importmultiprocessing
max_process=4 max_thread=max_process
deffun(n,n2): #cpu密集型 foriinrange(0,n): forjinrange(0,(int)(n*n*n*n2)): t=i*j
defthread_main(n2): thread_list=[] foriinrange(0,max_thread): t=threading.Thread(target=fun,args=(50,n2)) thread_list.append(t)
start=time.time() print(' [+] much thread start') foriinthread_list: i.start() foriinthread_list: i.join() print(' [-] much thread use ',time.time()-start,'s')
defprocess_main(n2): p=multiprocessing.Pool(max_process) foriinrange(0,max_process): p.apply_async(func=fun,args=(50,n2)) start=time.time() print(' [+] much process start') p.close()#关闭进程池 p.join()#等待所有子进程完毕 print(' [-] much process use ',time.time()-start,'s')
if__name__=='__main__': print("[++]When n=50,n2=0.1:") thread_main(0.1) process_main(0.1) print("[++]When n=50,n2=1:") thread_main(1) process_main(1) print("[++]When n=50,n2=10:") thread_main(10) process_main(10) |
结果如下:
可以看出来,当对cpu使用率越来越高的时候(代码循环越多的时候),差距越来越大。验证我们猜想
CPU和IO密集型
1、CPU密集型代码(各种循环处理、计数等等)
2、IO密集型代码(文件处理、网络爬虫等)
判断方法:
1、直接看CPU占用率, 硬盘IO读写速度
2、计算较多->CPU;时间等待较多(如网络爬虫)->IO
3、请自行百度
以上这篇python多进程和多线程哪个最快就是小编分享给大家的全部内容了,希望能给大家一个参考,也希望大家多多支持本网站。
-
上一个: 浅谈PHP错误类型及屏蔽方法
-
下一个: PHP获取真实客户端的真实IP
相关文章
- 浅谈java多线程 join方法以及优先级方法 02-04
- Java多线程实现的两种方式 01-16
- python10多线程下载器的实现例子 10-21
- 举例理解 python 中多线程用法 09-20
- Python 多线程编程的使用详解 08-21
- python断点续传的原理及实现例子(支持多线程) 08-12