温馨提示×

温馨提示×

您好,登录后才能下订单哦!

密码登录×
登录注册×
其他方式登录
点击 登录注册 即表示同意《亿速云用户服务条款》

Python中多线程和多处理的指南是怎样的

发布时间:2021-11-09 16:08:45 来源:亿速云 阅读:109 作者:柒染 栏目:建站服务器

Python中多线程和多处理的指南是怎样的,相信很多没有经验的人对此束手无策,为此本文总结了问题出现的原因和解决方法,通过这篇文章希望你能解决这个问题。

使用Python分析数据,如果使用了正确的数据结构和算法,有时可以大量提高程序的速度。实现此目的的一种方法是使用Muiltithreading(多线程)或Multiprocessing(多重处理)。

使用Python分析数据,如果使用了正确的数据结构和算法,有时可以大量提高程序的速度。实现此目的的一种方法是使用Muiltithreading(多线程)或Multiprocessing(多重处理)。

我们举一个例子,编写一个小的Python 脚本从Unsplash下载图像。我们将从一次下载一个图像的版本开始。接下来,我们使用线程来提高执行速度。

Python中多线程和多处理

多线程

简单地说,线程允许您并行地运行程序。花费大量时间等待外部事件的任务通常适合线程化。它们也称为I/O Bound任务例如从文件中读写,网络操作或使用API在线下载。让我们来看一个示例,它展示了使用线程的好处。

1. 没有线程

在本例中,我们希望通过顺序运行程序来查看从Unsplash API下载15张图像需要多长时间:

import requests 
import time 
img_urls = [ 
    'https://images.unsplash.com/photo-1516117172878-fd2c41f4a759', 
    'https://images.unsplash.com/photo-1532009324734-20a7a5813719', 
    'https://images.unsplash.com/photo-1524429656589-6633a470097c', 
    'https://images.unsplash.com/photo-1530224264768-7ff8c1789d79', 
    'https://images.unsplash.com/photo-1564135624576-c5c88640f235', 
    'https://images.unsplash.com/photo-1541698444083-023c97d3f4b6', 
    'https://images.unsplash.com/photo-1522364723953-452d3431c267', 
    'https://images.unsplash.com/photo-1513938709626-033611b8cc03', 
    'https://images.unsplash.com/photo-1507143550189-fed454f93097', 
    'https://images.unsplash.com/photo-1493976040374-85c8e12f0c0e', 
    'https://images.unsplash.com/photo-1504198453319-5ce911bafcde', 
    'https://images.unsplash.com/photo-1530122037265-a5f1f91d3b99', 
    'https://images.unsplash.com/photo-1516972810927-80185027ca84', 
    'https://images.unsplash.com/photo-1550439062-609e1531270e', 
    'https://images.unsplash.com/photo-1549692520-acc6669e2f0c' 
] 
 
start = time.perf_counter() #start timer 
for img_url in img_urls: 
    img_name = img_url.split('/')[3] #get image name from url 
    img_bytes = requests.get(img_url).content 
with open(img_name, 'wb') as img_file: 
     img_file.write(img_bytes) #save image to disk  
 
finish = time.perf_counter() #end timer 
print(f"Finished in {round(finish-start,2)} seconds")  
 
#results 
Finished in 23.101926751 seconds

一共用时23秒。

2. 多线程

让我们看看Pyhton中的线程模块如何显著地改进我们的程序执行:

import time 
from concurrent.futures import ThreadPoolExecutor 
 
def download_images(url): 
    img_name = img_url.split('/')[3] 
    img_bytes = requests.get(img_url).content 
    with open(img_name, 'wb') as img_file: 
         img_file.write(img_bytes) 
         print(f"{img_name} was downloaded") 
 
start = time.perf_counter() #start timer 
with ThreadPoolExecutor() as executor: 
    results = executor.map(download_images,img_urls) #this is Similar to map(func, *iterables) 
finish = time.perf_counter() #end timer 
print(f"Finished in {round(finish-start,2)} seconds") 
 
#results  
Finished in 5.544147536 seconds

我们可以看到,与不使用线程代码相比,使用线程代码可以显著提高速度。从23秒到5秒。

对于本例,请注意在创建线程时存在开销,因此将线程用于多个API调用是有意义的,而不仅仅是单个调用。

此外,对于密集的计算,如数据处理,图像处理多处理比线程执行得更好。

看完上述内容,你们掌握Python中多线程和多处理的指南是怎样的的方法了吗?如果还想学到更多技能或想了解更多相关内容,欢迎关注亿速云行业资讯频道,感谢各位的阅读!

向AI问一下细节

免责声明:本站发布的内容(图片、视频和文字)以原创、转载和分享为主,文章观点不代表本网站立场,如果涉及侵权请联系站长邮箱:is@yisu.com进行举报,并提供相关证据,一经查实,将立刻删除涉嫌侵权内容。

AI