105、Python并发编程:化繁为简,通过线程池轻松实现多线程编程

南宫理的日志录 2024-11-29 08:00:31
引言

虽然Python的threading模块提供了各种多线程编程的组件支持,比如前面介绍过的Thread、Lock、Condition、Queue、Semaphore等,在各个典型的并发需求中,都能够提供很好的技术支持。

但是,要真正实现系统的多线程编程,除了技术特性的支持,还需要真正实现更加便捷的多线程任务的全生命周期管理,简化线程任务的提交、状态获取、结果获取等,屏蔽并发资源管理的复杂性等。

为了更加轻松便捷地进行多线程编程,Python提供了线程池的支持,可以帮我们更好地实现上述多线程编程的相关诉求。

本文就来简单介绍一下Python中线程池的基本使用,本文的主要内容有:

1、多线程解决方案的完整诉求

2、Python中对线程池的支持

3、线程池使用的代码示例

多线程解决方案的完整诉求

虽然,基于前面的文章中关于Python中threading模块的常用组件的介绍,我们能够进行一些简单的并发编程的实现。但是,一个工业级的并发编程实践,除了满足基础的并发特性、线程通信与同步外,更重要的是能够真实满足业务的诉求。

一个完整的多线程解决方案的诉求,主要有:

1、提供并发特性和线程通信同步的支持

能够实现并发、甚至并行,从而提高用户体验、提高作业效率的并发特性支持。任务并发的同时要保证作业的准确性,所以,需要有线程间的通信以及同步机制的支持。

这方面可以说是多线程编程的最基础、最核心的部分。前面的文章中,关于threading模块的各种组件的介绍,基本上都是在围绕着这些特性。

2、简便的任务提交以及结果管理

并发任务的提交应该更加简洁,多线程编程中,开发者应当更加专注于业务逻辑中,可并发的业务需求的识别及业务规则的代码实现。而无需关心如何进行线程的创建以及如何实现任务的提交。

并发任务的结果需要进行自动化管理,更便捷的获取线程执行结果,而不是多线程的无序、失控的执行状态。

3、状态跟踪及异常处理

并发任务的执行状态,应当是可以轻松进行感知、管理的。

并发过程中对异常的定位及处理,应该更加便捷,而不是增加调试的复杂性。

4、任务的执行与资源调度相分离

关注业务逻辑的实现,更大的精力应该在于业务需求的理解、业务需求中可并行逻辑的拆解,业务需求的最终编码实现。

并发编程中的线程资源的申请、释放,相应执行资源的调度管理等的复杂性,应该对开发者屏蔽(应用开发者,如果是底层组件的设计者,则应该更加关注这块内容)

基于这些并发编程的完整诉求,显然,threading模块的组件就显得有些乏力了,好在Python中提供了线程池的支持,可以更好地满足这些诉求,提供更加简洁的并发编程的实现。

Python中对线程池的支持

Python中的concurrent.futures包中的ThreadPoolExecutor、Future和as_completed提供了关于线程池的支持。

关于线程池的相关操作,主要有:

1、任务的提交

任务提交是线程池的核心功能,用户可以通过submit()方法将任务提交给线程池,也可以通过map()方法进行批量的任务提交。方法会返回Future对象,用于进行任务的执行状态的跟踪和结果的获取。

2、任务状态的跟踪

Future对象提供了跟踪任务状态的方法,主要有:

1)done()方法:返回布尔值,用于标识任务是否执行完成

2)running()方法:返回布尔值,用于表示当前任务是否正在运行

3)cancel()方法:尝试取消任务,如果任务还没有开始执行,则可以取消成功,返回True。如果任务已经在运行中,则会返回False

3、任务结果的获取

一旦任务完成,用户可以通过Future对象获取结果或者处理异常,有两个方法:

1)result(timeout=None):返回任务的结果。如果任务已经完成,返回其结果。如果任务抛出异常,则重新引发该异常。可以通过timeout参数设置等待的最大时间(单位:秒)。

2)exception(timeout=None):如果任务抛出异常,则返回该异常;如果任务成功完成,则返回None。

4、线程池的控制

通过初始化方法可以创建一个线程池,通过shutdown()方法,可以关闭线程池并释放资源,wait参数控制是否等待所有已提交的任务完成后再关闭。

线程池使用的代码示例

接下来,通过代码示例来演示线程池的使用。

执行结果:

对上述代码做个简要说明:

1、上述代码实现了一个通过线程池计算斐波那契数列的任务,分别计算第100、110、120、130、140项的数值。

2、代码首先创建了一个能够最大同时并发运行4个线程任务的线程池。

3、通过submit()方法提交了计算斐波那契数列的任务。

4、通过列表推导式获得了所有submit()方法的返回值,所以tasks是一个Future对象的列表。

5、通过as_completed()方法对Future对象列表进行包装,获取一个迭代器,当Future对象完成时,会返回该Future对象。

6、通过Future的result()方法,获取到任务运行的结果。

总结

本文首先介绍了一个完整的并发编程的解决方案应该具备的能力,然后引出了Python中通过线程池提供的一个更加完整的多线程编程的解决方案的支持,并简单介绍了线程池的常用方法。最后通过一个并发计算斐波那契数列的计算的示例,演示了线程池的使用。

以上就是本文的全部内容,感谢您的拨冗阅读。

0 阅读:37

南宫理的日志录

简介:深耕IT科技,探索技术与人文的交集