虽然Python的threading模块提供了各种多线程编程的组件支持,比如前面介绍过的Thread、Lock、Condition、Queue、Semaphore等,在各个典型的并发需求中,都能够提供很好的技术支持。
但是,要真正实现系统的多线程编程,除了技术特性的支持,还需要真正实现更加便捷的多线程任务的全生命周期管理,简化线程任务的提交、状态获取、结果获取等,屏蔽并发资源管理的复杂性等。
为了更加轻松便捷地进行多线程编程,Python提供了线程池的支持,可以帮我们更好地实现上述多线程编程的相关诉求。
本文就来简单介绍一下Python中线程池的基本使用,本文的主要内容有:
1、多线程解决方案的完整诉求
2、Python中对线程池的支持
3、线程池使用的代码示例
多线程解决方案的完整诉求虽然,基于前面的文章中关于Python中threading模块的常用组件的介绍,我们能够进行一些简单的并发编程的实现。但是,一个工业级的并发编程实践,除了满足基础的并发特性、线程通信与同步外,更重要的是能够真实满足业务的诉求。
一个完整的多线程解决方案的诉求,主要有:
1、提供并发特性和线程通信同步的支持
能够实现并发、甚至并行,从而提高用户体验、提高作业效率的并发特性支持。任务并发的同时要保证作业的准确性,所以,需要有线程间的通信以及同步机制的支持。
这方面可以说是多线程编程的最基础、最核心的部分。前面的文章中,关于threading模块的各种组件的介绍,基本上都是在围绕着这些特性。
2、简便的任务提交以及结果管理
并发任务的提交应该更加简洁,多线程编程中,开发者应当更加专注于业务逻辑中,可并发的业务需求的识别及业务规则的代码实现。而无需关心如何进行线程的创建以及如何实现任务的提交。
并发任务的结果需要进行自动化管理,更便捷的获取线程执行结果,而不是多线程的无序、失控的执行状态。
3、状态跟踪及异常处理
并发任务的执行状态,应当是可以轻松进行感知、管理的。
并发过程中对异常的定位及处理,应该更加便捷,而不是增加调试的复杂性。
4、任务的执行与资源调度相分离
关注业务逻辑的实现,更大的精力应该在于业务需求的理解、业务需求中可并行逻辑的拆解,业务需求的最终编码实现。
并发编程中的线程资源的申请、释放,相应执行资源的调度管理等的复杂性,应该对开发者屏蔽(应用开发者,如果是底层组件的设计者,则应该更加关注这块内容)
基于这些并发编程的完整诉求,显然,threading模块的组件就显得有些乏力了,好在Python中提供了线程池的支持,可以更好地满足这些诉求,提供更加简洁的并发编程的实现。
Python中对线程池的支持Python中的concurrent.futures包中的ThreadPoolExecutor、Future和as_completed提供了关于线程池的支持。
关于线程池的相关操作,主要有:
1、任务的提交
任务提交是线程池的核心功能,用户可以通过submit()方法将任务提交给线程池,也可以通过map()方法进行批量的任务提交。方法会返回Future对象,用于进行任务的执行状态的跟踪和结果的获取。
2、任务状态的跟踪
Future对象提供了跟踪任务状态的方法,主要有:
1)done()方法:返回布尔值,用于标识任务是否执行完成
2)running()方法:返回布尔值,用于表示当前任务是否正在运行
3)cancel()方法:尝试取消任务,如果任务还没有开始执行,则可以取消成功,返回True。如果任务已经在运行中,则会返回False
3、任务结果的获取
一旦任务完成,用户可以通过Future对象获取结果或者处理异常,有两个方法:
1)result(timeout=None):返回任务的结果。如果任务已经完成,返回其结果。如果任务抛出异常,则重新引发该异常。可以通过timeout参数设置等待的最大时间(单位:秒)。
2)exception(timeout=None):如果任务抛出异常,则返回该异常;如果任务成功完成,则返回None。
4、线程池的控制
通过初始化方法可以创建一个线程池,通过shutdown()方法,可以关闭线程池并释放资源,wait参数控制是否等待所有已提交的任务完成后再关闭。
线程池使用的代码示例接下来,通过代码示例来演示线程池的使用。
执行结果:
对上述代码做个简要说明:
1、上述代码实现了一个通过线程池计算斐波那契数列的任务,分别计算第100、110、120、130、140项的数值。
2、代码首先创建了一个能够最大同时并发运行4个线程任务的线程池。
3、通过submit()方法提交了计算斐波那契数列的任务。
4、通过列表推导式获得了所有submit()方法的返回值,所以tasks是一个Future对象的列表。
5、通过as_completed()方法对Future对象列表进行包装,获取一个迭代器,当Future对象完成时,会返回该Future对象。
6、通过Future的result()方法,获取到任务运行的结果。
总结本文首先介绍了一个完整的并发编程的解决方案应该具备的能力,然后引出了Python中通过线程池提供的一个更加完整的多线程编程的解决方案的支持,并简单介绍了线程池的常用方法。最后通过一个并发计算斐波那契数列的计算的示例,演示了线程池的使用。
以上就是本文的全部内容,感谢您的拨冗阅读。