Python基于joblib的并行计算&进程&线程&multiprocessing多核并行计算

from joblib import Parallel, delayed
import multiprocessing
 
def process_function(arg):
    # 这里是你要进行的计算任务
    print(f"Processing argument {arg}")
    return arg * arg
 
def main():
    # 设置并行计算参数
    num_cores = multiprocessing.cpu_count()  # 获取当前机器的CPU核心数
    parallel = Parallel(n_jobs=num_cores, verbose=10)  # 设置并行实例，使用所有核心，并显示进度
 
    # 创建任务列表
    arguments = list(range(10))
 
    # 使用Parallel和delayed进行并行计算
    results = parallel(delayed(process_function)(arg) for arg in arguments)
 
    # 打印结果
    print("Results:", results)
 
if __name__ == "__main__":
    main()

这段代码演示了如何使用joblib的Parallel和delayed函数以及multiprocessing库来进行并行计算。代码中定义了一个处理函数process_function，然后在main函数中创建了一个任务列表，并使用并行计算来处理这些任务，最后打印结果。这是Python中进行高效计算的一个常见模式。