Python并行计算和分布式任务全面指南

from joblib import Parallel, delayed
import numpy as np
 
# 定义一个函数，用于生成随机数并计算其平方
def generate_and_square(seed):
    np.random.seed(seed)
    number = np.random.random()
    return number * number
 
# 使用joblib的Parallel函数进行并行计算
def parallel_computation(n_jobs, n_tasks):
    results = Parallel(n_jobs=n_jobs)(delayed(generate_and_square)(i) for i in range(n_tasks))
    return results
 
# 设置并行计算使用的CPU核心数和任务数
n_jobs = 4  # 假设我们的计算机有4核
n_tasks = 10  # 设置任务数为10
 
# 执行并行计算
parallel_results = parallel_computation(n_jobs, n_tasks)
print(parallel_results)

这段代码演示了如何使用joblib库中的Parallel和delayed函数来执行并行计算任务。我们定义了一个函数generate_and_square来生成随机数并计算其平方，然后使用Parallel函数将这个任务并行执行多次。这是一个简单的数值计算示例，实际应用中可以替换为更复杂的计算任务。