pyspark使用 graphframes创建和查询图的方法

from pyspark.sql import SparkSession
from graphframes import *
 
# 初始化Spark会话
spark = SparkSession.builder \
    .appName("graphframe_example") \
    .config("spark.some.config.option", "some-value") \
    .getOrCreate()
 
# 创建一个简单的有向图
vertices = spark.createDataFrame([
    (1, 'A'),
    (2, 'B'),
    (3, 'C'),
    (4, 'D')], ["id", "name"])
 
edges = spark.createDataFrame([
    (1, 2, 'follow'),
    (2, 3, 'follow'),
    (3, 4, 'follow'),
    (4, 1, 'follow')], ["src", "dst", "relationship"])
 
graph = GraphFrame(vertices, edges)
 
# 查询图中的路径，例如找出从'A'到'D'的所有路径
path_df = graph.bfs(fromExpr = "(id = 1 and name = 'A')", toExpr = "(id = 4 and name = 'D')", maxPathLength=10)
path_df.show()
 
# 查询图中的连通分量
connected_components_df = graph.connectedComponents()
connected_components_df.show()
 
# 停止Spark会话
spark.stop()

这段代码首先导入必要的库，然后初始化一个Spark会话。接下来，它创建了一个简单的有向图，并使用GraphFrame来表示。最后，它展示了如何使用BFS（广度优先搜索）查询从节点A到节点D的所有路径，以及如何计算连通分量。代码的最后部分停止了Spark会话。