在Spring Boot中使用Spark Streaming进行实时数据处理和流式计算

import org.apache.spark.streaming.{Seconds, StreamingContext}
import org.apache.spark.{SparkConf, SparkContext}
 
object SparkStreamingExample {
  def main(args: Array[String]): Unit = {
    // 初始化Spark配置
    val conf = new SparkConf().setAppName("SparkStreamingExample").setMaster("local[2]")
    val sc = new SparkContext(conf)
    // 设置Spark Streaming间隔为2秒
    val ssc = new StreamingContext(sc, Seconds(2))
 
    // 创建输入DStream，这里使用本地文件作为数据源
    val lines = ssc.textFileStream("path/to/your/data/directory")
 
    // 对接收到的数据进行处理
    val wordCounts = lines.flatMap(_.split(" ")).map(word => (word, 1)).reduceByKey(_ + _)
 
    // 输出结果到控制台
    wordCounts.print()
 
    // 启动Spark Streaming
    ssc.start()
    ssc.awaitTermination()
  }
}

这段代码展示了如何在Spring Boot应用中使用Spark Streaming来进行实时数据处理。首先，我们初始化了Spark配置并创建了一个StreamingContext对象。然后，我们创建了一个输入DStream来监控一个本地文件夹中的数据变化。接着，我们对接收到的数据进行简单的词频统计，并将结果打印输出。最后，我们启动Spark Streaming，并等待其终止。这个例子简单明了地展示了如何将Spark Streaming集成到Spring Boot应用中。