環境與工具準備如下:
- 一個Hadoop的環境with Spark 2.4(Ubuntu)。
- Flume:apache-flume-1.9.0-bin.tar.gz → 用來模擬將資料傳到kafka topic。
- Kafka Server:confluent-7.0.1 → 建立 kafka。
- Jar包:kafka-clients-3.0.0.jar、spark-streaming-kafka-0-10_2.11-2.4.8.jar → 執行與編譯Spark Streaming程式用。
- Spark執行檔:spark-2.4.5-bin-hadoop2.7.tgz → 驅動Spark-Submit。