蟒蛇火花流輸出

Question

我想執行這個程序，但沒有看到任何輸出在控制檯上寫pprint語句。

from __future__ import print_function 
import sys 
from pyspark import SparkContext 
from pyspark.streaming import StreamingContext 
if __name__ == "__main__": 
    if len(sys.argv) != 2: 
     print("Usage: hdfs_wordcount.py <directory>", file=sys.stderr) 
     exit(-1) 
    sc = SparkContext(appName="PythonStreamingHDFSWordCount") 
    ssc = StreamingContext(sc, 1) 
    lines = ssc.textFileStream(sys.argv[1]) 
    counts = lines.flatMap(lambda line: line.split(" "))\ 
        .map(lambda x: (x, 1))\ 
        .reduceByKey(lambda a, b: a+b) 
    counts.pprint() 
    ssc.start() 
    ssc.awaitTermination() 

https://github.com/apache/spark/blob/master/examples/src/main/python/streaming/hdfs_wordcount.py

Answer 1

這一計劃將讀取目錄程序執行

後生成我有關於這種類型的星火計劃的一個職位的文件內容。 您還可以檢查視頻在這篇文章 http://www.neerajbyte.com/post/spark-streaming-from-text-files-using-pyspark-api/

https://youtu.be/bm28UYrYOeE