我有一個從外部源獲取數據的JavaDStream。我正在嘗試整合Spark Streaming和SparkSQL。衆所周知,JavaDStream是由JavaRDD組成的。我只有在有JavaRDD時才能使用applySchema()函數。請幫助我將它轉換爲JavaRDD。我知道scala中有函數,它更容易。但在Java中幫助我。將JavaDStream <String>轉換爲JavaRDD <String>
4
A
回答
5
您無法將DStream轉換爲RDD。如你所說,一個DStream包含RDD。訪問RDD的方法是使用foreachRDD
將函數應用於DStream的每個RDD。請參閱該文檔:https://spark.apache.org/docs/1.1.0/api/java/org/apache/spark/streaming/api/java/JavaDStreamLike.html#foreachRDD(org.apache.spark.api.java.function.Function2)
0
你必須首先獲得使用forEachRDD作爲該DSTREAM內的所有RDDS:
javaDStream.foreachRDD(rdd => {
rdd.collect.foreach({
...
})
})
相關問題
- 1. 將JavaRDD <ArrayList<T>>轉換爲JavaRDD <T>
- 2. 爲什麼在將JavaRDD <Row>轉換爲DataFrame時需要設置模式
- 3. NSXML將「<」替換爲「%lt;」
- 4. 如何將List <IEnumerable <ProductViewModel >>轉換爲<IEnumerable <ProductViewModel >>?
- 5. 將enum轉換爲列表<string>
- 6. 將OptionalDouble轉換爲可選<java.lang.Double>
- 7. 將<class'list'>轉換爲numpy.ndarray
- 8. 將字符串轉換爲<S3Uri>
- 9. Java將Arraylist <Float>轉換爲float []
- 10. 將std :: tuple <T...>轉換爲T
- 11. 將System.Drawing.Image轉換爲Emgu.CV.Image <Gray,byte>
- 12. 將IEnumerable <XElement>轉換爲XElement
- 13. XSLT將新行轉換爲<br/>
- 14. 將java.lang.reflect.Type轉換爲類<T> clazz
- 15. 將scala列表轉換爲<repeated...>
- 16. 將數組<CustomObject>轉換爲JSON
- 17. 將IEnumerable <dynamic>轉換爲JsonArray
- 18. 將Arc <RwLock>轉換爲&mut
- 19. 如何將SortedList轉換爲SortedList <>
- 20. 將DataRowCollection轉換爲IEnumerable <T>
- 21. 將列表<WebElement>轉換爲WebElement
- 22. 將ArrayList <String>轉換爲字節[]
- 23. 將java ArrayList <Comparable>轉換爲Comparable []
- 24. 轉換一個DSTREAM到JavaDStream
- 25. 如何將列表<string>轉換爲列表<myEnumType>?
- 26. 將列表<T>轉換爲ObservableCollection <T>
- 27. C++將vector <pair <double,double >>轉換爲double *,double *?
- 28. 無法將ArrayList <subtype>轉換爲ArrayList <type>
- 29. SyntaxHighlighter Evolved 3.2.1插件將「<」轉換爲& lt;
- 30. 如何將EntityCollection <T>轉換爲列表<POCOObj>
感謝。幫我一噸! – 2014-11-07 11:27:49