0
我的數據很好地按分區鍵組織在Cassandra上。我想檢索Spark中的這些數據並保留相同的分區。檢索Apache Spark中的Cassandra分區數據
我的目標是避免非常大的洗牌。
PS：我用的卡珊德拉2.1和1.5星火
A
回答
1
星火卡桑德拉連接器讀取C *令牌範圍爲星火分區。這意味着任何給定的Cassandra分區鍵的所有值都將位於同一個Spark分區中。
https://academy.datastax.com/demos/how-spark-cassandra-connector-reads-data
相關問題
- 1. 使用java中的Apache Spark連接器從Cassandra中檢索數據的錯誤
- 2. Apache Spark的分區
- 3. Apache Spark中的分層數據處理
- 4. Hector Cassandra數據檢索
- 5. Apache Spark SQL從Cassandra中獲取數十億行數據？
- 6. NoClassDefFoundError：spark-cassandra-connector中的org/apache/spark/sql/DataFrame
- 7. 在Apache Spark中分割數據幀
- 8. Apache Streaming API的Apache Cassandra數據架構
- 9. 使用Apache Spark進行重新分區
- 10. 無法從Cassandra檢索數據
- 11. 在Cassandra中的分區鍵
- 12. 向Cassandra插入數據的Spark作業
- 13. Spark Dataframe的分區數
- 14. Apache Cassandra中的財務數據分析建模？
- 15. Spark - 搜索空間數據 - 分區修剪
- 16. Spark分區數據多個文件
- 17. Spark數據幀丟失分區
- 18. 來自Apache Spark中Lucene索引的Injest數據
- 19. 解析Apache Spark中的XML數據
- 20. 使用spark將數據寫入cassandra
- 21. 將Apache Spark中的列按列分區到
- 22. Spark DataFrame和Cassandra
- 23. 每個數據幀分區的第一個元素Spark 2.0
- 24. Spark-Hive分區
- 25. Apache Cassandra磁盤上的數據存儲
- 26. Cassandra - 如何檢索CF（隨機分區程序）中的所有密鑰
- 27. 如何在Apache Spark中聚合數據
- 28. 在Spark java API中使用spark cassandra連接器讀取數據的問題
- 29. Spark Cassandra與spark-cassandra連接器集成中的錯誤
- 30. 如何使用spark的saveToCassandra將數據保存在cassandra表中？
你將不得不制定...默認情況下，這是什麼樣的火花卡桑德拉連接器一樣。 – RussS
@RussS這就是我想知道的。 – poiuytrez