-1
我想通過火花將大約200萬條記錄加載到cassandra。 Spark有4個執行程序，cassandra在集羣中有4個節點。但大約需要20分鐘才能將所有數據保存到cassandra。任何人都可以幫助我讓這件事更快一點。Spark Cassandra寫性能
A
回答
0
好了，所以我可以看到幾個問題與您的配置
- 在虛擬機中運行卡桑德拉的業績比較基準
- 星火不在同一位置（所以沒有數據局部性...）
一般來說，在虛擬機中安裝Cassandra是而不是建議用於性能基準，這是一個反模式。所以你的緩慢插入率是正常的，不要抱怨，你不能要求更好的性能，同時使用VM ...
相關問題
- 1. Tableau + Spark + Cassandra的性能極差
- 2. Cassandra的低寫入性能
- 3. Spark-Cassandra VS Spark-Elasticsearch
- 4. cassandra大量寫入性能問題
- 5. 在cassandra中調整寫入性能
- 6. 使用spark將數據寫入cassandra
- 7. Spark從Cassandra寫入json後掛起
- 8. Cassandra CPU性能
- 9. Cassandra blob性能
- 10. Spark-Scala與Cassandra
- 11. Spark DataFrame和Cassandra
- 12. Spark - Cassandra連接
- 13. Apache Spark性能
- 14. 更新性能cassandra
- 15. Cassandra讀取性能
- 16. Cassandra 1.0的性能
- 17. Cassandra Spark連接器
- 18. Giraph，Hadoop，Spark和Cassandra
- 19. java Spark流到cassandra
- 20. 使用spark來掃描多個cassandra表使用spark-cassandra-connector
- 21. Spark Cassandra與spark-cassandra連接器集成中的錯誤
- 22. Cassandra的寫入性能方面的一致性水平
- 23. Spark 2.2.0 S3性能
- 24. Spark功能與UDF性能？
- 25. Spark +彈性搜索寫入性能問題
- 26. cassandra寬行列片性能
- 27. Cassandra複合關鍵性能
- 28. cassandra讀取性能很差
- 29. Cassandra插入性能c＃
- 30. Cassandra集羣性能不佳
這只是1.6k寫入每秒，這是非常緩慢的4個節點的C *。如果有人能夠幫助你，你需要指定更多的信息。 你是如何閱讀記錄 您正在使用什麼代碼編寫 什麼樣的硬件是 ... – RussS
其實我使用的數據框來讀取記錄的節點，所有節點都7G存儲器 – franyfpk
u能請讓我通常知道4節點集羣的寫入速度。 – franyfpk