我試圖不使用複製命令,因爲它的數據庫是相當大的。我正在使用talend etl開源工具,但尚未找到任何解決方案。如何使用任何opensource etl工具將數據從postgres遷移到cassandra?
-1
A
回答
1
有3個最常見的數據遷移到Cassandra的選項:
1.自定義Spark工作。這需要一些編程,儘管它是最具可擴展性的解決方案,並允許您擁有任何自定義數據轉換邏輯。您可能需要數據轉換,因爲我無法想象您將擁有完全相同的RDBMS和鍵值存儲的表結構。
2.使用DataStax Enterprise軟件包中的sqoop(它包含Cassandra的自定義驅動程序)。
3.使用sqoop和Casasndra的JDBC驅動程序。雖然,我對上次Cassandra的JDBC驅動程序版本功能和穩定性沒有任何意見。我們在之前的版本中遇到了一些問題。
好的,有第四個。您可以編寫自己的數據簡單的獨立遷移工具(例如使用Java)。該工具將逐行讀取來自Postgres的數據並調用Cassandra的插入。這將會非常緩慢,雖然很簡單。
你已經提到過,數據庫非常大。但這只是意味着你必須等待更長時間直到遷移結束。這對於很多情況並不重要,確實如此。
CPU工作,而你可以做一些其他的事情。否則,當CPU放鬆時,你必須使用自己的時間。
1
如果您更喜歡Apache Spark,則可以使用Spark Cassandra Connector將DataFrame保存到Cassandra。關於如何使用PySpark連接Postgres,請參閱this question。
相關問題
- 1. 將數據從Cassandra遷移到MySQL的工具?
- 2. 將數據庫從Postgres遷移到MySQL
- 3. 使用EnterpriseDB遷移工具將MySQL數據庫遷移到PostgreSQL
- 4. Cassandra數據從1.2遷移到3.0.2
- 5. 如何將數據庫從mysql遷移到postgres
- 6. 如何將數據庫從Postgres遷移到MySQL?
- 7. 從postgres遷移/複製數據到vertica
- 8. 使用Pentaho將數據從SQL/Oracle遷移到Cassandra
- 9. 任何工具將回購從Vault遷移到Subversion?
- 10. MySQL到Postgres數據遷移
- 11. 跨ETL工具在ETL作業上遷移
- 12. 如何將Cassandra 2.1.9的數據遷移到新的3.5安裝
- 13. 從RDBMS遷移到Cassandra
- 14. 從Mysql遷移到Cassandra
- 15. DocumentDB數據遷移工具,無法從數據庫遷移到db
- 16. 有沒有辦法將Cassandra 1.2的數據遷移到Cassandra 1.1?
- 17. 遷移到MYSQL數據庫的工具
- 18. 將數據從Oracle遷移到Cassandra和/或MongoDB
- 19. 如何使用cvs2svn工具從CVS遷移到SVN?
- 20. Azure數據遷移工具
- 21. 任何好的Opensource Analytics前端工具?
- 22. 將Cassandra數據庫集羣從AWS遷移到Azure
- 23. 如何將mysql數據庫遷移到任何地方sql
- 24. 我想使用Mysql遷移工具包,將MS SQL遷移到MySQL,但找不到遷移工具包
- 25. 將虛擬列從oracle遷移到postgres
- 26. 如何將PostgreSQL數據遷移到Heroku
- 27. Cassandra DSE到Cassandra DSC遷移
- 28. ETL Oracle到Cassandra
- 29. 使用./dse sqoop將數據從oracle遷移到cassandra時出錯cql-import
- 30. 將數據從teradata遷移到bigquery
非常感謝! :) – Annie
@S。 Stas 有沒有什麼辦法可以達到上述目的,例如將Postgres轉儲文件轉換成Cassandra轉儲文件或其他東西。 –
好吧,從技術上講,您可以運行pg_dump並獲取sql命令列表。然後你可能需要用文本編輯器替換一些sql命令(對於Cassandra的特定版本)。不好的是,@Annie寫道,數據庫非常大。所以.sql文件會更大。所以COPY命令在這裏是更現實的輸入方式。 –