從AWS EC2導出的抓取.csv文件到AWS MYSQL數據庫

Question

我有一臺Python Scraper，我使用Cron定期運行自由層AWS EC2實例，每天輸出一個csv文件，包含大約4-5000行8列。我一直從我的家用Ubuntu操作系統中進行操作，並將新數據添加到SQLite數據庫中，然後我可以使用它來提取我想要的數據。

現在我想嘗試免費層級的AWS MySQL數據庫，這樣我就可以在雲端建立數據庫，並從我的家用PC上從我的終端中獲取數據。我搜查了四周，發現沒有直接的教程可以做到這一點。如果有人這樣做了，那將會很棒，這會讓我對我需要採取的步驟有一個概念性的想法。理想情況下，我希望在我的EC2實例用新的csv表更新時自動更新數據庫。一旦表格在aws MySQL數據庫中，我就可以完成所有的重複數據刪除操作。

任何建議或鏈接教程這個最受歡迎。正如我所說的，我已經搜索了很多指導，但沒有找到任何關於這方面的內容。也許這個概念是完全錯誤的，並且我沒有看到完全不同的做法。

Answer 1

您是否考慮使用AWS Lambda來運行您的scraper？

查看AWS tutorial這將幫助您配置Lambda函數以訪問Amazon RDS數據庫。

Answer 2

問題是你沒有訪問RDS文件系統，因此無法上傳csv那裏（並導入）。

修改您的Python刮刀以直接連接到DB並在其中插入數據。