如何定期將Redis數據發送到第三方服務？

Question

我需要在我的應用程序中構建某種分析功能。在高峯時段，我預計會每秒收到15000個新記錄。爲了提高速度，我將使用Redis進行寫入。但是書面數據應該格式化並以某種方式發送給BigQuery for OLAP。什麼是最有效的方法呢？

我能想到的兩種方法：

1. 具有將要定期連接到同一 的Redis實例/集羣，並得到書面資料，並使用他們的API 批量插入BigQuery的一個單獨的應用程序。
2. 使用Lua腳本定期將Redis鍵和值發送到 BigQuery。

就像我的閱讀和研究一樣，Lua腳本似乎是一個快速解決方案。但是我沒有任何經驗，我也沒有意識到有限制。例如，我可以通過由Redis運行的Lua腳本發送HTTP API調用嗎？錯誤處理呢？

因此，這裏的問題：

你有什麼建議，以實現我上面提到的需求？

• a）一個單獨的應用程序
• b）中的Lua腳本
• C）其它混合
• d）（因此，是什麼？）

當然和，爲什麼呢？

謝謝

Answer 1

你試過AfterShip BigQuery流光？

• https://github.com/AfterShip/bigquery-streamer

似乎做的正是你所需要的：「這是使用流插入模式Redis的記錄傳輸到谷歌的BigQuery流光」