data-pipeline

0熱度

1回答

如何訪問來自Airflow的響應SimpleHttpOperator GET請求

我正在學習Airflow並有一個簡單的問題。下面是我的DAG稱爲dog_retriever import airflow from airflow import DAG from airflow.operators.http_operator import SimpleHttpOperator from airflow.operators.sensors import HttpSensor

1熱度

1回答

如何使用serverless.yml配置AWS數據管道？

我是數據管道和無服務器的新手。我想知道如何使用無服務器自動化AWS數據管道。下面是我的AWS數據管道的示意圖其中出口發電機db表到S3

3熱度

1回答

截斷DynamoDb或通過數據管道重寫數據

有可能通過數據管道轉儲DynamoDb並在DynamoDb中導入數據。導入進行得很順利，但是所有時間數據都附加到DynamoDb中已存在的數據中。現在我找到了掃描DynamoDb並逐個刪除項目或通過批處理的工作示例。但無論如何，對於大量的數據來說，這並不是好的變體。也可以根本刪除表並創建它。但是隨着這個變體索引將會丟失。因此，最好的方法是通過數據管道導入或以某種方式截斷來覆蓋DynamoDb

1熱度

1回答

AWS DynamoDB - 數據管道實際寫入容量消耗

我創建了一個數據管道，用於從S3抽取數據並將其推入DynamoDB。管道開始運行成功。我已將寫入容量設置爲20000臺，幾小時後寫入數量減少了一半，現在它仍以寫入容量3臺運行。（寫入容量沒有改變，管道在閾值開始後下降3個單位，並繼續以這樣的速度運行）什麼能下降的原因是什麼？有沒有辦法讓它更快？謝謝。

1熱度

1回答

我們如何在AWS數據管道作業中配置多個核心實例

要求：從S3備份位置恢復DynamoDB表。我們創建了Data Pipeline作業，然後編輯Architect Wizard中的Resources部分。我們在覈心實例數量下放置了20個實例，但在數據管道作業激活之後，僅使用一個主和一個核心實例創建了EMR集羣。能否請您提示我們，如何提高資源下部分

0熱度

1回答

未來的氣流DAGs計劃

我想弄清楚如何配置/計劃一個氣流DAG在確切的時間每天運行兩次，而不是在符合標準的同時運行兩次。我想在午夜和晚上9點運行相同的任務。爲此，我添加了一個cron到schedule_interval像0 0,21 * * *，所以它每天在午夜和晚上9點運行。但是今天（4月27日）的運行時間爲昨天（4月26日）的00:00:00，並且00:00:00和21:00:00同時運行。預期行爲將於今天（4

0熱度

1回答

將RDS（MySQL）模式複製到AWS Redshift的最佳方式是什麼？

我們使用Ruby腳本從MySQL數據遷移到紅移（PostgreSQL系統）。目前我們使用YAML配置文件來維護架構信息（列名和類型）。所以，每當一個MySQL表被改變，我們需要手動更改YAML文件。現在，我們正在考慮將YAML配置作爲JSON對象移動到數據庫（PSQL）。但是我們仍然需要手動更改架構configurations.We要自動運行的過程中（最好是用Ruby） PS：我們用彬登錄逐步更新