我有兩個自定義代碼dll,用於與IP攝像頭相關的圖像。如何在Azure數據庫Store中處理或體系結構,增量數據攝入?
dll-One:從IP攝像頭中提取圖像,並將其存儲到Azure數據存儲區。
像:
- /日常生活活動/ clinic1/patientimages
- /日常生活活動/ clinic2/patientimages
DLL二:使用這些圖像,並從中提取信息,並將數據加載到RDBMS表中。
因此,例如在RDBMS,說有實體dimpatient,dimclinic和factpatientVisit。
對於開始時,一週時間數據可以在數據天青湖存儲被導出到定義位置。
像:
- /日常生活活動/ dimpatient
- /日常生活活動/ dimclinic
- /日常生活活動/ factpatientVisit
問: 如何推動在同一增量數據文件或我們如何處理Azure數據分析中的增量負載?
這就像在Azure Data Analytics中實施Warehouse一樣。
注意:Azure SQL數據庫或Azure提供的任何其他存儲都不需要。 我的意思是爲什麼要在其他Azure服務中使用,如果某種類型的存儲能夠容納所有類型的數據。
ADL的是我ADLS存儲的名稱。
我的目標是在ADLS中實現數據倉庫,但由於ADLS是文件類型倉庫。我們如何在這種情況下實現增量加載。 –
我從您的意見中瞭解到的是創建每年,然後創建月份和日期文件夾,然後我那天的維度和事實將作爲文件駐留。因此,如果我的存儲名稱是ADLS,我應該創建或分區我的數據,如ADLS/2017/04/19 /下面,每個實體可以有三個文件,並且可以在第二天繼續使用相同的概念。如果我正確理解了你的建議,啓發我。 –
也是因爲我希望它使用Azure ML在患者和診所的基礎上進行分析,因此我們使用歷史數據進行數據挖掘並從中找到模式,因此也專注於倉庫類型體系結構。 –