2017-04-19 44 views
0

我有兩個自定義代碼dll,用於與IP攝像頭相關的圖像。如何在Azure數據庫Store中處理或體系結構,增量數據攝入?

dll-One:從IP攝像頭中提取圖像,並將其存儲到Azure數據存儲區。

  • /日常生活活動/ clinic1/patientimages
  • /日常生活活動/ clinic2/patientimages

DLL二:使用這些圖像,並從中提取信息,並將數據加載到RDBMS表中。

因此,例如在RDBMS,說有實體dimpatient,dimclinic和factpatientVisit。

對於開始時,一週時間數據可以在數據天青湖存儲被導出到定義位置。

像:

  • /日常生活活動/ dimpatient
  • /日常生活活動/ dimclinic
  • /日常生活活動/ factpatientVisit

問: 如何推動在同一增量數據文件或我們如何處理Azure數據分析中的增量負載?

這就像在Azure Data Analytics中實施Warehouse一樣。

注意:Azure SQL數據庫或Azure提供的任何其他存儲都不需要。 我的意思是爲什麼要在其他Azure服務中使用,如果某種類型的存儲能夠容納所有類型的數據。

ADL的是我ADLS存儲的名稱。

回答

1

我不知道我完全理解你的問題,但你可以安排在Azure的數據湖存儲你的數據文件或您排在分區的U型SQL表沿着時間維度,因此你可以爲每個添加新分區/文件增量。一般來說,我們建議這樣的增量具有相當大的尺寸,但爲了保持縮放能力。

+0

我的目標是在ADLS中實現數據倉庫,但由於ADLS是文件類型倉庫。我們如何在這種情況下實現增量加載。 –

+0

我從您的意見中瞭解到的是創建每年,然後創建月份和日期文件夾,然後我那天的維度和事實將作爲文件駐留。因此,如果我的存儲名稱是ADLS,我應該創建或分區我的數據,如ADLS/2017/04/19 /下面,每個實體可以有三個文件,並且可以在第二天繼續使用相同的概念。如果我正確理解了你的建議,啓發我。 –

+0

也是因爲我希望它使用Azure ML在患者和診所的基礎上進行分析,因此我們使用歷史數據進行數據挖掘並從中找到模式,因此也專注於倉庫類型體系結構。 –