2017-08-09 68 views
0

我一直在研究一個SAS ETL項目,在這個項目中,我們首先從每月開始的teradata倉庫提取上個月的數據,然後再進一步處理。SAS數據集市文件結構建議

這是通過每個表格的提取腳本完成的,然後將數據存儲到每月文件夾結構(yyyymm)中。以這種方式工作了好幾個月後,我們現在已經開始收到產品每日,每週等提取物的請求。 當前數據存儲文件夾結構爲:

Library/Data/YYYYMM文件夾位於一個庫中。

我必須改變結構(影響最小當前的結構),以適應不同的時間表要求,是每天,每週,每兩週,每季度等

我想到了兩個選項:在目前的結構(每月的文件夾),加入

  • 每日,每週和每月的文件夾
  • 庫/ YYYYMM /月
  • 庫/ YYYYMM /每日
  • Library/YYYYMM /每週

文件夾。

選項2: 根據數據庫就像創建文件夾

  • 每月
  • 日報
  • 週刊
  • 每兩週
  • 季度

在每一種存在個別與th的文件夾當前日期/月/季度。

任何人都可以提出任何其他更實際的設計方法嗎?

回答

0

也許SAS生成數據集將是一種選擇:http://support.sas.com/documentation/cdl/en/lrcon/62955/HTML/default/viewer.htm#a000934566.htm

在這裏從SAS的提取物:

甲代數據集是SAS數據集的存檔版本被存儲作爲其一部分一代人羣。每次更換文件時都會創建一代數據集。生成組中的每一代數據集具有相同的根成員名稱,但每個數據都有不同的版本號。生成數據集的最新版本稱爲基本版本。

+0

感謝您的回覆Zuluk,但這會像現在的過程更復雜。我想添加一個新的文件結構,並對現有進程進行最小更新。你可否建議任何其他選項添加週期性數據集? – Rhea

+0

不,不過,您的第一個選項在我看來是最適用的選項。 – zuluk