我一直在研究一個SAS ETL項目,在這個項目中,我們首先從每月開始的teradata倉庫提取上個月的數據,然後再進一步處理。SAS數據集市文件結構建議
這是通過每個表格的提取腳本完成的,然後將數據存儲到每月文件夾結構(yyyymm)中。以這種方式工作了好幾個月後,我們現在已經開始收到產品每日,每週等提取物的請求。 當前數據存儲文件夾結構爲:
Library/Data/YYYYMM文件夾位於一個庫中。
我必須改變結構(影響最小當前的結構),以適應不同的時間表要求,是每天,每週,每兩週,每季度等
我想到了兩個選項:在目前的結構(每月的文件夾),加入
- 每日,每週和每月的文件夾
- 庫/ YYYYMM /月
- 庫/ YYYYMM /每日
- Library/YYYYMM /每週
文件夾。
選項2: 根據數據庫就像創建文件夾
- 每月
- 日報
- 週刊
- 每兩週
- 季度
在每一種存在個別與th的文件夾當前日期/月/季度。
任何人都可以提出任何其他更實際的設計方法嗎?
感謝您的回覆Zuluk,但這會像現在的過程更復雜。我想添加一個新的文件結構,並對現有進程進行最小更新。你可否建議任何其他選項添加週期性數據集? – Rhea
不,不過,您的第一個選項在我看來是最適用的選項。 – zuluk