2010-01-21 64 views
0

我是OLAP的新手。何時從OLAP DB中刪除數據?

我瞭解表結構和ETL過程。

我不明白何時數據應該從事實表中刪除。 假設我正在爲事件創建報告應用程序。每個事件都有完成所花費的時間,退出代碼和總字節數。有幾個維度,例如時間和地點。

假設我每天有100萬條新紀錄準備好放入我的事實表中,總共1 GB。 如果我的ETL過程只將數據添加到我的事實表中,它會無限增長。 什麼時候應該從我的事實表中刪除數據?我應該將數據分成幾個事實表(例如月表)嗎?

是否有任何經驗法則?

謝謝

回答

1

永遠不要刪除歷史。

期間。

但是,有些人會緊張,每天1Gb可能會變成每3年1Tb。這實際上並不重要,但有些人仍然喜歡擔心存儲的價格。

您花在設計數據清除上的時間可能比您試圖保存的存儲更貴。

[我發現3位DBA和2位程序員在討論節省幾百MB的方法。我說我會把它們全部推到Best Buy,併購買一個500Mb的磁盤驅動器,並在我的車的地板上留出零錢。 5名顧問只是走進房間討論它的價格已經超過了他們試圖「保存」的存儲的價格。]

「我們可以總結一下嗎?」的問題。完全取決於用戶。有時你不能有用地總結,所以你也不能輕易刪除任何東西。

有些人會說商業週期是20年或類似的事情,並且需要頭20年(7Tb)的詳細信息,然後纔是時間段的總結。

+0

在完美的記憶的驚人現象,「歷史應該永遠不會被刪除」 http://www.amazon.com/Delete-Virtue-Forgetting-Digital-Age/dp/0691138613 刪除外觀數字時代,並揭示爲什麼我們必須重新引入我們的遺忘能力。數字技術爲我們提供了前所未有的能力,但它也帶來了無法預料的後果。 Facebook上的潛在羞辱內容被載入網絡空間供未來僱主看到。 Google記得我們搜索過的以及什麼時候發生的一切。數字領域記得有時被人遺忘的東西,這有深刻的含義 – 2010-01-22 10:38:26

+0

該死的。評論格式糟糕這個網站。 – 2010-01-22 10:38:53

+2

我不認爲這個OLAP可以和Facebook上的醉酒大學的圖片相提並論。 – 2010-01-22 11:56:07

1

從來沒有。您可以使用分區來處理舊記錄並將分區移動到不同的驅動器。如果按日期(月份季度,年份)對事實表進行分區,那麼出於所有實際目的,大多數情況下您幾乎不能訪問最新的分區。

請記住,DW屬於商業用戶而不屬於IT。不要限制(不要試圖假設)業務分析師可能想問的問題 - 查詢DW。