2009-11-04 41 views
5

我們有很多數據,用戶可能希望快速查看窗口。他們可能想要查看一天,一週,一個月或任意開始和結束數據的數據窗口。對所有這些東西進行實時排序和總結對我們來說是痛苦的,所以我有了在3D渲染中做類似於Mipmaps的想法。您最終將存儲以各種不同比例預先計算的相同數據,然後使用變化的比例內插結果。因此,我已經知道一年,一個月,某一週和某一商店的某一天的數字是多少,如果他們要求某個特定的範圍,我可以使用各種比例來快速添加一些可以給出正確答案的東西結果,但我不一定需要重新處理完整的數據集,我只需檢索四個或五個記錄並添加或減去它們。有沒有類似於圖形中的mipmap的數據存儲模式?

這是一個真正的模式?它有什麼意義,有些地方我可以閱讀關於如何做得最好的地方,或者是否有更好的方法來處理大塊數據,例如需要在不同的切片中查看的大塊數據?

看來這應該是一個衆所周知和解決的問題。例如,很多人都有股票投資組合,他們每天都需要做這種事情。我們的數據不是股票價格,但想法是一樣的。

回答

2

好的,我搜索了一下,搜索了一下。 Andy Dent的鏈接讓我開始將數據描述爲「時間序列」,並且幫助了一些。然後我跑過OLAP,並意識到我正在做的是重塑這一點。我知道這必須是一個衆所周知的,徹底處理的問題,我是對的。是OLAP。

你建了一堆其中聚集沿特定尺寸的數據(在這種情況下的時間)彙總表,你甚至可以得到工具,如Mondrian將於寫在另一種查詢語言查詢(即不SQL)和一組事實表加聚合,它將決定如何最好地對這些表執行查詢。

1

從某種意義上說,當你解釋Mip映射如何工作(通過插值/外推)時,我認爲你在這裏回答了你自己的問題。

在「縮放」的不同級別,您只需選擇較低的分辨率或採樣率的數據。相反的情況會在更高的「縮放」級別上應用 - 您需要對數據使用插值(如線性/多項式/樣條等)以估計數據點之間的值。

+0

我只是想知道是否有這樣的文學主體。也許這是一個糟糕的數據解決方案,它只適用於可視化的東西(這可能比金錢更寬容,相信我)。 我很希望有人會說,「哦,是的,這就是我們所做的那樣,而且它很好用,」或者,「我可以看到你可能認爲那種天真的解決方案會起作用,但你真的應該使用Bumpletag結構,它可以更好地解決您的問題。「 – 2009-11-04 22:16:48

1

我喜歡你的類比到mipmapping,我認爲Observations and Measurements的領域,特別是抽樣制度可能是你會發現抽象數據設計你在哪裏。它給了你數據背後的理論,儘管他們更多地從XML數據模型的角度來考慮而不是關係表。

我曾經和CSIRO的傢伙一起工作過,很多思想都來自於管理大量數據集,比如水採樣傳感器。更多詳情,請登錄SEEGrid wiki

相關問題