我在對數據倉庫的一個SSIS解決方案時提取相應的應用密鑰的代理鍵,我使用查找SSIS的任務,但這項任務的問題是它緩存完整的查詢表在其記憶中。而我的查詢表大小很大,即2000萬條記錄。所以,如果u可以建議查找任務替代的查找任務在SSIS
0
A
回答
0
做了留下你的查詢數據JOIN當你把數據導入SSIS包,然後評價你需要什麼樣某些方面或替代方案。
如果查找表是不同的來源,那麼你可以做一個LEFT JOIN在SSIS,但畢竟是要緩存行也是如此。我認爲JOIN可能比Lookup稍快。
0
您是否需要掃描整個表格?即您可以指定查找作爲餐桌上的數據庫查看,甚至將其指定爲一個SQL查詢的結果(一個SQL查詢選項的使用效果)
1
我不認爲一臺20萬條記錄過於龐大的擡頭。您可以執行一些篩選,並通過在查找中僅選擇所需的列,可以優化它以使用少量內存。
例如,如果您有一個int類型的鍵列和一個查找大小爲10的varchar列,則記錄將需要4 + 10字節,並且2000萬變爲20Mx(4 + 10)〜= 280MB,這不能是被認爲太高。
不過,如果你想減少內存使用,你將不得不使用連接。
0
確保你只挑你在查表需要,做一些並不需要的不是高速緩存列列。請花些時間看看MS "Project "Real"它在高數據量應用程序中使用SSIS並討論最佳實踐。
相關問題
- 1. 查找任務(ssis)
- 2. SSIS腳本任務查找數據
- 3. SQL查詢任務在SSIS
- 4. 在SQL任務[SSIS]
- 5. 何時使用腳本任務代替SSIS中的sql任務和Web服務任務
- 6. SSIS - 父母的查找代理鍵
- 7. SSIS執行SQL查詢任務找不到存儲過程
- 8. 對於普通的.Net代碼,是否有任何替代方法可用於SSIS模糊查找?
- 9. bowerInstall任務替代Java?
- 10. 查找JavaModelUtil.getResolvedTypeName的替代件
- 11. SSIS腳本任務
- 12. SSIS Web服務任務
- 13. 在腳本任務C#中找到Broken Reference路徑任務C#SSIS
- 14. ssis - 合併連接替代
- 15. Vb6查找替換代碼
- 16. jQuery「查找」方法替代
- 17. SSIS查找轉換
- 18. TSQL vs SSIS查找
- 19. 替代計劃任務的cron
- 20. 計劃SSIS任務掛在執行過程中的任務
- 21. 查找其在string用於替代所有替代名稱
- 22. 替代在FTP服務器上查找文件?
- 23. SSIS:動態查找查詢
- 24. SSIS XML XSLT轉換任務
- 25. SSIS FTP任務錯誤
- 26. SSIS CDC控制任務
- 27. SSIS文件系統任務
- 28. SSIS腳本任務結果
- 29. SSIS發送郵件任務
- 30. SSIS - DTS腳本任務在用戶代碼中遇到異常
但問題是查找表是在不同的來源和緩存表運行時間爲這樣的大表dosent似乎是收費選項 – paranjai 2009-10-22 13:36:53