SQL Server選擇並插入問題

Question

我在同一個數據庫服務器上有兩個名爲DB1和DB2的數據庫。我有DB2中的Table1和DB2中的Table2。目前，我正在使用插入select *來將表2中的所有數據轉移到表1中（表1爲空，我的目的是將表2中的數據複製到表1）。表結構是聚類ID列（GUID類型）和XML二進制（varbinary）數據列。

我目前的問題是，內存消耗非常高。有沒有什麼好的想法來減少內存消耗？我的主要想法是我可以初始化幾個小事務並選擇從每個事務插入部分數據。

我正在使用VSTS 2008 + C＃+ ADO.Net + SQL Server 2008 Enterprise。任何好的解決方案或參考樣本？

這是我當前的代碼，它會導致內存異常。我正在使用ADO.Net SQLBulkCopy功能。

namespace BulkCopyTable 
{ 
    public class CopyData 
    { 
     string _sourceConnectionString; 
     string _destinationConnectionString; 

     public CopyData(string sourceConnectionString, 
         string destinationConnectionString) 
     { 
      _sourceConnectionString = 
         sourceConnectionString; 
      _destinationConnectionString = 
         destinationConnectionString; 
     } 

     public void CopyTable(string table) 
     { 
      using (SqlConnection source = 
        new SqlConnection(_sourceConnectionString)) 
      { 
       string sql = string.Format("SELECT * FROM [{0}]", table); 

       SqlCommand command = new SqlCommand(sql, source); 

       source.Open(); 
       IDataReader dr = command.ExecuteReader(); 

       using (SqlBulkCopy copy = 
         new SqlBulkCopy(_destinationConnectionString)) 
       { 
        copy.DestinationTableName = table; 
        copy.WriteToServer(dr); 
       } 
      } 
     } 
    } 

    class Program 
    { 
     static void Main(string[] args) 
     { 
      CopyData copier = new CopyData(ConfigurationSettings.AppSettings["source"], ConfigurationSettings.AppSettings["destination"]); 
      Console.WriteLine("Begin Copy"); 
      copier.CopyTable(ConfigurationSettings.AppSettings["Table"]); 
      Console.WriteLine("End Copy"); 
      return; 
     } 
    } 
} 

Answer 1

我想你要設置批量大小，這樣你就可以將它們分成可管理的部分。

Bulk copy batch size

檢查是否有其他技術這個批量裝載數據白皮書： Bulk load

Answer 2

您可以嘗試使用BCP實用程序。

如果需要，可以使用Process類在C＃中運行。

Answer 3

這是一次性工作嗎？如果是這樣，你可以使用DTS或SSIS。
如果沒有，看看你是否可以在框架使用SQLBulkCopy &相關類

編輯：我看到你的代碼&可以使用BatchSize屬性調用在WriteToServer之前建議。

Answer 4

會設置一個遊標，遍歷源表中的每一行，併爲每個獲取的行「插入選擇」，使用更少的內存？ BOL有很多通過遊標步進的例子。

---

更新：這是我複製從獲取BOL T-SQL參考修正的例子/：（評論來自BOL文章，我只是在幾個人的名字更改）

-- // Declare the variables to store the values returned by FETCH. 
DECLARE @id uniqueidentifier, @xml varbinary(4000) 

DECLARE myCursor CURSOR FOR 
SELECT id, xml FROM Table1 

OPEN myCursor 

-- // Perform the first fetch and store the values in variables. 
-- // Note: The variables are in the same order as the columns 
-- // in the SELECT statement. 

FETCH NEXT FROM myCursor 
INTO @id, @xml 

-- // Check @@FETCH_STATUS to see if there are any more rows to fetch. 
WHILE @@FETCH_STATUS = 0 
    BEGIN 

    -- // Do something with your values! 
    INSERT INTO db2..Table2 (id, xml) SELECT @id, @xml 

    -- // This is executed as long as the previous fetch succeeds. 
    FETCH NEXT FROM myCursor 
    INTO @id, @xml 

    END 

CLOSE myCursor 
DEALLOCATE myCursor