在.Net1.1中無論是對於批量插入整個DataTable中的所有資料到資料庫中,還是進行不同資料來源之間的遷移,都不是很方便。而在.Net2.0中,SQLClient命名空間下增加了幾個新類別幫助我們透過DataTable或DataReader批量遷移資料。資料來源可以來自關聯式資料庫或XML文件,甚至WebService回傳結果。其中最重要的一個類別就是SqlBulkCopy類,使用它可以很方便的幫助我們把資料來源的資料遷移到目標資料庫中。
下面我們先透過一個簡單的例子來說明這個類別的使用:
DateTime startTime;
protected void Button1_Click(object sender, EventArgs e)
{
startTime = DateTime.Now;
string SrcConString;
string DesConString;
SqlConnection SrcCon = new SqlConnection();
SqlConnection DesCon = new SqlConnection();
SqlCommand SrcCom = new SqlCommand();
SqlDataAdapter SrcAdapter = new SqlDataAdapter();
DataTable dt = new DataTable();
SrcConString =
ConfigurationManager.ConnectionStrings["SrcDBConnectionString"].ConnectionString;
DesConString =
ConfigurationManager.ConnectionStrings["DesDBConnectionString"].ConnectionString;
SrcCon.ConnectionString = SrcConString;
SrcCom.Connection = SrcCon;
SrcCom.CommandText = " SELECT * From [SrcTable]";
SrcCom.CommandType = CommandType.Text;
SrcCom.Connection.Open();
SrcAdapter.SelectCommand = SrcCom;
SrcAdapter.Fill(dt);
SqlBulkCopy DesBulkOp;
DesBulkOp = new SqlBulkCopy(DesConString,
SqlBulkCopyOptions.UseInternalTransaction);
DesBulkOp.BulkCopyTimeout = 500000000;
DesBulkOp.SqlRowsCopied +=
new SqlRowsCopiedEventHandler(OnRowsCopied);
DesBulkOp.NotifyAfter = dt.Rows.Count;
try
{
DesBulkOp.DestinationTableName = "SrcTable";
DesBulkOp.WriteToServer(dt);
}
catch (Exception ex)
{
lblResult.Text = ex.Message;
}
finally
{
SrcCon.Close();
DesCon.Close();
}
}
private void OnRowsCopied(object sender, SqlRowsCopiedEventArgs args)
{
lblCounter.Text += args.RowsCopied.ToString() + " rows are copied
";
TimeSpan copyTime = DateTime.Now - startTime;
lblCounter.Text += "Copy Time:" + copyTime.Seconds.ToString() + "." + copyTime.Milliseconds.ToString() + " seconds";
}
接著具體分析這幾行程式碼:
SqlBulkCopy DesBulkOp;
DesBulkOp = new SqlBulkCopy(DesConString, SqlBulkCopyOptions.UseInternalTransaction);先生成SqlBulkCopy 實例,建構子指定了目標資料庫,使用SqlBulkCopyOptions.UseInternalTransaction是指遷移動作。其他選項請參考MSDN。
DesBulkOp.BulkCopyTimeout = 500000000;
指定操作完成的Timeout時間
DesBulkOp.SqlRowsCopied += new SqlRowsCopiedEventHandler(OnRowsCopied);
DesBulkOp.NotifyAfter = dt.Rows.Count;
try
{
DesBulkOp.DestinationTableName = "SrcTable";
DesBulkOp.WriteToServer(dt);
}
NotifyAfter屬性指定通知通知事件前處理的資料行數,在這裡指定為表的行數,並新增SqlRowsCopied事件輸出整個遷移過程的時間。 WriteToServer方法就是將資料來源拷貝到目標資料庫。在使用WriteToServer方法之前必須先指定DestinationTableName屬性,也就是目標資料庫的表名,
我們也可以自己定義一個Transaction,例如:
SqlTransaction Transaction;
Transaction =
SrcCom.Connection.BeginTransaction();
SqlBulkCopy DesBulkOp;
DesBulkOp = new SqlBulkCopy(new SqlConnection(DesConString),
SqlBulkCopyOptions.Default,
Transaction);
try
{
//..
}
catch{}
finally
{
Transaction.Commit();
}
另外還有一個SqlBulkCopyColumnMapping類,可以讓資料來源欄位對應到目標資料中命名不同的欄位上。也就是說如果目標資料和來源資料的列名不同時,可以用這個類別來對應:
SqlBulkCopyColumnMapping ColMap = new SqlBulkCopyColumnMapping("SrcCol", "DesCol");
DesBulkOp.ColumnMappings.Add(ColMap);
或可直接新增映射:
DesBulkOp.ColumnMappings.Add("SrcCol", "DesCol");
效能問題:
我使用上面的範例測試,遷移了2萬筆左右的記錄,花的時間不到一秒,應改說效能還是不錯的。另外,使用SQL Profile監視遷移事件,可以看見請求記錄非常少,只有幾個而已。據說使用SqlBulkCopy可以大幅減少資料遷移的時間。