我必须从文本文件中插入大约200万行。
随着插入，我必须创建一些主表。
将如此大量的数据插入SQL Server的最佳，最快的方法是什么？
Answers:
我认为最好在DataSet中读取文本文件的数据
尝试 SqlBulkCopy的-从C＃应用程序批量插入到SQL
// connect to SQL
using (SqlConnection connection = new SqlConnection(connString))
{
// make sure to enable triggers
// more on triggers in next post
SqlBulkCopy bulkCopy = new SqlBulkCopy(
connection,
SqlBulkCopyOptions.TableLock |
SqlBulkCopyOptions.FireTriggers |
SqlBulkCopyOptions.UseInternalTransaction,
null
);
// set the destination table name
bulkCopy.DestinationTableName = this.tableName;
connection.Open();
// write the data in the "dataTable"
bulkCopy.WriteToServer(dataTable);
connection.Close();
}
// reset
this.dataTable.Clear();
要么
在顶部执行步骤1之后
您可以查看本文的详细信息：使用C＃DataTable和SQL Server OpenXML函数批量插入数据
但是它没有经过200万条记录的测试，它可以运行，但是会消耗机器上的内存，因为您必须加载200万条记录并将其插入。
OutOfMemoryException在填充数据集/数据表时几乎不可避免地会在某个点生成代码。
Insert into table1 Select * from table2不会更快吗？
重新解决SqlBulkCopy的解决方案：
我使用StreamReader来转换和处理文本文件。结果是我的物品清单。
我创建了比takeDatatable或aList<T>和Buffer size（CommitBatchSize）大的类。它将使用扩展名将列表转换为数据表（在第二类中）。
它运作非常快。在我的PC上，我能够在不到10秒的时间内插入超过1000万条复杂记录。
这是课程：
using System;
using System.Collections;
using System.Collections.Generic;
using System.ComponentModel;
using System.Data;
using System.Data.SqlClient;
using System.Linq;
using System.Text;
using System.Threading.Tasks;
namespace DAL
{
public class BulkUploadToSql<T>
{
public IList<T> InternalStore { get; set; }
public string TableName { get; set; }
public int CommitBatchSize { get; set; }=1000;
public string ConnectionString { get; set; }
public void Commit()
{
if (InternalStore.Count>0)
{
DataTable dt;
int numberOfPages = (InternalStore.Count / CommitBatchSize) + (InternalStore.Count % CommitBatchSize == 0 ? 0 : 1);
for (int pageIndex = 0; pageIndex < numberOfPages; pageIndex++)
{
dt= InternalStore.Skip(pageIndex * CommitBatchSize).Take(CommitBatchSize).ToDataTable();
BulkInsert(dt);
}
}
}
public void BulkInsert(DataTable dt)
{
using (SqlConnection connection = new SqlConnection(ConnectionString))
{
// make sure to enable triggers
// more on triggers in next post
SqlBulkCopy bulkCopy =
new SqlBulkCopy
(
connection,
SqlBulkCopyOptions.TableLock |
SqlBulkCopyOptions.FireTriggers |
SqlBulkCopyOptions.UseInternalTransaction,
null
);
// set the destination table name
bulkCopy.DestinationTableName = TableName;
connection.Open();
// write the data in the "dataTable"
bulkCopy.WriteToServer(dt);
connection.Close();
}
// reset
//this.dataTable.Clear();
}
}
public static class BulkUploadToSqlHelper
{
public static DataTable ToDataTable<T>(this IEnumerable<T> data)
{
PropertyDescriptorCollection properties =
TypeDescriptor.GetProperties(typeof(T));
DataTable table = new DataTable();
foreach (PropertyDescriptor prop in properties)
table.Columns.Add(prop.Name, Nullable.GetUnderlyingType(prop.PropertyType) ?? prop.PropertyType);
foreach (T item in data)
{
DataRow row = table.NewRow();
foreach (PropertyDescriptor prop in properties)
row[prop.Name] = prop.GetValue(item) ?? DBNull.Value;
table.Rows.Add(row);
}
return table;
}
}
}
以下是我要插入自定义对象List<PuckDetection>（ListDetections）列表的示例：
var objBulk = new BulkUploadToSql<PuckDetection>()
{
InternalStore = ListDetections,
TableName= "PuckDetections",
CommitBatchSize=1000,
ConnectionString="ENTER YOU CONNECTION STRING"
};
objBulk.Commit();
的BulkInsert类可以修改，如果需要添加的列映射。例如，您有一个身份密钥作为第一列（假设数据表中的列名称与数据库相同）
//ADD COLUMN MAPPING
foreach (DataColumn col in dt.Columns)
{
bulkCopy.ColumnMappings.Add(col.ColumnName, col.ColumnName);
}
我使用bcp实用程序。（批量复制程序）我每个月加载大约150万条文本记录。每个文本记录的宽度为800个字符。在我的服务器上，将150万条文本记录添加到SQL Server表中大约需要30秒。
bcp的说明位于http://msdn.microsoft.com/zh-cn/library/ms162802.aspx
我最近遇到了这种情况（超过700万行），并通过powershell（在将原始数据解析为SQL插入语句之后）使用sqlcmd进行了优化，一次只能分割5,000个段（SQL无法一次完成处理700万行）或什至是500,000行，除非将其分解成更小的5K片段。然后您可以一个接一个地运行每个5K脚本。）我需要利用SQL Server 2012 Enterprise中的新sequence命令。我找不到一种编程方式，可以通过上述sequence命令快速有效地插入700万行数据。
其次，一次插入一百万行或更多数据时要注意的事情之一是插入过程中的CPU和内存消耗（主要是内存）。SQL将在不释放上述进程的情况下吞噬如此大量的内存/ CPU。不用说，如果服务器上没有足够的处理能力或内存，则很容易在短时间内使服务器崩溃（我发现这很困难）。如果到达内存消耗超过70-75％的地步，只需重新启动服务器，进程就会恢复正常。
在实际制定最终执行计划之前，我必须进行大量的试验和错误测试，以查看服务器的限制（考虑到要使用的有限CPU /内存资源）。我建议您在测试环境中进行同样的操作，然后再将其投入生产。
我尝试使用此方法，它大大减少了我的数据库插入执行时间。
List<string> toinsert = new List<string>();
StringBuilder insertCmd = new StringBuilder("INSERT INTO tabblename (col1, col2, col3) VALUES ");
foreach (var row in rows)
{
// the point here is to keep values quoted and avoid SQL injection
var first = row.First.Replace("'", "''")
var second = row.Second.Replace("'", "''")
var third = row.Third.Replace("'", "''")
toinsert.Add(string.Format("( '{0}', '{1}', '{2}' )", first, second, third));
}
if (toinsert.Count != 0)
{
insertCmd.Append(string.Join(",", toinsert));
insertCmd.Append(";");
}
using (MySqlCommand myCmd = new MySqlCommand(insertCmd.ToString(), SQLconnectionObject))
{
myCmd.CommandType = CommandType.Text;
myCmd.ExecuteNonQuery();
}
*创建SQL连接对象，并在我编写SQLconnectionObject的地方替换它。
If the source and destination tables are in the same SQL Server instance, it is easier and faster to use a Transact-SQL INSERT … SELECT statement to copy the data.