当前位置： 移动技术网 > IT编程>开发语言>.net > 聊聊编程开发的数据库批量插入(sql)

聊聊编程开发的数据库批量插入(sql)

2019年03月06日  | 移动技术网IT编程  | 我要评论

偷偷吃了你,龚小京家庭背景,hhh.47

这里的批量插入，主要是支持sql的大型存储数据库，本文以mysql,oracle,sqlserver,postgresql4类来说明，这大概是国内应用比较多的了。其余的应该可以按照这些去找。提到编程的话，主要是指c#.当然我不是dba，是程序员，所以说的是编程开发的手段而不是dba的手段。也希望大家留言比较。

先说说我们常用的几种方法，我就不列举代码了。网上都有，大家可以自己试试。

1.事务

  开启一个事务，将多条语句执行，然后提交。有的数据库限制sql个数1000.

2.多值插入语法

insert into table(字段) values(字段值),(字段值).

这种语法也是一种批量插入，经过数据库（驱动）的优化.

但是sqlserver是个特殊，它的语法是insert all

insert all into table (字段) values(字段值)

 insert table  (字段) values(字段值)

 insert table  (字段) values(字段值)

3.专门的批量处理类

   一般数据库都有一个批量类处理，我查看了几个例子，都是把datatable直接写入了。

一般类名称中带有bulk字样。也是优化过的

4.文件导入

很多数据库支持csv，就单独以csv格式文件为准吧。

数据库提供有自己的办法，就当前说的几类数据库都有。

 oracle是特殊的，其它几种都是命令行，可以用执行sql的方式执行。但是oracle是工具命令行，也就是专门的一个工具来支持（工具是sqlldr ），所以oracle需要完整的客户端支持，至少是包含sqlldr.exe的客户端。oracle使用编程操作时，需要用bat文件或者启动sqlldr.exe方式来操作。

   

5.参数化

   直接sql参数化，参数化时设置行数。参数值采用数组，但是每个字段的值素组长度必须一样，比如一次插入1000行，每个素组必须是1000长度。我知道oracle是支持的，其它数据库未知，所以要自己尝试，可能不通用。

只给大家提供一个思路，就不一一说明了。至于这几种的处理速度，我就没有发言的了，我没有测试。希望大家留言给我答案。

尤其是第5种方法，我长期使用oracle，其余几种没有，也不打算弄一堆数据库测试，靠大家努力吧。

基于编程开发处理，上面不管哪种方法，都是在自己的数据库访问层或者orm框架中，就不多说了。可以留言。

如果还有其它批量处理的方式，或者大家对几种方式的速度有比较和测试，或者有其它数据库其它的处理方式，请留言，我们一起讨论研究下。

附录转换处理类

数据库 驱动 名称 说明
oracle

 

oracle.dataaccess

oraclebulkcopy

  
mysql 默认 mysqlbulkloader  
postgresql 默认 没有直接的类。数据库连接类中有一个方法beginbinaryimport 网上有一个扩展bulk
sqlserver 默认 sqlbulkcopy  

附录文件导入

数据库 语句 驱动 说明
oracle sqlldr dbuser/dbpass@dbservice control=users.ctl 默认  
mysql load data local infile '/var/lib/mysql/pet.txt' into table tbl_pet 默认  
postgresql copy mytable from '/myfile.csv'  with csv  header 默认  
sqlserver

bulk

　　insert employee

　　from 'f:\\mypublis\\testtoinsert.txt' --location with filename

　　with

　　(

　　fieldterminator = ',',

　　rowterminator = '\n'

　　)

 默认  

 

您可能感兴趣的文章:

如对本文有疑问，请在下面进行留言讨论，广大热心网友会与你互动！！ 点击进行留言回复

相关文章:

验证码：
最近更新的文章
大家感兴趣的文章
移动技术网