现有个csv，千万行，需要导入到 结构一样的表中，怎样才能提高速度？

之前的做法：1. 一次 load data 进去， mysql 直接扛不住，事务太大，一直挂在那里。

2. 拆成小文件，分别导入，事务是小了，不过小文件太多，又麻烦。

1.3G千万级的csv文件，mysqlworkbench导入2天了还不到一半，果断停掉，用load data infile，只要6分钟全部ok，不需要纠结了，就用load data
做过一个2X10^7条数据，13G+的csv导入，在workbench里用语句load data导入大概耗时1500s，或者你不放心可以先linux切个4,5份（百万级数据量）出来一个个试，大约每个400s上下
可以看下这篇文章（资料库是SQL Server），http://t.cn/8s2zVva，其中的思路值得参考（awk拼接INSERT字元串）。

mysql使用Load data infile命令导入.csv比使用workbench图形界面快多了。
写个脚本来导啊
有空闲机器就用空闲机器导入然后写个shell慢慢插入没有就用awk处理一下，慢慢插入

推荐阅读：
相关文章