現有個csv,千萬行,需要導入到 結構一樣的表中,怎樣才能提高速度?

之前的做法:1. 一次 load data 進去, mysql 直接扛不住,事務太大,一直掛在那裡。

2. 拆成小文件,分別導入,事務是小了,不過小文件太多,又麻煩。


1.3G千萬級的csv文件,mysqlworkbench導入2天了還不到一半,果斷停掉,用load data infile,只要6分鐘全部ok,不需要糾結了,就用load data
做過一個2X10^7條數據,13G+的csv導入,在workbench里用語句load data導入大概耗時1500s,或者你不放心可以先linux切個4,5份(百萬級數據量)出來一個個試,大約每個400s上下
可以看下這篇文章(資料庫是SQL Server),http://t.cn/8s2zVva,其中的思路值得參考(awk拼接INSERT字元串)。


mysql使用Load data infile命令導入.csv比使用workbench圖形界面快多了。
寫個腳本來導啊
有空閑機器就用空閑機器導入然後寫個shell慢慢插入沒有就用awk處理一下,慢慢插入


推薦閱讀:
相关文章