`
Belinda407
  • 浏览: 33311 次
  • 性别: Icon_minigender_2
  • 来自: 北京
社区版块
存档分类
最新评论

load data infile效率测试

 
阅读更多
测试用例40w条记录 插入到mysql5.0.95库中
1.远程客户端文件方式,用时23.42sec
注意登录时指定--local-infile
belinda@ubuntu:~$ mysql --local-infile -h 192.168.195.1 -u root -p
Enter password:
Welcome to the MySQL monitor.  Commands end with ; or \g.
Your MySQL connection id is 5
Server version: 5.0.96-community-nt MySQL Community Edition (GPL)

Copyright (c) 2000, 2014, Oracle and/or its affiliates. All rights reserved.

Oracle is a registered trademark of Oracle Corporation and/or its
affiliates. Other names may be trademarks of their respective
owners.

Type 'help;' or '\h' for help. Type '\c' to clear the current input statement.
mysql> use temp
Reading table information for completion of table and column names
You can turn off this feature to get a quicker startup with -A

Database changed
mysql> load data local infile '/home/belinda/work/datagen41.txt' ignore into table t_lable_group454 fields terminated by ',' enclosed by '"' lines terminated by '\r\n';
Query OK, 400000 rows affected, 65535 warnings (23.42 sec)
Records: 400000  Deleted: 0  Skipped: 0  Warnings: 256487
2.本地文件方式

C:\Users\linda>mysql --local-infile -h 192.168.195.1 -u root -p
Enter password: *****
Welcome to the MySQL monitor.  Commands end with ; or \g.
Your MySQL connection id is 6
Server version: 5.0.96-community-nt MySQL Community Edition (GPL)

Copyright (c) 2000, 2011, Oracle and/or its affiliates. All rights reserved.

Oracle is a registered trademark of Oracle Corporation and/or its
affiliates. Other names may be trademarks of their respective
owners.

Type 'help;' or '\h' for help. Type '\c' to clear the current input statement.

mysql> use temp;
Database changed
mysql> load data infile 'E:/datagen41.txt' ignore into table t_lable_group454 fi
elds terminated by ',' enclosed by '"' lines terminated by '\r\n';
Query OK, 400000 rows affected, 65535 warnings (30.21 sec)
Records: 400000  Deleted: 0  Skipped: 0  Warnings: 256487
分享到:
评论

相关推荐

    mysql load data infile 的用法.docx

    mysql load data infile 的用法.docx

    mysql 的load data infile

    LOAD DATA INFILE语句从一个文本文件中以很高的速度读入一个表中。如果指定LOCAL关键词,从客户主机读文件。如果LOCAL没指定,文件必须位于服务器上。(LOCAL在MySQL3.22.6或以后版本中可用。) 为了安全原因,当读取...

    mysql Load Data InFile 的用法

    向数据表导入数据 Load Data InFile ‘C:/Data.txt’ Into Table `TableTest` 常用如下: Load Data InFile ‘C:/Data.txt’ Into Table `TableTest` Lines Terminated By ‘\r\n’; 这个语句,字段默认用制表符隔...

    loadData批量导入以及压缩协议使用指南1

    Mysql压缩协议支持Mycat从1.4开始支持mysql的压缩协议,在查询返回大的结果集和load data大量数据的性能提升比较明显。客户端如果是mysql

    mysql load data infile 的用法(40w数据 用了3-5秒导进mysql)

    如果是导入有中文的数据,我的mysql 设置的utf8 字符集,所以你要导入的xxx.txt 文件也要保存utf-8的字符集,命令 load data infile “d:/Websites/Sxxxx/test1.txt” ignore into table `names` fields...

    MySQL中由load data语句引起死锁的解决案例

    一个线上项目报的死锁,简要说明一下产生原因、处理方案和相关的一些点. 1、背景 ...Load data infile ‘data1.csv' into table tb; Load data infile ‘data2.csv' into table tb; cat Data1.csv

    mysql遇到load data导入文件数据出现1290错误的解决方案

     执行 “load data infile 文本数据路径 into table tab_load_data” 弹出错误。 #load data (载入数据)语法,要载入数据如下: 1 张三 男 江西 1 2 李四 男 四川 2 3 王五 男 上海 1 4 赵六 女 湖北 3 5 ...

    mysql中的Load data的使用方法

    测试把txt文件导入至mysql数据库中: table: txt文件:D:/data.txt (txt文件下载) ... 您可能感兴趣的文章:Java利用MYSQL LOAD DATA LOCAL INFILE实现大批量导入数据到MySQLMySQL中由load data语

    MySQL数据库迁移快速导出导入大量数据(外发).txt

    使用MySQL的SELECT INTO OUTFILE 、LOAD DATA INFILE快速导出导入数据 LOAD DATA INFILE语句从一个文本文件中以很高的速度读入一个表中。MySQL官方文档也说明了,该方法比一次性插入一条数据性能快20倍。

    MySQL+数据导入导出+实用技巧

    本文介绍了MySQL数据库中数据的导入导出方法,包括使用SELECT INTO OUTFILE语句将数据导出到文件中,以及使用LOAD DATA INFILE语句将文件中的数据导入到数据库中。同时,还介绍了默认的导入导出格式,即分隔符为制表...

    mysql中Load Data记录换行问题的解决方法

    问题是这样的:表persons有两个字段: id和name文本文档persons.txt中内容(其中每行字段之间用tab分割):1 Bush2 Carter3 Bush在mysql命令行下使用 load data local infile “persons.txt” into table persons ...

    Java利用MYSQL LOAD DATA LOCAL INFILE实现大批量导入数据到MySQL

    Mysql load data的使用,MySQL的LOAD DATAINFILE语句用于高速地从一个文本文件中读取行,并装入一个表中

    MySQL中使用load data命令实现数据导入的方法

    代码如下:mysql>load data local infile “D:/ab.txt” into table mytbl(name,age); 使用上述的命令就可以将D:/ab.txt文件的内容导入到表mytbl中,其中name和age是表mytbl的字段,对应ab.txt文件中每行的数据。...

    mysql中的load命令使用方法

    当前有db.txt文件,内容是以空格分开的用户名,例如:xiaowang xiaoliu zhangsan 将该文件加载到数据表user中,使用命令即可: 代码如下: load data local infile “/home/beaver/db” into table user lines ...

    mysql使用SQLyog导入csv数据不成功的解决方法

    LOAD DATA LOCAL INFILE 'C:\\Users\\zl\\Desktop\\zhishu.csv' INTO TABLE 库名.表名 CHARACTER SET gbk FIELDS TERMINATED BY ',' OPTIONALLY ENCLOSED BY '"' ESCAPED BY '"' LINES TERMINATED BY '\

    [译] MySQL 最佳实践 —— 高效插入数据

    LOAD DATA INFILE 是一个专门为 MySQL 高度优化的语句,它直接将数据从 CSV / TSV 文件插入到表中。 有两种方法可以使用 LOAD DATA INFILE。你可以把数据文件拷贝到服务端数据目录(通常 /var/lib/mysql-

    mysql数值型字段table创建示例数据

    -- 用数字作为字段创建空表 ...load data infile "D:/math_code/20191121/test_data/create_table_data.csv" into table test_to_be_delete_table_02 fields terminated by ',' lines terminated by '\n';

Global site tag (gtag.js) - Google Analytics