老李分享:MySql的insert语句的性能优化方案 老李分享:MySql的insert语句的性能优化方案

 

   性能优化一直是测试人员比较感兴趣的内容,poptest在培训学员的时候也加大了性能测试调优的方面的内容,而性能优化需要经验的积累,经验的积累依靠项目实战,poptest培养测试开发工程师的性能测试的能力的时候,就不断的添加实战项目来帮助学员快速积累经验,能在工作中尽快上手。

   下面是数据库方面调优的一个小例子,你也完全可以通过掌握基础知识,完成简单的sql语句级别的性能调优。Poptest是国内唯一一家在测试开发工程师培养的机构,很专注自动化测试,性能测试,安全性测试,移动端的自动化测试的人员培养。

MySql批量插入:
1. 一条SQL语句插入多条数据。
2. 在事务中进行插入处理。
3. 数据有序插入。(根据索引顺序插入)

原理:
1. SQL语句有长度限制,在进行数据合并在同一SQL中务必不能超过SQL长度限制,通过max_allowed_packet配置修改,默认是1M,测试时修改为8M。
2. 事务需要控制大小,事务太大可能会影响执行的效率。MySQL有innodb_log_buffer_size配置项,超过这个值会把innodb的数据刷到磁盘中,效率会有所下降。所以比较好的做法是,在数据达到这个这个值前进行事务提交。

1. 一条SQL语句插入多条数据

INSERT INTO `insert_table` (`datetime`, `uid`, `content`, `type`)
    VALUES ('0''userid_0''content_0', 0);
INSERT INTO `insert_table` (`datetime`, `uid`, `content`, `type`)
    VALUES ('1''userid_1''content_1', 1);
改成:
INSERT INTO `insert_table` (`datetime`, `uid`, `content`, `type`)
    VALUES ('0''userid_0''content_0', 0), ('1''userid_1''content_1', 1);
 

2. 在事务中进行插入处理。

START TRANSACTION;
INSERT INTO `insert_table` (`datetime`, `uid`, `content`, `type`)
    VALUES ('0''userid_0''content_0', 0);
INSERT INTO `insert_table` (`datetime`, `uid`, `content`, `type`)
    VALUES ('1''userid_1''content_1', 1);
...
COMMIT;
 

3. 数据有序插入

INSERT INTO `insert_table` (`datetime`, `uid`, `content`, `type`)
    VALUES ('1''userid_1''content_1', 1);
INSERT INTO `insert_table` (`datetime`, `uid`, `content`, `type`)
    VALUES ('0''userid_0''content_0', 0);
INSERT INTO `insert_table` (`datetime`, `uid`, `content`, `type`)
    VALUES ('2''userid_2''content_2',2);
 
改成:
INSERT INTO `insert_table` (`datetime`, `uid`, `content`, `type`)
    VALUES ('0''userid_0''content_0', 0);
INSERT INTO `insert_table` (`datetime`, `uid`, `content`, `type`)
    VALUES ('1''userid_1''content_1', 1);
INSERT INTO `insert_table` (`datetime`, `uid`, `content`, `type`)
    VALUES ('2''userid_2''content_2',2);
 
    在性能测试的工作中发生瓶颈的80%是数据库,数据库的80%性能问题集中在sql语句上。所以学好sql语句是很重要的,poptest的测试开发工程师培训中很注重数据库方面的实践,为性能测试中的性能调优打好基础。

   性能优化一直是测试人员比较感兴趣的内容,poptest在培训学员的时候也加大了性能测试调优的方面的内容,而性能优化需要经验的积累,经验的积累依靠项目实战,poptest培养测试开发工程师的性能测试的能力的时候,就不断的添加实战项目来帮助学员快速积累经验,能在工作中尽快上手。

   下面是数据库方面调优的一个小例子,你也完全可以通过掌握基础知识,完成简单的sql语句级别的性能调优。Poptest是国内唯一一家在测试开发工程师培养的机构,很专注自动化测试,性能测试,安全性测试,移动端的自动化测试的人员培养。

MySql批量插入:
1. 一条SQL语句插入多条数据。
2. 在事务中进行插入处理。
3. 数据有序插入。(根据索引顺序插入)

原理:
1. SQL语句有长度限制,在进行数据合并在同一SQL中务必不能超过SQL长度限制,通过max_allowed_packet配置修改,默认是1M,测试时修改为8M。
2. 事务需要控制大小,事务太大可能会影响执行的效率。MySQL有innodb_log_buffer_size配置项,超过这个值会把innodb的数据刷到磁盘中,效率会有所下降。所以比较好的做法是,在数据达到这个这个值前进行事务提交。

1. 一条SQL语句插入多条数据

INSERT INTO `insert_table` (`datetime`, `uid`, `content`, `type`)
    VALUES ('0''userid_0''content_0', 0);
INSERT INTO `insert_table` (`datetime`, `uid`, `content`, `type`)
    VALUES ('1''userid_1''content_1', 1);
改成:
INSERT INTO `insert_table` (`datetime`, `uid`, `content`, `type`)
    VALUES ('0''userid_0''content_0', 0), ('1''userid_1''content_1', 1);
 

2. 在事务中进行插入处理。

START TRANSACTION;
INSERT INTO `insert_table` (`datetime`, `uid`, `content`, `type`)
    VALUES ('0''userid_0''content_0', 0);
INSERT INTO `insert_table` (`datetime`, `uid`, `content`, `type`)
    VALUES ('1''userid_1''content_1', 1);
...
COMMIT;
 

3. 数据有序插入

INSERT INTO `insert_table` (`datetime`, `uid`, `content`, `type`)
    VALUES ('1''userid_1''content_1', 1);
INSERT INTO `insert_table` (`datetime`, `uid`, `content`, `type`)
    VALUES ('0''userid_0''content_0', 0);
INSERT INTO `insert_table` (`datetime`, `uid`, `content`, `type`)
    VALUES ('2''userid_2''content_2',2);
 
改成:
INSERT INTO `insert_table` (`datetime`, `uid`, `content`, `type`)
    VALUES ('0''userid_0''content_0', 0);
INSERT INTO `insert_table` (`datetime`, `uid`, `content`, `type`)
    VALUES ('1''userid_1''content_1', 1);
INSERT INTO `insert_table` (`datetime`, `uid`, `content`, `type`)
    VALUES ('2''userid_2''content_2',2);
 
    在性能测试的工作中发生瓶颈的80%是数据库,数据库的80%性能问题集中在sql语句上。所以学好sql语句是很重要的,poptest的测试开发工程师培训中很注重数据库方面的实践,为性能测试中的性能调优打好基础。