MySQL SQL 优化
一、插入数据
1. Insert 优化
- 批量插入:
insert into table values (数据 1),(数据 2),(数据 3);- 手动提交事务:
start transaction;
insert into table values (数据 1),(数据 2),(数据 3);
insert into table values (数据 4),(数据 5),(数据 6);
commit;- 主键顺序插入:主键顺序插入的性能高于乱序插入
2. 大批量插入数据
如果一次性需要插入大批量数据,使用 insert 语句插入性能较低,此时可以
使用 MySQL 数据库提供的 load 指令进行插入,操作如下:
第一步:客户端连接服务器时,加上参数 --local-infile
mysql --local-infile -u root -p
第二步:设置全局参数 local_infile 为 1,开启从本地加载文件导入数据的开关
set global local_infile=1;
第三步:执行 load 指令将准备好的数据,加载到表结构中
load data local_infile '/root/sql.log' into table 'tb_usre' fields terminated by ',' lines terminated by '\n';
二、主键优化
1. 数据组织方式
在 InnoDB 存储引擎中,表数据都是根据主键顺序组织存放的,这种存储方式的表称为索引组织表(index organized table IOT)
2. 页分裂
页可以为空,也可以填充一半,也可以填充 100%。每个页包含了 2-N 行数据(如果一行数据多大,会行溢出),根据主键排列。
主键顺序插入:
主键乱序插入:可能出现页分裂
3. 页合并
当删除一行记录时,实际上记录并没有被物理删除,只是记录被标记 (flaged) 为删除并且它的空间变得允许被其他记录声明使用。
当页中删除的记录达到 MERGE_THRESHOLD (默认为页 50%),InnoDB 会开始寻找最靠近的页 (前或后) 看看是否可以将两个页合并以优化空间使用。
MERGE_THRESHOLD:合并页的阈值,可以自己设置,在创建表或创建索引时指定。
4. 主键设计原则
- 满足业务需求的情况下,尽量降低主键的长度;
- 插入数据时,尽量选择顺序插入,选择使用 auto_increment 自增主键;
- 尽量不要使用 UUID 做主键或是其他自然主键,如身份证号;
- 业务操作时,尽量避免对主键的修改。
三、Order By 优化
1.Using filesort:通过表的索引或全表扫描,读取满足条件的数据行,然后在排序缓存区 sort 中完成排序操作,
所有不是通过索引直接返回排序结果的排序都叫 File Sort 排序。
2.Using index:通过有序索引顺序扫描直接返回有序数据,这种情况即为 using index,不需要额外排序,操作效率高。
测试:没有创建索引时,根据 age,phone 进行排序:
explain select age,phone from tb_user order by age,phone;--- 结果返回 using filesort, 效率低
创建索引:
creat index idx_user_age_phone_aa on tb_user (age asc,phone asc);--- 系统默认 asc 排序可不写
创建索引后,根据 age,phone 升序排序:
explain select age,phone from tb_user order by age,phone;--- 结果返 using index,效率高
创建索引后,根据 age,phone 进行降序排列:
explain select age,phone from tb_user order by age desc,phone desc;--- 结果返回 backward index scan (反向扫描索引),using index 效率较高,但是出现反向扫描
根据 age,phone 一个升序,一个降序排序:
explain select age,phone from tb_user order by age asc,phone desc;--- 返回结果 using index,using filesort
优化方法,创建新的排序索引:
create index idx_user_age_phone_ad on tb_user(age.asc,phone desc);
根据 age,phone 一个升序,一个降序排序:
explain select age,phone from tb_user order by age asc,phone desc;--- 返回结果 using index
总结:
- 根据排序字段建立合适的索引,多字段排序时,也遵循最左前缀法则;
- 尽量使用覆盖索引;
- 多字段排序,一个升序一个降序,此时需要注意联合索引在创建时的规则 (ASC/DESC);
- 如果不可避免出现 filesort,大数据排序时,可以适当增大排序缓冲区 sort_buffer_size (默认 256K)
四、Group By 优化
没有创建索引直接分组后,结果会返回 using temporary(使用临时表),效率较低。
优化方法:创建相关分组字段的联合索引,分组时索引的使用也要满足最左前缀法则。
五、Limit 优化
当对数据库庞大数据进行分页操作时,会出现一个问题就是 limit 2000000,10,此时需要 MySQL 排序前 2000010 记录,
仅仅返回 2000000-2000010 的记录,其他记录丢弃,查询排序时间非常长,带价很大。
优化方法:一般分页查询时,通过创建覆盖索引能够较好的提高性能,通过覆盖索引 + 子查询形式进行优化。
例如:select s.* from tb_sku s,(select id from tb_sku order by id limit 2000000,10) a where s.id=a.id;
六、Count 优化
- MyISAM 引擎会把一个表的总行数存储在磁盘上,因此执行 count (*) 时会直接返回个数,效率会大大提高,前提是查询时不加任何 where 条件,就是直接查询总数据量;
- InnoDB 执行 count (*) 时,需要把一行一行从引擎里读出来,然后累计计数。
- 优化思路:自己计数。
Count () 是一个聚合函数,对于返回的结果集,一行行判断,如果 count 函数的参数不是 null,累计值就加 1,否则不加,最后返回累计值。
Count (*) 的用法:
- count (*):InnoDB 引擎并不会取出全部字段,而是做了专门优化,不取值,服务层直接按行累加。
- count (主键):InnoDB 引擎会遍历整张表,把每一行的主键 id 值都取出来,返回给服务层。服务层拿到主键后,直接按行累加 (主键不可能为 null)。
- count (字段):
没有 not null 约束:InnoDB 引擎会遍历整张表把每一行的字段提取出来,返会给服务层,服务层判断是否为 null,不为 null 计数累加;
有 not null 约束:InnoDB 引擎会遍历整张表把每一行的字段提取出来,返会给服务层,直接进行累加。- count (1):InnoDB 引擎遍历整张表,但不取值。服务层对于返回的每一行,放一个数字‘1’进去,直接按行进行累加。
按照效率排序:count (字段) < count (主键) < count (1)≈count (),所有尽量使用 count (\)。
七、Update 优化
执行 Update 语句时,执行的条件 where 字段一定要有索引,InnoDB 引擎的行锁是针对索引加的锁,不是针对记录加的锁,
并且该索引不能失效,否则会从行锁升级为表锁,把整张表锁住,降低并发执行效率。