007、MySQL SQL优化
本文最后更新于 427 天前,其中的信息可能已经过时,如有错误请发送邮件到 wuxianglongblog@163.com

MySQL SQL 优化

一、插入数据

1. Insert 优化

  • 批量插入:
    insert into table values (数据 1),(数据 2),(数据 3);
  • 手动提交事务:
    start transaction;
    insert into table values (数据 1),(数据 2),(数据 3);
    insert into table values (数据 4),(数据 5),(数据 6);
    commit;
  • 主键顺序插入:主键顺序插入的性能高于乱序插入

2. 大批量插入数据

如果一次性需要插入大批量数据,使用 insert 语句插入性能较低,此时可以
使用 MySQL 数据库提供的 load 指令进行插入,操作如下:
第一步:客户端连接服务器时,加上参数 --local-infile
mysql --local-infile -u root -p
第二步:设置全局参数 local_infile 为 1,开启从本地加载文件导入数据的开关
set global local_infile=1;
第三步:执行 load 指令将准备好的数据,加载到表结构中
load data local_infile '/root/sql.log' into table 'tb_usre' fields terminated by ',' lines terminated by '\n';

二、主键优化

1. 数据组织方式

在 InnoDB 存储引擎中,表数据都是根据主键顺序组织存放的,这种存储方式的表称为索引组织表(index organized table IOT)

2. 页分裂

页可以为空,也可以填充一半,也可以填充 100%。每个页包含了 2-N 行数据(如果一行数据多大,会行溢出),根据主键排列。
主键顺序插入:

顺序插入

主键乱序插入:可能出现页分裂
乱序插入

3. 页合并

当删除一行记录时,实际上记录并没有被物理删除,只是记录被标记 (flaged) 为删除并且它的空间变得允许被其他记录声明使用。

页合并-删除数据

当页中删除的记录达到 MERGE_THRESHOLD (默认为页 50%),InnoDB 会开始寻找最靠近的页 (前或后) 看看是否可以将两个页合并以优化空间使用。
页合并-合并数据

MERGE_THRESHOLD:合并页的阈值,可以自己设置,在创建表或创建索引时指定。

4. 主键设计原则

  • 满足业务需求的情况下,尽量降低主键的长度;
  • 插入数据时,尽量选择顺序插入,选择使用 auto_increment 自增主键;
  • 尽量不要使用 UUID 做主键或是其他自然主键,如身份证号;
  • 业务操作时,尽量避免对主键的修改。

三、Order By 优化

1.Using filesort:通过表的索引或全表扫描,读取满足条件的数据行,然后在排序缓存区 sort 中完成排序操作,
所有不是通过索引直接返回排序结果的排序都叫 File Sort 排序。
2.Using index:通过有序索引顺序扫描直接返回有序数据,这种情况即为 using index,不需要额外排序,操作效率高。
测试:

没有创建索引时,根据 age,phone 进行排序:

explain select age,phone from tb_user order by age,phone;--- 结果返回 using filesort, 效率低

创建索引:

creat index idx_user_age_phone_aa on tb_user (age asc,phone asc);--- 系统默认 asc 排序可不写

创建索引后,根据 age,phone 升序排序:

explain select age,phone from tb_user order by age,phone;--- 结果返 using index,效率高

创建索引后,根据 age,phone 进行降序排列:

explain select age,phone from tb_user order by age desc,phone desc;--- 结果返回 backward index scan (反向扫描索引),using index 效率较高,但是出现反向扫描

根据 age,phone 一个升序,一个降序排序:

explain select age,phone from tb_user order by age asc,phone desc;--- 返回结果 using index,using filesort

优化方法,创建新的排序索引:

create index idx_user_age_phone_ad on tb_user(age.asc,phone desc);

根据 age,phone 一个升序,一个降序排序:

explain select age,phone from tb_user order by age asc,phone desc;--- 返回结果 using index

索引排序

总结

  • 根据排序字段建立合适的索引,多字段排序时,也遵循最左前缀法则;
  • 尽量使用覆盖索引;
  • 多字段排序,一个升序一个降序,此时需要注意联合索引在创建时的规则 (ASC/DESC);
  • 如果不可避免出现 filesort,大数据排序时,可以适当增大排序缓冲区 sort_buffer_size (默认 256K)

四、Group By 优化

没有创建索引直接分组后,结果会返回 using temporary(使用临时表),效率较低。
优化方法:创建相关分组字段的联合索引,分组时索引的使用也要满足最左前缀法则。

五、Limit 优化

当对数据库庞大数据进行分页操作时,会出现一个问题就是 limit 2000000,10,此时需要 MySQL 排序前 2000010 记录,
仅仅返回 2000000-2000010 的记录,其他记录丢弃,查询排序时间非常长,带价很大。
优化方法:一般分页查询时,通过创建覆盖索引能够较好的提高性能,通过覆盖索引 + 子查询形式进行优化
例如:select s.* from tb_sku s,(select id from tb_sku order by id limit 2000000,10) a where s.id=a.id;

六、Count 优化

  • MyISAM 引擎会把一个表的总行数存储在磁盘上,因此执行 count (*) 时会直接返回个数,效率会大大提高,前提是查询时不加任何 where 条件,就是直接查询总数据量;
  • InnoDB 执行 count (*) 时,需要把一行一行从引擎里读出来,然后累计计数。
  • 优化思路:自己计数。

Count () 是一个聚合函数,对于返回的结果集,一行行判断,如果 count 函数的参数不是 null,累计值就加 1,否则不加,最后返回累计值。

Count (*) 的用法:

  • count (*):InnoDB 引擎并不会取出全部字段,而是做了专门优化,不取值,服务层直接按行累加。
  • count (主键):InnoDB 引擎会遍历整张表,把每一行的主键 id 值都取出来,返回给服务层。服务层拿到主键后,直接按行累加 (主键不可能为 null)。
  • count (字段):
    没有 not null 约束:InnoDB 引擎会遍历整张表把每一行的字段提取出来,返会给服务层,服务层判断是否为 null,不为 null 计数累加;
    有 not null 约束:InnoDB 引擎会遍历整张表把每一行的字段提取出来,返会给服务层,直接进行累加。
  • count (1):InnoDB 引擎遍历整张表,但不取值。服务层对于返回的每一行,放一个数字‘1’进去,直接按行进行累加。

按照效率排序:count (字段) < count (主键) < count (1)≈count (),所有尽量使用 count (\)。

七、Update 优化

执行 Update 语句时,执行的条件 where 字段一定要有索引,InnoDB 引擎的行锁是针对索引加的锁,不是针对记录加的锁,
并且该索引不能失效,否则会从行锁升级为表锁,把整张表锁住,降低并发执行效率。

谨此笔记,记录过往。凭君阅览,如能收益,莫大奢望。
暂无评论

发送评论 编辑评论


				
|´・ω・)ノ
ヾ(≧∇≦*)ゝ
(☆ω☆)
(╯‵□′)╯︵┴─┴
 ̄﹃ ̄
(/ω\)
∠( ᐛ 」∠)_
(๑•̀ㅁ•́ฅ)
→_→
୧(๑•̀⌄•́๑)૭
٩(ˊᗜˋ*)و
(ノ°ο°)ノ
(´இ皿இ`)
⌇●﹏●⌇
(ฅ´ω`ฅ)
(╯°A°)╯︵○○○
φ( ̄∇ ̄o)
ヾ(´・ ・`。)ノ"
( ง ᵒ̌皿ᵒ̌)ง⁼³₌₃
(ó﹏ò。)
Σ(っ °Д °;)っ
( ,,´・ω・)ノ"(´っω・`。)
╮(╯▽╰)╭
o(*////▽////*)q
>﹏<
( ๑´•ω•) "(ㆆᴗㆆ)
😂
😀
😅
😊
🙂
🙃
😌
😍
😘
😜
😝
😏
😒
🙄
😳
😡
😔
😫
😱
😭
💩
👻
🙌
🖕
👍
👫
👬
👭
🌚
🌝
🙈
💊
😶
🙏
🍦
🍉
😣
Source: github.com/k4yt3x/flowerhd
颜文字
Emoji
小恐龙
花!
上一篇
下一篇