灰气球

灰气球

MySQL 全局锁、表锁、行锁

217
2019-10-09

原文《MySQL实战45讲》

前言

锁的设计比较复杂,本文不会涉及锁的具体实现细节,主要介绍的是使用锁的场景及其背后的原理。

全局锁

定义

全局锁就是对整个数据库实例加锁。MySQL提供了一个加全局锁的方法,命令是 Flush tables with read lock(FTWRL)。当你需要让整个库处于只读状态的时候,可以使用整个命令,之后其他线程的一下语句会被堵塞:数据更新语句(数据的增删改)、数据定义语句(包括建表、修改表结构等)和更新类事务的提交语句。

使用场景

全局锁典型的使用场景是,做全库逻辑备份。

注意

在备份的过程中,整个库完全处于只读状态,这就很可能会影响业务了。

  1. 如果在主库上备份,那么在备份期间都不能执行更新,业务基本上就得停摆;
  2. 如果在从库上备份,那么备份期间从库不能执行主库同步过来的binlog,会导致主从延迟。

对于全局备份,MySQL自带由逻辑备份工具:mysqldump。当mysqldump使用参数 -single-transaction 的时候,导数据之前就会启动一个事务,以确保拿到一直性试图。而由于MVCC的支持,这个过程中数据是可以正常更新的。single-transaction方法只适用于所有的表使用事务引擎的库。如果有的表使用了不支持事务的引擎,那么备份就只能通过FTWRL方法。
另外,为什么不使用 set global readnoly=true的方式让全库进入只读状态?主要有两个原因:

  1. 在有些系统中,readonly的值会被用来做其他逻辑,比如用来判断一个库的主库还是备库。因此,修改global变量的方式影响面更大;
  2. 在异常处理机制上,如果执行FTWRL命令之后由于客户端发生异常断开,那么MySQL会自动释放这个全局锁,整个库回到可以正常更新的状态。而将真个库设置为readonly之后,如果客户端发生异常,则数据库就会一直保持readonly状态,这样会导致整个库长时间处于不可写状态,风险较高。

表级锁

定义

MySQL里面表级别的锁有两种:一种是表锁,一种是元数据锁(metadata lock,MDL)。

表锁

表锁的语法是 lock tables … read/write 。与FTWRL类似,可以用 unlock tables 主动释放锁,可以在客户端断开的时候自动释放。需要注意,lock tables语法除了会限制别的线程的读写外,也限定了本线程接下来的操作对象。

使用场景

在还没有出现更细粒度的锁的时候,表锁是最常用的处理并发的方式。而对于InnoDB这种支持行锁的引擎,一般不适用lock tables命令来控制并发,毕竟锁住整个表的影响面还是太大了。

MDL(metadata lock)

在MySQL5.5 版本中引入,当对一个表做增删改查操作的时候,加MDL读锁;当要对表做结构变更操作的时候,加MDL写锁。MDL不需要显示的使用,在访问一个表的时候会被自动加上。MDL的作用是,保证读写的正确性。

注意

  1. 读锁之间不互斥,因此你可以有多个线程同时对一张表增删改查。
  2. 读写锁之间、写锁之间是互斥的,用来保证变更表结构操作的安全性。因此,如果有两个线程要同时给一个表加字段,其中一个要等另一个执行完才能开始执行。

以下图的情况为例,解释由于给一个小表添加一个字段,导致整个库挂了的情况。

  1. 如图,session A 先启动,这个时候会对表 t 加一个 MDL 读锁。由于session B 需要的也是 MDL 读锁,因此可以正常执行。
  2. 而session C 会被 blocked ,因为 session A 的 MDL 读锁还没有释放, 而session C 需要 MDL 写锁,因此只能被阻塞。
  3. 由于 session C ,之后所有要在表t上新申请 MDL 读锁的请求也会被 session C堵塞。前面我们说了,所有对表的增删改查操作都需要先申请 MDL 读锁,所以就都会被锁住,等同于这个表宪政完全不可读写了。(mysql Server端对于sessionC,D有一个队列来决定谁先执行)

行锁

定义

MySQL的行锁是在引擎层由各个引擎自己实现的。但并不是所有的引擎都支持行锁,比如MYISAM引擎就不支持行锁。不支持行锁意味着并发控制只能使用 表锁,对于这种引擎的表,同一张表上任何时刻只能有一个更新在执行,这就会影响到业务并发度。InnoDB是支持行锁的,这也是MyISAM被替代的重要原因之一。

使用场景

数据更新的并发控制,行锁就是针对数据表中行记录的锁。比如事务A更新了一行,而这个时候事务B也要更新同一行,则必须等事务A的操作完成之后才能进行更新。

注意

  1. 两阶段锁协议:在InnoDB事务中,行锁是在需要的时候才加上的,但并不是不需要了就立刻释放,而是要等事务结束时才释放。


事务B的update语句会被堵塞,直到事务A执行commit之后,事务B才能继续执行。
所以,如果你的事务中需要锁多个行,需要把最可能造成所冲突,最可能影响并发度的锁尽量往后放。

  1. 死锁和死锁检测

当并发系统中不同线程出现循环资源依赖,涉及的线程都在等待别的线程释放资源时,就会导致这几个线程都进入无线等待的状态,称为死锁。

事务A在等待事务B释放id=2的行锁,而事务B在等待事务A释放id=1的行锁。事务A和事务B在相互等待对方的资源释放,就进入了死锁状态。
当出现死锁以后,有两种策略:

  1. 一种策略是,直接进入等待,知道超时。这个超时时间可以通过参数 innodb_lock_wait_timeout 来设置。
  2. 另一种策略是,发起死锁检测,发现死锁后,主动回滚死锁链条中的某一个事务,让其他事务得以继续执行。将参数 innodb_deadlock_detect 设置为 on,表示开启这个逻辑。

在InnoDD中,innodb_lock_wait_timeout的默认值是50s,意味着当出现死锁以后,第一个被锁住的线程要过50s才会超时退出,然后其他线程采有可能继续执行。对于在线服务来说,这个等待时间往往是不能接受的,但是如果超时时间设置太短的话,会出现很多误伤,所以正常情况下我们还是要采用第二种策略,即主动死锁检测,而且innodb_deadlock_detect的默认值本身就是on。主动死锁检测在发生死锁的时候,是能够快速发现并进行处理的,但是它也是有额外负担的。
每个信赖的被堵住的线程都需要判断会不会由于自己的加入导致了死锁,这是一个时间复杂度是O(n) 的操作。假设有1000个并发线程要同时更新同一行,那么死锁检测操作就是100万这个量级的。虽然最终检测的结果是没有死锁,但是这期间要消耗大量的CPU资源。因此,数据库实例的CPU利用率很高,但是每秒却执行不了几个事务。
那么,该如何解决这种由于热点行更新导致的性能问题呢?

  1. 如果你能确保这个业务一定不会出现死锁,可以临时把死锁检测关掉。但是这种操作本身带有一定的风险,因为业务涉及的时候一般不会把死锁当成一个严重错误,毕竟出现了死锁就回滚,然后通过业务充实一般就没有问题了,这个业务无损的。而关掉死锁检测意味着可能出现大量的超时,这个业务有损的。
  2. 另一个思路是控制并发度。根据上面的分析,你会发现如果并发能控制住,比如同一行同时最多只有10个线程在更新,那么死锁检测的成本就很低。一个直接的想法就是在客户端做并发控制。但是,你很快就会发现这个方法不太可行,因为客户端很多。因此,这个并发控制要做在数据库服务端。可以考虑在中间件实现;也可以通过修改MySQL源码,对于相同行的更新,在进入引擎之前排队,这样InnoDB内部就不会有大量的死锁检测工作了。
  3. 第三种处理方式,优化设计,将一行改成逻辑上的多行来减少锁冲突。以影院账户为例,可以考虑放在多条记录上,比如10个记录,影院的账户总额等于这10个记录的值的综合。这样每次要给影院账户加金额的时候,随机选其中一条来加。这样每次冲突的概率变成了原来的1/10,可以减少锁等待个数,也就减少了死锁检测的CPU消耗。这个方案看上去是无损的,但其实这类方案需要根据业务逻辑做详细设计。如果账户余额可能会减少,比如退票逻辑,那么这个时候就需要考虑当一部分行记录变成0的时候,代码要有特殊处理。