InnoDB存储引擎--两次写
Insert Buffer带给InnoDB存储引擎的是性能上的提升,doublewrite(两次写)带给InnoDB存储引擎的是数据页的可靠性。
当发生数据库宕机时,可能InnoDB存储引擎正在写入某个页到表中,而这个页只写了一部分,比如16KB的页,只写了前4KB,之后就发生了宕机,这种情况被称为部分写失效(partial page write)。在InnoDB存储引擎未使用doublewrite技术前,曾经出现过因为部分写失效而导致数据丢失的情况。
有经验的DBA也许会想,如果发生写失效,可以通过重做日志进行恢复。这是一个办法。但是必须清楚地认识到,重做日志中记录的是对页的物理操作,如偏移量800,写‘aaaa’记录。如果这个页本身已经发生了损坏,再对其进行重做是没有意义的。这就是说,在应用重做日志前,用户需要一个页的副本,当写入失效发生时,先通过页的副本来还原该页,再进行重做,这就是doublewrite。在InnoDB存储引擎中doublewrite的体系架构如图所示:
InnoDB存储引擎doublewrite架构
doublewrite由两部分组成,一部分是内存中的doublewrite buffer,大小为2MB,另一部分是物理磁盘上共享表空间中连续的128个页,即2个区(extent),大小同样为2MB。在对缓冲池的脏页进行刷新时,并不直接写磁盘,而是会通过memcpy函数将脏页先复制到内存中的doublewrite buffer,之后通过doublewrite buffer再分两次,每次1MB顺序地写入共享表空间的物理磁盘上,然后马上调用fsync函数,同步磁盘,避免缓冲写带来的问题。在这个过程中,因为doublewrite页是连续的,因此这个过程是顺序写的,开销并不是很大。在完成doublewrite页的写入后,再将doublewrite buffer中的页写入各个表空间文件中,此时的写入则是离散的。可以通过以下命令观察到doublewrite运行的情况:
mysql> show global status like 'innodb_dblwr%'\G
*************************** 1. row ***************************
Variable_name: Innodb_dblwr_pages_written
Value: 2250377
*************************** 2. row ***************************
Variable_name: Innodb_dblwr_writes
Value: 27395
2 rows in set (0.00 sec)
可以看到一共写了2250377个页,但实际的写入次数为27395,基本上符合64:1,那么可以说明系统写入压力并不是很高。
如果操作系统在将页写磁盘的过程中发生了崩溃,在恢复过程中,InnoDB存储引擎可以从共享表空间中的doublewrite中找到该页的一个副本,将其复制到表空间文件,再应用重做日志。
若查看MySQL官方手册,会发现在命令SHOW GLOBAL STATUS中Innodb_buffer_pool_pages_flushed变量表示当前从缓冲池中刷新到磁盘页的数量。根据之前的介绍用户应该了解到,在默认情况下所有页的刷新首先都需要放入到doublewrite中,因此该变量应该和Innodb_dblwr_pages_written一致。然而在MySQL5.5.24版本之前,Innodb_buffer_pool_pages_flushed总是为Innodb_dblwr_pages_written的2倍,而此Bug直到MySQL5.5.24才被修复。因此用户若需要统计数据库在生产环境中写入的量,最安全的方法还是根据Innodb_dblwr_pages_written来进行统计,这在所有版本的MySQL数据库中都是正确的。
参数skip_innodb_double可以禁止使用doublewrite功能,这时可能会发生前面提及的写失效问题。不过如果用户有多个从服务器(slave server),需要提供较快的性能(如在slave server上做的是RAID0),也许启用这个参数是一个办法。不过对于需要提供数据高可靠性的主服务器(master server),任何时候用户都应该确保开启doubelwrite功能。
注意 有些文件系统本身就提供了部分写失效的防范机制,如ZFS文件系统。
在这种情况下,用户就不要启用doublewrite了。