MySQL redo日志写入磁盘的实现过程

MySQL的redo日志是InnoDB存储引擎实现事务持久性(Durability)的关键机制。下面我将详细解析redo日志从生成到写入磁盘的完整过程。

一、redo日志基础结构

1. 日志文件组成

• 默认4个redo日志文件(ib_logfile0~ib_logfile3)
• 每个文件大小默认为48MB(可配置)
• 采用循环写入方式

2. 日志记录格式

struct log_record {
    uint32_t space_id;    // 表空间ID
    uint32_t page_no;     // 页号
    uint16_t offset;      // 页内偏移量
    uint16_t flags;       // 标志位
    byte data[];          // 修改数据
};

二、写入流程全解析

1. 事务修改产生redo记录

sequenceDiagram
    participant Client
    participant InnoDB
    participant Log Buffer

    Client->>InnoDB: 执行UPDATE语句
    InnoDB->>InnoDB: 修改缓冲池中的页
    InnoDB->>Log Buffer: 生成redo日志记录

2. 日志缓冲(Log Buffer)管理

• 全局共享的内存区域(默认16MB)
• 通过innodb_log_buffer_size配置
• 采用无锁设计的环形缓冲区

关键数据结构：

struct log_t {
    byte* buf;              // 缓冲区指针
    uint32_t buf_size;      // 缓冲区大小
    atomic_uint32_t lsn;    // 当前LSN(日志序列号)
    uint32_t write_lsn;     // 已写入磁盘的LSN
    uint32_t flushed_lsn;   // 已刷盘的LSN
};

3. 写入触发条件

1. 主动提交触发：

   COMMIT; -- 事务提交时强制刷盘

2. 定时触发：

• 主线程每秒执行一次刷盘(1秒超时)

2. 缓冲空间阈值：

• 当log buffer使用超过75%时触发

2. 检查点推进：

• 需要重用日志文件时强制刷盘

4. 文件写入过程

graph TD
    A[准备写入] --> B[获取日志组互斥锁]
    B --> C[计算写入量]
    C --> D[文件系统缓存写入]
    D --> E[更新write_lsn]
    E --> F[释放互斥锁]
    F --> G[触发刷盘判断]

关键代码路径：

// storage/innobase/log/log0write.cc
void log_write_up_to(lsn_t lsn) {
    mutex_enter(&log_sys->mutex);

    /* 计算需要写入的字节数 */
    write_size = lsn - log_sys->write_lsn;

    /* 执行文件写入 */
    pwrite(log_sys->file, buf, write_size, write_pos);

    /* 更新元数据 */
    log_sys->write_lsn = lsn;

    mutex_exit(&log_sys->mutex);
}

5. 刷盘(fsync)策略

配置项	说明	性能影响
innodb_flush_log_at_trx_commit=1	每次提交都刷盘(ACID保证)	高安全低性能
innodb_flush_log_at_trx_commit=2	提交只写OS缓存	宕机可能丢失1秒数据
innodb_flush_log_at_trx_commit=0	每秒刷盘一次	最高性能但最不安全

三、关键优化技术

1. 组提交(Group Commit)

graph LR
    T1[事务1] -->|加入组| GC[组提交队列]
    T2[事务2] -->|加入组| GC
    T3[事务3] -->|加入组| GC
    GC -->|一次fsync| Disk

• 将多个事务的redo合并为一次磁盘写入
• 通过binlog_group_commit_sync_delay微调延迟

2. 双写缓冲(Double Write)

// 写入流程
1. 将脏页写入双写缓冲(2MB连续空间)
2. 调用fsync()确保双写缓冲落盘
3. 再将页写入实际数据文件位置

3. 异步IO

• 使用Linux原生AIO接口
• 通过innodb_use_native_aio启用
• 实现并行写日志和数据文件

四、性能监控指标

1. 关键状态变量

SHOW STATUS LIKE 'Innodb_log%';

-- Innodb_log_waits        # 等待log buffer空间次数
-- Innodb_log_write_requests # 日志写请求数
-- Innodb_log_writes       # 物理写次数

2. 性能瓶颈诊断

-- 日志写入等待分析
SELECT EVENT_NAME, COUNT_STAR 
FROM performance_schema.events_waits_summary_global_by_event_name
WHERE EVENT_NAME LIKE '%log%';

五、最佳实践建议

1. 日志文件大小配置：

   innodb_log_file_size = 1G  # 大事务系统建议增大
   innodb_log_files_in_group = 4

2. 缓冲池比例：

   innodb_log_buffer_size = 64M  # 高并发场景建议增大

3. SSD优化：

   innodb_flush_neighbors = 0  # SSD禁用相邻页刷盘
   innodb_io_capacity = 2000   # 提高IOPS配额

4. 监控告警：

• 当Innodb_log_waits持续增长时需扩大log buffer
• Innodb_os_log_written突增可能预示大事务

MySQL的redo日志机制通过精妙的缓冲设计、组提交优化和故障恢复保障，在性能与持久性之间取得了平衡。理解其实现细节有助于合理配置参数和高效排查性能问题。