锁调试

锁序缺陷的四道防线:编译期锁键、运行期看门狗、模型检查、自动捕获 —— 每道防线的设计、覆盖面与实战记录 · 正本:docs/architecture/lock-ordering.md(INV-LOCK-*)、kernel/src/sync/、kernel/verify/

§1锁序层级(设计侧输入)

docs/architecture/lock-ordering.md 维护具名锁序层级(INV-LOCK-*):Level 0 IRQ → Level 1 preempt → Level 2a GRQ → Level 3a zone / 3b futex bucket → Level 4 waiter slot;SleepMutex 位于层级之外;VFS_MUTATION_LOCK → EXT4_BIG_LOCK → I/O 为文件侧序;INV-LOCK-8 系规则约束嵌套细节。任何新锁对先在此具名,再决定是否上编译期键。

§2防线一:类型化锁键(D-11,编译期)

  • 机制:锁序类携带零尺寸键类型(GrqKey、FutexBucketKey、NetQueueKey、NetStatsKey);一条允许的嵌套是显式的 impl CanNestInside<Outer> for Inner;持锁 guard 铸造零尺寸 NestProof,获取嵌套锁须消费 proof(lock_nested/lock_irqsave_nested)—— impl 不存在则不编译。运行时成本为零(键为 PhantomData;获取路径内联为原协议指令)。
  • 覆盖切片:GRQ 本锁(RawSpinlock→KeyedRawSpinlock<GrqKey>);futex 哈希桶 + 唤醒链(桶内唤醒嵌套 GRQ 是日常路径,反向 = 全机死锁);futex WAITER_POOL 槽锁。
  • 实战记录(2b092c49 撤回事件):首次 GRQ 键化因 API 形态缺陷失败 —— KeyedRawSpinlock::lock() 返回 guard,而既有的裸 self.lock.lock(); 语句丢弃了它,Drop 在语句末释放锁:每个"持 GRQ"区段实际未排除(13 次启动配对二分:6/6 x86 exitwalk 启动在 CFS timeline btree 遍历 panic,riscv64 R74 双重运行)。623c4736 确认问题、75dbf637 修复根因;两键化 guard 类型此后 #[must_use];协议封装层永不触碰返回 guard 的 lock(取 surface lock_claim/try_lock_claim/unlock)。该事故成为 guard 所有权纪律的实例教材。

§3防线二:自旋看门狗(运行期)

  • RawSpinlock::DEADLOCK_WARN_ITERS = 100,000,000:自旋计数越限打印告警(SBI 直写,不依赖 printk;含 cpu、锁地址、ra)。
  • dfx=watchdog:告警后自动全任务快照(taskdump 路径)。
  • 编译期 feature dfx-lock-owner:每次加/解锁一次原子存储;告警携带 holder=<cpu> + 持有者任务 + 堆跨度 + 每唯一锁一次 REMOTE-BT 跨 CPU 栈捕获(经 IRQ_WORK IPI)—— 持有者自陷于 IF=0 时其自身 tick 已死,必须由观察者点名。

§4防线三:模型检查与形式验证

  • SPIN(kernel/verify/spin/,4 模型:lock_ordering/futex_wait_wake/interrupt_preempt/sched_enqueue_dequeue):对已文档化路径做无死锁证明;关键嵌套(INV-LOCK-5:bucket_lock → GRQ 允许,GRQ → bucket 禁止)在模型中显式。
  • Kani:164 个 #[kani::proof] harness 对全输入证明核心 unsafe 代码与协议不变量。
  • loom:SleepMutex 提取的状态机交错模型检查(8 场景)—— 启用头 90 秒即抓到一个真实 pid-0 递归缺陷(011a71c5);Kani 证 INV-M1..M5。
  • 三者共同覆盖"未具名锁对 + 未建模路径"之外的抽象层:具体路径由 SPIN,具体代码由 Kani,并发交错由 loom。

§5lockdep-lite(运行期锁序记录:状态如实)

Linux lockdep 的形态(锁类图 + 运行期环检测)在 Rux 的实现位置:规划中,未进主线。缺口表(docs/development/dfx-align-plan.md)登记 Locking | lockdep 类 | absent;P0(静态锁序注册表 + 启动期校验)与 P1(运行期获取记录 + 新边即时查环 + 双锁名/获取点 splat)在实现线分支上,过门禁前不并入。本页列出的三道防线是当前主线上的实际覆盖 —— 声明这一差距本身是可观测性诚实的一部分。

§6hunt-wedge:挂起自动捕获

./scripts/test/hunt-wedge.sh [rounds]   # 默认 6 轮;捕获即停。退出码 0=抓到, 2=未复现
  • 自动构建带 dfx-lock-owner 的内核,循环注入 smoke + nettest + pipe-bomb 负载;盯两类挂起 —— A 类:锁死锁告警;B 类:管道 >30 s 无输出。
  • 命中即经 QEMU monitor 抓每 CPU 寄存器/栈/反汇编至 /tmp/rux-hunt/,并保留当轮 kernel.elf。
  • 分析三步:hunt.log 分类挂起类型 → addr2line -e /tmp/rux-hunt/kernel.elf -f -C 符号化 hunt.dump 的 pc=/ra= → 扫栈字中内核 ra 值还原调用链。

§7实践守则

  1. 先怀疑自己的锁序:出现死锁嫌疑时,第一步是对照 lock-ordering.md 复核调用链的每一层获取序,而非直接怀疑硬件或调度器。
  2. 新锁对必具名:进入 lock-ordering.md 层级;高频且易错的嵌套对上编译期键(D-11)。
  3. guard 纪律:keyed lock 返回值必须绑定(#[must_use] 强制);协议封装走 claim surface。
  4. 告警读法:看门狗告警的三要素 = 自旋 CPU、锁地址、ra —— 锁地址定对象,ra 定获取点;配 dfx-lock-owner 的 holder 行交叉定位持有者。
  5. 复现:THREAD=single make run 确定性复现;hunt-wedge 自动化注入。
正本:docs/architecture/lock-ordering.md(INV-LOCK 全表)、docs/architecture/design-divergences.md D-11。代码:kernel/src/sync/(spinlock/preempt/percpu)、kernel/verify/(spin/kani/loom)。观测:lock 组事件 + rux:spinwatch(见 tracepoint 框架);dfx-lock-owner feature。