回溯报告:GNOME 桌面回归
§1"能跑"当时的验收口径
x86 GNOME 里程碑(99% 非黑帧、17 分钟稳定会话)在 main@4ed009ac 由 gnome-x86 工作树验收:每次启动用该线的 fire.py 驱动做人工核验。那是一次性战役验收,不是常设门禁 —— 该工作树收线后,常备测试面里没有任何一项再启动 GNOME 桌面。
§2回归窗口
| 指标 | 数值 |
|---|---|
| 窗口内提交总数 | 2,825 |
| 触及性能/优化路径的提交(按标题匹配) | ~664 |
| 窗口内常备桌面启动测试次数 | 0 |
桌面负载在它的工作树收线当天就退出了测试面。此后每一次落地都只对 LTP、make test、pbench、syscost 和 OH 镜像把关 —— 这些项没有一个会启动 gnome-shell。
§3已确认根因(两个,均为性能改造引入)
3.1 munmap 分块手术 —— 两侧竞态
- 起源:OH 战役的 132 µs munmap 车队修复,把单次 VMA 写锁持有替换为按 256KB 分块、每块放锁后重建 VMA 树。
- 洞:在锁间隙里,同 mm 的并发 mmap 合法地落在仍处理区间的瞬时树洞中;下一个分块把新 VMA 当作当前 munmap 未处理的部分删除(vma=NONE 缺页),延迟 zap 又清掉新 PTE(B 侧)。
- 修复(main@5b4a4bc7):先全摘链再 zap —— 一把锁内摘除全部片段;≤4 MB 区间(malloc/arena 全类)在锁内完成 zap。复现器:修复前 2/3 次启动崩溃 → 修复后 3/3 干净(每次启动 12,000 项检查)。
3.2 ext4 异步批量读填 —— 跨文件页缓存投毒
- 起源:lmbench 读吞吐优化(bw_file_rd 50× 归因)把读路径改成异步批量 DMA,带 ReadDst::Discard 缓存预热。
- 洞:完成/缓冲复用归属错位 —— 在新文件的缓存键下供出了上一个读请求的缓冲字节。实测:/bin/bzip2 的 mmap 页携带 /bin/bzexe 的脚本字节,而同一 fd 的 pread 返回正确数据。下游:ld.so 读到垃圾 .dynsym → "undefined symbol" 且符号名为空 → 惰性绑定 NULL+8 → gnome-shell 每次启动死在 fontconfig 初始化。
- 修复(已入 main):临时门禁禁用异步提交 —— 同步逐块路径的归属是精确的。冷文件探针:3/3 次启动零错配。异步归属 bug 本身已单独开出工作分支(cache-poison,完整证据包)。
§4合并门为什么两个都没拦住
| 门禁项 | 为什么看不见 |
|---|---|
| LTP 1,869 扫描 | read(2) 用例不触碰 mmap fault-around;mmap 用例是小文件单线程;munmap 竞态需要同 mm 多线程churn |
| make test | 内核内单元套件,无用户态文件系统负载 |
| pbench / syscost | 微基准量速度,不量内容正确性 |
| OH 镜像启动 | OHOS 用 musl(分配器行为不同);OH 线自己的镜像侧故障掩盖了 mm 类崩溃 |
| GNOME 启动 | 战役专属;随工作树一起收线 |
make ubuntu-run 的第一时间暴露。§5叠加因素(诚实清单)
- 镜像资产丢失:工作树清理带走了 gnome-x86 构建产物;中央镜像库只留了 riscv64 GNOME 盘。无法做旧镜像 + 新内核的 A/B,排查从零开始。
- 两个变量同时变化:重建的镜像拉取了当天的 jammy(733 个包;gjs/mutter 比已验证集合更新),必须先分离"内核回归 vs 版本漂移"才能开始内核排查。
- 探针假阳性(两处,当场纠正):一个取证打印解引用了 Arc 句柄而非 File(恒定"同一指针"伪影);一个探针的 CRC 覆盖范围与其校验器不一致(必然报假损坏)。教训入档:先把探针对着已知良好用例验证,再把它的输出当证据。
- 同一时期的组织性回归:scripts/test 搬迁一次打断 37 个驱动脚本的仓库根锚点;一条未锚定的
debug/gitignore 规则让 36 个模块文件失联、origin 不可构建(由推送后克隆门禁捕获,main@484f2144)。同一种病:搬家/改名只做一半。
§6排查期间模式当场重演
在上面两项修复验证的同时,perf-gap-hunt 第 7 轮(lease 快门 + memo v2 无锁化)落地,GNOME 启动开始在 shell 之前停滞(dbus 库加载阶段,每次 55–129 行"fdreap close 完成停滞",零 shell 启动)。在同一棵树上关闭排查诊断参数的判别启动同样停滞 —— 同类第三个回归,同一周被同一传感器抓住。它需要自己的二分线。
§7开放项
- trim 面(深水区):glibc systrim 收回一块内核也认为空闲的堆,随后活指针走进其中 —— 元数据在 trim 之前已被销毁。所有内核侧假说都被探针证据排除(分配器布局、brk/VMA 一致性、COW、mremap、真实压力下的 swap 往返、fault-around 纪律、madvise 边界、rmap/LRU)。trim 隔离区观测器(main@f8ffce15,启动参数
trimq=1)已捕获首次触碰及完整上下文:trim 后 0–2 jiffy 内 gobject 代码在 1.15 MB 收回区间内的两次 READ。下一步:命中点的帧内容转储(区分零填与别名)+ 用户态 malloc interposer。 - 第 7 轮早期启动停滞:对 GNOME 启动二分 perf-gap-hunt 第 7 轮合并。
- fdreap close 停滞洪泛:近期每次启动的晚段都有(55–129 行/启动);独立成线。
§8桌面冻结面(2026-11-07):三层叠加机制,均已修复
前述 §3/§6 修复之后,桌面仍在 shell 之前冻结(5 次启动中 3–5 次冻结,随内核构建而异)。三个彼此独立的机制产生了同一个可见症状 —— "gnome-session 停在 check-accelerated" —— 只能逐一剥离。
8.1 任务切换中途的 SOFTIRQ_OFFSET 迁移(main@166e4516)
首次取证(冻结启动的 taskdump)显示 check-accelerated(pid 318)在 CPU1 上 RUNNING 且 preempt=0x100 —— 软中断窗口的 SOFTIRQ_OFFSET 在窗口内发生上下文切换后滞留到了入口任务上:加项记在一个任务、减项记在另一个任务上。修复为在失配时纠正括号配对(commit 166e4516)。必要但不充分:仍有 3/5 次启动冻结。
8.2 泄漏的 preempt BASE 位让排空点无法让出(DRAIN-PC-HEAL)
第二次取证:pid 318 自旋在 release_task 的 straggler 排空里(tick 采样:dead_threads SpinlockGuard 释放、Vec 压入、slab 分配、restore_irq、enable_irq —— 累计 38 s;216 条 PREEMPT-LEAK 行,pc=0x10001 pctick=1)。链路:泄漏的 +1 preempt base(已知的跨任务 guard 释放引擎 —— VFS/ICACHE 密集路径,而 ENOENT 密集的会话启动正大量命中)使排空点的 schedule() 变成空操作(__schedule 拒绝切出 preempt 计数非零的任务 —— 对真实持锁者这是正确纪律),而 tick 侧的 PREEMPT-HEAL 因泄漏闪烁永不成熟(排空/再泄漏重置 200 次连续观测门槛)。修复:在排空的让出点(按构造无锁)非零 preempt base 必为幻影,清除它、上报(DRAIN-PC-HEAL)、真正让出;wait_for_thread_group_death 同等处理。纵深防御:__schedule 的自愿停靠拒绝加了 3 s 逃生阀(PARK-HOLDOUT-HEALED)覆盖同类幻影。
8.3 丢失的 straggler:退出中途且唤醒从未到达的成员(STRAGGLER-RESCUE)
第三个症状(主因,4/5 次冻结):gles-helper 的组杀让一个线程组成员停在组长 dead-threads 列表上,状态 INTERRUPTIBLE、on_cpu=-1 —— 在其离开 ring 与终态 DEAD 存储之间丢失,无人可运行它。回收器的排空会永久重新停靠它(观测到 59.8 万–3370 万轮;新增的 DRAIN-STRAGGLER 命名器指纹识别出该状态:成员 RUNNING-on-no-cpu,后校正为 INTERRUPTIBLE-sleeping-on-no-cpu —— TaskState 编码:RUNNING=0、INTERRUPTIBLE=1)。修复:排空 50k 轮后仍处于该状态的成员判定为丢唤醒 —— 重跑它(置 RUNNING、wake_up_enqueue);其内核栈在 do_exit 中途仍完整,随即自行完成退出(pid 记账、DEAD、最终切换),全部不变量保持。命中该症状的启动现在原地恢复:3/3 经 taskdump 分类的冻结启动变为 shell 就绪,每次留下一条 STRAGGLER-RESCUE 行,零 panic。
8.4 仍然开放的部分
8.3 的生产者(成员唤醒为何丢失 —— 唤醒被拒的状态竞态,还是 pick/heal 重新链接)与 8.2 的跨任务 SpinlockGuard 加/放引擎仍是开放排查项;救援/自愈机制把它们的破坏面限制在亚秒级,并把每次触发作为证据上报(配 debug=leakhunt 定位获取点)。命名器记录的栈字(sp+0..,已保存 sp 之上)会在下次出现时指出停靠点。另有更罕见的一种症状在 keyring 阶段冻结会话(11 次修复后启动中 1 次;未触发 straggler/leak 标记 —— 需要自己的 taskdump 取证)。
§9防复发建议
- 把桌面启动门禁加入常备合并层级:串口出现 "Running GNOME Shell" 且会话存活 60 秒 —— 与 LTP 扫描同级的常设项。
- 把字节级 file-mmap 校验探针(fmv/coldfile)加入常备探针 —— 这正是当天就能抓到投毒的传感器类。
- 要求拆锁或批量 I/O 的性能落地,在合并信息里写明 fault-around、brk-trim 与多线程 munmap 如何重新验证。
- 退出路径的排空循环如今有三层"等待其他任务推进"的形态(组死亡、straggler 排空、on_cpu 等待)—— 每层都已咬过一次;新增同类必须配齐三件套:无锁让出点、有界等待、始终上报。