回溯报告:GNOME 桌面回归

2026-11-06 · 范围:x86_64 GNOME 启动,main@4ed009ac(10-31 验收)→ main@264b6961(11-06)· 原文 docs/test/gnome-regression-retrospective.md(英文)
结论状态:§3 的两个根因已修复并验证;§8 的三层叠加机制均已修复(11 次启动 10 次 shell 就绪);深水项(trim 面)与两项生产者排查仍开放。

§1"能跑"当时的验收口径

x86 GNOME 里程碑(99% 非黑帧、17 分钟稳定会话)在 main@4ed009ac 由 gnome-x86 工作树验收:每次启动用该线的 fire.py 驱动做人工核验。那是一次性战役验收,不是常设门禁 —— 该工作树收线后,常备测试面里没有任何一项再启动 GNOME 桌面。

§2回归窗口

指标数值
窗口内提交总数2,825
触及性能/优化路径的提交(按标题匹配)~664
窗口内常备桌面启动测试次数0

桌面负载在它的工作树收线当天就退出了测试面。此后每一次落地都只对 LTP、make test、pbench、syscost 和 OH 镜像把关 —— 这些项没有一个会启动 gnome-shell。

§3已确认根因(两个,均为性能改造引入)

3.1 munmap 分块手术 —— 两侧竞态

  • 起源:OH 战役的 132 µs munmap 车队修复,把单次 VMA 写锁持有替换为按 256KB 分块、每块放锁后重建 VMA 树。
  • 洞:在锁间隙里,同 mm 的并发 mmap 合法地落在仍处理区间的瞬时树洞中;下一个分块把新 VMA 当作当前 munmap 未处理的部分删除(vma=NONE 缺页),延迟 zap 又清掉新 PTE(B 侧)。
  • 修复(main@5b4a4bc7):先全摘链再 zap —— 一把锁内摘除全部片段;≤4 MB 区间(malloc/arena 全类)在锁内完成 zap。复现器:修复前 2/3 次启动崩溃 → 修复后 3/3 干净(每次启动 12,000 项检查)。

3.2 ext4 异步批量读填 —— 跨文件页缓存投毒

  • 起源:lmbench 读吞吐优化(bw_file_rd 50× 归因)把读路径改成异步批量 DMA,带 ReadDst::Discard 缓存预热。
  • 洞:完成/缓冲复用归属错位 —— 在新文件的缓存键下供出了上一个读请求的缓冲字节。实测:/bin/bzip2 的 mmap 页携带 /bin/bzexe 的脚本字节,而同一 fd 的 pread 返回正确数据。下游:ld.so 读到垃圾 .dynsym → "undefined symbol" 且符号名为空 → 惰性绑定 NULL+8 → gnome-shell 每次启动死在 fontconfig 初始化。
  • 修复(已入 main):临时门禁禁用异步提交 —— 同步逐块路径的归属是精确的。冷文件探针:3/3 次启动零错配。异步归属 bug 本身已单独开出工作分支(cache-poison,完整证据包)。

§4合并门为什么两个都没拦住

门禁项为什么看不见
LTP 1,869 扫描read(2) 用例不触碰 mmap fault-around;mmap 用例是小文件单线程;munmap 竞态需要同 mm 多线程churn
make test内核内单元套件,无用户态文件系统负载
pbench / syscost微基准量速度,不量内容正确性
OH 镜像启动OHOS 用 musl(分配器行为不同);OH 线自己的镜像侧故障掩盖了 mm 类崩溃
GNOME 启动战役专属;随工作树一起收线
根模式:每一把被拆掉的锁、每一批被合并的 I/O 都对微基准和 LTP 验证过。唯一会行使 glibc 动态链接器、堆裁剪与 GObject 生命周期的负载 —— 一个真实桌面 —— 从常备测试面里消失了。回归不是一个事件;它是横跨 2,825 个提交的静默累积,在有人再次运行 make ubuntu-run 的第一时间暴露。

§5叠加因素(诚实清单)

  1. 镜像资产丢失:工作树清理带走了 gnome-x86 构建产物;中央镜像库只留了 riscv64 GNOME 盘。无法做旧镜像 + 新内核的 A/B,排查从零开始。
  2. 两个变量同时变化:重建的镜像拉取了当天的 jammy(733 个包;gjs/mutter 比已验证集合更新),必须先分离"内核回归 vs 版本漂移"才能开始内核排查。
  3. 探针假阳性(两处,当场纠正):一个取证打印解引用了 Arc 句柄而非 File(恒定"同一指针"伪影);一个探针的 CRC 覆盖范围与其校验器不一致(必然报假损坏)。教训入档:先把探针对着已知良好用例验证,再把它的输出当证据。
  4. 同一时期的组织性回归:scripts/test 搬迁一次打断 37 个驱动脚本的仓库根锚点;一条未锚定的 debug/ gitignore 规则让 36 个模块文件失联、origin 不可构建(由推送后克隆门禁捕获,main@484f2144)。同一种病:搬家/改名只做一半。

§6排查期间模式当场重演

在上面两项修复验证的同时,perf-gap-hunt 第 7 轮(lease 快门 + memo v2 无锁化)落地,GNOME 启动开始在 shell 之前停滞(dbus 库加载阶段,每次 55–129 行"fdreap close 完成停滞",零 shell 启动)。在同一棵树上关闭排查诊断参数的判别启动同样停滞 —— 同类第三个回归,同一周被同一传感器抓住。它需要自己的二分线。

§7开放项

  1. trim 面(深水区):glibc systrim 收回一块内核也认为空闲的堆,随后活指针走进其中 —— 元数据在 trim 之前已被销毁。所有内核侧假说都被探针证据排除(分配器布局、brk/VMA 一致性、COW、mremap、真实压力下的 swap 往返、fault-around 纪律、madvise 边界、rmap/LRU)。trim 隔离区观测器(main@f8ffce15,启动参数 trimq=1)已捕获首次触碰及完整上下文:trim 后 0–2 jiffy 内 gobject 代码在 1.15 MB 收回区间内的两次 READ。下一步:命中点的帧内容转储(区分零填与别名)+ 用户态 malloc interposer。
  2. 第 7 轮早期启动停滞:对 GNOME 启动二分 perf-gap-hunt 第 7 轮合并。
  3. fdreap close 停滞洪泛:近期每次启动的晚段都有(55–129 行/启动);独立成线。

§8桌面冻结面(2026-11-07):三层叠加机制,均已修复

前述 §3/§6 修复之后,桌面仍在 shell 之前冻结(5 次启动中 3–5 次冻结,随内核构建而异)。三个彼此独立的机制产生了同一个可见症状 —— "gnome-session 停在 check-accelerated" —— 只能逐一剥离。

8.1 任务切换中途的 SOFTIRQ_OFFSET 迁移(main@166e4516)

首次取证(冻结启动的 taskdump)显示 check-accelerated(pid 318)在 CPU1 上 RUNNING 且 preempt=0x100 —— 软中断窗口的 SOFTIRQ_OFFSET 在窗口内发生上下文切换后滞留到了入口任务上:加项记在一个任务、减项记在另一个任务上。修复为在失配时纠正括号配对(commit 166e4516)。必要但不充分:仍有 3/5 次启动冻结。

8.2 泄漏的 preempt BASE 位让排空点无法让出(DRAIN-PC-HEAL)

第二次取证:pid 318 自旋在 release_task 的 straggler 排空里(tick 采样:dead_threads SpinlockGuard 释放、Vec 压入、slab 分配、restore_irq、enable_irq —— 累计 38 s;216 条 PREEMPT-LEAK 行,pc=0x10001 pctick=1)。链路:泄漏的 +1 preempt base(已知的跨任务 guard 释放引擎 —— VFS/ICACHE 密集路径,而 ENOENT 密集的会话启动正大量命中)使排空点的 schedule() 变成空操作(__schedule 拒绝切出 preempt 计数非零的任务 —— 对真实持锁者这是正确纪律),而 tick 侧的 PREEMPT-HEAL 因泄漏闪烁永不成熟(排空/再泄漏重置 200 次连续观测门槛)。修复:在排空的让出点(按构造无锁)非零 preempt base 必为幻影,清除它、上报(DRAIN-PC-HEAL)、真正让出;wait_for_thread_group_death 同等处理。纵深防御:__schedule 的自愿停靠拒绝加了 3 s 逃生阀(PARK-HOLDOUT-HEALED)覆盖同类幻影。

8.3 丢失的 straggler:退出中途且唤醒从未到达的成员(STRAGGLER-RESCUE)

第三个症状(主因,4/5 次冻结):gles-helper 的组杀让一个线程组成员停在组长 dead-threads 列表上,状态 INTERRUPTIBLE、on_cpu=-1 —— 在其离开 ring 与终态 DEAD 存储之间丢失,无人可运行它。回收器的排空会永久重新停靠它(观测到 59.8 万–3370 万轮;新增的 DRAIN-STRAGGLER 命名器指纹识别出该状态:成员 RUNNING-on-no-cpu,后校正为 INTERRUPTIBLE-sleeping-on-no-cpu —— TaskState 编码:RUNNING=0、INTERRUPTIBLE=1)。修复:排空 50k 轮后仍处于该状态的成员判定为丢唤醒 —— 重跑它(置 RUNNING、wake_up_enqueue);其内核栈在 do_exit 中途仍完整,随即自行完成退出(pid 记账、DEAD、最终切换),全部不变量保持。命中该症状的启动现在原地恢复:3/3 经 taskdump 分类的冻结启动变为 shell 就绪,每次留下一条 STRAGGLER-RESCUE 行,零 panic。

8.4 仍然开放的部分

8.3 的生产者(成员唤醒为何丢失 —— 唤醒被拒的状态竞态,还是 pick/heal 重新链接)与 8.2 的跨任务 SpinlockGuard 加/放引擎仍是开放排查项;救援/自愈机制把它们的破坏面限制在亚秒级,并把每次触发作为证据上报(配 debug=leakhunt 定位获取点)。命名器记录的栈字(sp+0..,已保存 sp 之上)会在下次出现时指出停靠点。另有更罕见的一种症状在 keyring 阶段冻结会话(11 次修复后启动中 1 次;未触发 straggler/leak 标记 —— 需要自己的 taskdump 取证)。

验证(2026-11-07):三批共 11 次修复后启动(5×160 s + 3×160 s + 3 次 taskdump),内核 main+本次改动,镜像 work/gnome-x86.img:shell 就绪 10/11(此前 0–1/5);零 KERNPANIC;其中 3 次触发 STRAGGLER-RESCUE 且每次都原地恢复该启动;剩下的一次冻结是另一种更罕见、位于 keyring 阶段的症状(§8.4);双架构构建绿、riscv64 脚本化启动 rc=0、make test 全绿。

§9防复发建议

  1. 把桌面启动门禁加入常备合并层级:串口出现 "Running GNOME Shell" 且会话存活 60 秒 —— 与 LTP 扫描同级的常设项。
  2. 把字节级 file-mmap 校验探针(fmv/coldfile)加入常备探针 —— 这正是当天就能抓到投毒的传感器类。
  3. 要求拆锁或批量 I/O 的性能落地,在合并信息里写明 fault-around、brk-trim 与多线程 munmap 如何重新验证。
  4. 退出路径的排空循环如今有三层"等待其他任务推进"的形态(组死亡、straggler 排空、on_cpu 等待)—— 每层都已咬过一次;新增同类必须配齐三件套:无锁让出点、有界等待、始终上报。
证据:run/ 下探针源码(mmap_witness、arena_churn、coldfile、fmv、swaprt、mremap),各会话启动串口日志,内核提交 5b4a4bc7、10705570、f8ffce15、484f2144;冻结面取证串口 /tmp/fz-td*.log、/tmp/fz-cen1.log、/tmp/tri-g*.log、/tmp/res-g*.log(2026-11-07)。