中断与时钟

kernel/src/interrupt/ + drivers/intc/ + drivers/timer/ + timer/ · 中断框架、softirq、抢占模型、IF=0 纪律、类型化定时器轮、NOHZ 与 vDSO —— 机制与实测数据 · 依据:design-divergences.md(D-19)、docs/development/perf-gate-baseline.md(中断守护域)

§1中断框架

  • irq_desc 模型(kernel/src/interrupt/):每 IRQ 一个描述符,持 action 链;irq_chip 函数指针表抽象控制器操作;irq_domain 承担 hwirq→virq 映射;request_irq/free_irq/request_nmi 构成注册面。
  • 派发:riscv64 由 PLIC claim 最高优先 pending 项后进入 IRQ 框架,EOI 由流处理器经 irq_chip.irq_eoi 完成;x86_64 按向量直入 trap_handler;aarch64 经 GICv3 claim/EOI 对。

§2向量布局(按架构)

架构布局
x86_64LAPIC 定时器 0xE0;IPI 专线 0xE1–0xE5(CALL_FUNCTION/RESCHEDULE/TLB_FLUSH/STOP/IRQ_WORK —— 按类型专用向量,省去 pending-bit 握手);PIC 重映射主 0x20-0x27/从 0x28-0x2F(IRQ0=32);系统调用 0x80;伪中断 0xFF。外设中断保持在 8259(virtual wire):LVT LINT0 = ExtINT —— 每次 EOI 须同时调用 APIC eoi 与 pic_send_eoi(遗留 in-service 状态将阻塞后续全部中断投递)。
riscv64PLIC 基址 0x0c000000(经内核侧 MMIO 别名访问,恒等低窗对用户 MAP_FIXED 不可克隆);每 hart 两上下文,S 态 = 2·hart+1;优先级分层:UART(irq 10)= 5、virtio-mmio(1..=8)= 3、其余基线 —— 修复前全部 IRQ 优先级 1,控制台无法优先于批量设备流。CLINT 为 M 态专用(OpenSBI v1.3+),S 态经 SBI;IPI 走 SBI IPI 扩展。
aarch64GICv3:INTID 0-15 SGI(INTID 0 承载 IPI 位图)、16-31 PPI(INTID 27 = PPI 11 = EL1 虚拟定时器)、32+ SPI(PL011 = SPI 1);CPU 接口经 ICC_* 系统寄存器;GICD_CTLR 于 DS=1 下 bit1 = Grp1NS 使能(写入 secure 编码将使 Group-1 转发关闭 —— 零 IRQ 异常,定时器 PPI 锁存于 GICR_ISPENDINGR);SGI 经 ICC_SGI1R(TargetList/INTID)。

§3抢占模型与中断关闭纪律

  • preempt_count 位布局:PREEMPT [0:7]、SOFTIRQ [8:15]、HARDIRQ [16:19]、NMI [20:23]、PREEMPT_ACTIVE bit 26;计数位于 Task 结构;preemptible() = count==0。
  • irq_enter/exit 跨上下文切换:HARDIRQ_OFFSET 由进行簿记的任务持有 —— tick 处理器可在括号内切换,故 per-CPU booked-task 栈于簿记任务上释放;拆分即"泄漏 0x10000 面"的产生器(第 119 次 epoll-pwait 上确认为根因)。
  • 内核抢占默认关闭(显式 schedule() 自愿点);kpreempt= 引导参数武装 irq-exit 抢占钩子;A/B 对 hog 场景持平,维持默认。
  • IF=0 纪律与官方测量:EFLAGS 对探针(syscost v3)逐钩子读取真实 IF 标志并对模型裁决 —— 模型开启而实测 IF=1 的段判为泄漏,闭合入 HEAL 计数;HARDIRQ/SOFTIRQ/UART 三区段分离;REST 调用点经 #[track_caller] 归因至 96 槽表。官方份额:IF=0 = 20.4 ±3pp(pa115debt1;历史锚 pa27 = 25.7%,下降机制 = phantom-bits 将 softirq 派发移出 irq_exit 的 IF=0 窗、转入可调度的 ksoftirqd);REST 区最长闭合 cli 段 6–9 ms(带 ≤10 ms;曾经的 594–599 ms 一次性段已消除);hardirq 帧一次性 210 ms 为具名 watch 行(内联派发的饥饿上界)。

§4softirq 模型

  • 10 类:Hi/Timer/NetTx/NetRx/Block/IrqPoll/Tasklet/Sched/Hrtimer/Rcu;per-CPU pending 位图 + per-CPU/per-向量 raise 计数(供 /proc/softirqs)。
  • 派发:硬中断 raise;irq_exit 时 __do_softirq() 处理,溢出转 ksoftirqd。预算双界:MAX_SOFTIRQ_RESTART = 10 轮 + 2 ms 墙钟(Linux MAX_SOFTIRQ_TIME 形态)—— 依据:无界 irq-exit 预算曾使 timer/IO 风暴将双 CPU 钉在 IRQ 上下文(93% si_busy),调度零拣选。
  • ksoftirqd:每 CPU 一个;排空循环内 need_resched 时 schedule()(幻影位公平性:否则反馈型积压使 kthread 经数千个 2 ms 窗独占其 CPU);睡眠前复查的丢失唤醒模式(run_ksoftirqd 形态)。
  • 窗口进度记录:SOFTIRQ_WIN 紧凑打包 {open|handler bit|restart_count|pending} + SOFTIRQ_WIN_T0,跨 CPU 可读 —— 楔死窗口的外部取证;softirq 处理器投递簿记 SOFTIRQ_OFFSET,heal 落于窗口中段将楔死整机(VW-WEDGE 已确认为根因,29 个完成项丢失)。

§5定时器子系统与类型化定时器轮(D-19)

  • 时间基准:标称时基 10 MHz(100 ns/周期);x86_64 timekeeper = TSC 乘移换算 + HPET 校准(1 Hz 重同步门控),全部状态驻留 vDSO 数据页;riscv64 时间 CSR 天然 10 MHz;aarch64 EL1 虚拟定时器(CNTV_CVAL)。
  • 轮形态:每级 64 桶,三级(粒度 1/64/4096 jiffy,总跨度 262144 jiffy ≈ HZ=100 下 43.7 min)加 FAR 深远景表(每 4096 jiffy ≈ 41 s 重扫);每趟工作量 O(到期项);纯 .bss 定长存储,单锁 TIMER_TABLE;投递在锁外(R12-3)。
  • 被类型系统消灭的六类历史缺陷:时钟域混比(Deadline<JiffyClock>/<HresClock> 混比 = 编译错)、一次性动作泄漏(Action 枚举互斥:Wake/Signal/TimerFd)、periodic 误用(Option<NonZeroU64>)、静默 if/else-if 投递链、slot 生命周期误用(FiredToken 按值)、投递上下文越权(SoftirqCtx ZST 钉死 softirq-only 投递)。同树实测:六处误用全部被 rustc 拒绝(E0308/E0599/E0061/E0382)。
  • 调用方侧守卫:WakeArmed 持有一个注册 id(非 Copy/Clone —— 双重取消不可表达);cancel(self) 消费为 WakeSpent 墓碑;Drop 对未消费守卫自动取消(池耗尽楔死类);hres 装载内嵌 hart 重编程(遗漏重编程的 hres 睡眠将等待下一个 10 ms 网格 tick)。
  • 同一测试平台 A/B(s5-boot,OH 镜像,KVM q35 smp2/4G,syscost=1,780 s;A = 旧平面表内核,B = 类型化轮):定时器 arm 锁持锁 924→697 ns,pending 1288→868 ns,del 1291→862 ns(量级匹配 n 差 <0.1%);nanosleep 均值 772.6→662.7 ms;pbench p2_ctxsw 12.198 vs 15.400 µs。代价:槽 56→64 B(池 66 KB .bss)。
  • 取代的旧形态:1024 槽平面数组 + 每趟 softirq 全量复查到期 + 运行期标志组合编码的定时器类。

§6NOHZ / tick-sched

  • 照 Linux tick-sched.c 逐函数映射(check_tick_dependency、tick_nohz_stop/restart_sched_tick、tick_nohz_irq_exit、nohz_full= 参数);per-CPU TickSched{inidle, tick_stopped, tick_dep_mask, next_tick};tick_dep 位集 POSIX_TIMER/PERF_EVENTS/SCHED/CLOCK_UNSTABLE/RCU/RCU_EXP。
  • 结构性映射(登记于 rust-native-register):per-rq → GRQ(SCHED 依赖由 can_stop_full_tick 即时评估;0→1 kick 保留为入队边沿 resched IPI);clockevent KTIME_MAX → timer_arm_oneshot(u64::MAX)(u32 计数钳制将 LAPIC 停于最大增量);tick_do_timer_cpu → boot CPU,睡眠上限 TIMEKEEPING_MAX_DEFERMENT(10 s);perf:dep 跟踪任意武装采样事件 —— Rux 软件采样骑 tick,登记为分歧(Linux 的 per-event hrtimer swevent 为后续项)。
  • x86_64 已接线;其余架构保持网格粘合 set_next_trigger。非 nohz_full CPU 保持逐字节网格路径。
  • 实测(4+4 交错 lmbench lat_syscall,null,6 个对抗性外部 QEMU):main tip 0/10 通过;nohz_full=1 → 11/12(92%);p1_null 中位 0.050 vs 0.060 µs(−17%);两条调度事件普查(启动期调度事件计数器)基准精确保持;GRQ 平均持锁 699 ns(release 类跨类读数,不作 debug 带比较);pre-nohz 父版对照确认 p2 读数漂移属板间离散而非 nohz 变更。

§7vDSO

  • 结构:每次 execve 安装双页用户映射 —— 数据页(RW,内核更新时基)+ 代码页(RX,极小 ELF 三符号);AT_SYSINFO_EHDR 指向代码页;glibc/musl 直调 __vdso_clock_gettime/gettimeofday/clock_getres。
  • 时钟集:REALTIME(0)/MONOTONIC(1)/MONOTONIC_RAW(4)/BOOTTIME(7)/TAI(11 = REALTIME + 37);x86_64 其余 clockid 在 vDSO 内部回退至真实系统调用。
  • 位等价设计(x86_64,统一轨):read_time() 的 TSC 分支与 vDSO 函数从同一组字、同一整数运算计算同一值 —— nom(t) = base_mono_nom + ((tsc(t) − cycle_last) × mult) >> 32,整数可结合性使双轨位等价(LTP clock_gettime04 的要求);base_mono_nom 为标称域单调;seq 字兼任写者锁(cmpxchg even→odd),闭合多写者发布撕裂;数据页用户态只读 —— 正因内核信任其字。
  • 被否决的快路径(登记):per-CPU 修正发布携带 TSC_CPU_OFF 离散 —— tsleep2 −356 ms @t<1s;syscall-vs-vdso 离散至 +1.2 ms;clock_gettime04 残余 −4582 ns。统一轨以位等价取代修正链。
  • riscv64 教训:seq 字必须经页指针读取 —— 曾有的独立 VDSO_SEQ 静态与页未别名化,读者在 base_tsc 与 base_mono_ns 两次载入间被去调度即配对过期 tsc 与新鲜 mono(vDSO 时钟领先系统调用时钟整个抢占间隙;LTP clock_gettime04 "Time travelled backwards −454618735 ns")。
  • 实测(同名同测试平台 A/B,tok-r4fix 载具,KVM q35 SMP2 4G,780 s):OH 启动 clock_gettime 系统调用 8,259,773 → 0(−29.4 CPU-s = 整机 −2.0%,总系统调用量 −26%),nanosleep 均值与 GRQ 锁点均值持平,双侧零 panic;LTP clock_gettime04 6/6 含 vdso 变体与双 COARSE 时钟。

§8IPI 成本与 TLB 冲刷

  • resched IPI 发送端 935–1139 ns;IPI+halt 退出 ~2–5 µs KVM exit;120 µs 轮询空闲窗内唤醒免 IPI(Dekker SeqCst 配对保丢失唤醒安全)。
  • TLB shootdown 懒 mm_cpumask:修复前每次 munmap/fork-COW/mprotect/COW 故障向全部 CPU 广播全冲刷 IPI —— OH 纯净启动 t=200s 计 4,031,356 次(~20k/s);per-mm cpu_mask(切入置位/切出清除,PCID 下只增)降至 10,209(−99.7%),冲刷语义不变。机制细节见内存管理 §10。
代码:kernel/src/interrupt/(preempt/softirq/ksoftirqd/irqchip)、kernel/src/drivers/intc/(apic/plic/clint/gicv3)、kernel/src/drivers/timer/、kernel/src/timer/(wheel/oneshot/nohz)、kernel/src/mm/vdso.rs。分歧登记:D-19(类型化轮)。门禁带(中断守护域):IF=0 20.4±3pp、max cli REST ≤10 ms、SOFTIRQ 3.1±2pp。仪器:syscost 的 IF=0 EFLAGS 对探针、tick-mode 份额、rux:schedtrace(见 性能调试)。