架构与模块设计

每个子系统的机制、数据结构与实测数字 · 数字出处见各仓库文档,未测处如实标注

§0总览

Rux 是一份源码树服务三种架构(riscv64 / x86_64 / aarch64),约 90% 代码架构无关。对外以 349 个系统调用对齐Linux ABI;对内是净室设计 —— 每一项与主流实现不同的内部决策都登记在设计分歧登记表并携带兼容性证据。

子系统代码量(行)占比一句话职责
process/ + sched/ + sync/60,32116.7%进程/调度/同步原语
fs/(ext4·VFS·页缓存·jbd2)76,88621.3%文件系统栈与缓存
arch/(三架构移植层)45,17512.5%启动/陷入/上下文切换/TLB
syscall/41,04111.3%系统调用边界(胶囊边界)
dfx/ + trace/(syscost·kallsyms·看门狗·trace-event)23,7376.6%诊断与可观测性
drivers/(virtio·DRM·输入)26,2807.3%设备驱动
ipc/(binder·SysV·MQ)22,1096.1%进程间通信
net/(TCP/IP·unix·netlink)20,6375.7%网络协议栈
mm/20,1265.6%内存管理
其他(顶层文件·interrupt·timer·perf·io_uring·safety·security·module)25,5617.1%基础设施与安全模块

分层模型(docs/architecture/kernel-layers.md):Framework 层(arch/mm 原语/interrupt/virtio 核心/trace)允许 unsafe 且逐块要求 // SAFETY: 注释;service 层目标 100% forbid(unsafe_code)(已 47 个文件编译期禁止,另 63 个已无 unsafe);syscall 入口是胶囊边界,统一校验并翻译用户指针。

§1调度器(kernel/src/sched/) · 深读页 →

单一全局运行队列 GRQ(分歧 D-1)。一颗 GlobalRunQueue 服务所有 CPU,内含三个按调度类的子队列:DL(BTreeMap,EDF)、RT(位图 + 按优先级链表)、CFS(BTreeMap 按 vruntime);nr_running 原子计数、idle_cpus 位图,per-CPU 只留 current/idle/stop 指针。没有 per-CPU 队列,没有负载均衡器 —— 空闲 CPU 经 IPI 唤醒后按需取任务。

  • CFS(fair.rs):vruntime = 实际运行时间 ×(NICE_0_LOAD/权重);cfs_min_granularity_ns = 0.7 ms(亦是唤醒粒度)、延迟窗 6 ms、tick 100 Hz;pick 时把本 CPU 不能跑的条目抬出 timeline 再插回,min_vruntime 取完整树最左(防止抹掉睡眠者信用)。
  • 实测等待唤醒抢占门(D-14):唤醒无空闲 CPU 时,仅当被唤醒者的实测等待 ≥ 6 ms 窗口才抢占正在运行的任务 —— 替代 Linux 内核的 vruntime 信用比较(后者会被 Rux 的 vruntime 调整骗过)。
  • wakewatch:唤醒→运行延迟取证仪(1024 槽旁表 + pick-skip 原因旁表),是唤醒停滞(WAKE-STRANDED)问题归因的常备工具。
  • GRQ 锁为类型化锁键保护(D-11,嵌套关系是编译事实)。

关键数字

  • GRQ 临界区(测量校正后):生产 ≈60 ns、最小括号实测 75–80 ns(记账出锁改造后);树操作 ~20–30 ns/次且锁内零分配。锁等待 70–84 ns 是 KVM 对跨 vCPU locked 指令的税(Linux 的 per-rq 锁同样交税,不表示 GRQ 慢)。门禁基准范围跟踪的调用点 IF=0 段均值(关中断→恢复,含锁获取等待与临界区工作):2786 ns @ 样本数 630 万(允许范围 2786 ns,负载耦合族 0.6–5.4 µs);对 1.26 亿次系统调用的大规模启动持平 → 体积耦合而非争用受限(≤4 vCPU 场景)。
  • 调度事件普查(启动期调度事件的计数器)在每次合格的静默启动中精确一致:TERM-DESCHED 8(允许范围 8±2)、WAKE-REFUSED 32(允许范围 32±4)。
  • 上下文切换三杠杆(FSGSBASE 393 ns/切换 + 惰性 FPU + PCID 门控)后:lat_ctx -s64 2 4.97→2.07 µs(−58%);lmbench 同机 1.98 vs 6.71 µs(3.39×);缺页延迟 0.029–0.031 vs 0.0702 µs(2.26–2.45×,累计 16.1×)。
  • D-14 生效后:74 字节 unix 流记录的"唤醒—抢占—切换"往返序列 ~275 µs → 对标 Linux ~2.5 µs;p5 IPC 族 10–18×。

兼容性:纯内部策略,无 ABI 面。守卫 = 性能门调度域(持锁范围、调度事件普查、P2 ±20%)。

§2内存管理(kernel/src/mm/) · 深读页 →

专题页见内存管理,此处为设计摘要。

  • 启动三段式:memblock(双区表)→ fixmap → zone/buddy;Sv39 布局常量与 Linux 一致(PAGE_OFFSET/VMALLOC/vmemmap/TASK_SIZE)。
  • vmemmap 页描述符:64 字节 cache 行对齐的 Page,pfn↔page O(1);buddy MAX_ORDER=10,order-0 走 per-CPU pageset(PCP)快路径零 zone 锁。
  • small_alloc(magazine 缓存):8 个 2 幂类(8..1024B)+ per-CPU magazine(深 16),类锁只在成批 refill/flush 时取一次;每 slab 页一比特 free 路由,清位先于还页 —— 陈旧指针落 tripwire 而非静默破坏。起源:OH 首帧 ~21.3 万个净活小对象曾把分配器钉死(852MB/992MB 窗口)。
  • 打包内核栈 slab(D-2,x86_64):80KB 槽/256KB 块 + 旁表,85.3KB/栈 vs 128KB,99.9% 槽打包,史上最深 3445 活任务零 canary 命中。
  • 页缓存:全局 slot 表无锁读 + 每 inode 自旋锁;容量下限 32MB、软上限 = 受管 RAM 一半(旧固定 32MB 上限曾使 OH 库加载每缺页 ~1.5s)。
  • 延迟释放环(D-16):MmStruct/Task 释放进 16384 项环、1500 ms 墙钟排水 —— 回收延迟有界且与调度活动无关。
  • per-mm PTE 锁:全局 epoch + 每 mm 自旋的 split 模式(取代曾让 fork-walk 独占全机的全局 PTE 锁);叶子表直走 unmap:mmap 平均 72 µs→27–32 µs、munmap 体 177→52 µs。
  • CpuLocal<T,N>(D-7):类型化 per-CPU 存储,"访问所依赖的关中断窗 = guard 生命周期"成为类型级事实。

关键数字

  • small_alloc 全局类锁分段每次启动 1970 万(门 ≤2500 万;最新板 600 万),REST 占机 0.1–1.2%(门 ≤10%)。
  • 匿名页回收检查率 35%→82–89%(SP-7),swap 写 +75%。
  • 负向查找缓存(negative memo) oracle:475k 负命中、963k 陈旧归一化、0 陈旧负交付。

兼容性:/proc/meminfo、pagemap、mmap/munmap/mprotect/mremap/mlock/brk 语义逐条对齐(含 msync 回绕检查、mmap 偏移非页对齐拒绝 EINVAL)。

§3文件系统(kernel/src/fs/) · 深读页 →

  • FileOps 能力声明式 builder(D-6):每槽位一方法、重复安装即编译错;errno 映射收敛单点。实际故障案例:合法 epoll fd 上 read() 返 EBADF 曾让 OH 事件循环空转 155,991 次。
  • dcache 无锁读(WalkClaim reader bank):消除每路径组件的两对自旋锁,stat 0.643→0.423 µs、open 1.128→0.889 µs;负向查找缓存(negative memo) 以父目录代际编号(generation)置失效。
  • ext4(12 文件 17,486 行,另 jbd2 3,899 行;深读页见文件系统):挂载特性门(未知 incompat 拒挂;ENCRYPT 是能力位、接受 —— 拒绝曾使 OH 原装 userdata 全挂);读路径窗口批填充(D-12,≤64 块/128KiB 合并请求),写路径批量元数据发布 + 释放即弃(D-13)。
  • jbd2 直写 commit(D-8):commit 把事务 buffer 直写最终落盘位置并前推 log tail/head —— 完成的 commit 不留可重放物,每次 unlink/rmdir 的 8–12 次同步日志往返消失;磁盘格式与恢复(e2fsck)不变。
  • bio/buffer cache:buffer_head 五态 + LRU;写规划曾对全 pending 二次方重扫(3 轮上限 + 保守线性回退修复;一次 fsync 卡 1092 s 的 252 个样本确证)。
  • procfile! 宏(D-4):/proc 格式化器从一个字段声明表派生,消除"格式漂移"类缺陷(vmstat/meminfo/status 逐字节对齐活主机)。
  • pipe:容量 64 KiB、PIPE_BUF=4096 原子写(对齐 Linux 默认)。io_uring:5.1+ ABI(SQ/CQ 环 mmap),操作在 enter 上下文同步执行。

关键数字

  • 元数据族重锚定(2026-11-01):stat 200.9→71.1 µs、openclose 512.9→156.3 µs、read_cached 546.8→203.7 µs、append 657.2→77.4 µs、mkdrmdir 22.8→2.76 ms、unlink 1,141→808 µs。
  • D-13 端到端:p6_mkdrmdir 中位 29,796→2,107 µs、p99 54→16.4 ms(对标 Linux 153 µs —— 差距归因共享的系统调用与查找固定开销,而非 fs 本身)。
  • buffer cache 命中率 99.1%(门禁 ≥ 基线)。

兼容性:jbd2 磁盘格式未变,日志镜像挂载/恢复不变;POSIX 不承诺每操作目录持久(归 fsync(dirfd));LTP 变更族(creat/unlink/rmdir/rename/fsync)绿。

§4IPC(kernel/src/ipc/) · 深读页 →

  • binder(14,144 行,最大单文件;深读页见进程间通信):OpenHarmony 服务网格的核心实现。misc 设备 /dev/binder;mmap 缓冲静默截断 4 MiB(同 Linux 行为);协议版本 8;BC_*/BR_* 全集、flat_binder_object 跨进程翻译、sync 事务延迟 TRANSACTION_COMPLETE。锁模型:单全局自旋锁,锁下不拷用户内存不睡眠。
  • access_token 注册表:/dev/access_token_id + BINDER_GET_SENDER_INFO —— samgr 权限检查的依赖;缺失时 AddSystemAbility 拒绝曾导致 OH 显示阻塞(b98–b112 黑屏根因)。
  • SysV 三件 + POSIX MQ:结构体编译期断言对齐 Linux 布局(ShmidDsUapi 112B、MqAttr 64B);SysV 对象按 ipc_namespace 作用域。
  • binder poll 唤醒与可用性修复一次 diff 收敛四个语义分歧(对齐 Linux binder_has_work_ilocked 的三个 OR 条件)。

关键数字

  • /data 挂载服务网格 ~89k txns/s 时 binder 锁 REST 区平均 9.2 µs(单事务最长 73 ms —— 已列为监视行,复跑未复现)。
  • pipe 往返 p5a 18.3 µs、unix dgram p5b 23–41 µs(D-14 前 318.6 µs,−93%)。

兼容性:UAPI 逐字节对齐 Linux binder 头(_IOC 编码、packed 布局);LTP sem/msg/shm 族 + OH 全服务集为守卫。

§5网络(kernel/src/net/,18 文件)

  • 协议栈自底向上:SkBuff → ethernet → arp → ipv4 → icmp/udp/tcp(+ipv6);socket 层 SOCK_STREAM/DGRAM/RAW + unix + netlink。
  • TCP(4,841 行):ISN 四元组哈希 + jiffies;MSS 1460、窗口 65535、RTO 200 ms–120 s、DELACK 40 ms、零窗 persist 探测 5 s(对标 Linux 初始值)。
  • AF_UNIX(3,707 行):STREAM/SEQPACKET/DGRAM、抽象命名空间、SCM_RIGHTS fd 传递、SCM_CREDENTIALS 内核填;对端双向 Weak(fd 是唯一强主,"对端关闭"= Weak::upgrade 失败,无引用环);单锁发送路径无 AB-BA。
  • netlink set 操作受 NET_ADMIN 门、raw/packet 受 NET_RAW 门(errno 优先级从 Linux 源码钉死)。

关键数字

  • lmbench 同机:lat_pipe 5.11 vs 13.30 µs(2.6×)。
  • unix 流 p5c 24.9–26.8 µs(前值 276.5 µs,−90%)。
  • TCP 吞吐/拥塞窗口行为基准:未测(如实标注,由 LTP socket 族 + nettest 覆盖)。

§6驱动(kernel/src/drivers/)

  • virtio:VirtIO 1.0 寄存器布局;VirtQueue(1,246 行)+ PCI 传输层(2,146 行,modern + transitional);blk 设备 ID 表曾有错移(保留基址误当设备 ID,曾致 disable-legacy 设备零匹配),回归守卫 = run.sh disable-legacy=on。
  • virtio-net 锁序(INV-LOCK-6):{rx|tx}_queue → stats 单向;曾有 poll 持 stats 跨 refill 的 AB-BA(看门狗双 CPU 互旋,确认为根因)。
  • gpu/drm:framebuffer 核心 + virtio-gpu + DRM/PRIME(GEM_CLOSE 共享 keep 语义修复);GNOME 与 OH 的显示路径由它承托。
  • intc:PLIC/CLINT(riscv64)、APIC(x86_64)、GICv3(aarch64);pci:ECAM 枚举。
  • 设备 MMIO 纪律(D-17):一切经内核侧 MMIO 别名区,bootstrap 恒等映射在 boot 栈切换后 UNLINK —— 运行期无低恒等窗,uaccess 无恒等洞。

§7可观测性(kernel/src/trace/ + dfx/) · tracepoint 深读页 →

  • 统一 trace-event 框架(D-15):单声明表一行 = 组/名/id/print fmt/字段/typed 记录函数;tracefs(/sys/kernel/tracing)文件树与字节格式逐字节对齐 Linux(tracing_on/trace/trace_pipe/set_event/snapshot/events/*/enable…)。当前 69 事件 / 17 组(sched 9、rux 20、ext4 7、net/binder 各 5、input 4、kmem 4、raw_syscalls/irq/exceptions/block/jbd2 各 2、vmscan/timer/signal/printk/oom 各 1);完整清单与用法见 tracepoint 框架。
  • 门禁成本实测:禁用点编译为一个 load+test+branch(release 反汇编逐点验证);启用后 +13–19 ns/记录;镜像价 +0.18%。
  • kallsyms(D-3):编译期符号表入 .rodata(2.4MB 名 + 0.7MB 索引 @ ~22.6k 符号),零启动开销,/proc/kallsyms 标准行。
  • 调度事件普查 + heal:每任务逐字段 tick 观测 + 幻影 preempt 判定 + 20 ms 饥饿界;IF=0 占机 25.7%→20.4%,最长关中断段 594–599 ms 一次性 → 6–9 ms,WAKE-STRANDED 233→31。
  • dfx= 开关表冻结在 49 项(遗留,已部分迁移为事件武装别名):新观测一律 tracepoint 化。

§8三架构移植(kernel/src/arch/) · 启动深读页 → / 中断与时钟 →

详页见架构移植指南与启动流程。要点:

  • riscv64:OpenSBI M→S 模式,Sv39;PtRegs 288 字节(orig_a0 回滚);SUM 位 uaccess + 例外表;Sstc 直接写 stimecmp;9 位 ASID 原子位图分配。
  • x86_64:multiboot1 + bzImage 引导协议;FSGSBASE/惰性 FPU/PCID 三杠杆(切换 −58%);SMAP 以 pushfq EFLAGS.AC 括号启用(D-18,~55 ns,规避 TCG 下 STAC/CLAC #UD);用户态 W^X。
  • aarch64:QEMU virt GICv3(必须 -M virt,gic-version=3);内嵌 DTB blob;TPIDR_EL0 即任务 TLS 态;EL0 FP 陷阱捕获 NEON 状态;TASK_SIZE 256GB、TCR IPS=44 位。

§9设计分歧登记表(29 项)

出处:docs/architecture/design-divergences.md。每条须过三关 —— 外部兼容完好、LTP 受影响族绿、上层软件零破坏;永不删除,被取代者保留历史。

编号设计 · 收益 · 关键数字 · 已知代价
D-1全局运行队列:无 per-CPU 队列/无均衡器,调度序单一事实源,全部取证只推理一个结构。临界区 ≈60 ns(生产)/75–80 ns(最小括号;树操作 ~20–30 ns + 记账))2786 ns(允许范围 2786)。代价:高核数争用上限 + 局部性损失(已记录在案)。
D-2打包内核栈 slab(x86_64):85.3KB/栈 vs 128KB、99.9% 槽打包、3445 活任务零 canary;未门控架构编译期剔除。代价:旁表锁 + 6.7% 尾浪费。
D-3编译期符号表入 .rodata:零启动开销,2.4MB 名 + 0.7MB 索引 @22.6k 符号,共享 kallsyms/回溯/%ps。代价:镜像 +3.1MB。
D-4procfile! 派生 /proc 格式化器:一个声明表铸渲染器 + 形状测试,消除格式漂移类缺陷(vmstat/meminfo/status 逐字节对齐)。代价:~18 个手写文件残留。
D-5tracepoint! 声明宏 —— 已被 D-15 取代,保留历史。
D-6能力检查式 file-ops 声明:重复安装 = 编译错,errno 单点映射(实际故障案例:epoll fd EBADF 空转 15.6 万次)。迁移全部完成。
D-7类型化 per-CPU CpuLocal<T,N>:仅可经 with(f) 访问,guard 生命周期 = 关中断窗,越界 id 走存活分支。守卫:改动须 release-strong pbench boot。
D-8直写 jbd2 commit(无重放窗/无 revoke-cancel):每 unlink/rmdir 的 8–12 次同步往返消失(p6_mkdrmdir 52–58 ms → 个位数 ms);磁盘格式未变,恢复 = e2fsck。
D-9secure-exec 的 LD_* 环境清洗:AT_SECURE 下内核安装 envp 前删除全部 LD_*(libc 无关的纵深防御)。可见差异:/proc/<pid>/environ 不列 LD_*。
D-10Result 型内部错误 API(Errno 枚举,负 errno 每调用链恰一次):file-locks/xattr/VFS inode-op 表已转。
D-11类型化锁键:嵌套关系 = trait impl 表,反向获取不编译,零运行时。已用于 GRQ、futex 桶、等待槽。
D-12ext4 读缺失窗口批填:一次往返填整 miss 窗,连续段合并 ≤64 块/128KiB —— 桌面级镜像可启动的前提(TCG 每页同步提交曾 ~1.8 ms)。代价:miss 路径在 EXT4_BIG_LOCK 下(正确性优先)。
D-13批量元数据发布 + 释放即弃:PUB_BATCH=64 批排 + forget 死块 + 全块覆写免读。p6_mkdrmdir 29,796→2,107 µs、p99 54→16.4 ms。
D-14实测等待唤醒抢占门:≥6 ms 窗才 poke 忙 CPU。74B unix 流 275 µs→~2.5 µs,p5 族 10–18×。代价:亚 6ms 乒乓唤醒延迟受切片届期约束。
D-15单声明 tracepoint 表:一行 = 事件全貌,armed() 单分支禁用路径,typed 实参 = 编译错;tracefs 逐字节对齐。代价:10 u64 槽/记录上限。
D-16延迟释放定时器环:16384 项 + 1500 ms 墙钟排水(覆盖 QSBR 看不见的未记账借用)。重审条件:借用 RcuHead 化即删环。
D-17内核侧设备地址别名区(arena):运行期无恒等 MMIO 窗,uaccess 无恒等洞(坏用户指针 fault 而非读物理内存)。守卫:PF-NOCTX/SMAP-VIOL 信标静默。
D-18SMAP 以 pushfq EFLAGS.AC 序列启用:STAC/CLAC 在 TCG 无条件 #UD(配对实验确证);括号 ~55 ns,硬件与 TCG 双可启动。
D-19类型化定时器轮:时钟域不可混比,periodic 需 NonZeroU64,WakeArmed/WakeSpent 作用域守卫。六类历史 bug 成为编译错;同一测试平台 A/B:定时器 arm 锁 924→697 ns、nanosleep 772.6→662.7 ms、p2_ctxsw 12.198 vs 15.400 µs。
D-20写者侧脏页回写水位(空闲比例标记,无全局脏页记账):Normal zone 空闲页数低于受管页一半(zone_below_dirty_writeback_mark)时,缓冲写者自行冲刷本 inode 脏区间并执行系统级恢复(writeback_recover:先释放已净页,全表轮转收集脏 inode 逐个冲刷,直接淘汰已冲刷页)。与 Linux 的差异:Linux 按 per-BDI 脏页阈值/balance_dirty_pages 的脏页比例节流,Rux 不维护 per-BDI 记账,以 zone 空闲比例作标记 —— 约束的是纪律而非常量。消除延迟分配脏页气球楔死(24.3 万脏页涨至 RAM 规模、zone 排空);LTP fallocate05/06 三次全新启动 RC=0;riscv64 make test 1584/1584。代价:无 per-BDI 精度,多盘负载下水位粒度粗于 Linux。注:PSI(/proc/pressure)不在主线,登记于调试对齐恢复队列。

§10Rust 原生工程(登记表要点)

命题:外部参照兼容,内部不是 C→Rust 翻译 —— 正确性与速度来自类型系统、所有权或Linux 内核没有的内部架构。每条带本仓库仪器测得的数字(无实测证据的条目只是占位,单列 G 区)。

  • 类型系统使 bug 类 = 编译错:D-19 六类误用被 rustc 捕获;S-1 并发原语模型检查(loom 交错 + Kani 证 INV-M1..M5)启用头 90 秒即抓到一个真实 pid-0 递归 bug;D-11 锁键、D-7 CpuLocal、WalkClaim 无锁 dcache(stat 0.643→0.423 µs)。
  • safe-by-construction 即优化:D-1 单结构取证(OH 战役调度 bug 族实际靠它找到);叶子表直走 unmap(vm-op 族 15→5 s/CPU-min);负向查找缓存(negative memo)(oracle 475k/963k/0)。
  • 语义分歧靠 diff Linux 树发现、靠采纳其行为修复(根因而非症状):execve ETXTBSY、SysV IPC 按 namespace、共享 futex 键解析到物理字、tmpfs MAP_SHARED 经页缓存一致、binder poll 三条件、O_DIRECT 读先冲脏页缓存、SYSRET TF|RF 回退、用户态可写字符串全查 UTF-8。
  • 安全性质(C 内核靠工具租的类):构造性内存安全 + SMAP/CR0.WP/无恒等窗/用户态 W^X/seccomp/能力模型 + panic 面设计化(每实例收编 + 回归测试)。
  • 重设计落地的性能(同一测试平台 A/B):lmbench 四行领先(lat_ctx 3.4×、lat_pipe 2.6×、exec 1.39×、fstat 1.19×)、切换 −58%、p5 族 −90~93%、fs 元数据族 −65~−88%;Geekbench 多核 7504(4-CPU 绑核)。
  • 诚实占位(G 区):typed binder 事务 FSM、ext4/jbd2 宿主测试切片、内部完成环回写基底 —— 尚无 A/B 数字,离开占位区的唯一方式是交出实测行。

§11安全与性能双优(台账要点)

核心主张:安全检查在编译期发生、从快路径消失 —— 快的设计与安全的设计是同一个设计。出处:docs/architecture/safety-and-performance.md。

  • bug 分类学 v1(全史 3,358 个去重提交逐条裁定):33 个内存破坏类缺陷中 23 个位于显式 unsafe 块/架构汇编,10 个位于 safe 代码 —— 但全部是安全 Rust 当今不类型检查的所有权/引用计数/锁协议类;零指针表达式缺陷(越界/迭代器失效/野指针运算/格式串)出现在 safe 代码。33 例中 6 例在任何 boot 前被评审抓到。
  • unsafe 表面已枚举且带合同:unsafe 行占比 7.1%(双口径 14.0%);47 个服务文件编译期 forbid(unsafe_code)、另 63 个已无 unsafe;SAFETY 注释覆盖 63%;164 个 Kani harness 对全输入证明核心 unsafe 代码。
  • 性能每条配对安全句:如切换路径携带类型化 per-CPU 存储 + 键控锁;lmbench/Geekbench 数字与调度事件普查的判定结果记入同一张表;代价侧(futex 唤醒正在运行的任务时 ~10ms tick 量化)如实记录。
  • 诚实缺口登记册 v1:缺 KASLR(无 boot 熵源)、内核 text/rodata W^X 收紧、编译器栈保护、KASAN 式毒化广度、KCSAN 观察点、kallsyms 掩蔽 —— 逐条写明"补齐长什么样"。