内存管理
kernel/src/mm/ · 地址空间、页表、buddy/slab 双层分配、页缓存与回写、回收、缺页路径与 TLB 管理 —— 机制、不变量与实测数据 · 依据:docs/architecture/memory.md、design-divergences.md(D-2/D-7/D-16/D-20)
§1地址空间布局与页表
三种架构共用一套与 Linux 常量级对齐的地址空间划分,页表层按各架构规范实现:
| 项 | riscv64(Sv39) | x86_64(4 级) | aarch64(4 级) |
|---|---|---|---|
| 用户空间 | 256 GB(0x0–0x3FFF_FFFF_FFFF) | 128 TB(至 0x0000_7fff_ffff_f000) | 256 GB(TTBR0 L0 条目 0) |
| 直接映射 PAGE_OFFSET | 0xFFFFFFD6_00000000 | 0xffff_8880_0000_0000 | 0xffff_c000_0000_0000 |
| 内核链接地址 | 0xFFFFFFFF80000000 | 0xffff_ffff_8000_0000 | 0xffff_ffff_8008_0000 |
| vmemmap / VMALLOC | 各架构独立常量区(VMALLOC 64GB 低于 PAGE_OFFSET,vmemmap 4GB 低于 VMALLOC;riscv64 与 Linux 逐常量一致) | ||
- Sv39 三级页表:9/9/9 + 12 位页内偏移;PTE 位域 PPN[53:10]、D/A/G/U/X/W/R/V,软件 COW 占 bit 8,SVPBMT 内存类型占 bit 62:61;satp MODE=8/ASID[59:44]/PPN[43:0]。
- ASID 管理:Sv39 ASID 0–511(0 = 内核,1 保留,2–511 共 510 个用户可用),原子位图 CAS 分配,耗尽后线性重扫;
switch_mm()不将 ASID 嵌入 satp(保持 ASID=0),带 ASID 标签的定向冲刷单独使用。 - x86_64 PCID 层(CPUID 双门控 PCID+INVPCID):每 mm 一个 12-bit PCID,CR3 写携带 tag+NOFLUSH;INVPCID type 0 单页精确失效 / type 3 全冲刷;PCID 池回收前于全部 CPU 同步冲刷。
- 大页:Sv39 支持 2MB megapage(PMD)与 1GB gigapage;启动期以 2MB 页映射内核区域;无 THP 守护线程与碎片整理(hugepage.rs 为显式大页支持与 compaction 数据结构,且整体
#![forbid(unsafe_code)])。 - aarch64 专项:TCR_EL1.IPS = 44 位(32 位默认下,输出地址 ≥4GB 的翻译产生 level-2 address-size abort,DFSC=2,区别于翻译缺失);TPIDR_EL0 为用户 TLS 的任务态,由 __switch_to 在提交点保存/安装。
§2启动三段式初始化
页表分配与内存初始化按分配器可用性分三阶段推进,阶段间经由 pt_ops_set_* 钩子切换页表操作表:
- Early:静态 BSS 数组(
EARLY_PMD: [PageTable; 8]、EARLY_PTE: [PageTable; 128]);boot.S 建立 MMU 蹦床(恒等映射 + 内核 VA),rust_main 构建 ROOT_PAGE_TABLE 并以 2MB 大页映射内核镜像。 - Fixmap:
memblock_init()解析 DTB 内存区并memblock_reserve()内核/堆/slab →setup_linear_mapping()→ 切入 memblock 分配。 - Late:
init_heap()+init_slab()→init_vmemmap()→init_page_descriptors()(全部 Page 清零)→init_zone_system()(由 memblock 空闲区构建 ZoneNormal)→pt_ops_set_late()→setup_device_mappings()。
memblock 采用双链表(memory + reserved,[MemBlockRegion; 128]),available = memory − reserved。x86_64 启动序:memblock_init → init_slab → init_vmemmap → init_page_descriptors → init_zone_system → setup_device_mappings → sched::init → kswapd::init →(shell 启动后)enable_oom。
§3vmemmap 与页描述符
- vmemmap 布局:页描述符映射于专用 VA 区,寻址式
VMEMMAP_START + (pfn − base_pfn) × sizeof(Page);pfn_to_page / page_to_pfn / pfn_valid均为 O(1)。 - struct Page:
#[repr(C, align(64))]64 字节 cache 行对齐;字段含 flags(4B 原子)、_mapcount(AtomicI32,−1 = 未映射)、_refcount(AtomicI32,0 = 空闲)、private(buddy order / slab 数据)、mapping、index 与 buddy 空闲链指针 next_free。 - 页标志集:Locked/Writeback/Referenced/UpToDate/Dirty/Lru/Head/Waiters/Active/Reserved/Private/Reclaim/SwapBacked/Unevictable/Cow/Anonymous;PageType 枚举 Normal/Buddy/Slab/PageCache/Anonymous。
- COW 引用计数规则:fork 时 get_page()(可写共享 +2:share + COW);exit 时 put_page() 于计数归零释放。
§4zone / buddy / per-CPU pageset
- zone 模型:ZoneDma/ZoneDma32/ZoneNormal/ZoneMovable;riscv64 QEMU 配置仅 ZoneNormal。Zone 持
free_area: [FreeArea; MAX_ORDER+1],MAX_ORDER = 10(最大 1024 页 = 4MB);buddy 拆分/合并遵循标准形态(buddy_pfn = pfn ^ (1<<order))。 - 水位线:WMARK_MIN/LOW/HIGH;
setup_per_zone_wmarks按__setup_per_zone_wmarks()形态:min_free_kbytes = int_sqrt(managed_kb·16),钳制 [128, 262144](历史实现曾以 "/4" 使全部水位线低于 Linux 对应值四倍,已修正);watermark_gap = max(wmark_min/4, managed·10/10000)。 - PCP(per-CPU pageset):order-0 页帧由各 CPU 本地供给,零 zone 锁;zone 锁按 PCP_BATCH=16 成批支付。行结构 64 字节对齐。三条不变量已登记:INV-PCP-1(页帧三态生命周期:OnFreelist rc==0 / OnPcp rc==0 / in-use rc≥1,违例即泄漏加污染标记)、INV-PCP-2(zone free_pages 同时计入 buddy 与 pcp,与 Linux 语义一致)、INV-PCP-3(行仅由其所属 CPU 在关中断下触碰)。引入动机:PCP 之前的每次 order-0 分配/释放均为 zone 锁全程往返,且页描述符初始化循环位于锁内。
- 迁移类型:Unmovable/Movable/Reclaimable。
§5small_alloc:小对象分配器(magazine 缓存)
起源:OpenHarmony 首帧构成期持有约 21.3 万个净存活小对象(1B–1KB 类,CR3 遍历计量 2320 万次分配 / 2300 万次释放),每个对象钉住整个 4KiB buddy 块 —— 852MB / 992MB 窗口,首帧构成即触发 ALLOCTHROUGH panic。小对象打包分配器由此引入。
- 类结构:8 个 2 幂类(S = 8..1024,
SMALL_MAX = 1024);slab 页为裸 order-0 buddy 块(绕过 GlobalAlloc,消除递归),对象按 S 对齐排布,页内 16 字节 PageHdr 含 magic/free_head/free_count/页链。 - 1-bit 空闲路由:每堆页一位(SLAB_PAGE_BITMAP,262144 页 = 1GiB 窗口 = 32KiB .bss);空页归还 buddy 前先清位 —— 指向已回收页的陈旧指针落入 buddy 侧 tripwire(显式报错),而非静默破坏 slab 数据;is_slab_ptr 为无锁路由判定,object_span() 提供取证映射。
- per-CPU magazine(深度 16):引入动机为实测 —— 类锁占整机 12.6%(每次启动 7.32 亿次 irqsave 区段,均长 ~250 ns,IF=0 最大贡献者)。magazine 库为首个 D-7 CpuLocal 转换对象(
MAGAZINES: CpuLocal<[Magazine; 8], MAX_CPUS>);快路径仅在本地抢占关闭下 pop/push,中断保持开启(中断上下文不触碰行,路由至类锁函数体);类锁按批(refill/flush ≈ MAG_DEPTH 个对象)摊销。 - 正确性:回收条件 free_count == objs_per_page 须持类锁 —— magazine 内条目使 free_count 短缺,故 magazine 驻留页被回收在构造上不可达;push 时筛查在关中断窗内重读页头(魔数/类匹配/槽位对齐),可疑指针路由至锁内 consume-and-taint 路径 —— 坏指针不可能驻留 magazine。计数仅在锁内更新;magazine 驻留对存活估计的偏移上界为 MAX_CPUS×8×MAG_DEPTH。
- 实测:每次启动全局类锁区段 1970 万(门禁 ≤2500 万;最新板 600 万),REST 占机比 0.1–1.2%(门禁 ≤10%),0.4% 档位区段计数 600 万(此前 1880 万)。
§6打包内核栈 slab(D-2,x86_64)
- 256KB order-6 块内切分三个 80KB 槽 + 旁表槽位映射 + 空块回收;每栈占用 85.3KB,对比 128KB 幂等分配 —— 在 launcher 底线任务规模(栈占 904MB 窗口的 42%)下节省约 115MB;实测槽打包率 99.9%(kb=981/ks=2941);最深启动 3445 活任务零 canary 命中。
- 架构门控的理由:打包仅对非 2 幂请求尺寸有收益,80KB 槽的 ~15KB 深度裕量是 x86_64 实测值 —— riscv64 测试内核嵌套更深(未门控首版在 riscv64 破坏相邻堆数据:getpriority PRIO_PGRP 读出污染 nice,套件 1094/1096)。riscv64 与未测架构编译期整体剔除,保留 128KB 基准;Kernel.toml
kernel_stack_size_x86_64 = 81920+ build.rs 按架构选取 + 编译期槽位适配断言。门控后 riscv64 套件 1096/1096。 - 已知代价:旁表叶锁位于快路径;每块 6.7% 尾部浪费。
§7页缓存与回写
- 组织:4KB 页,键 (fs_id, inode_number, page_index) —— fs_id 因 u32 inode 截断曾引发跨文件系统碰撞(review 5.3)而引入。
- 锁模型(两阶段演进):旧形态为单全局 BTreeMap 自旋锁 —— 冷启动期 4 CPU 逐页故障注入 100MB 库文件,全部请求串行化。现形态:全局查找无锁 —— 固定容量开放寻址槽表(
PC_TABLE_CAP = 32768,线性探测),读者认领所属 CPU 的 reader bank(SeqCst RMW),命中项以 Acquire 载入探测并取得强计数;跨 inode 故障注入零争用(per-inode 自旋锁);写者(wlock:插入/移除/淘汰/迭代)与 per-inode 锁仅允许单向嵌套;两把锁下均禁止分配(R-WRITESTORM-1)。整项移除采用停放-排水协议(tombstone 于 wlock 下,全部 reader bank 归零后释放)—— 假 miss 恒安全(miss 路径重读;insert 去重)。 - 容量策略:软上限 = 受管 RAM 的一半,下限 32MB(
MIN_CACHED_PAGES = 8192)。固定 32MB 上限时期:OH 共享库加载期 ~580 任务逐页故障注入,每次故障为 miss+淘汰+盘回读+ext4 大锁往返,实测 ~1.5 s/页 —— 容量策略修正的依据。 - 回写与脏页水位(D-20):Normal zone 空闲页数低于其受管页数一半(
zone_below_dirty_writeback_mark)时,缓冲写者自行冲刷本 inode 脏区间,随后执行系统级恢复(PageCache::writeback_recover:先释放已净页,全表轮转收集脏 inode,经批处理引擎逐 inode 冲刷,直接淘汰已冲刷页至上限 + 1/16 受管)。Rux 不维护 per-BDI 脏页记账,水位为 zone 空闲比例(Linux 为 dirty_background_threshold/balance_dirty_pages 的脏页比例)—— 约束的是纪律而非常量。实测:消除延迟分配脏页气球楔死(24.3 万脏页增长至 RAM 规模、zone 排空、回收自身嵌套 io-lock 重入冲刷为最后产生者);LTP fallocate05/06 三次全新启动 RC=0 16/24 TPASS 零 TFAIL;riscv64 make test 1584/1584。 - O_DIRECT 一致性:绕过页缓存直接从块层供给;缓冲写后 O_DIRECT 读先冲刷对应脏页缓存区间(99ea87e3),diotest2/5 覆盖。
- 可观测性:/proc/meminfo 增加 PageCacheOps 计数行(hits/misses/evictions 比值)。
§8回收:kswapd、vmscan、swap 与直接回收门
- kswapd:zone 低于 high 水位线时唤醒,执行 balance_pgdat;连续 16 次(KSWAPD_MAX_FAILURES)回收失败移交 OOM killer;OOM 在启动完成前禁用(enable_oom 于 main.rs:1192)。
- vmscan:优先级扫描(DEF_PRIORITY=12 递降至 1);回收源 = 页缓存收缩(净且未引用)+ 匿名页扫描(try_to_unmap,成功即释放)。SP-7 逐页跳过原因普查(VscanCensus:calls/want/got/null_page/not_anon/not_sb/unmapped/rc2-rc4+...)—— 每过滤分支一次 relaxed fetch_add,由 OOM 取证转储与 1Hz 心跳读取,标准启动零输出。修复后实测:标志清除交出 + 头插入 + 头轮转(与修复前策略逐项相反),回收检查率 35%→82–89%(三次重复 1,240/3,589 → 2,163/2,629 → 2,990/3,346),swap 写 +75%。
- swap:入口编码 bit 62 签名,type [9:8](MAX_SWAP_DEVICES=4),offset [53:10](2^44 页/设备),V=0;Kernel.toml swap_size_mb = 256。
- 直接回收递归门:PF_MEMALLOC 等价物;门值为持有者 PID(0 = 空闲)而非 0/1 标志 —— 持有任务在临界区内被 SIGKILL 时(do_exit 路径不作展开)以
reclaim_gate_exit_release(pid)按身份 CAS 清除;否则后续全部分配走免排水跳过路径(fake-OOM 家族的根因)。SP-5 门普查在持有者 pid 恒定下验证回收仍推进 4+ 次 OOM 转储。
§9缺页路径与 COW
- 匿名前向 fault-around:窗口 32 页(
ANON_FAULTAROUND_PAGES = 32),仅写故障,仅适用于 VMA ≥ 1MB(ANON_FAULTAROUND_MIN_VMA)—— 避免影响小型栈/brk 映射;顺序流上缺页陷阱数削减约 32×;批填充具备无 TLB 冲刷契约(批内页帧为新装项);aarch64 同形移植。 - 文件背书路径:页故障文件路径先预热页缓存再钉住(pin);D-12 读缺失窗口批填充见文件系统页。
- COW 不变量(INV-COW-1..5,x86_64):COW 位置位 ⇒ W 清零;COW ⇒ refcount ≥ 2;refcount==1 故障直接恢复 W 不拷贝;refcount>1 → 分配/拷贝/递减/映射 W=1 COW=0;fork 后全部可写子 PTE 降级 W=0 COW=1。riscv64:PTE bit 8 为 COW 软件标志;fork 仅遍历 VPN2[0..255];refcount==1 时唯一所有者快路径恢复。
- 故障延迟实测(mm_probe PID-1 test platform,双内核):匿名顺序 alloc+touch+free 503.6 vs 513.9 ns/fault(0.98×);匿名随机写故障 613.9 vs 323.2 ns(1.90× → 路径合并后 1.7×);文件背书随机触摸摊销 34.6 vs 70.2(0.49×);fork+exit 606 vs 1207 µs(0.50×)。
§10mmap / VMA 管理与 TLB
- 用户空间布局(riscv64):null 页守卫 → ELF 段 → 堆(brk 自 512MB 向上,上限 TASK_SIZE/3)→ 守卫区 → mmap 区自 TASK_SIZE−64GB 向下 → 用户栈 TASK_SIZE−8MB 向下,上限 8MB。brk 权威为 per-mm(start_brk/brk 原子)—— 此前 per-TASK 的 brk 曾使线程收缩释放主线程活跃页(pango/FcInit SIGSEGV 家族)。VmaManager = BTreeMap<start, Vma> O(log n)。
- per-mm PTE 锁 split 模式:GlobalPteLock = RwSpinlock epoch(独占 = 旧全局单锁语义;共享 = per-mm 区段);不同 mm 的 PTE 写者并发执行;全部架构启用 split 模式。mm 另持
mm_surgery: Rwsem(整体系统调用级手术锁,即 Linux mmap_lock(write) 的角色)闭合 mremap-move 与兄弟 munmap 竞态;vma_manager 为 Rwsem(睡眠等待,取代曾使慢读者独占 CPU 的纯自旋)。 - 叶表直走 unmap:每页遍历零分配;上层链每 2MiB 块解析一次,叶 PTE 直接迭代(消除自加的每块 cond_resched,132µs/次 × n=213k)。mmap 平均 72 µs → 27–32 µs;munmap 主体 177–185 → 52 µs;>16MiB mmap 中位 5.6 ms → 415–427 µs;vm-op 族 OH 负载下整机占比 15 s/CPU-min → 5 s/CPU-min。
- 整 VMA munmap 快路径(2026-11-15):范围不含页表状态时(glibc mmap/munmap churn),在 PTE 区段内权威空扫描("同 mm 故障无法在 pte_lock 持有期安装")后整 VMA 移除、跳过 zap。munmap 64MB 23.2 → 4.3 µs(61× → 5.3×);16MB 6.2 → 1.4 µs。故障入口遍历合并(缺页单次叶遍历):B 行 613.9 → 558–565 ns。mprotect 上提遍历经实测撤回(4/4 启动于 timer tick 内软死锁)—— 每页遍历容忍上层并发表更,上提不容忍,如实登记。
- TLB 冲刷与懒 mm_cpumask:修复前每次 munmap/fork-COW/mprotect/COW 故障向全部 8 CPU 广播全 TLB 冲刷 IPI —— OH 纯净启动 /proc/interrupts 计数 t=200s 时 4,031,356 次冲刷 IPI(~20k/s,每次为 KVM 截获的 LAPIC 写加远端全冲刷)。per-mm cpu_mask(切入时于串行化 CR3 写前置位;切出时普通 CR3 写的全冲刷使清除合法;PCID 下只增不减)将其降至 10,209 次 —— 减少 395×(−99.7%),冲刷语义不变(mask 仅决定谁可持有表项)。
§11延迟释放定时器环(D-16)
POOL_CAP = 16384项、DEFER_MS = 1500墙钟排水;匹配登记尺寸的释放(MmStruct ArcInner 块、Task 页本体)在归还堆前先入环。- 原理:procfs 遍历者持有未记账的 &MmStruct 借用;即便有 vma_write 遍历排除与 RCU 宽限等待,在系统调用中途被抢占的读者可在末次 Arc 释放后恢复并锁到垃圾 rwlock 字(#GP-in-btree-navigate 家族,OH log pid 554/exitwalk pid 314-315 实证)。与 Linux 经 call_rcu 释放 mm_struct 同构,但基于墙钟 —— 本实现 RCU 将抢占点计为静息态,而系统调用中途的借用者不属于静息态,故墙钟覆盖为超集。
- 有界:固定环,溢出即立即释放;排水由分配路径机会性驱动(空闲系统不累积)。重审条件:未记账借用 RcuHead 化后整环可删。
§12OOM 选择器
- 评分按 oom_badness 形态:
points = resident_pages + oom_score_adj × totalpages / 1000(review 4.14 将基线自 total_vm 升级为常驻页 —— 纯 total_vm 基线下,一次性 mmap 巨型区域的进程在被杀前耗尽内存;total_vm 仅作无计数器 mm 的回退);跳过内核线程/PID 1/oom_score_adj ≤ −1000。 - OOM_LOCK 串行化 out_of_memory(review 4.13:无锁时 kswapd 与直接回收并发触发,各自 SIGKILL 自己的受害进程并竞写 OomControl);mm 经 address_space_arc() 钉住(Arc 释放必须位于 pid 哈希桶锁之外 —— 末引用释放运行 mm 拆卸,可能调度)。
- 取证:dfx=ledger 分类全部受管页(自由链/孤儿/保留/页表[PT_LEDGER 精确位图]/anon/cow/mapped_file/lru_file)并回总和 zone 计数器,差额以显式 mismatch 行打印 —— 判定真耗尽或记账漂移的依据。
§13类型化 per-CPU 存储 CpuLocal<T,N>(D-7)
- 行结构 64 字节对齐;
with(f)为唯一访问面:关中断 → 窗内读 cpu id → guard 非 Send,Drop 恢复中断态;越界 cpu id 走 None 分支(调用方回退锁路径);同槽重入拒绝(in_use 标志,计数加污染)。 - 落地事故(登记于 D-7):首版为无内部可变性的非 mut 静态,rustc 将 LLVM 全局量发行为
constant(.rodata)—— debug 构建可启动,opt≥1 删除全部存储并外提载入,refill 循环永不终止,release 启动于首个 c64 miss 死亡(ALLOCTHROW t=3 s,2 次锁区段内切出 1590 万对象,占堆 99%);回滚后以rows: UnsafeCell<...>重落地。验证方式:MAGAZINES 位于 .bss,opt≥1 反汇编含 refill 循环存储。 - 该事故的价值:Rust 类型系统与 LLVM 常量传播的交互构成一类 C 语言不存在的编译期风险 —— 以不变量与反汇编验证流程闭环。
§14/proc 观测面
- meminfo 与 vmstat 由 procfile! 宏派生(D-4):kv/pad/cols/kvtab 声明形式;vmstat 字节级一致快照、meminfo 与 Linux 列精确对齐;/proc/[pid]/status 的 STATUS_FIELDS 以活渲染快照钉住。
- pagemap、vmstat 计数(note_fault 于缺页路径喂 pgfault/min_flt)、MemoryInfo 结构(mem_total/free/available/used、heap、slab_pages、pages_free/used/dirty/cow/anon)。
- zone 空闲计数含 PCP 缓存(INV-PCP-2)。
§15基准数字汇总
| 指标(测试平台见 docs/test/) | Rux | 同机 Linux | 比值 |
|---|---|---|---|
| Geekbench 5.5.1 单核(9950X KVM q35 smp4 4G) | 2465 | 2165 | 113% |
| Geekbench 5.5.1 多核 | 7504 | 7027 | 105% |
| 页故障延迟(文件背书随机触摸,摊销) | 34.6 ns | 70.2 ns | 0.49× |
| munmap 64MB(整 VMA 快路径后) | 4.3 µs | 0.38 µs | 5.3×(修复前 61×) |
| fork+exit | 606 µs | 1207 µs | 0.50× |
| 匿名随机写缺页 | 558–565 ns | 323.2 ns | 1.7× |
| TLB 冲刷 IPI(OH 启动 t=200s) | 10,209 | — | −99.7%(自 4,031,356) |
诚实差距登记:mprotect 4MB 2.36 vs 0.23 µs(10×);匿名随机写缺页 1.7×(路径合并后);pthread create+join ~6×(读数受负载污染);SC 差异在 ±15% 内属噪声(报告自身口径)。
代码:
kernel/src/mm/(allocator / buddy_allocator / page_alloc / pcp / small_alloc / slab / page_cache / vmscan / kswapd / oom_kill / vma / swap 等)。分歧登记:D-2/D-7/D-16/D-20。不变量:INV-PCP-1..3、INV-COW-1..5。仪器:dfx=mmforensics、dfx=ledger、fsw、VscanCensus(见内存取证)。