Linux内存映射mmap深度剖析

说明:本文从 mmap 的基本概念入手,逐步剖析 Linux 内核如何通过内存映射实现文件与进程地址空间的关联,涵盖映射类型、标志位、页面缓存机制、页表布局等关键知识点。文中配有 代码示例ASCII 图解,帮助你快速理解 mmap 的底层原理与实战应用。

目录

  1. 引言
  2. mmap 基本概念

    • 2.1 什么是内存映射?
    • 2.2 mmap 系统调用原型
    • 2.3 内存映射 vs 传统 read/write
  3. mmap 参数详解

    • 3.1 常见参数含义
    • 3.2 映射类型:MAP_SHARED vs MAP_PRIVATE
    • 3.3 保护标志:PROT_READPROT_WRITEPROT_EXEC
  4. mmap 的底层机制

    • 4.1 进程地址空间与虚拟内存布局
    • 4.2 匿名映射与文件映射的区别
    • 4.3 页表结构与缺页中断
  5. 代码示例:文件映射

    • 5.1 简单示例:读写映射文件
    • 5.2 共享内存示例:进程间通信
  6. 图解:mmap 映射过程

    • 6.1 用户态调用到内核处理流程
    • 6.2 Page Cache 与页表同步关系
  7. mmap 常见应用场景

    • 7.1 大文件随机读写
    • 7.2 数据库缓存(如 SQLite、Redis)
    • 7.3 进程间共享内存(POSIX 共享内存)
  8. mmap 注意事项与调优

    • 8.1 对齐要求与页面大小
    • 8.2 内存回收与 munmap
    • 8.3 性能坑:Page Fault、TLB 和大页支持
  9. mmap 与文件 I/O 性能对比
  10. 总结

一、引言

在 Linux 系统中,mmap(内存映射) 是将文件或设备直接映射到进程的虚拟地址空间的一种手段。它不仅可以将磁盘上的文件内容 “懒加载” 到内存,还能利用 页面缓存(Page Cache) 实现高效的 I/O,同时支持多个进程共享同一块物理内存区域。相比传统的 read/write 方式,mmap 在处理大文件、随机访问时往往具有更高的性能。

本文将从以下几个角度对 mmap 进行深度剖析:

  1. mmap 本身的 参数与使用方式
  2. mmap 在内核层面的 映射流程与页表管理
  3. 通过 代码示例 演示文件映射、共享内存场景的用法;
  4. 通过 ASCII 图解 辅助理解用户态调用到内核处理的全过程;
  5. 总结 mmap 在不同场景下的 性能与注意事项

希望通篇阅读后,你能对 mmap 的底层原理与最佳实践有一个清晰而深入的认知。


二、mmap 基本概念

2.1 什么是内存映射?

内存映射(Memory Mapping) 是指将一个文件或一段设备内存直接映射到进程的虚拟地址空间中。通过 mmap,用户程序可以像访问普通内存一样,直接对文件内容进行读写,而无需显式调用 read/write

优势包括:

  • 零拷贝 I/O:数据直接通过页面缓存映射到进程地址空间,不需要一次文件内容从内核拷贝到用户空间再拷贝到应用缓冲区。
  • 随机访问效率高:对于大文件,跳跃读取时无需频繁 seek 与 read,直接通过指针访问即可。
  • 多进程共享:使用 MAP_SHARED 标志时,不同进程可以共享同一段物理内存,用于进程间通信(IPC)。

2.2 mmap 系统调用原型

在 C 语言中,mmap 的函数原型定义在 <sys/mman.h> 中:

#include <sys/mman.h>

void *mmap(void *addr, size_t length, int prot, int flags,
           int fd, off_t offset);
  • 返回值:成功时返回映射区在进程虚拟地址空间的起始指针;失败时返回 MAP_FAILED 并设置 errno
  • 参数说明

    • addr:期望的映射起始地址,一般设为 NULL,让内核自动选择地址。
    • length:映射长度,以字节为单位,通常向上对齐到系统页面大小(getpagesize())。
    • prot:映射区域的保护标志,如 PROT_READ | PROT_WRITE
    • flags:映射类型与行为标志,如 MAP_SHAREDMAP_PRIVATEMAP_ANONYMOUS 等。
    • fd:要映射的打开文件描述符,如果是匿名映射则设为 -1 并加上 MAP_ANONYMOUS
    • offset:映射在文件中的起始偏移量,一般需按页面大小对齐(通常为 0、4096、8192 等)。

2.3 内存映射 vs 传统 read/write

特性read/write I/Ommap 内存映射
调用接口read(fd, buf, len)write(fd, buf, len)mmap + memcpy / 直接内存操作
拷贝次数内核 → 用户空间 → 应用缓冲区(至少一次拷贝)内核 → 页表映射 → 应用直接访问(零拷贝)
随机访问需要 lseekread直接指针偏移访问
多进程共享需要显式 IPC(管道、消息队列、共享内存等)多进程可共享同一段映射(MAP_SHARED
缓存一致性操作系统页面缓存控制读写,额外步骤直接映射页缓存,内核保证一致性

从上表可见,对于大文件随机访问进程间共享、需要减少内存拷贝的场景,mmap 往往效率更高。但对小文件、一次性顺序读写,传统的 read/write 也足够且更简单。


三、mmap 参数详解

3.1 常见参数含义

void *ptr = mmap(addr, length, prot, flags, fd, offset);
  • addr:映射基址(很少手动指定,通常填 NULL)。
  • length:映射长度,必须大于 0,会被向上取整到页面边界(如 4KB)。
  • prot:映射内存区域的访问权限,常见组合:

    • PROT_READ:可读
    • PROT_WRITE:可写
    • PROT_EXEC:可执行
    • PROT_NONE:无访问权限,仅保留地址
      若想实现读写,则写作 PROT_READ | PROT_WRITE
  • flags:映射类型与行为,常见标志如下:

    • MAP_SHARED:映射区域与底层文件(或设备)共享,写入后会修改文件且通知其他映射该区域的进程。
    • MAP_PRIVATE:私有映射,写入仅在写时复制(Copy-On-Write),不修改底层文件。
    • MAP_ANONYMOUS:匿名映射,不关联任何文件,fdoffset 必须分别设为 -10
    • MAP_FIXED:强制将映射放在 addr 指定的位置,若冲突则会覆盖原有映射,使用需谨慎。
  • fd:要映射的文件描述符,如果 MAP_ANONYMOUS,则设为 -1
  • offset:映射文件时的起始偏移量,必须按页面大小对齐(例如 4096 的整数倍),否则会被截断到所在页面边界。

3.2 映射类型:MAP_SHARED vs MAP_PRIVATE

  • MAP_SHARED

    • 对映射区的写操作会立即反映到底层文件(即写回到页面缓存并最终写回磁盘)。
    • 进程间可通过该映射区通信:若进程 A 对映射区写入,进程 B 如果也映射同一文件并使用 MAP_SHARED,就能看到修改。
    • 示例:共享库加载、数据库文件缓存、多个进程访问同一文件。
  • MAP_PRIVATE

    • 写时复制(Copy-On-Write):子/父进程对同一块物理页的写入会触发拷贝,修改仅对该进程可见,不影响底层文件。
    • 适合需要读入大文件、进行内存中修改,但又不想修改磁盘上原始文件的场景。
    • 示例:从大文件快速读取数据并在进程内部修改,但不想写回磁盘。

图示:MAP\_SHARED 与 MAP\_PRIVATE 对比

假设文件“data.bin”映射到虚拟地址 0x1000 处,内容为: [A][B][C][D]

1. MAP_SHARED:
   物理页 X 存放 [A][B][C][D]
   进程1虚拟页0x1000 ↔ 物理页X
   进程2虚拟页0x2000 ↔ 物理页X

   进程1写入 0x1000+1 = 'Z'  → 写到物理页X:物理页X 变为 [A][Z][C][D]
   进程2能立即读取到 'Z'。

2. MAP_PRIVATE:
   物理页 Y 存放 [A][B][C][D]
   进程1虚拟页0x1000 ↔ 物理页Y (COW 未发生前)
   进程2虚拟页0x2000 ↔ 物理页Y

   进程1写入 0x1000+1 → 触发 COW,将物理页Y 复制到物理页Z([A][B][C][D])
   进程1 虚拟页指向物理页Z,写入修改使其变为 [A][Z][C][D]
   进程2仍指向物理页Y,读取到原始 [A][B][C][D]

3.3 保护标志:PROT_READPROT_WRITEPROT_EXEC

  • PROT_READ:可从映射区域读取数据
  • PROT_WRITE:可对映射区域写入数据
  • PROT_EXEC:可执行映射区域(常见于可执行文件/共享库加载)
  • 组合示例

    int prot = PROT_READ | PROT_WRITE;
    void *addr = mmap(NULL, size, prot, MAP_SHARED, fd, 0);
  • 访问权限不足时的表现

    • 若映射后又执行了不允许的访问(如写入只读映射),进程会收到 SIGSEGV(段错误);
    • 若希望仅读或仅写,必须在 prot 中只保留相应标志。

四、mmap 的底层机制

深入理解 mmap,需要从 Linux 内核如何 管理虚拟内存维护页面缓存页表映射 的角度来分析。

4.1 进程地址空间与虚拟内存布局

每个进程在 Linux 下都有自己独立的 虚拟地址空间(Userland Virtual Memory),其中常见的几个区域如下:

+------------------------------------------------+
|              高地址(Stack Grow)              |
|  [ 用户栈 Stack ]                              |
|  ................                               |
|  [ 共享库 .so(动态加载) ]                     |
|  ................                               |
|  [ 堆 Heap(malloc/new) ]                      |
|  ................                               |
|  [ BSS 段、数据段(全局变量、静态变量) ]         |
|  ................                               |
|  [ 代码段 Text(.text,可执行代码) ]            |
|  ................                               |
|  [ 虚拟内存映射区(mmap) ]                     |
|  ................                               |
|  [ 程序入口(0x400000 通常) ]                   |
+------------------------------------------------+
|              低地址(NULL)                    |
  • mmap 区域:在用户地址空间的较低端(但高于程序入口),用于存放匿名映射或文件映射。例如当你调用 mmap(NULL, ...),内核通常将映射地址放在一个默认的 “mmap 区” 范围内(例如 0x60000000 开始)。
  • 堆区(Heap):通过 brk/sbrk 管理,位于数据段上方;当 malloc 不够时,会向上扩展。
  • 共享库和用户栈:共享库映射在虚拟地址空间的中间位置,用户栈一般从高地址向下生长。

4.2 匿名映射与文件映射的区别

  • 匿名映射(Anonymous Mapping)

    • 使用 MAP_ANONYMOUS 标志,无关联文件,fd 必须为 -1offset0
    • 常用于给进程申请一块“普通内存”而不想使用 malloc,例如 SPLICE、V4L2 缓冲区、用户态堆栈等。
    • 内核会分配一段零初始化的物理页(Lazy 分配),每次真正访问时通过缺页中断分配实际页面。
  • 文件映射(File Mapping)

    • 不加 MAP_ANONYMOUS,要给定有效的文件描述符 fdoffset 表示映射文件的哪一段。
    • 进程访问映射区若遇到页面不存在,会触发缺页异常(page fault),内核从对应文件位置读取数据到页面缓存(Page Cache),并将该物理页映射到进程页表。
    • 文件映射可分为 MAP_SHAREDMAP_PRIVATE,前者与底层文件一致,后者写时复制。

匿名映射 vs 文件映射流程对比

【匿名映射】                【文件映射】

mmap(MAP_ANONYMOUS)         mmap(fd, offset)
   │                               │
   │       访问页 fault            │   访问页 fault
   ▼                               ▼
内核分配零页 -> 填充 0          内核加载文件页 -> Page Cache
   │                               │
   │        填充页面               │   将页面添加到进程页表
   ▼                               ▼
映射到进程虚拟地址空间         映射到进程虚拟地址空间

4.3 页表结构与缺页中断

  1. mmap 调用阶段

    • 用户进程调用 mmap,内核检查参数合法性:对齐检查、权限检查、地址冲突等。
    • 内核在进程的 虚拟内存区间链表(VMA,Virtual Memory Area) 中插入一条新的 VMA,记录:映射起始地址、长度、权限、文件对应关系(如果是文件映射)。
    • 但此时并不分配实际的物理页,也不填充页表条目(即不立即创建 PTE)。
  2. 首次访问触发缺页中断(Page Fault)

    • 当进程第一次访问映射内存区域(读或写)时,CPU 检测页表中对应的 PTE 标记为 “Not Present”。
    • 触发 Page Fault 异常,中断转向内核。
    • 内核根据当前进程的 VMA 查找是哪一段映射(匿名或文件映射)。

      • 匿名映射:直接分配一个空白物理页(从伙伴分配器或 Slab 分配),立即清零,再创建 PTE,将该页映射到进程虚拟地址。
      • 文件映射

        1. Page Cache 中查找是否已有对应物理页存在(设计按页为单位缓存)。
        2. 若已在 Page Cache 中,直接复用并创建 PTE;
        3. 否则,从磁盘读取对应文件页到 Page Cache,再创建 PTE;
    • 最后返回用户态,重试访问,就能正常读取或写入该页面。
  3. 写时复制(COW)机制

    • 对于 MAP_PRIVATE 的写操作,当第一次写入时,会触发一次 Page Fault。
    • 内核检测到此为写时复制位置:

      1. 从 Page Cache 或进程页表中获取原始页面,分配新的物理页复制原内容。
      2. 修改新的物理页内容,同时更改 PTE 的映射指向为新页面,标记为 “Writable”;
      3. 原页面只读地保留在 Page Cache,并未更改。
  4. mmap 与 munmap

    • 当进程调用 munmap(addr, length) 时,内核删除对应 VMA、释放 PTE,并根据映射类型决定是否将脏页回写到磁盘(仅对 MAP_SHARED 且已被修改的页)。

五、代码示例:文件映射

下面通过两个示例演示 mmap 的常见用法:一个用于 读写映射文件,另一个用于 进程间共享内存

5.1 简单示例:读写映射文件

示例需求

  1. 打开一个已有文件 data.bin
  2. 将其完整内容映射到内存。
  3. 在映射区中对第 100 字节开始修改 “Hello mmap” 字符串。
  4. 取消映射并关闭文件。
// file_mmap_example.c
#include <stdio.h>
#include <stdlib.h>
#include <string.h>
#include <fcntl.h>
#include <unistd.h>
#include <sys/mman.h>
#include <sys/stat.h>
#include <errno.h>

int main(int argc, char *argv[]) {
    if (argc != 2) {
        fprintf(stderr, "Usage: %s <file>\n", argv[0]);
        exit(EXIT_FAILURE);
    }

    const char *filepath = argv[1];
    // 1. 以读写方式打开文件
    int fd = open(filepath, O_RDWR);
    if (fd < 0) {
        perror("open");
        exit(EXIT_FAILURE);
    }

    // 2. 获取文件大小
    struct stat st;
    if (fstat(fd, &st) < 0) {
        perror("fstat");
        close(fd);
        exit(EXIT_FAILURE);
    }
    size_t filesize = st.st_size;
    printf("文件大小: %zu bytes\n", filesize);

    // 3. 将文件映射到内存(读写共享映射)
    void *map_base = mmap(NULL, filesize, PROT_READ | PROT_WRITE,
                          MAP_SHARED, fd, 0);
    if (map_base == MAP_FAILED) {
        perror("mmap");
        close(fd);
        exit(EXIT_FAILURE);
    }
    printf("文件映射到虚拟地址: %p\n", map_base);

    // 4. 在偏移 100 处写入字符串
    const char *msg = "Hello mmap!";
    size_t msg_len = strlen(msg);
    if (100 + msg_len > filesize) {
        fprintf(stderr, "映射区域不足以写入数据\n");
    } else {
        memcpy((char *)map_base + 100, msg, msg_len);
        printf("已向映射区写入: \"%s\"\n", msg);
    }

    // 5. 同步到磁盘(可选,msync 不调用也会在 munmap 时写回)
    if (msync(map_base, filesize, MS_SYNC) < 0) {
        perror("msync");
    }

    // 6. 取消映射
    if (munmap(map_base, filesize) < 0) {
        perror("munmap");
    }

    close(fd);
    printf("操作完成,已关闭文件并取消映射。\n");
    return 0;
}

详细说明

  1. 打开文件

    int fd = open(filepath, O_RDWR);
    • 以读写方式打开文件,保证后续映射区域可写。
  2. 获取文件大小

    struct stat st;
    fstat(fd, &st);
    size_t filesize = st.st_size;
    • 根据文件大小决定映射长度。
  3. 调用 mmap

    void *map_base = mmap(NULL, filesize, PROT_READ | PROT_WRITE, MAP_SHARED, fd, 0);
    • addr = NULL:让内核选择合适的起始地址;
    • length = filesize:整个文件大小;
    • prot = PROT_READ | PROT_WRITE:既可读又可写;
    • flags = MAP_SHARED:写入后同步到底层文件。
    • offset = 0:从文件开头开始映射。
  4. 写入数据

    memcpy((char *)map_base + 100, msg, msg_len);
    msync(map_base, filesize, MS_SYNC);
    • 对映射区域的写入直接修改了页面缓存,最后 msync 强制将缓存写回磁盘。
  5. 取消映射与关闭文件

    munmap(map_base, filesize);
    close(fd);
    • munmap 会将脏页自动写回磁盘(如果 MAP_SHARED),并释放对应的物理内存及 VMA。

5.2 共享内存示例:进程间通信

下面演示父进程与子进程通过匿名映射的共享内存(MAP_SHARED | MAP_ANONYMOUS)进行通信:

// shared_mem_example.c
#include <stdio.h>
#include <stdlib.h>
#include <unistd.h>
#include <sys/mman.h>
#include <sys/wait.h>
#include <string.h>
#include <errno.h>

int main() {
    size_t size = 4096; // 1 页
    // 1. 匿名共享映射
    void *shm = mmap(NULL, size, PROT_READ | PROT_WRITE,
                     MAP_SHARED | MAP_ANONYMOUS, -1, 0);
    if (shm == MAP_FAILED) {
        perror("mmap");
        exit(EXIT_FAILURE);
    }

    pid_t pid = fork();
    if (pid < 0) {
        perror("fork");
        munmap(shm, size);
        exit(EXIT_FAILURE);
    } else if (pid == 0) {
        // 子进程
        const char *msg = "来自子进程的问候";
        memcpy(shm, msg, strlen(msg) + 1);
        printf("子进程写入共享内存: %s\n", msg);
        _exit(0);
    } else {
        // 父进程等待子进程写入
        wait(NULL);
        printf("父进程从共享内存读取: %s\n", (char *)shm);
        munmap(shm, size);
    }
    return 0;
}

说明

  1. 创建匿名共享映射

    void *shm = mmap(NULL, size, PROT_READ | PROT_WRITE,
                     MAP_SHARED | MAP_ANONYMOUS, -1, 0);
    • MAP_ANONYMOUS:无需关联文件;
    • MAP_SHARED:父与子进程共享该映射;
    • fd = -1offset = 0
  2. fork 后共享

    • fork 时,子进程继承父进程的页表,并对该共享映射页表项均为可写。
    • 父子进程都可以通过 shm 地址直接访问同一块物理页,进行进程间通信。
  3. 写入与读取

    • 子进程 memcpy(shm, msg, ...) 将字符串写入共享页;
    • 父进程等待子进程结束后直接读取该页内容即可。

六、图解:mmap 映射过程

下面通过一张 ASCII 图解辅助理解 用户态调用 mmap → 内核创建 VMA → 首次访问触发缺页 → 内核分配或加载页面 → 对应页表更新 → 用户态访问成功 全流程。

┌──────────────────────────────────────────────────────────────────────┐
│                            用户态进程                              │
│ 1. 调用 mmap(NULL, length, prot, flags, fd, 0)                      │
│    ┌───────────────────────────────────────────────────────────────┐  │
│    │ syscall: mmap                                                  │ │
│    └───────────────────────────────────────────────────────────────┘  │
│                    ↓  (切换到内核态)                                  │ │
│ 2. 内核:检查参数合法性 → 在进程 VMAreas 列表中插入新的 VMA           │ │
│    VMA: [ addr = 0x60000000, length = 8192, prot = RW, flags = SHARED ] │ │
│                    ↓  (返回用户态映射基址)                            │ │
│ 3. 用户态获得映射地址 ptr = 0x60000000                                 │ │
│    ┌───────────────────────────────────────────────────────────────┐  │
│    │ 虚拟地址空间示意图:                                           │  │
│    │ 0x00000000 ──  故意空出 ...................................     │  │
│    │    ▲                                                          │  │
│    │    │                                                          │  │
│    │ 0x60000000 ── 用户 mmap 返回此地址(VMA 区域开始)             │  │
│    │    │                                                          │  │
│    │  未分配物理页(PTE 中标记“Not Present”)                     │  │
│    │    │                                                          │  │
│    │ 0x60000000 + length                                          │  │
│    │                                                                 │  │
│    │  其它虚拟地址空间 ...................................           │  │
│    └───────────────────────────────────────────────────────────────┘  │
│                    │                                                  │ │
│ 4. 用户态首次访问 *(char *)ptr = 'A';                                 │ │
│    ┌───────────────────────────────────────────────────────────────┐  │
│    │ CPU 检测到 PTE is not present → 触发缺页中断                     │ │
│    └───────────────────────────────────────────────────────────────┘  │
│                    ↓  (切换到内核态)                                  │ │
│ 5. 内核根据 VMA 确定是匿名映射或文件映射:                            │ │
│    - 如果是匿名映射 → 分配物理零页                                   │ │
│    - 如果是文件映射 → 在 Page Cache 查找对应页面,若无则从磁盘加载    │ │
│                    ↓  更新 PTE,映射物理页到虚拟地址                  │ │
│ 6. 返回用户态,重试访问 *(char *)ptr = 'A' → 成功写入物理页            │ │
│                      │                                                 │ │
│    ┌───────────────────────────────────────────────────────────────┐  │
│    │ 此时 PTE 标记为“Present, Writable”                           │ │
│    │ 物理页 X 地址 (e.g., 0xABC000) 保存了写入的 'A'                 │ │
│    └───────────────────────────────────────────────────────────────┘  │
│                    ↓  (用户态继续操作)                               │ │
└──────────────────────────────────────────────────────────────────────┘
  • 步骤 1–3mmap 只创建 VMA,不分配物理页,也不填充页表。
  • 步骤 4:首次访问导致缺页中断(Page Fault)。
  • 步骤 5:内核根据映射类型分配或加载物理页,并更新页表(PTE)。
  • 步骤 6:用户态重试访问成功,完成读写。

七、mmap 常见应用场景

7.1 大文件随机读写

当要对数 GB 的大文件做随机读取或修改时,用传统 lseek + read/write 的开销极高。而 mmap 只会在访问时触发缺页加载,并使用页面缓存,随机访问效率大幅提高。

// 随机读取大文件中的第 1000 个 int
int fd = open("bigdata.bin", O_RDONLY);
size_t filesize = lseek(fd, 0, SEEK_END);
int *data = mmap(NULL, filesize, PROT_READ, MAP_PRIVATE, fd, 0);
int value = data[1000];
munmap(data, filesize);
close(fd);

7.2 数据库缓存(如 SQLite、Redis)

数据库往往依赖 mmap 实现高效磁盘 I/O:

  • SQLite 可配置使用 mmap 方式加载数据库文件,实现高效随机访问;
  • Redis 当配置持久化时,会将 RDB/AOF 文件使用 mmap 映射,以快速保存与加载内存数据(也称“虚拟内存”模式)。

7.3 进程间共享内存(POSIX 共享内存)

POSIX 共享内存(shm_open + mmap)利用了匿名共享映射,让多个无亲缘关系进程也能共享内存。常见于大型服务间共享缓存或控制块。

// 进程 A
int shm_fd = shm_open("/myshm", O_CREAT | O_RDWR, 0666);
ftruncate(shm_fd, 4096);
void *ptr = mmap(NULL, 4096, PROT_READ | PROT_WRITE, MAP_SHARED, shm_fd, 0);
strcpy((char *)ptr, "Hello from A");

// 进程 B
int shm_fd = shm_open("/myshm", O_RDWR, 0666);
void *ptr = mmap(NULL, 4096, PROT_READ | PROT_WRITE, MAP_SHARED, shm_fd, 0);
printf("B 读到: %s\n", (char *)ptr);
  • 注意:使用 shm_unlink("/myshm") 可以删除共享内存对象。

八、mmap 注意事项与调优

8.1 对齐要求与页面大小

  • offset 必须是 页面大小(通常 4KB) 的整数倍,否则会被截断到当前页面边界。
  • length 一般也会向上对齐到页面大小。例如若请求映射 5000 字节,实际可能映射 8192 字节(2 × 4096)。
size_t pagesize = sysconf(_SC_PAGESIZE); // 一般为 4096
off_t aligned_offset = (offset / pagesize) * pagesize;
size_t aligned_length = ((length + pagesize - 1) / pagesize) * pagesize;
void *p = mmap(NULL, aligned_length, PROT_READ, MAP_SHARED, fd, aligned_offset);

8.2 内存回收与 munmap

  • munmap(ptr, length):取消映射,删除对应 VMA,释放 PTE,并根据映射类型决定是否将脏页写回磁盘。
  • 内存回收:仅当最后一个对该物理页的映射(可以是多个进程)都被删除后,内核才会回收对应的页面缓存。
if (munmap(ptr, length) < 0) {
    perror("munmap");
}
  • 延迟回写:对于 MAP_SHARED,写入页面并未立即写回磁盘。修改内容先在页面缓存中,最终会由内核缓冲策略(pdflushflush 等)异步写回。可以通过 msync 强制同步。

8.3 性能坑:Page Fault、TLB 和大页支持

  • Page Fault 开销:首次访问每个页面都会触发缺页中断,导致内核上下文切换。若映射区域非常大并做一次性顺序扫描,可考虑提前做 madvise 或预读。
  • TLB(Translation Lookaside Buffer):页表映射会在 TLB 中缓存虚拟地址到物理地址的映射。映射大量小页(4KB)时,TLB 易失效;可以考虑使用 透明大页(Transparent Huge Pages) 或者手动分配 MAP_HUGETLB(需额外配置)。
  • madvise 提示:可通过 madvise(addr, length, MADV_SEQUENTIAL)MADV_WILLNEED 等提示内核如何预取或释放页面,以优化访问模式。
madvise(map_base, filesize, MADV_SEQUENTIAL); // 顺序访问模式
madvise(map_base, filesize, MADV_WILLNEED);   // 预读

九、mmap 与文件 I/O 性能对比

下面用一个简单基准测试说明在顺序读取大文件时,mmap 与 read/write 的性能差异(供参考,实际结果依赖于环境):

  • 测试场景:读取 1GB 文件并做简单累加。
  • 方式 A(read):每次 read(fd, buf, 4KB),累加缓冲区字节和。
  • 方式 B(mmap):一次性 mmap 整个文件,随后直接按页读取并累加。
测试方式平均耗时(约)说明
read\~1.2 秒每次系统调用 read、复制到用户缓冲区
mmap\~0.6 秒零拷贝,依赖页面缓存,TLB 效率更高
  • 结论:对于大文件顺序或大块随机访问,mmap 通常优于 read/write,尤其当文件大小显著大于可用内存时。

十、总结

本文从以下几个方面对 Linux 下的 mmap 内存映射 做了深度剖析:

  1. mmap 基本概念与系统调用原型:理解映射的类型、保护位、标志位。
  2. 映射参数详解PROT_*MAP_* 标志与其对行为的影响;
  3. 内核底层机制:VMA 插入、缺页中断、Page Cache 加载、页表更新、COW 机制;
  4. 实战代码示例:展示文件映射和进程间共享内存的两种典型用法;
  5. ASCII 图解:辅助理解用户态进入内核处理、缺页中断到页面分配的全过程;
  6. 常见应用场景:大文件随机 I/O、数据库缓存、进程间通信;
  7. 注意事项与调优技巧:对齐要求、内存释放、TLB 与大页建议、madvise 使用;
  8. 性能对比:mmap 与传统 read/write 的场景对比,说明 mmap 的优势。

通过本文的深入讲解,相信你对 Linux 中 mmap 内存映射的原理与实战应用已经有了全面而系统的了解。在实际工程中,如果能够根据需求合理使用 mmap,往往能获得比传统 I/O 更优异的性能与更灵活的内存管理。

最后修改于:2025年06月03日 14:52

评论已关闭

推荐阅读

DDPG 模型解析,附Pytorch完整代码
2024年11月24日
DQN 模型解析,附Pytorch完整代码
2024年11月24日
AIGC实战——Transformer模型
2024年12月01日
Socket TCP 和 UDP 编程基础(Python)
2024年11月30日
python , tcp , udp
如何使用 ChatGPT 进行学术润色?你需要这些指令
2024年12月01日
AI
最新 Python 调用 OpenAi 详细教程实现问答、图像合成、图像理解、语音合成、语音识别(详细教程)
2024年11月24日
ChatGPT 和 DALL·E 2 配合生成故事绘本
2024年12月01日
omegaconf,一个超强的 Python 库!
2024年11月24日
【视觉AIGC识别】误差特征、人脸伪造检测、其他类型假图检测
2024年12月01日
[超级详细]如何在深度学习训练模型过程中使用 GPU 加速
2024年11月29日
Python 物理引擎pymunk最完整教程
2024年11月27日
MediaPipe 人体姿态与手指关键点检测教程
2024年11月27日
深入了解 Taipy:Python 打造 Web 应用的全面教程
2024年11月26日
基于Transformer的时间序列预测模型
2024年11月25日
Python在金融大数据分析中的AI应用(股价分析、量化交易)实战
2024年11月25日
AIGC Gradio系列学习教程之Components
2024年12月01日
Python3 `asyncio` — 异步 I/O,事件循环和并发工具
2024年11月30日
llama-factory SFT系列教程:大模型在自定义数据集 LoRA 训练与部署
2024年12月01日
Python 多线程和多进程用法
2024年11月24日
Python socket详解,全网最全教程
2024年11月27日