Mmap（）整个大文件

Question 1

我试图使用以下代码（test.c）“映射”一个二进制文件（〜8Gb）。

#include <stdio.h>
#include <stdlib.h>
#include <stdint.h>
#include <sys/mman.h>
#include <sys/types.h>
#include <sys/stat.h>
#include <fcntl.h>

#define handle_error(msg) \
  do { perror(msg); exit(EXIT_FAILURE); } while (0)

int main(int argc, char *argv[])
{
   const char *memblock;
   int fd;
   struct stat sb;

   fd = open(argv[1], O_RDONLY);
   fstat(fd, &sb);
   printf("Size: %lu\n", (uint64_t)sb.st_size);

   memblock = mmap(NULL, sb.st_size, PROT_WRITE, MAP_PRIVATE, fd, 0);
   if (memblock == MAP_FAILED) handle_error("mmap");

   for(uint64_t i = 0; i < 10; i++)
   {
     printf("[%lu]=%X ", i, memblock[i]);
   }
   printf("\n");
   return 0;
}

使用gcc -std=c99 test.c -o test和file返回的test编译test.c ：test: ELF 64-bit LSB executable, x86-64, version 1 (SYSV), dynamically linked (uses shared libs), for GNU/Linux 2.6.15, not stripped

尽管这对于较小的文件来说效果很好，但在尝试加载较大的文件时却出现了分段错误。该程序实际上返回：

Size: 8274324021 
mmap: Cannot allocate memory

我设法使用boost :: iostreams :: mapped_file映射了整个文件，但我想使用C和系统调用来实现。我的代码有什么问题？

Question 2

MAP_PRIVATE映射需要保留内存，因为写入这些页面可能会导致写时复制分配。这意味着您不能映射比物理ram + swap更大的东西。尝试改用MAP_SHARED映射。这意味着对映射的写入将反映在磁盘上-因此，内核知道通过执行回写操作始终可以释放内存，因此它不会限制您。

我还注意到，您正在使用进行映射PROT_WRITE，但是接着继续阅读内存映射。您还打开了文件O_RDONLY-这本身可能是您遇到的另一个问题；你必须指定O_RDWR，如果你想使用PROT_WRITE同MAP_SHARED。

至于PROT_WRITE只，这种情况发生在x86的工作，因为86不支持只写映射，但可能会导致在其他平台上段错误。请求PROT_READ|PROT_WRITE-或（如果您只需要阅读）PROT_READ。

在我的系统上（具有676MB RAM的VPS，256MB交换空间），我重现了您的问题；更改为会MAP_SHARED导致EPERM错误（因为不允许我写入以开头的备份文件O_RDONLY）。更改为PROT_READ并MAP_SHARED允许映射成功。

如果您需要修改文件中的字节，一种选择是仅将要写入的文件范围设为私有。也就是说，munmap然后重新映射MAP_PRIVATE您要写入的区域。当然，如果要写入整个文件，则需要8GB的内存。

或者，您可以写信1给/proc/sys/vm/overcommit_memory。这将使映射请求成功；但是，请记住，如果您实际上尝试使用完整的8GB COW内存，则OOM杀手会杀死您的程序（或其他程序！）。

Question 3

您没有足够的虚拟内存来处理该映射。

举例来说，我在这里有一台具有8G RAM和〜8G交换空间（因此总可用虚拟内存为16G）的机器。

如果我在〜8G的VirtualBox快照上运行您的代码，则可以正常工作：

$ ls -lh /media/vms/.../snap.vdi
-rw------- 1 me users 9.2G Aug  6 16:02 /media/vms/.../snap.vdi
$ ./a.out /media/vms/.../snap.vdi
Size: 9820000256 
[0]=3C [1]=3C [2]=3C [3]=20 [4]=4F [5]=72 [6]=61 [7]=63 [8]=6C [9]=65

现在，如果我放弃交换，那么我剩下的总内存为8G。（不要在活动服务器上运行它。）结果是：

$ sudo swapoff -a
$ ./a.out /media/vms/.../snap.vdi
Size: 9820000256 
mmap: Cannot allocate memory

因此，请确保您有足够的虚拟内存来保存该映射（即使您仅触摸该文件中的几页）。

Question 4

Linux（显然还有其他一些UNIX系统）具有mmap（2）的MAP_NORESERVE标志，该标志可用于显式启用交换空间过量使用。当您希望映射的文件大于系统上可用的可用内存量时，这很有用。

当与一起使用MAP_PRIVATE并且仅打算写入内存映射范围的一小部分时，这特别方便，因为否则这将触发整个文件的交换空间保留（或者ENOMEM，如果尚未进行系统范围的过量使用，则将导致系统返回）已启用，则超出了系统的可用内存）。

需要注意的问题是，如果您确实写入了该内存的很大一部分，则惰性交换空间保留可能会导致您的应用程序消耗所有可用的RAM并在系统上进行交换，最终触发OOM杀手（Linux）或导致您的应用收到SIGSEGV。