前面在第9节"Containerd是如何存储容器镜像和数据的"中介绍了，containerd的snapshotter的主要作用就是通过mount各个层为容器准备rootfs。containerd默认配置的snapshotter是overlayfs，overlayfs是联合文件系统的一种实现。 overlayfs将只读的镜像层成为lowerdir，将读写的容器层成为upperdir，最后联合挂载呈现出mergedir。

OverlayFS从linux kernel 3.18已经被合并到了主干分支，containerd默认使用overlayfs准备容器的RootFS。 OverlayFS对文件系统的挂载涉及到4类目录，分别是lowerdir, upperdir, mergeddir, workdir。

  • lowerdir是OverlayFS中只读的层，不能被修改，OverlayFS支持多个lowerdir
  • upperdir是可读写的，OverlayFS中对文件的创建、修改、删除操作都在这一层体现。
  • mergeddir是挂载点(mount point)目录，也是用户最终看到的目录
  • workdir用来存放临时文件，用来存放文件修改中间过程的临时文件

本节将根据Julia Evans博客https://jvns.ca/blog/2019/11/18/how-containers-work–overlayfs/中的内容，对OverlayFS使用实际操作一遍，加深对OverlayFS的理解。

下面来创建一个我们自己的OverlayFS，将创建lowerdir, upperdir, 以及创建一个mergeddir来挂载合并后的文件系统。

1mkdir /root/myoverlayfs
2cd /root/myoverlayfs
3mkdir upper lower merged work
4echo "from lower" > lower/in_lower.txt 
5echo "from upper" > upper/in_upper.txt
6echo "Ifrom lower" > lower/in_both.txt 
7echo "from upper" > upper/in_both.txt

将lower, upper目录联合挂载到merged目录十分简单，只需使用mount命令:

1mount -t overlay overlay -o lowerdir=lower,upperdir=upper,workdir=work merged

可以看到挂载到merged目录的文件系统:

1mount | grep myoverlayfs
2overlay on /root/myoverlayfs/merged type overlay (rw,relatime,lowerdir=lower,upperdir=upper,workdir=work)

查看merged目录可以得到下面的结果:

 1ls merged
 2in_both.txt  in_lower.txt  in_upper.txt
 3
 4cat merged/in_both.txt
 5from upper
 6
 7cat merged/in_lower.txt
 8from lower
 9
10cat merged/in_upper.txt
11from upper

in_lower.txt文件来自lower目录，in_upper.txt文件来自upper目录，in_both.txt文件来自upper目录(覆盖了lower目录中的同名文件)。

下面merged目录中创建一个文件，会发现新建的文件出现在upper目录，即upper目录为读写层。

 1echo 'new file' > merged/new_file
 2
 3ls *
 4lower:
 5in_both.txt  in_lower.txt
 6
 7merged:
 8in_both.txt  in_lower.txt  in_upper.txt  new_file
 9
10upper:
11in_both.txt  in_upper.txt  new_file

删除merged目录中的in_both.txt文件，upper目录里的in_both.txt文件不变，lower目录中的文件in_both.txt变成了一个特殊文件，标记其被删除，而且其不再出现在merged目录里:

1rm -f merged/in_both.txt
2
3ls -l upper/in_both.txt lower/in_both.txt merged/in_both.txt
4ls: cannot access merged/in_both.txt: No such file or directory
5-rw-r--r-- 1 root root   12 lower/in_both.txt
6c--------- 1 root root 0, 0 upper/in_both.txt

修改merged目录中的in_lower.txt，会在upper目录中新建一个in_lower.txt文件包含新的内容。

 1echo "modify lower" >> merged/in_lower.txt 
 2
 3cat lower/in_lower.txt
 4from lower
 5
 6cat upper/in_lower.txt
 7from lower
 8modify lower
 9
10cat merged/in_lower.txt
11from lower
12modify lower

通过这个例子基本上就理解OverlayFS如何工作了。

最后再来看一下使用nerdctl启动一个containerd容器时，rootfs是如何挂载的。

1nerdctl run -d redis:alpine3.14
25e8a35c2f7a161424d87cc4acfc2e1183407fa562c3884a4f7e7180ab8bd9db2
3
4mount | grep 5e8a35c2f7a161424d87cc4acfc2e1183407fa562c3884a4f7e7180ab8bd9db2
5overlay on /run/containerd/io.containerd.runtime.v2.task/default/5e8a35c2f7a161424d87cc4acfc2e1183407fa562c3884a4f7e7180ab8bd9db2/rootfs type overlay (rw,relatime,lowerdir=/var/lib/containerd/io.containerd.snapshotter.v1.overlayfs/snapshots/464/fs:/var/lib/containerd/io.containerd.snapshotter.v1.overlayfs/snapshots/463/fs:/var/lib/containerd/io.containerd.snapshotter.v1.overlayfs/snapshots/462/fs:/var/lib/containerd/io.containerd.snapshotter.v1.overlayfs/snapshots/461/fs:/var/lib/containerd/io.containerd.snapshotter.v1.overlayfs/snapshots/460/fs:/var/lib/containerd/io.containerd.snapshotter.v1.overlayfs/snapshots/459/fs,upperdir=/var/lib/containerd/io.containerd.snapshotter.v1.overlayfs/snapshots/824/fs,workdir=/var/lib/containerd/io.containerd.snapshotter.v1.overlayfs/snapshots/824/work)

可以看到容器镜像的各层挂载为overlayfs的lowerdir，可读写层挂载为overlayfs的upperdir，最终联合挂载合并呈现的目录为/run/containerd/io.containerd.runtime.v2.task/default/5e8a35c2f7a161424d87cc4acfc2e1183407fa562c3884a4f7e7180ab8bd9db2/rootfs为容器的rootfs，ls查看这个目录可以看到一个典型的linux系统目录结构。

参考