重学容器32: 理解容器文件系统OverlayFS
2021-07-31
前面在第9节"Containerd是如何存储容器镜像和数据的"中介绍了，containerd的snapshotter的主要作用就是通过mount各个层为容器准备rootfs。containerd默认配置的snapshotter是overlayfs，overlayfs是联合文件系统的一种实现。 overlayfs将只读的镜像层成为lowerdir，将读写的容器层成为upperdir，最后联合挂载呈现出mergedir。
OverlayFS从linux kernel 3.18已经被合并到了主干分支，containerd默认使用overlayfs准备容器的RootFS。 OverlayFS对文件系统的挂载涉及到4类目录，分别是lowerdir, upperdir, mergeddir, workdir。
- lowerdir是OverlayFS中只读的层，不能被修改，OverlayFS支持多个lowerdir
- upperdir是可读写的，OverlayFS中对文件的创建、修改、删除操作都在这一层体现。
- mergeddir是挂载点(mount point)目录，也是用户最终看到的目录
- workdir用来存放临时文件，用来存放文件修改中间过程的临时文件
本节将根据Julia Evans博客https://jvns.ca/blog/2019/11/18/how-containers-work–overlayfs/中的内容，对OverlayFS使用实际操作一遍，加深对OverlayFS的理解。
下面来创建一个我们自己的OverlayFS，将创建lowerdir, upperdir, 以及创建一个mergeddir来挂载合并后的文件系统。
1mkdir /root/myoverlayfs
2cd /root/myoverlayfs
3mkdir upper lower merged work
4echo "from lower" > lower/in_lower.txt
5echo "from upper" > upper/in_upper.txt
6echo "Ifrom lower" > lower/in_both.txt
7echo "from upper" > upper/in_both.txt
将lower, upper目录联合挂载到merged目录十分简单，只需使用mount命令:
1mount -t overlay overlay -o lowerdir=lower,upperdir=upper,workdir=work merged
可以看到挂载到merged目录的文件系统:
1mount | grep myoverlayfs
2overlay on /root/myoverlayfs/merged type overlay (rw,relatime,lowerdir=lower,upperdir=upper,workdir=work)
查看merged目录可以得到下面的结果:
1ls merged
2in_both.txt in_lower.txt in_upper.txt
3
4cat merged/in_both.txt
5from upper
6
7cat merged/in_lower.txt
8from lower
9
10cat merged/in_upper.txt
11from upper
in_lower.txt文件来自lower目录，in_upper.txt文件来自upper目录，in_both.txt文件来自upper目录(覆盖了lower目录中的同名文件)。
下面merged目录中创建一个文件，会发现新建的文件出现在upper目录，即upper目录为读写层。
1echo 'new file' > merged/new_file
2
3ls *
4lower:
5in_both.txt in_lower.txt
6
7merged:
8in_both.txt in_lower.txt in_upper.txt new_file
9
10upper:
11in_both.txt in_upper.txt new_file
删除merged目录中的in_both.txt文件，upper目录里的in_both.txt文件不变，lower目录中的文件in_both.txt变成了一个特殊文件，标记其被删除，而且其不再出现在merged目录里:
1rm -f merged/in_both.txt
2
3ls -l upper/in_both.txt lower/in_both.txt merged/in_both.txt
4ls: cannot access merged/in_both.txt: No such file or directory
5-rw-r--r-- 1 root root 12 lower/in_both.txt
6c--------- 1 root root 0, 0 upper/in_both.txt
修改merged目录中的in_lower.txt，会在upper目录中新建一个in_lower.txt文件包含新的内容。
1echo "modify lower" >> merged/in_lower.txt
2
3cat lower/in_lower.txt
4from lower
5
6cat upper/in_lower.txt
7from lower
8modify lower
9
10cat merged/in_lower.txt
11from lower
12modify lower
通过这个例子基本上就理解OverlayFS如何工作了。
最后再来看一下使用nerdctl启动一个containerd容器时，rootfs是如何挂载的。
1nerdctl run -d redis:alpine3.14
25e8a35c2f7a161424d87cc4acfc2e1183407fa562c3884a4f7e7180ab8bd9db2
3
4mount | grep 5e8a35c2f7a161424d87cc4acfc2e1183407fa562c3884a4f7e7180ab8bd9db2
5overlay on /run/containerd/io.containerd.runtime.v2.task/default/5e8a35c2f7a161424d87cc4acfc2e1183407fa562c3884a4f7e7180ab8bd9db2/rootfs type overlay (rw,relatime,lowerdir=/var/lib/containerd/io.containerd.snapshotter.v1.overlayfs/snapshots/464/fs:/var/lib/containerd/io.containerd.snapshotter.v1.overlayfs/snapshots/463/fs:/var/lib/containerd/io.containerd.snapshotter.v1.overlayfs/snapshots/462/fs:/var/lib/containerd/io.containerd.snapshotter.v1.overlayfs/snapshots/461/fs:/var/lib/containerd/io.containerd.snapshotter.v1.overlayfs/snapshots/460/fs:/var/lib/containerd/io.containerd.snapshotter.v1.overlayfs/snapshots/459/fs,upperdir=/var/lib/containerd/io.containerd.snapshotter.v1.overlayfs/snapshots/824/fs,workdir=/var/lib/containerd/io.containerd.snapshotter.v1.overlayfs/snapshots/824/work)
可以看到容器镜像的各层挂载为overlayfs的lowerdir，可读写层挂载为overlayfs的upperdir，最终联合挂载合并呈现的目录为/run/containerd/io.containerd.runtime.v2.task/default/5e8a35c2f7a161424d87cc4acfc2e1183407fa562c3884a4f7e7180ab8bd9db2/rootfs为容器的rootfs，ls查看这个目录可以看到一个典型的linux系统目录结构。