通过前面14~22节内容，结合Containerd学习了容器网络的一些基础知识，包括容器网络接口CNI以及Calico网络方案的一些内容。 从本节将学习容器持久化存储的相关知识。

容器的本质是一种特殊的进程，它使用namespace进行隔离，使用cgroup进行资源限制，并且以联合文件系统的形式挂载了单独的rootfs。 Containerd默认配置的snapshotter是overlayfs，overlayfs是联合文件系统的一种实现，overlayfs将只读的镜像层成为lowerdir，将读写的容器层成为upperdir，最后联合挂载呈现出mergedir。 容器中新写入的文件默认存储在容器的执行层，当容器被删除时，这些数据也就丢失了。如果想要在容器被删除后保留之前创建的文件，就需要将文件保存在宿主机上。

Containerd最初就被设计为嵌入到一个更大的系统中(如Kubernetes)使用，因此它只包含了专门用于开发和调试的命令行工具ctr，ctr在使用上不是那么友好，尤其是对于用惯了docker cli的用户来说。 Containerd另外提供了一个与docker cli风格兼容的命令行工具nerdctl，本节对Containerd容器存储挂载的学习先基于nerdctl。

容器存储挂载的三种模式

nerdctl对容器存储挂载的支持基本上与Docker一致，支持bind mounts, volumes, tmpfs三种模式。下图是docker的文档中给的这三种模式的示意图:

docker-types-of-mounts-bind.png

当前版本nerdctl(0.11.0)在启动containerd时支持前两种模式:

  • bind mounts: 可以将文件数据存储在宿主机上的任意位置，其他的应用程序也有权对这些文件进行修改
  • volumes: 将文件数据存储在宿主机上nerdctl的数据目录内，此目录应该由nerdctl管理，默认是/var/lib/nerdctl/xxx/volumes/<containerd namespace>
  • tmpfs将文件数据存储在宿主机的内存中，并不会写入磁盘中 (当前nerdctl 0.11.0还不支持此模式)。tmpfs的使用场景适用于出于安全考虑，将一些认证信息存储到tmpfs中，或者出于性能考虑需要将一些状态信息存储在内存中同时又不需要持久化的场景

bind mounts

bind mounts可以将文件数据存储在宿主机上的任意位置，这意味着其他的应用程序也有权对这些文件进行修改。 注意使用bind mounts将宿主机目录挂载到容器中时，容器目录中原有的文件将会被隐藏，在容器内只能看到挂载进来的宿主机目录。

例如使用下面的命令将宿主机上的一个空目录/tmp/mydir挂载到容器中/etc/profile.d下，如果进入容器后查看/etc/profile.d会发现该目录为空，容器中的原有文件会被隐藏。

1

nerdctl run -d -v /tmp/mydir:/etc/profile.d redis:alpine3.14

volumes

volumes由nerdctl创建和管理，可以使用nerdctl volume create命令显示的创建volume。 注意使用volume时，容器目录中原有的文件不会被隐藏容器目录中，原有的文件将被拷贝到volume所在的宿主机目录。

1

nerdctl volume create redis-data

上面的命令创建了一个名称为redis-data的volume，可以使用nerdctl volume ls查看:

1
2
3

nerdctl volume ls
VOLUME NAME         DIRECTORY
redis-data          /var/lib/nerdctl/1935db59/volumes/default/redis-data/_data

当我们手动使用nerdctl创建一个volume时，其数据存在了/var/lib/nerdctl/xxx/volumes/<containerd namespace>/<volume name>/_data下。

下面挂载这个volume，启动一个redis容器:

1

nerdctl run -d -v redis-data:/data redis:alpine3.14

进入这个容器并向redis中写入一个key-value数据，然后停止并删除这个redis容器，，再次查看volume在宿主机上的目录，可以看到之前redis容器的dump.rdb数据文件:

1
2

ls /var/lib/nerdctl/1935db59/volumes/default/redis-data/_data
dump.rdb

另外还可以在Dockefile中通过Volume指令来设置volume的自动创建，其实redis:alpine3.14镜像的Dockerfile中已经包含下面的内容:

1
2
3
4
5

.......
RUN mkdir /data && chown redis:redis /data
VOLUME /data
WORKDIR /data
......

上面的Dockerfile中VOLUME指令表示在启动容器时自动创建一个volume并将其挂载到容器内的/data目录上。 下面直接启动一个redis容器，而并没有显示挂载任何volume:

1
2

nerdctl run -d redis:alpine3.14
837f4fb997637951d7cece7b2e981c2c274f1864cec25574ad4f7d87f070caef

此时使用查看宿主机上的volume:

1
2
3
4

nerdctl volume ls
VOLUME NAME                                                         DIRECTORY
17d54684c7f72807bddad3f7ec24a8c0c1a2af763ec16557ee75e11259c3c0e5    /var/lib/nerdctl/1935db59/volumes/default/17d54684c7f72807bddad3f7ec24a8c0c1a2af763ec16557ee75e11259c3c0e5/_data
redis-data                                                          /var/lib/nerdctl/1935db59/volumes/default/redis-data/_data

多了一个名称为17d54684c7f72807bddad3f7ec24a8c0c1a2af763ec16557ee75e11259c3c0e5的卷，就是启动redis容器时自动创建的，下面进入这个容器并向redis中写入一个key-value数据，然后停止并删除这个redis容器，自动创建的volume仍将保存下来:

1
2

ls /var/lib/nerdctl/1935db59/volumes/default/17d54684c7f72807bddad3f7ec24a8c0c1a2af763ec16557ee75e11259c3c0e5/_data
dump.rdb

自动创建的这种volume，叫做匿名卷，在删除容器时可以通过指定-v或--volumes自动删除容器关联的匿名卷。

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18

nerdctl run -d redis:alpine3.14
89b5dc8969ae103b20a616a42c1e6ac3c3ad8e3b46a74012990c05dd81a18843

nerdctl stop 89b
89b5dc8969ae103b20a616a42c1e6ac3c3ad8e3b46a74012990c05dd81a18843

nerdctl volume ls
VOLUME NAME                                                         DIRECTORY
17d54684c7f72807bddad3f7ec24a8c0c1a2af763ec16557ee75e11259c3c0e5    /var/lib/nerdctl/1935db59/volumes/default/17d54684c7f72807bddad3f7ec24a8c0c1a2af763ec16557ee75e11259c3c0e5/_data
e153ad55d34d653dc3bca7ecc643a1e4bbe35114b32c6d4daaeb9d01498f6407    /var/lib/nerdctl/1935db59/volumes/default/e153ad55d34d653dc3bca7ecc643a1e4bbe35114b32c6d4daaeb9d01498f6407/_data
redis-data                                                          /var/lib/nerdctl/1935db59/volumes/default/redis-data/_data

nerdctl rm -v 89b 

nerdctl volume ls
VOLUME NAME                                                         DIRECTORY
17d54684c7f72807bddad3f7ec24a8c0c1a2af763ec16557ee75e11259c3c0e5    /var/lib/nerdctl/1935db59/volumes/default/17d54684c7f72807bddad3f7ec24a8c0c1a2af763ec16557ee75e11259c3c0e5/_data
redis-data                                                          /var/lib/nerdctl/1935db59/volumes/default/redis-data/_data

参考