前面2节学习了容器存储挂载的基础知识,本节开始学习容器镜像构建相关知识。 当使用Containerd作为容器运行时,我们构建容器镜像的工具链发生了变化,前面在《第11节,容器镜像构建工具和方案介绍》中介绍了替代docker build的一些方案。 我们在实际中选择的是buildkit。关于buildkit,分别在《第5节,使用nerdctl + buildkitd构建容器镜像》《第12节,使用buildkit实现容器镜像的远程构建,《第13节,在k8s集群上部署buildkit 》做了详细的介绍。

使用buildkit也是需要根据Dockerfile中的指令构建出镜像的,因此本节整理一下编写Dockerfile的一些最佳实践。

FROM指令

我们的镜像应该是基于官方镜像的,推荐选择Alpine镜像,作为一个完整的Linux发行版它的镜像大小小于5MB。

1
FROM alpine:3.14.0

基于alpine的glibc基础镜像

实际上我们基于https://github.com/sgerrand/alpine-pkg-glibc这个项目,从官方的alpine镜像构建出了alpine-glibc作为我们的基础镜像。alpine-glibc基础镜像参考了https://github.com/Docker-Hub-frolvlad/docker-alpine-glibc/blob/master/Dockerfile这个Dockerfile。我们在这个Dockerfile的基础上加了一层对时区的定制,将时区修改为中国时区。

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
FROM alpine:3.14

ENV LANG=C.UTF-8

# Here we install GNU libc (aka glibc) and set C.UTF-8 locale as default.

RUN sed -i 's/dl-cdn.alpinelinux.org/mirrors.aliyun.com/g' /etc/apk/repositories &&\
    ALPINE_GLIBC_BASE_URL="https://github.com/sgerrand/alpine-pkg-glibc/releases/download" && \
    ALPINE_GLIBC_PACKAGE_VERSION="2.33-r0" && \
    ALPINE_GLIBC_BASE_PACKAGE_FILENAME="glibc-$ALPINE_GLIBC_PACKAGE_VERSION.apk" && \
    ALPINE_GLIBC_BIN_PACKAGE_FILENAME="glibc-bin-$ALPINE_GLIBC_PACKAGE_VERSION.apk" && \
    ALPINE_GLIBC_I18N_PACKAGE_FILENAME="glibc-i18n-$ALPINE_GLIBC_PACKAGE_VERSION.apk" && \
    apk add --no-cache --virtual=.build-dependencies wget ca-certificates && \
    echo \
        "-----BEGIN PUBLIC KEY-----\
        MIIBIjANBgkqhkiG9w0BAQEFAAOCAQ8AMIIBCgKCAQEApZ2u1KJKUu/fW4A25y9m\
        y70AGEa/J3Wi5ibNVGNn1gT1r0VfgeWd0pUybS4UmcHdiNzxJPgoWQhV2SSW1JYu\
        tOqKZF5QSN6X937PTUpNBjUvLtTQ1ve1fp39uf/lEXPpFpOPL88LKnDBgbh7wkCp\
        m2KzLVGChf83MS0ShL6G9EQIAUxLm99VpgRjwqTQ/KfzGtpke1wqws4au0Ab4qPY\
        KXvMLSPLUp7cfulWvhmZSegr5AdhNw5KNizPqCJT8ZrGvgHypXyiFvvAH5YRtSsc\
        Zvo9GI2e2MaZyo9/lvb+LbLEJZKEQckqRj4P26gmASrZEPStwc+yqy1ShHLA0j6m\
        1QIDAQAB\
        -----END PUBLIC KEY-----" | sed 's/   */\n/g' > "/etc/apk/keys/sgerrand.rsa.pub" && \
    wget \
        "$ALPINE_GLIBC_BASE_URL/$ALPINE_GLIBC_PACKAGE_VERSION/$ALPINE_GLIBC_BASE_PACKAGE_FILENAME" \
        "$ALPINE_GLIBC_BASE_URL/$ALPINE_GLIBC_PACKAGE_VERSION/$ALPINE_GLIBC_BIN_PACKAGE_FILENAME" \
        "$ALPINE_GLIBC_BASE_URL/$ALPINE_GLIBC_PACKAGE_VERSION/$ALPINE_GLIBC_I18N_PACKAGE_FILENAME" && \
    apk add --no-cache \
        "$ALPINE_GLIBC_BASE_PACKAGE_FILENAME" \
        "$ALPINE_GLIBC_BIN_PACKAGE_FILENAME" \
        "$ALPINE_GLIBC_I18N_PACKAGE_FILENAME" && \
    \
    rm "/etc/apk/keys/sgerrand.rsa.pub" && \
    /usr/glibc-compat/bin/localedef --force --inputfile POSIX --charmap UTF-8 "$LANG" || true && \
    echo "export LANG=$LANG" > /etc/profile.d/locale.sh && \
    \
    apk del glibc-i18n && \
    \
    rm "/root/.wget-hsts" && \
    apk del .build-dependencies && \
    rm \
        "$ALPINE_GLIBC_BASE_PACKAGE_FILENAME" \
        "$ALPINE_GLIBC_BIN_PACKAGE_FILENAME" \
        "$ALPINE_GLIBC_I18N_PACKAGE_FILENAME"

RUN apk update --no-cache && apk add ca-certificates --no-cache && \
    apk add tzdata --no-cache && \
    ln -sf /usr/share/zoneinfo/Asia/Shanghai /etc/localtime && \
    echo "Asia/Shanghai" > /etc/timezone

这样我们就得到了一个基于alpine的包含glibc同时设置时区为中国时区的基础镜像alpine-glibc。

为什么需要glibc的alpine基础镜像呢?alpine镜像小而简单的特性是我们需要的,但是因为alpine镜像中是musl-libc,而debian, ubuntu等镜像使用的gnu-libc。但是musl libc与大多数软件常用的标准库glibc不兼容,为了避免在alpine基础镜像中安装其他软件时遇到兼容性的问题,就需要alpine-glibc基础镜像。

Label指令

建议通过Label指令来为镜像添加元数据信息,添加多个label建议只使用一个Label指令,采用下面的形式:

1
2
3
LABEL multi.label1="value1" \
      multi.label2="value2" \
      other="value3"

为镜像加入维护者信息现在也推荐使用Label指令,而不是过去已经废弃的MAINTAINER指令:

1
LABEL org.opencontainers.image.authors="SvenDowideit@home.org.au"

RUN指令

当RUN指令后边的命令太长时,可以将命令拆成多行,这样Dockerfile就保持了良好的可读性:

1
2
3
4
RUN apk update --no-cache && apk add ca-certificates --no-cache && \
    apk add tzdata --no-cache && \
    ln -sf /usr/share/zoneinfo/Asia/Shanghai /etc/localtime && \
    echo "Asia/Shanghai" > /etc/timezone

alpine包管理工具apk使用

RUN指令使用apk安装软件时注意使用--no-cache,避免缓存保留到镜像的层中使镜像变得臃肿。 另外建议将apk软件包仓库更换成国内的镜像(例如阿里云的),这样可以大大提高下载速度,切换仓库源为镜像的这步建议放到基础镜像alpine—glibc中:

1
2
3
RUN sed -i 's/dl-cdn.alpinelinux.org/mirrors.aliyun.com/g' /etc/apk/repositories &&\
    apk update --no-cache && apk add ca-certificates --no-cache && \
    apk add tzdata --no-cache

在需要使用apk安装某个软件之前,建议到官方packages网站https://pkgs.alpinelinux.org/packages去搜索一下,在这里可以搜索某个具体软件在某个alpine版本下对应的版本。

alpine-packges-repo.png

注意仓库分为maincommunity两个,另外就是可以直接选择从某个alpine版本的仓库安装具体的版本的软件:

1
2
RUN sed -i 's/dl-cdn.alpinelinux.org/mirrors.aliyun.com/g' /etc/apk/repositories &&\
    apk add --no-cache go=1.16.5-r0	--repository https://mirrors.aliyun.com/alpine/v3.14/community

另外apk的使用还有一点是要善于利用--virtual参数,将多个包的集合命名为一个名称,方便了后续卸载,例如:

1
2
3
RUN apk add --no-cache --virtual=.build-dependencies git openssh-client &&\
## ... 使用git openssh-client 做一些操作,但镜像构建完成后不希望git保留在镜像中
apk del .build-dependencies

CMD指令

CMD指令用于执行镜像中包含的可执行文件,可以带参数。大多数情况都应该以CMD["executable", "param1", "param2"]的形式使用。 例如下面的例子:

1
CMD exec java $JAVA_OPTS -Djava.security.egd=file:/dev/./urandom -jar springboot-example.jar

CMD的另外一种使用形式是CMD ["param", "param"],这种形式只有和ENTRYPOINT结合使用的情况下才会用到。

ENTRYPOINT指令

ENTRYPOINT可以用来设置镜像的主命令,启动该镜像的容器时将会执行ENTRYPOINT中指定的命令。 CMD可以作为ENTRYPOINT的补充,指定主命令的默认参数。

1
2
ENTRYPOINT ["kubectl"]
CMD ["--help"]

ENTRYPOINT还可以结合一个辅助脚本使用,下面是官方redis:alpine3.14镜像中的辅助脚本entrypoint.sh:

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
#!/bin/sh
set -e

# first arg is `-f` or `--some-option`
# or first arg is `something.conf`
if [ "${1#-}" != "$1" ] || [ "${1%.conf}" != "$1" ]; then
	set -- redis-server "$@"
fi

# allow the container to be started with `--user`
if [ "$1" = 'redis-server' -a "$(id -u)" = '0' ]; then
	find . \! -user redis -exec chown redis '{}' +
	exec su-exec redis "$0" "$@"
fi

exec "$@"

在shell脚本中可以做一些设置工作,最后在调用linux系统的exec命令执行所有参数,借助ENTRYPOINT,就可以以多种方式启动容器。

其Dockerfile如下:

1
2
3
4
5
6
......
COPY docker-entrypoint.sh /usr/local/bin/
ENTRYPOINT ["docker-entrypoint.sh"]

EXPOSE 6379
CMD ["redis-server"]

EXPOSE指令

EXPOSE指令用来指定容器中软件监听的端口。对于一些常见的软件和服务,我们应该指定它们的默认端口,尽量不要去改动它,例如mysql的3306。

ENV指令

ENV指令用来指定镜像中的环境变量。比如对于mysql镜像我们可以将mysql的bin目录加到环境变量PATH中。

1
ENV PATH /usr/local/mysql/bin:$PATH

多个环境变量的指定:

1
2
ENV GRADLE_HOME=/usr/local/gradle \
PATH=/usr/local/gradle/bin:$PATH

ADD和COPY指令

ADD和COPY的功能类似,但一般优先使用COPY,因为其功能更单一,只是将本地文件拷贝到容器中。 而ADD还包括压缩文件解压以及下载URL指定的远程文件功能。

可以用ADD实现将本地的tar.gz文件拷贝并解压缩到镜像中,例如ADD app-deps.tar.xz。 为了保持构建出来的镜像体积最小,不要使用ADD指令从远程URL下载内容,而是使用一个RUN指令里执行curl或者wget先执行下载,使用完下载完的文件后,如果不再需要它可以将它删除。

VOLUME指令

在Dockerfile的语法中可以通过VOLUME指令创建一个或多个volume,当使用构建出来的镜像启动容器时将自动创建和挂载为匿名的volume。 关于Volume的使用在上节已经介绍过了。

USER指令

在构建镜像时,能不以root用户运行服务,尽量不要以root运行,而是使用USER指令切换到非root用户,使用USER指令前,应该使用RUN指令先创建对应用户。

1
2
RUN adduser patrick -u 9999 -D -H -s /sbin/nologin
USER patrick

创建用户的时候指定uid十分重要,这个在后边使用k8s管理运行容器时,以非特权用户执行时会用到。

WORKDIR指令

WORKDIR指令为Dockerfile中跟随它的任何RUN、CMD、ENTRYPOINT、COPY和ADD指令设置工作目录。WORKDIR应该尽量使用绝对路径。

参考