我们线上环境当前的Kubernetes版本为1.6.7，这里整理kubelet的启动参数，并根据我们线上使用情况做一个整理。

kubelet的启动参数

根据官方文档kubelet，当前kubelet启动参数如下：

  • --address ip kubelet绑定的主机IP地址，默认为0.0.0.0表示绑定全部网络接口
  • --allow-privileged 是否允许以特权模式启动容器。当前默认值为false
  • --anonymous-auth 是否启用kubelet server的匿名访问，默认为true，表示启用匿名访问。对于匿名请求将认为其用户名为system:anonymous，所属的组为system:unauthenticated
  • --authentication-token-webhook 使用TokenReview API来进行token认证
  • --authentication-token-webhook-cache-ttl duration webhook token认证缓存响应时长，默认值2m0s
  • --authorization-mode string kubelet server的认证模式，可以选择AlwaysAllow或者Webhook，如果选择为Webhook将使用SubjectAccessReview进行授权。默认值为AlwaysAllow
  • --authorization-webhook-cache-unauthorized-ttl duration 授权模式为Webhook时，已被授权内容的缓存时长，默认值为5m0s
  • --authorization-webhook-cache-unauthorized-ttl duration 授权模式为Webhook时，未被授权内容的缓存时长，默认值为30s
  • --cadvisor-port int32 本地cAdvisor监听的端口号，默认为4194
  • --cert-dir string TLS证书目录，如果设置了–tls-cert-file和–tls-private-key-file，这个选项将被忽略。默认值为/var/run/kubernetes
  • --cgroup-driver string kubelet操纵cgroups的驱动，可以选择cgroupfs或systemd。默认值为cgroupfs
  • -cgroup-root string 为pods设置的root cgroup，如果不设置，将使用容器运行时的默认设置。默认值为""
  • -cgroups-per-qos 是否启动QoS级的CGroups支持，如果启用kubelet会自动创建顶级的cgroup来控制Node节点的可分配性，更好的保证QoS。默认值为true
  • --chaos-chance float 随机产生客户端错误的概率，仅用于测试场景，默认值为0，即不产生客户端错误
  • --cloud-config string 云服务商配置文件路径，默认值为""
  • --cloud-provider string 云服务商名称，默认值为"auto-detect"表示自动检测，设置为空表示无云服务商
  • --cluster-dns stringSlice 集群内DNS服务的IP地址
  • --cluster-domain string 集群的域名
  • --cni-bin-dir string CNI插件可执行文件目录，默认值为"/opt/cni/bin"
  • --cni-conf-dir string CNI配置文件目录，默认值为"/etc/cni/net.d"
  • --container-runtime string 容器运行时类型，当前可选值为"docker"或"rkt"，默认值为"docker"
  • --container-runtime-endpoint string 容器运行时服务的endpoint地址，当前在Linux上支持unix socket，默认值为"unix:///var/run/dockershim.sock"
  • --containerized 是否将kubelet运行在容器中，仅测试场景使用，默认值为false
  • --cpu-cfs-quota 是否启用 CPU CFS quota，用于设置容器的CPU限制，默认值为true
  • --docker-endpoint string docker服务的务的endpoint地址，默认值为"unix:///var/run/dockershim.sock"
  • --enable-controller-attach-detach 是否启用Attach/Detach Controller进行调度到该Node的volumed attach与detach操作，同时禁用kubelet执行attach、detach操作。默认值为true
  • --enable-custom-metrics 是否启用采集自定义性能指标
  • --enable-debugging-handlers 是否启用提供远程访问本节点容器的日志、进入容器执行命令等相关的Rest服务。默认值为true
  • --enable-server 是否启用kubelet server，即启动kubelet上的http rest server，此server提供了获取本节点上Pod信息以及其他管理监控相关的rest接口。默认值为true
  • --event-burst int32 临时允许Event记录突发的最大数量，当event-qps>0时生效。默认值为10
  • --event-qps int32 设置大于0的值表示限制每秒能创建的Event数量，设置为0表示不限制。默认值为5
  • --eviction-hard string 触发Pod Eviction操作的一组硬阀门设置，例如可以设置"memory.available<1Gi"。默认值为"memory.available<100Mi,nodefs.available<10%,nodefs.inodesFree<5%"
  • -eviction-max-pod-grace-period int32 终止Pod操作给Pod自行停止预留的时间，单位为秒。时间达到将触发Pod Eviction操纵。设置为负数表示将使用Pod中指定的值
  • --eviction-pressure-transition-period duration kubelet触发Pod eviction之前等待的最长时间，默认值5m0s
  • --eviction-soft string 触发Pod Eviction操作的一组软阀门设置，当Pod的响应时间超过grace-period后触发。例如"memory.available<1.5Gi"
  • -eviction-soft-grace-period string 触发Pod Eviction操作的软阀门的等待时间设置。例如"memory.available=1m30s"
  • --exit-on-lock-contention 设置为true时表示当有文件锁存在时，kubelet也可以退出
  • --file-check-frequency duration 在File Source作为Pod源的情况下，kubelet定期检查配置文件变化的时间间隔，文件发生变化后，kubelet重新加载文件内容。默认值为20s
  • --google-json-key string 用于Google Cloud Platform的Service Account进行鉴权的JSON key
  • --hairpin-mode string 设置hairpin模式，即kubelet设置hairpin NAT的方式。该模式允许后端Endpoint在访问本身Service时能够再次loadbalance回本身。可以设置的值包括: “promiscuous-bridge”, “hairpin-veth"和"none”。默认值为"promiscuous-bridge"
  • --hostname-override string 设置当前Node在集群中的名称，如果不设置将使用本机的hostname
  • --http-check-frequency duration 在HTTP URL Source作为Pod源的情况下，kubelet定期检查URL返回内容是否有更新的时间周期，默认为20s
  • --image-gc-high-threshold int32 镜像垃圾回收上限，当磁盘使用空间达到该百分比时，镜像垃圾回收将持续工作。默认85
  • __--image-gc-low-threshold int32__ 镜像垃圾回收下限，在磁盘使用空间到达该百分比之前，镜像垃圾回收不会启用。默认80
  • --kube-api-burst int32 发送到API Server的每秒请求数量，默认为10
  • --kube-api-content-type string 发送到API Server的请求的Content-type，默认为application/vnd.kubernetes.protobuf
  • --kube-api-qps int32 与API Server通信的QPS值，默认值为5
  • --kube-reserved mapStringString Kubernetes系统预留的资源配置，以一组ResourceName=ResourceQuantity的格式进行配置，例如"cpu=200m,memory=500Mi, storage=1Gi"，详见http://kubernetes.io/docs/user-guide/compute-resources。默认值为空
  • --kubeconfig string kubeconfig配置文件路径，在该配置文件中包含Master地址信息以及必要的认证信息
  • --kubelet-cgroups string 可选的kubelet运行所需要的cgroups名称
  • --lock-file string kubelet使用的lock文件，Alpha特性
  • --manifest-url string 为HTTP URL Source源类型时，kubelet用来获取Pod定义的URL地址，此URL返回一组Pod的定义。(静态Pod)
  • --manifest-url-header string 访问manifest-url地址时使用的HTTP头信息，以key:value格式表示
  • --max-open-files int kubelet打开的最大文件数量。默认1000000
  • --max-pods int32 kubelet所能运行的最大Pod数量，默认110
  • --minimum-image-ttl-duration duration 不再使用的镜像在被清理之前的最小存活时间，超过此存活时间的镜像被标记为可被GC清理，默认值为2m0s
  • --network-plugin string 自定义的网络插件名称，Pod生命周期中的一些事件都会调用此网络插件进行处理
  • --node-ip string 设置当前Node的IP
  • --node-labels mapStringString kubelet注册当前Node时设置的Label，以key=value的格式表示，多个labe以逗号分隔
  • --node-status-update-frequency duration kubelet向Master汇报Node状态的时间间隔，它必须和controller-manager中nodecontroller的nodeMonitorGracePeriod一同工作。 默认值为10s
  • --oom-score-adj int32 kubelet进程的oom_score_adj参数值，取值范围[-1000, 1000]。默认值-999
  • --pod-cidr string 用于给Pod分配IP地址的CIDR地址池，仅在单机模式中使用。在一个集群中kubelet会从API Server获取CIDR设置
  • --pod-infra-container-image string Pod的pause镜像，默认值为gcr.io/google_containers/pause-amd64:3.0
  • --pod-manifest-path string 为File Source源类型时，kubelet用来获取Pod定义的路径。(静态Pod)
  • --pods-per-core int32 当前kubelet上每个core可运行的pod的数量。设置的值不能超过max-pods，设置为0则表示不限制
  • --port int32 kubelet server监听的端口，默认值为10250
  • --read-only-port int32 kubelet服务监听的“只读”的端口号，默认值为10255，设置为0表示不启用
  • --really-crash-for-testing 设置为true表示发生panic时崩溃，仅用于测试
  • --register-node 设置为true表示将当前Node注册到API Server，默认值为true
  • --registry-burst int32 最多同时拉去镜像的数量，默认值为10
  • --registry-qps int32 在Pod创建过程中容器的镜像需要从Registry拉取，由于拉取镜像的过程会消耗大量带宽，因此可能需要限速，此参数可与registry-burst一起使用来限制每秒拉取多少个镜像。如果设置为5，则表示每秒最多拉取5个镜像，如果为0则表示不限速。默认值为5
  • --require-kubeconfig 如果设置为true，当存在配置错误时kubelet进程将退出，同时会忽略api-server参数，而优选kubeconfig file
  • --resolv-conf string 命名服务配置文件，用于容器内应用的DNS解析，默认为/etc/resolv.conf
  • --rkt-api-endpoint string rkt API服务的URL，container-runtime为rkt时生效
  • --rkt-path string rkt二进制文件路径，未指定时从$PATH中查找，container-runtime为rkt时生效
  • --root-dir string kubelet运行的根目录，将保持Pod和volume的相关文件，默认值为/var/lib/kubelet
  • --runonce 设置为true表示在创建完Pod后立即退出kubelet进程，域api-server和enable-server参数互斥
  • --runtime-cgroups string 为容器运行时设置的cgroup
  • -runtime-request-timeout duration 除了长时间运行的request，对其他request的超时设置，包括pull, logs, exec, attach等操作，当达到超时时间时，request会被取消掉。默认值为2m0s
  • --seccomp-profile-root string seccomp配置文件目录，默认为/var/lib/kubelet/seccomp
  • --serialize-image-pulls 顺序pull镜像，默认值为true
  • --streaming-connection-idle-timeout duration 容器中执行命令或进行端口转发的过程会产生输入输出流，该参数用来控制连接空闲时关闭的时间，默认4h0m0s
  • --sync-frequency duration 同步正在运行的容器的配置的时间间隔，默认为1m0s
  • --system-cgroups / kubelet为运行非kernel进程设置的cgroup名称
  • --system-reserved mapStringString 系统预留的资源配置，以一组ResourceName=ResourceQuantity的格式进行配置，如"cpu=200m,memory=500Mi"，详见http://kubernetes.io/docs/user-guide/compute-resources。默认值为空
  • --tls-cert-file string x509证书文件路径，用于HTTPS认证
  • --tls-private-key-file string x509私钥文件路径
  • --volume-plugin-dir string 搜索第三方volume插件的目录，默认值/usr/libexec/kubernetes/kubelet-plugins/volume/exec/
  • --volume-stats-agg-period duration kubelet计算所有Pod和Volume的磁盘使用情况的时间间隔，设置为0表示禁用此功能。默认值为1m0s

线上配置

根据线上Node配置的实际情况重点关注如下配置：

1--max-pod=55
2--eviction-hard=memory.available<4Gi,nodefs.available<20Gi,imagefs.available<5Gi 
3--eviction-max-pod-grace-period=40
4--eviction-minimum-reclaim=memory.available=500Mi,nodefs.available=2Gi,imagefs.available=2Gi
5--eviction-soft-grace-period=memory.available=30s,nodefs.available=2m,imagefs.available=2m
6--eviction-soft=memory.available<4Gi,nodefs.available<80Gi,imagefs.available<16Gi
7--system-reserved=cpu=100m,memory=4G
8--kube-reserved=cpu=200m,memory=16G
9--experimental-fail-swap-on

参考