Kubelet线上配置整理

2017-07-29 阅读: Kubernetes

我们线上环境当前的Kubernetes版本为1.6.7,这里整理kubelet的启动参数,并根据我们线上使用情况做一个整理。

kubelet的启动参数

根据官方文档kubelet,当前kubelet启动参数如下:

  • --address ip kubelet绑定的主机IP地址,默认为0.0.0.0表示绑定全部网络接口
  • --allow-privileged 是否允许以特权模式启动容器。当前默认值为false
  • --anonymous-auth 是否启用kubelet server的匿名访问,默认为true,表示启用匿名访问。对于匿名请求将认为其用户名为system:anonymous,所属的组为system:unauthenticated
  • --authentication-token-webhook 使用TokenReview API来进行token认证
  • --authentication-token-webhook-cache-ttl duration webhook token认证缓存响应时长,默认值2m0s
  • --authorization-mode string kubelet server的认证模式,可以选择AlwaysAllow或者Webhook,如果选择为Webhook将使用SubjectAccessReview进行授权。默认值为AlwaysAllow
  • --authorization-webhook-cache-unauthorized-ttl duration 授权模式为Webhook时,已被授权内容的缓存时长,默认值为5m0s
  • --authorization-webhook-cache-unauthorized-ttl duration 授权模式为Webhook时,未被授权内容的缓存时长,默认值为30s
  • --cadvisor-port int32 本地cAdvisor监听的端口号,默认为4194
  • --cert-dir string TLS证书目录,如果设置了–tls-cert-file和–tls-private-key-file,这个选项将被忽略。默认值为/var/run/kubernetes
  • --cgroup-driver string kubelet操纵cgroups的驱动,可以选择cgroupfs或systemd。默认值为cgroupfs
  • -cgroup-root string 为pods设置的root cgroup,如果不设置,将使用容器运行时的默认设置。默认值为””
  • -cgroups-per-qos 是否启动QoS级的CGroups支持,如果启用kubelet会自动创建顶级的cgroup来控制Node节点的可分配性,更好的保证QoS。默认值为true
  • --chaos-chance float 随机产生客户端错误的概率,仅用于测试场景,默认值为0,即不产生客户端错误
  • --cloud-config string 云服务商配置文件路径,默认值为””
  • --cloud-provider string 云服务商名称,默认值为”auto-detect”表示自动检测,设置为空表示无云服务商
  • --cluster-dns stringSlice 集群内DNS服务的IP地址
  • --cluster-domain string 集群的域名
  • --cni-bin-dir string CNI插件可执行文件目录,默认值为”/opt/cni/bin”
  • --cni-conf-dir string CNI配置文件目录,默认值为”/etc/cni/net.d”
  • --container-runtime string 容器运行时类型,当前可选值为”docker”或”rkt”,默认值为”docker”
  • --container-runtime-endpoint string 容器运行时服务的endpoint地址,当前在Linux上支持unix socket,默认值为”unix:///var/run/dockershim.sock”
  • --containerized 是否将kubelet运行在容器中,仅测试场景使用,默认值为false
  • --cpu-cfs-quota 是否启用 CPU CFS quota,用于设置容器的CPU限制,默认值为true
  • --docker-endpoint string docker服务的务的endpoint地址,默认值为”unix:///var/run/dockershim.sock”
  • --enable-controller-attach-detach 是否启用Attach/Detach Controller进行调度到该Node的volumed attach与detach操作,同时禁用kubelet执行attach、detach操作。默认值为true
  • --enable-custom-metrics 是否启用采集自定义性能指标
  • --enable-debugging-handlers 是否启用提供远程访问本节点容器的日志、进入容器执行命令等相关的Rest服务。默认值为true
  • --enable-server 是否启用kubelet server,即启动kubelet上的http rest server,此server提供了获取本节点上Pod信息以及其他管理监控相关的rest接口。默认值为true
  • --event-burst int32 临时允许Event记录突发的最大数量,当event-qps>0时生效。默认值为10
  • --event-qps int32 设置大于0的值表示限制每秒能创建的Event数量,设置为0表示不限制。默认值为5
  • --eviction-hard string 触发Pod Eviction操作的一组硬阀门设置,例如可以设置”memory.available<1Gi”。默认值为”memory.available<100Mi,nodefs.available<10%,nodefs.inodesFree<5%”
  • -eviction-max-pod-grace-period int32 终止Pod操作给Pod自行停止预留的时间,单位为秒。时间达到将触发Pod Eviction操纵。设置为负数表示将使用Pod中指定的值
  • --eviction-pressure-transition-period duration kubelet触发Pod eviction之前等待的最长时间,默认值5m0s
  • --eviction-soft string 触发Pod Eviction操作的一组软阀门设置,当Pod的响应时间超过grace-period后触发。例如”memory.available<1.5Gi”
  • -eviction-soft-grace-period string 触发Pod Eviction操作的软阀门的等待时间设置。例如”memory.available=1m30s”
  • --exit-on-lock-contention 设置为true时表示当有文件锁存在时,kubelet也可以退出
  • --file-check-frequency duration 在File Source作为Pod源的情况下,kubelet定期检查配置文件变化的时间间隔,文件发生变化后,kubelet重新加载文件内容。默认值为20s
  • --google-json-key string 用于Google Cloud Platform的Service Account进行鉴权的JSON key
  • --hairpin-mode string 设置hairpin模式,即kubelet设置hairpin NAT的方式。该模式允许后端Endpoint在访问本身Service时能够再次loadbalance回本身。可以设置的值包括: “promiscuous-bridge”, “hairpin-veth”和”none”。默认值为”promiscuous-bridge”
  • --hostname-override string 设置当前Node在集群中的名称,如果不设置将使用本机的hostname
  • --http-check-frequency duration 在HTTP URL Source作为Pod源的情况下,kubelet定期检查URL返回内容是否有更新的时间周期,默认为20s
  • --image-gc-high-threshold int32 镜像垃圾回收上限,当磁盘使用空间达到该百分比时,镜像垃圾回收将持续工作。默认85
  • __--image-gc-low-threshold int32__ 镜像垃圾回收下限,在磁盘使用空间到达该百分比之前,镜像垃圾回收不会启用。默认80
  • --kube-api-burst int32 发送到API Server的每秒请求数量,默认为10
  • --kube-api-content-type string 发送到API Server的请求的Content-type,默认为application/vnd.kubernetes.protobuf
  • --kube-api-qps int32 与API Server通信的QPS值,默认值为5
  • --kube-reserved mapStringString Kubernetes系统预留的资源配置,以一组ResourceName=ResourceQuantity的格式进行配置,例如”cpu=200m,memory=500Mi, storage=1Gi”,详见http://kubernetes.io/docs/user-guide/compute-resources。默认值为空
  • --kubeconfig string kubeconfig配置文件路径,在该配置文件中包含Master地址信息以及必要的认证信息
  • --kubelet-cgroups string 可选的kubelet运行所需要的cgroups名称
  • --lock-file string kubelet使用的lock文件,Alpha特性
  • --manifest-url string 为HTTP URL Source源类型时,kubelet用来获取Pod定义的URL地址,此URL返回一组Pod的定义。(静态Pod)
  • --manifest-url-header string 访问manifest-url地址时使用的HTTP头信息,以key:value格式表示
  • --max-open-files int kubelet打开的最大文件数量。默认1000000
  • --max-pods int32 kubelet所能运行的最大Pod数量,默认110
  • --minimum-image-ttl-duration duration 不再使用的镜像在被清理之前的最小存活时间,超过此存活时间的镜像被标记为可被GC清理,默认值为2m0s
  • --network-plugin string 自定义的网络插件名称,Pod生命周期中的一些事件都会调用此网络插件进行处理
  • --node-ip string 设置当前Node的IP
  • --node-labels mapStringString kubelet注册当前Node时设置的Label,以key=value的格式表示,多个labe以逗号分隔
  • --node-status-update-frequency duration kubelet向Master汇报Node状态的时间间隔,它必须和controller-manager中nodecontroller的nodeMonitorGracePeriod一同工作。 默认值为10s
  • --oom-score-adj int32 kubelet进程的oom_score_adj参数值,取值范围[-1000, 1000]。默认值-999
  • --pod-cidr string 用于给Pod分配IP地址的CIDR地址池,仅在单机模式中使用。在一个集群中kubelet会从API Server获取CIDR设置
  • --pod-infra-container-image string Pod的pause镜像,默认值为gcr.io/google_containers/pause-amd64:3.0
  • --pod-manifest-path string 为File Source源类型时,kubelet用来获取Pod定义的路径。(静态Pod)
  • --pods-per-core int32 当前kubelet上每个core可运行的pod的数量。设置的值不能超过max-pods,设置为0则表示不限制
  • --port int32 kubelet server监听的端口,默认值为10250
  • --read-only-port int32 kubelet服务监听的“只读”的端口号,默认值为10255,设置为0表示不启用
  • --really-crash-for-testing 设置为true表示发生panic时崩溃,仅用于测试
  • --register-node 设置为true表示将当前Node注册到API Server,默认值为true
  • --registry-burst int32 最多同时拉去镜像的数量,默认值为10
  • --registry-qps int32 在Pod创建过程中容器的镜像需要从Registry拉取,由于拉取镜像的过程会消耗大量带宽,因此可能需要限速,此参数可与registry-burst一起使用来限制每秒拉取多少个镜像。如果设置为5,则表示每秒最多拉取5个镜像,如果为0则表示不限速。默认值为5
  • --require-kubeconfig 如果设置为true,当存在配置错误时kubelet进程将退出,同时会忽略api-server参数,而优选kubeconfig file
  • --resolv-conf string 命名服务配置文件,用于容器内应用的DNS解析,默认为/etc/resolv.conf
  • --rkt-api-endpoint string rkt API服务的URL,container-runtime为rkt时生效
  • --rkt-path string rkt二进制文件路径,未指定时从$PATH中查找,container-runtime为rkt时生效
  • --root-dir string kubelet运行的根目录,将保持Pod和volume的相关文件,默认值为/var/lib/kubelet
  • --runonce 设置为true表示在创建完Pod后立即退出kubelet进程,域api-server和enable-server参数互斥
  • --runtime-cgroups string 为容器运行时设置的cgroup
  • -runtime-request-timeout duration 除了长时间运行的request,对其他request的超时设置,包括pull, logs, exec, attach等操作,当达到超时时间时,request会被取消掉。默认值为2m0s
  • --seccomp-profile-root string seccomp配置文件目录,默认为/var/lib/kubelet/seccomp
  • --serialize-image-pulls 顺序pull镜像,默认值为true
  • --streaming-connection-idle-timeout duration 容器中执行命令或进行端口转发的过程会产生输入输出流,该参数用来控制连接空闲时关闭的时间,默认4h0m0s
  • --sync-frequency duration 同步正在运行的容器的配置的时间间隔,默认为1m0s
  • --system-cgroups / kubelet为运行非kernel进程设置的cgroup名称
  • --system-reserved mapStringString 系统预留的资源配置,以一组ResourceName=ResourceQuantity的格式进行配置,如”cpu=200m,memory=500Mi”,详见http://kubernetes.io/docs/user-guide/compute-resources。默认值为空
  • --tls-cert-file string x509证书文件路径,用于HTTPS认证
  • --tls-private-key-file string x509私钥文件路径
  • --volume-plugin-dir string 搜索第三方volume插件的目录,默认值/usr/libexec/kubernetes/kubelet-plugins/volume/exec/
  • --volume-stats-agg-period duration kubelet计算所有Pod和Volume的磁盘使用情况的时间间隔,设置为0表示禁用此功能。默认值为1m0s

线上配置

根据线上Node配置的实际情况重点关注如下配置:

--max-pod=55
--eviction-hard=memory.available<4Gi,nodefs.available<20Gi,imagefs.available<5Gi 
--eviction-max-pod-grace-period=40
--eviction-minimum-reclaim=memory.available=500Mi,nodefs.available=2Gi,imagefs.available=2Gi
--eviction-soft-grace-period=memory.available=30s,nodefs.available=2m,imagefs.available=2m
--eviction-soft=memory.available<4Gi,nodefs.available<80Gi,imagefs.available<16Gi
--system-reserved=cpu=100m,memory=4G
--kube-reserved=cpu=200m,memory=16G
--experimental-fail-swap-on

参考

标题:Kubelet线上配置整理
本文链接:https://blog.frognew.com/2017/07/kubelet-production-config.html
转载请注明出处。

目录