Kubernetes安全加固

为保证环境安全运行，建议用户根据业务控制集群master节点登录权限，对环境中Kubernetes的私钥文件及etcd中存储的认证凭据做好访问权限控制，不建议用户在后台直接操作Kubernetes集群。

Kubernetes需要进行如下加固：

• kube-proxy加强：
  • 在“kube-proxy”启动参数中加入“--nodeport-addresses”参数。
  • 针对已经安装的K8s系统，通过如下命令修改kube-proxy的configmap。

    kubectl edit cm kube-proxy -n kube-system

  • 手动修改configmap中的“nodePortAddresses”参数为CIDR格式的节点IP地址。
  • 手动修改configmap中的“healthzBindAddress”参数未CIDR格式的节点IP地址。
  • 配置再重启kube-proxy后生效。
• kube-apiserver加强：
  • 修改启动参数“--profiling”的值设置为“false”，防止用户动态修改kube-apiserver日志级别。
  • 添加启动参数“--kubelet-certificate-authority”参数，配置kubelet CA证书路径，用于验证kubelet服务端证书有效性。
  • 修改或增加启动参数“--tls-cipher-suites”，设置它的值如下，避免使用不安全的TLS加密套件带来风险：

    --tls-cipher-suites=TLS_ECDHE_ECDSA_WITH_AES_128_GCM_SHA256,TLS_ECDHE_RSA_WITH_AES_128_GCM_SHA256,TLS_ECDHE_ECDSA_WITH_CHACHA20_POLY1305,TLS_ECDHE_RSA_WITH_AES_256_GCM_SHA384,TLS_ECDHE_RSA_WITH_CHACHA20_POLY1305,TLS_ECDHE_ECDSA_WITH_AES_256_GCM_SHA384

  • 修改或增加启动参数“--tls-min-version”，取值示例如“--tls-min-version”=“VersionTLS13”，用于配置apiserver时使用TLS1.3安全协议对通信进行加密。
  • 修改或增加启动参数“--audit-policy-file”，配置K8s的审计策略，具体配置可参见Kubernetes官方文档。
• kube-controller加强：
  • 在启动参数“--controllers”内添加子项“-serviceaccount-token”，用于禁用命名空间默认服务账号，防止在安装运行MEF时，在mef-user和mefcenter命名空间产生不需要使用的服务账号。
• kubelet加强：
  • 配置启动参数--address或者修改启动配置文件中的address字段，设置值为主机IP地址。
  • 配置启动参数“--tls-min-version”或者修改启动配置文件中的“tlsMinVersion”字段，启动配置文件字段取值示例如：“tlsMinVersion: VersionTLS13”，用于配置kubelet时使用TLS1.3安全协议对通信进行加密。
  • 修改或增加启动参数“--tls-cipher-suites”，设置它的值如下，避免使用不安全的TLS加密套件带来风险：

    --tls-cipher-suites=TLS_ECDHE_ECDSA_WITH_AES_128_GCM_SHA256,TLS_ECDHE_RSA_WITH_AES_128_GCM_SHA256,TLS_ECDHE_ECDSA_WITH_CHACHA20_POLY1305,TLS_ECDHE_RSA_WITH_AES_256_GCM_SHA384,TLS_ECDHE_RSA_WITH_CHACHA20_POLY1305,TLS_ECDHE_ECDSA_WITH_AES_256_GCM_SHA384

    

    K8s v1.19及以上版本支持TLS v1.3的加密套件，建议使用高版本的K8s时，加上TLS v1.3的加密套件。

• 为使推理服务Pod的带宽限制生效，需要安装bandwidth插件到CNI “bin”目录中（默认为“/opt/cni/bin”），并修改CNI配置文件（默认在“/etc/cni/net.d”下），在plugins中加入bandwidth。

  ...
      {
        "type": "bandwidth",
        "capabilities": {"bandwidth": true}
      }
  ...

• 其余安全加固内容可参考Kubernetes官方文档Security相关内容，也可以参考业界其他优秀加固方案。