系统打开文件数量超过操作系统限制

问题描述

运行增量学习任务过多时，导致系统打开文件的数量超过操作系统的限制，查看Pod错误日志，发现报错“too many open files”，查看Pod日志命令参考如下：

kubectl logs <pod_name> -n <namespace>

解决措施

可通过修改inotify实例和观察的数量来解决。具体操作，请参见（可选）修改inotify配置参数章节。