(可选)自定义配置文件
支持用户自定义配置文件,可以配置是否支持清洗ModelArts关键日志、配置读取控制台日志大小、配置解析自定义的文件。用户自定义的配置信息保存在“${HOME}/.ascend_faultdiag/custom-fd-config.json”文件中。在执行故障诊断功能时,MindCluster Ascend FaultDiag会自动在相应路径下加载用户自定义配置信息,根据配置信息进行清洗和诊断。
操作步骤
- 通过JSON文件,新增或修改自定义配置信息。
ascend-fd config --update custom-config.json
回显示例如下,表示操作成功。The custom config file was updated successfully.
JSON文件示例如下,该示例不可直接使用,用户需根据实际情况修改自定义配置信息。文件中的参数说明请参见表1。{ "enable_model_asrt": false, # 是否支持清洗ModelArts关键日志。默认关闭 "train_log_size": 1048576, # 配置读取控制台日志大小。默认1MB=1024*1024B=1048576B "custom_parse_file": [ # 配置解析自定义的文件。可配置为[],最大支持配置10个 { "file_path_glob": "test_custom/*.log", # --custom_log xx,指定大目录。对应路径下,按照 Unix 风格的通配符模式匹配文件。 "log_time_format": "%Y-%m-%d-%H:%M:%S.%f", # 日志文件的时间格式,日期时间解析或格式化的标准格式字符串。 "source_file": ["CustomLog"] # 日志文件类型,最大支持配置10个 } ] "timezone_config" : { "lcne" : true # 是否支持LCNE日志时区转换。默认关闭 } }
配置解析自定义的文件越多,整体的清洗性能可能会下降。
表1 参数说明 参数名称
取值类型
参数说明
是否必选
取值说明
enable_model_asrt
Bool
是否支持清洗ModelArts关键日志。
可选
默认为false。
- true
- false
train_log_size
Int
配置读取控制台日志大小。
可选
正整数,默认为1048576(1MB=1024*1024B=1048576B)。
custom_parse_file
List
配置解析自定义的文件。
可选
列表格式,最大支持配置10个文件。
file_path_glob
String
自定义的解析文件(Unix风格的通配符模式)。
custom_parse_file存在且不为[]时必选
支持英文字母、数字、英文符号空格与“*”(例如配置:"test_custom/*.log")。
log_time_format
String
自定义解析文件中日志打印的时间格式字符串。
可选
取值长度为1~50个字符,支持字符:"YmdHMSf%- :,."(例如配置为"%Y-%m-%d %H:%M:%S.%f")。
- %Y:4位年份(例如:2023、2024)。
- %m:2位月份(01-12,例如:03 表示3月)。
- %d:2位日期(01-31,例如:05表示5号)。
- %H:24小时制的小时数(00-23)。
- %M:2位分钟数(00-59)。
- %S:2位秒数(00-59)。
- %f:微秒数。
source_file
List
日志文件类型。
custom_parse_file存在且不为[]时必选
列表格式,最大支持配置10个字符串。每个字符串取值长度为1~50个字符,支持英文字母、数字、英文符号与空格。
timezone_config
Dictionary
日志时区转换。
可选
-
lcne
Bool
是否支持LCNE日志时区转换。
可选
默认为false。
- true
- false
- 查看用户自定义的配置信息。
ascend-fd config --show
- (可选)校验custom-fd-config.json文件。若用户直接修改customfd-config.json文件的相关自定义故障实体信息,可以执行以下命令,校验修改后文件的完整性和可用性。
ascend-fd config --check
回显示例如下,表示文件校验通过。
The custom config file was updated successfully.
不建议用户直接更改custom-fd-config.json文件信息,可能造成MindCluster Ascend FaultDiag组件功能异常。
- (可选)若配置文件中添加了自定义的解析文件(如步骤1中JSON文件示例),可执行以下命令对自定义的解析文件进行清洗,将会清洗通配符模式(worker-0/test_custom/*.log)匹配到的文件。
ascend-fd parse --custom_log worker-0/ -o 清洗输出目录
清洗自定义解析文件时,只支持--custom_log命令,不支持-i命令。