在前几年,没有Deepseek以前,智能运维主要支撑平台是公有云平台,这个平台组件主要包含云组件,并不包含硬件底座和编译层以及模型层,通过在应用层编排运维算法直接应用。
在Deepseek大模型嵌入后,运维支撑平台发生了改变。在Deepseek运行,支撑平台包含框架、编译器和硬件平台。这些配置都有很多的参数和配置方案。
场景1:运维流程编排+Deepseek,这个场景往往要加载编译器和JDK。场景跟之前不同,运维由信息化阶段进入数字化阶段后,很多数据都私有化部署,只有部分数据上传公有云。
这些数据通过RAG技术跟Deepseek关联后,要部署运行编译平台,这个编译器要支持远程编译,原有的编译器都是单机版本,不支持远程编译,加载了毕昇编译器、毕昇JDK和GCC。
场景2:运维流程编排+Deepseek+并发,这个场景考虑多了并发因素,因此考虑硬件平台的配置跟之前不同。如果并发量在200个以内,一台atlas800I/T+4张300DUO卡就可以支持,但如果并发量400~600,两台atlas800I/T+8张300DUO卡才可以支持。目前国内算力最强的国产芯片是鲲鹏920,8内存通道,32G或64G内存。
场景3:运维流程编排+Deepseek+并发+通道带宽,这个场景其实需要把数通产品纳入配置中,如果两台atlas800I/T连接在一起,需要100G以上带宽,才能确保数据同步。
在前几年,没有Deepseek以前,智能运维主要支撑平台是公有云平台,这个平台组件主要包含云组件,并不包含硬件底座和编译层以及模型层,通过在应用层编排运维算法直接应用。
在Deepseek大模型嵌入后,运维支撑平台发生了改变。在Deepseek运行,支撑平台包含框架、编译器和硬件平台。这些配置都有很多的参数和配置方案。
场景1:运维流程编排+Deepseek,这个场景往往要加载编译器和JDK。场景跟之前不同,运维由信息化阶段进入数字化阶段后,很多数据都私有化部署,只有部分数据上传公有云。
这些数据通过RAG技术跟Deepseek关联后,要部署运行编译平台,这个编译器要支持远程编译,原有的编译器都是单机版本,不支持远程编译,加载了毕昇编译器、毕昇JDK和GCC。
场景2:运维流程编排+Deepseek+并发,这个场景考虑多了并发因素,因此考虑硬件平台的配置跟之前不同。如果并发量在200个以内,一台atlas800I/T+4张300DUO卡就可以支持,但如果并发量400~600,两台atlas800I/T+8张300DUO卡才可以支持。目前国内算力最强的国产芯片是鲲鹏920,8内存通道,32G或64G内存。
场景3:运维流程编排+Deepseek+并发+通道带宽,这个场景其实需要把数通产品纳入配置中,如果两台atlas800I/T连接在一起,需要100G以上带宽,才能确保数据同步。