机器型号为atlas800-9010,npu为d801,懂得都懂,系统版本为Ubuntu18,内核好像是4点多,记不清了,内网环境,很是崩溃。
跑了很多镜像,最后发现只能用官方镜像最新的版本(显存释放还是有问题)。加载镜像后自己重新安装一下910的kernal,这样子可以测试了,也就是atb_model的那个test,测试时70B版本1-2 token每秒,32B 4个token。测试后显存不释放,需要在宿主机上reset。然后拉起mindie的服务。速度还是很慢,单个并发1-2 token,ai core 利用率个位数。写了脚本测试1000个并发,每个并发的速度还是1-2 token,总得token倒是上来了。32B输出混乱,没法用。
请问后续是否会更新这个硬件的驱动和固件,当然最重要的估计是算子,期待更新。
机器型号为atlas800-9010,npu为d801,懂得都懂,系统版本为Ubuntu18,内核好像是4点多,记不清了,内网环境,很是崩溃。
跑了很多镜像,最后发现只能用官方镜像最新的版本(显存释放还是有问题)。加载镜像后自己重新安装一下910的kernal,这样子可以测试了,也就是atb_model的那个test,测试时70B版本1-2 token每秒,32B 4个token。测试后显存不释放,需要在宿主机上reset。然后拉起mindie的服务。速度还是很慢,单个并发1-2 token,ai core 利用率个位数。写了脚本测试1000个并发,每个并发的速度还是1-2 token,总得token倒是上来了。32B输出混乱,没法用。
请问后续是否会更新这个硬件的驱动和固件,当然最重要的估计是算子,期待更新。