华为计算微信公众号
昇腾AI开发者公众号
华为计算微博
华为计算今日头条
CPU：Kunpeng-920
NPU：Ascend910B4 * 8 24.1.rc3
模型：QwQ-32B.gguf
推理框架：llama.cpp
编译方式：
cmake -B build -DGGML_CANN=ON -DCMAKE_BUILD_TYPE=RELEASE
cmake --build build --config Release -j 192 --target llama-server
运行方式：
build/bin/llama-server -m /data/model/QwQ-32B.gguf --port 8080 --host 0.0.0.0 -gnl 99 -t 192 --prio 2
我要发帖子
点赞
收藏
回复
分享
举报
已解决 已解决
CPU：Kunpeng-920
NPU：Ascend910B4 * 8 24.1.rc3
模型：QwQ-32B.gguf
推理框架：llama.cpp
编译方式：
cmake -B build -DGGML_CANN=ON -DCMAKE_BUILD_TYPE=RELEASE
cmake --build build --config Release -j 192 --target llama-server
运行方式：
build/bin/llama-server -m /data/model/QwQ-32B.gguf --port 8080 --host 0.0.0.0 -gnl 99 -t 192 --prio 2