限制与约束

Atlas 800I A2 推理服务器和Atlas 300I Duo 推理卡支持此特性。
多模态模型特性请参见模型支持列表中的“多模态理解模型列表”页签。

操作步骤

本章节以Qwen-VL模型为例，简单介绍多模态如何使用。

更多多模态的使用详情请参见EndPoint业务面RESTful接口章节。

安装多模态模型依赖。

cd /usr/local/Ascend/atb-models/requirements/models  # mindIE安装包默认路径
pip install -r requirements_qwen_vl.txt

下载基础模型权重后，配置服务化参数config.json文件，然后启动服务化，服务化参数说明请参见配置参数说明章节。
```
cd {MindIE安装目录}/latest/mindie-service/
vi conf/config.json  # 配置模型参数"modelName"、"modelWeightPath"等
./bin/mindieservice_daemon
```

使用以下指令发送请求，参数说明见文本/流式推理接口章节。

curl https://127.0.0.11:1025/generate -H "Content-Type: application/json" --cacert ca.pem --cert client.pem  --key client.key.pem -X POST -d '{
    "prompt": [
        {"type": "text", "text": "What is in this image?"},
	{ "type": "image_url", "image_url": "/xxx/test.png"}
    ],
    "max_tokens": 100,
    "repetition_penalty": 1.03,
    "presence_penalty": 1.2,
    "frequency_penalty": 1.2,
    "temperature": 0.5,
    "top_k": 10,
    "top_p": 0.95
}'

使用样例

限制与约束

操作步骤