language: - en pipeline_tag: text-generation tags: - pretrained license: other hardwares: - NPU frameworks: - PyTorch library_name: openmind
InternVL2-8B
InternVL2-8B 是一种多模态大模型，具有强大的图像和文本处理能力，通过开源组件缩小与商业多模态模型的差距——GPT-4V的开源替代方案。在聊天机器人中，InternVL可以通过解析用户的文字输入，结合图像信息，生成更加生动、准确的回复。 此外，InternVL还可以根据用户的图像输入，提供相关的文本信息，实现更加智能化的交互。
准备模型
目前提供的MindIE镜像预置了 InternVL2-8B 模型推理脚本，无需使用本仓库自带的atb_models中的代码
加载镜像
前往昇腾社区/开发资源下载适配本模型的镜像包：1.0.0-800I-A2-py311-openeuler24.03-lts
完成之后，请使用docker images命令确认查找具体镜像名称与标签。
硬件要求
部署InternVL2-8B模型至少需要1台Atlas 800I A2 32G服务器
新建容器
自行修改端口等参数，启动样例
[object Object]进入容器
[object Object]安装Python依赖
[object Object]纯模型推理
- 修改
/usr/local/Ascend/atb-models/examples/models/internvl/run_pa.sh脚本
[object Object]- 运行脚本 可参考run_pa.sh同级目录下的README.md。
[object Object]服务化推理
- 打开配置文件
[object Object]- 更改配置文件
[object Object]- 设置运行多卡环境变量
[object Object]- 拉起服务化
[object Object]- 容器内新端口测试 VLLM接口
[object Object]- 容器内新端口测试 OpenAI 接口
[object Object]