昇腾社区首页
中文
注册

简介

StreamServer是基于Vision SDK实现的推理服务器,以RESTful接口对外提供视觉推理服务。

StreamServer依赖Flask框架,用户在启动StreamServer前需手动安装Flask。

StreamServer推理服务并不是一个完备的系统,不能用于生产部署,需要通过组件集成方式与用户其他系统配合才能形成一个完整的推理服务系统。用户需要考虑部署环境的安全性、可靠性与可用性,建议用户参考业界常用的Web部署方案对StreamServer推理服务进行集成部署,不建议单独使用该推理服务,同时建议用户在HTTPS服务器前部署Nginx用于增强流量控制等网络服务功能、抵御泛洪攻击等网络攻击方式。

  • StreamServer推理服务预计在2024年12月正式退出,停止演进。
  • 若在服务端接收请求或执行证书导入脚本时,KMC初始化随机数阻塞,请参见在服务端接收请求或执行证书导入脚本时,KMC初始化随机数阻塞解决。
  • Flask建议使用2.2.5版本。推荐使用包管理工具pip3安装,安装指令可参考:pip3 install Flask==2.2.5。
  • 配置nginx之后,StreamServer仅记录与nginx反向代理端口相关的网络服务信息,因此需结合StreamServer日志和nginx日志分析业务相关问题。

版本特性

  • 支持pipeline推理服务。
  • 支持单模型推理服务,支持自动组Batch。
  • 使用https双向加密与认证。
  • 支持请求流控。
  • 支持华为KMC组件管理CA密钥。