昇腾社区首页
中文
注册

简介

StreamServer是基于mxVision实现的推理服务器,以RESTful接口对外提供视觉推理服务。

StreamServer依赖Flask框架,用户在启动StreamServer前需手动安装Flask。

StreamServer推理服务并不是一个完备的系统,不能用于生产部署,需要通过组件集成方式与用户其他系统配合才能形成一个完整的推理服务系统。用户需要考虑部署环境的安全性、可靠性与可用性,建议用户参考业界常用的Web部署方案对StreamServer推理服务进行集成部署,不建议单独使用该推理服务,同时建议用户在HTTPS服务器前部署Nginx用于增强流量控制等网络服务功能、抵御泛洪攻击等网络攻击方式。

版本特性

  • 支持pipeline推理服务。
  • 支持单模型推理服务,支持自动组Batch。
  • 使用https双向加密与认证。
  • 支持请求流控。
  • 支持华为KMC组件管理CA密钥。