术语/缩略语 |
含义 |
|---|---|
TGI |
Text Generation Inference，文本生成推理。是一个用于部署和服务大型语言模型的工具包。TGI为最流行的开源LLM提供高性能文本生成，包括LLaMA、Falcon、StarCoder、BLOOM、GPT-NeoX等。 |
vLLM |
vLLM是一个开源的大语言模型推理加速框架。 |
Trition |
Triton是一个开源的推理服务软件，全称为Triton Inference Server。通过Triton，基于GPU或CPU的各种基础架构（云、数据中心或边缘）上部署、运行和扩展来自任何框架的AI模型。 |
RoCE |
RDMA over Converged Ethernet，RoCE是一种网络协议，允许通过以太网使用远程直接内存访问（RDMA）。目前存在两个RoCE版本，分别是RoCE v1和v2。RoCE v1是数据链路层协议，允许在同一个以太网广播域内的任意两台主机之间通信。RoCE v2是网络层协议，其报文可以被路由。 |
GMIS |
General Model Inference Scheduler，是一个用于模型推理的调度器。它在大型模型训练中起着关键作用，旨在减少计算资源的空闲时间，提高计算资源的利用率，从而加快模型训练和模型推理的进度模型推理调度器，提供各种模型调度能力。 |
Daemon |
在linux或者unix操作系统中，守护进程（Daemon）是一种运行在后台的特殊进程，它独立于控制终端并且周期性的执行某种任务或等待处理某些发生的事件。由于在linux中，每个系统与用户进行交流的界面称为终端，每一个从此终端开始运行的进程都会依附于这个终端，这个终端被称为这些进程的控制终端，当控制终端被关闭的时候，相应的进程都会自动关闭。但是守护进程却能突破这种限制，它脱离于终端并且在后台运行，并且它脱离终端的目的是为了避免进程在运行的过程中的信息在任何终端中显示并且进程也不会被任何终端所产生的终端信息所打断。它从被执行的时候开始运转，直到整个系统关闭才退出。 |
EndPoint |
推理服务化协议和接口封装，兼容Triton/OpenAI/TGI/vLLM等第三方框架接口。 |
KMC |
Key Management Center，密钥管理系统。用于管理和保护加密算法中使用的密钥。它可以为企业或组织提供安全的密钥存储、密钥分发、密钥轮换、密钥备份和密钥恢复等功能。KMC秘钥库可以确保密钥的安全性和可靠性，防止密钥泄露、丢失或被篡改。同时，KMC秘钥库还可以支持多种加密算法和密钥长度，满足不同应用场景的需求。 |
GRPC |
Google Remote Procedure Call，Google远程过程调用协议。 |
业务面 |
MindIE Server推理等业务接口所处的平面。 |
管理面 |
MindIE Server健康状态信息接口所处的平面。 |