通信引擎
HCCL可以使用不同通信引擎实现通信算子,包括Host CPU+TS(Task Scheduler)与AI CPU+TS,不同的通信引擎适用不同的场景,对比结果如下:
|
通信引擎 |
优势 |
约束 |
支持的产品型号 |
|---|---|---|---|
|
AI CPU+TS |
不占用计算核,通信效率高,适用于大数据高带宽场景 |
通信静态开销较大,对小数据量通信场景不友好 |
|
|
Host CPU+TS |
不占用计算核 |
下发开销大,随任务数线性增加 |
|
下面分别介绍不同通信引擎的任务执行流程。
AI CPU+TS
由AI CPU向任务调度系统(Task Scheduler,简写为TS)提交通信操作相关任务,如图1所示。
- Host提交一个AI CPU Kernel至任务队列。
- AI CPU Kernel被任务调度器调度后交给AI CPU执行
- AI CPU提交通信任务至任务队列。
- AI CPU提交的通信任务被调度器调度至执行器执行。
Host CPU+TS
由Host CPU向Device侧的任务调度系统(Task Scheduler,TS)提交通信操作相关任务,如图2所示。
- Host将通信过程中的各类操作(包括内存拷贝、同步操作等)提交至任务队列。
- 调度器将下发至任务队列中的任务调度至对应的执行器上执行。
父主题: 编程模型与概念

