背景概述

在基于昇腾AI处理器的推理服务部署过程中，用户常面临模型服务化拉起失败或长序列推理不稳定的问题。尤其在高并发、长上下文场景下，服务启动成功率与推理稳定性成为关键挑战。本文聚焦于一个典型问题：在64K分页模式下，开启RDMA性能优化开关后，推理服务在长序列场景下拉起失败或频繁中断。该问题虽非普遍出现，但在特定配置组合下具有较高复现概率，影响服务部署效率与用户体验。

本文从问题现象出发，结合日志分析与根因定位，系统梳理了问题的触发条件、根本原因及可落地的解决方案，为开发者在类似环境下进行性能调优与故障规避提供参考。

问题现象

该问题在以下场景中具有明确复现特征：

1. 纯模型测试成功，但服务化拉起失败

  模型在独立运行（如modeltest）时表现正常，但封装为服务后无法完成启动流程。

2. 短序列拉起无误，长序列拉起失败或不稳定

  小上下文（如<1k）推理可正常完成，但当上下文长度增长至32k及以上时，服务启动过程出现中断或超时。

3. 主节点可拉起，从节点失败（长序列场景）

  多机部署中，主节点能成功加载模型并启动，但从节点在权重加载阶段失败，尤其在长序列场景下。

4. HCCL检查正常，但服务化拉起至约51800权重时断开

  使用交互式组网方式部署，服务启动过程中在权重加载阶段（约51800）中断，报错信息如下：

问题分析过程

为定位问题根源，开启详细日志输出并重新拉起服务，关键日志路径为：/root/ascend/log/debug/plog。

通过设置以下环境变量启用调试日志：

export ASCEND_GLOBAL_LOG_LEVEL=3
export ASCEND_SLOG_PRINT_TO_STDOUT=1

在日志中定位到关键错误信息：

日志核心报错为：

[create][ra_hdc_qp_with_attrs]ra hdc message process failed ret(-12)

该错误经查阅官方知识库确认，与RDMA Lite在64K分页场景下的内存映射机制相关：  

RDMA lite在host 64kb场景，对应使用2MB大页映射内存，无法申请到内存报错

问题根因

在64K分页模式下，若启用RDMA性能优化开关：

export HCCL_RDMA_PCIE_DIRECT_POST_NOSTRICT=true

系统将采用RDMA Lite机制，通过2MB大页映射内存以提升通信性能。然而，在64K分页场景中，内存碎片化严重，难以连续申请到完整的2MB大页内存，导致RDMA任务创建失败。

进一步分析表明：

1、64K分页下，系统内存管理粒度变大，大页内存申请成功率下降。

2、模型warm-up阶段需加载权重、激活值及KV Cache，显存占用较高，进一步压缩可用大页内存空间。

3、当RDMA Lite尝试申请2MB大页内存失败时，即触发ret(-12)错误，服务拉起中断。

⚠️ 特别说明：该问题并非产品缺陷，而是特定配置组合下的资源竞争问题。在4K分页场景下，该优化开关可显著提升性能，但在64K分页下需谨慎使用。

解决方案

临时规避方案（推荐快速恢复）

关闭RDMA性能优化开关，避免因大页内存申请失败导致服务拉起失败：

export HCCL_RDMA_PCIE_DIRECT_POST_NOSTRICT=false

说明：该方案可确保服务稳定拉起，但会牺牲部分通信算子下发性能。适用于对性能要求不高、但稳定性优先的场景。

推荐长期解决方案

优先使用4K分页模式，避免64K分页带来的内存碎片化问题：

# 查看当前分页大小
getconf PAGESIZE

若返回值为65536，表示当前为64K分页，建议切换至4K分页模式（需系统支持并重启生效）。

注意：在64K分页场景下，若必须开启RDMA性能优化，需确保：

1、模型显存占用（权重+激活+KV Cache）控制在可用大页内存范围内；

2、适当降低上下文长度或并发数，避免内存资源耗尽。

附加建议与最佳实践

1.性能与稳定性的权衡

4K分页 + `HCCL_RDMA_PCIE_DIRECT_POST_NOSTRICT=true`：性能最优，推荐用于标准部署。

64K分页 + `HCCL_RDMA_PCIE_DIRECT_POST_NOSTRICT=false`：稳定性优先，适用于资源受限或特殊系统环境。

2.问题复现阈值

该问题在上下文长度超过32k时复现概率显著上升，建议在长序列测试中重点关注。

3.环境变量配置建议

若需启用RDMA优化，建议同时配置以下环境变量以提升整体稳定性：

   export HCCL_OP_EXPANSION_MODE="AIV"
   export HCCL_DETERMINISTIC=false

4.日志排查路径

Plog日志：/root/ascend/log/debug/plog

Device侧日志：/root/ascend/log/debug/device-0

关键关键字：ra_hdc_qp_with_attrs, ret(-12), create qp

总结

在64K分页环境下，开启HCCL_RDMA_PCIE_DIRECT_POST_NOSTRICT=true虽可提升通信性能，但可能因内存碎片化导致RDMA大页申请失败，进而引发服务拉起失败。根本原因在于64K分页下内存管理粒度大，难以满足2MB大页连续申请需求。

建议开发者根据实际部署环境选择合适分页模式：

优先推荐4K分页 + RDMA优化，兼顾性能与稳定性；

64K分页场景下，建议关闭RDMA优化，以保障服务拉起成功率。

通过合理配置与资源规划，可有效规避此类问题，确保推理服务在长序列、高并发场景下的稳定运行。