简述：基于大模型（Transformer 架构）的TTS（文本转语音）技术在华为910b算力卡上的适配情况。完成模型推理性能优化，单张910b算力卡做10路以上的并发，找寻有项目落地经验的技术专家提供工程实施方案 

具体问题： 

使用cosyvoice这个模型，在升腾910b直接推理的话RTF没办法接近1，基本1.2还不稳定，然后N卡上vllm推理是能满足需求。现在需要atlas 800T上面单卡搞到10路并发，实际测试结果（基于torch npu推理）显存是够的，但是RTF达不到要求。  然后昇腾版本的VLLM缺少一个增加自定义模型的功能，  目前华为侧的支撑反馈VLLM昇腾版本更新到10月份还不一定能搞定，建议用triton，triton目前昇腾版本我找了好多，也没人具体用他去推理成功cosyvoice，算法在适配triton过程中也遇到很多问题，还有个核心问题，triton大概率不如vllm加速效果好，即使跑通也不一定能解决问题。核心的目标是910b单卡跑通10路并发 

有偿求大神解决算法问题，我们是正经创业公司，可以签咨询合同，一切按照正规来，咨询费可商量。 

联系邮箱woshiqsh1986@126.com，留下能联系到您的方式，可以加个微信。线上咨询，所以您的坐标在全国皆可。