在atlas200idka2上完成一个包含llama部署的项目， 

在llama部署这一步骤上我们的思路是拆分llama成几个部分（因为太大了）， 

分别转om再在200i上顺次运行。 

我们的输入的初始长度是279个token，目标进行7个token的预测，不缓存key/value时，相当于每一次预测都要重复计算那279个token， 

于是我们对模型做了修改，增加了key/value的输入输出接口，也就是后面六个token运行时只要计算一个token的key/vlaue， 

再不断把前一次计算输出的key/value concat上去。理论上计算量少了，但运行速度差别不大，想问下可能原因，或提供优化手段。