支持Leading Dimension功能,key和value由传入tensor:kStrides、vStrides、kOffset、vOffset确定。kStrides和vStrides表示从当前元素到下一个元素在内存中的跨度,kOffset表示key中第一个元素的位置相对于输入首地址的偏移,vOffset表示key中第一个元素的位置相对于输入首地址的偏移。
遍历每个key和value,将key和value(num_heads, head_size)以slotmapping填入key_cache/value_cache指定位置。