一、当未调用per_batch_map字段且batch_size设置为1时,此时可正常调用:
build_dataset()方法内:
调用build_dataset():
得到结果:
二、当设置了per_batch_map字段,batch_size=1时:
其中can_collator为:
运行报错:
三、当未设置per_batch_map字段,batch_size=2时:
四、问题求助:
1、问题二中是什么原因导致的?我应该如何修改?
2、问题三中报错的原因是因为我每个batch里面的数据长度不一致吗?
一、当未调用per_batch_map字段且batch_size设置为1时,此时可正常调用:
build_dataset()方法内:
调用build_dataset():
得到结果:
二、当设置了per_batch_map字段,batch_size=1时:
其中can_collator为:
运行报错:
三、当未设置per_batch_map字段,batch_size=2时:
四、问题求助:
1、问题二中是什么原因导致的?我应该如何修改?
2、问题三中报错的原因是因为我每个batch里面的数据长度不一致吗?