入口端适配

入口端适配中,我们需要在“{llm_path}/examples/models/{model}”路径下,构建一个run_pa.py脚本,该脚本构建一个继承了基类MultimodalPARunner的子类{model}Runner。该子类实现如下功能:

  1. 调用{model}Router、{model}Config、Flash{model}ForCausalLM实现模型配置和模型权重的加载。
  2. 实现模型的warm_up和前向推理。

如有需要,重写对应函数或方法即可。