Traceback (most recent call last): 

  File "/root/software/miniconda3/envs/omg/lib/python3.9/site-packages/swift/cli/sft.py", line 5, in <module> 

    sft_main() 

  File "/root/software/miniconda3/envs/omg/lib/python3.9/site-packages/swift/utils/run_utils.py", line 32, in x_main 

    result = llm_x(args, **kwargs) 

  File "/root/software/miniconda3/envs/omg/lib/python3.9/site-packages/swift/llm/sft.py", line 539, in llm_sft 

    model, template, callbacks = prepare_model_template_train(args, msg) 

  File "/root/software/miniconda3/envs/omg/lib/python3.9/site-packages/swift/llm/sft.py", line 218, in prepare_model_template_train 

    model, tokenizer = get_model_tokenizer( 

  File "/root/software/miniconda3/envs/omg/lib/python3.9/site-packages/swift/llm/utils/model.py", line 7024, in get_model_tokenizer 

    model_dir = safe_snapshot_download( 

  File "/root/software/miniconda3/envs/omg/lib/python3.9/site-packages/swift/llm/utils/model.py", line 6992, in safe_snapshot_download 

    logger.info(f'Loading the model using model_dir: {model_dir}') 

  File "/root/software/miniconda3/envs/omg/lib/python3.9/contextlib.py", line 126, in __exit__ 

    next(self.gen) 

  File "/root/software/miniconda3/envs/omg/lib/python3.9/site-packages/swift/utils/utils.py", line 30, in safe_ddp_context 

    dist.barrier() 

  File "/root/software/miniconda3/envs/omg/lib/python3.9/site-packages/torch/distributed/c10d_logger.py", line 47, in wrapper 

    return func(*args, **kwargs) 

  File "/root/software/miniconda3/envs/omg/lib/python3.9/site-packages/torch/distributed/distributed_c10d.py", line 3703, in barrier 

    work.wait() 

RuntimeError: The Inner error is reported as above. The process exits for this inner error, and the current working operator name is HcclAllreduce. 

Since the operator is called asynchronously, the stacktrace may be inaccurate. If you want to get the accurate stacktrace, pleace set the environment variable ASCEND_LAUNCH_BLOCKING=1.

环境中各个包的版本：

absl-py                       2.1.0 

accelerate                    1.4.0 

addict                        2.4.0 

aiofiles                      23.2.1 

aiohappyeyeballs              2.5.0 

aiohttp                       3.11.13 

aiosignal                     1.3.2 

aliyun-python-sdk-core        2.16.0 

aliyun-python-sdk-kms         2.16.5 

annotated-types               0.7.0 

anyio                         4.8.0 

ascendebug                    0.1.0 

async-timeout                 5.0.1 

attrdict                      2.0.1 

attrs                         25.1.0 

auto-tune                     0.1.0 

binpacking                    1.5.2 

certifi                       2025.1.31 

cffi                          1.17.1 

charset-normalizer            3.4.1 

click                         8.1.8 

cloudpickle                   3.1.1 

contourpy                     1.3.0 

cpm-kernels                   1.0.11 

crcmod                        1.7 

cryptography                  44.0.2 

cycler                        0.12.1 

Cython                        3.0.12 

dacite                        1.9.2 

dataflow                      0.0.1 

datasets                      2.21.0 

decorator                     5.2.1 

dill                          0.3.8 

distro                        1.9.0 

einops                        0.8.1 

exceptiongroup                1.2.2 

fastapi                       0.115.11 

ffmpy                         0.5.0 

filelock                      3.17.0 

fonttools                     4.56.0 

frozenlist                    1.5.0 

fsspec                        2024.6.1 

future                        1.0.0 

gradio                        4.44.1 

gradio_client                 1.3.0 

grpcio                        1.70.0 

h11                           0.14.0 

hccl                          0.1.0 

hccl-parser                   0.1 

httpcore                      1.0.7 

httpx                         0.28.1 

huggingface-hub               0.29.1 

idna                          3.10 

importlib_metadata            8.6.1 

importlib_resources           6.5.2 

jieba                         0.42.1 

Jinja2                        3.1.5 

jiter                         0.8.2 

jmespath                      0.10.0 

joblib                        1.4.2 

kiwisolver                    1.4.7 

llm-datadist                  0.0.1 

llm-engine                    0.0.1 

Markdown                      3.7 

markdown-it-py                3.0.0 

MarkupSafe                    2.1.5 

matplotlib                    3.9.4 

mdurl                         0.1.2 

ml_dtypes                     0.5.1 

modelscope                    1.18.1 

mpmath                        1.3.0 

ms-swift                      2.5.1 

msadvisor                     1.0.0 

multidict                     6.1.0 

multiprocess                  0.70.16 

networkx                      3.2.1 

nltk                          3.9.1 

numpy                         1.26.4 

op-gen                        0.1 

op-test-frame                 0.1 

openai                        1.65.4 

orjson                        3.10.15 

oss2                          2.19.1 

packaging                     24.2 

pandas                        2.2.3 

pathlib2                      2.3.7.post1 

peft                          0.12.0 

pillow                        10.4.0 

pip                           25.0 

propcache                     0.3.0 

protobuf                      3.20.0 

psutil                        7.0.0 

pyarrow                       19.0.1 

pycparser                     2.22 

pycryptodome                  3.21.0 

pydantic                      2.10.6 

pydantic_core                 2.27.2 

pydub                         0.25.1 

Pygments                      2.19.1 

pyparsing                     3.2.1 

python-dateutil               2.9.0.post0 

python-multipart              0.0.20 

pytz                          2025.1 

PyYAML                        6.0.2 

regex                         2024.11.6 

requests                      2.32.3 

rich                          13.9.4 

rouge                         1.0.1 

ruff                          0.9.9 

safetensors                   0.5.3 

scipy                         1.13.1 

semantic-version              2.10.0 

sentencepiece                 0.2.0 

setuptools                    69.5.1 

shellingham                   1.5.4 

simplejson                    3.20.1 

six                           1.17.0 

sniffio                       1.3.1 

sortedcontainers              2.4.0 

starlette                     0.46.0 

sympy                         1.13.3 

te                            0.4.0 

tensorboard                   2.19.0 

tensorboard-data-server       0.7.2 

tiktoken                      0.9.0 

tokenizers                    0.20.3 

tomlkit                       0.12.0 

torch                         2.1.0 

torch-npu                     2.1.0.post6 

tornado                       6.4.2 

tqdm                          4.67.1 

transformers                  4.46.3 

transformers-stream-generator 0.0.5 

trl                           0.15.2 

typer                         0.15.2 

typing_extensions             4.12.2 

tzdata                        2025.1 

urllib3                       2.3.0 

uvicorn                       0.34.0 

websockets                    12.0 

Werkzeug                      3.1.3 

wheel                         0.45.1 

xxhash                        3.5.0 

yarl                          1.18.3 

zipp                          3.21.0