并发情况下输出确定性问题
收藏回复举报
并发情况下输出确定性问题
t('forum.solved') 已解决
新人帖
发表于2025-11-12 11:40:48
0 查看

问题描述:在开启确定性计算后并发小于5时输出确定,并发高时输出不确定

机器:Atlas 800T

模型:Qwen2.5-7B-Instruct-1M

mindie:2.1.RC1

参数:

"model": MODEL,

    "messages": [

        {"role": "system", "content": "You are an assistant. Answer clearly and concisely."},

        {"role": "user", "content": QUERY}

    ],

    "temperature": 1e-6,

    "top_k": 1,

    "top_p": 0.999999,

    "do_sample": False,

    "seed": 42,

    "repetition_penalty": 1.0,

    "max_tokens": 512,

    "stream": False

已开启

export LCCL_DETERMINISTIC=1 
export HCCL_DETERMINISTIC=true
export ATB_MATMUL_SHUFFLE_K_ENABLE=0

输出结果

cke_12380.png

我要发帖子