【模型量化】【300I】模型量化转换适配疑问
收藏回复举报
【模型量化】【300I】模型量化转换适配疑问
t('forum.solved') 已解决
发表于2024-11-11 11:34:45
0 查看

相同环境下,{ascend_24.1.rc2-cann_8.0.rc2-py_3.10-ubuntu_22.04-aarch64-mindie_1.0.RC2.01},在800I-A2-arm64上进行量化的模型,是否可以在300I-Duo-arm64上进行推理呢?此外的话,转qwen2-72B的模型,使用310p3-ascend_24.1.rc2-cann_8.0.rc2-py_3.10-ubuntu_22.04-aarch64-mindie_1.0.RC2.02镜像会造成宕机,无法顺利量化模型,是否有推荐的量化命令呢?硬件情况:256GB 的RAM,CPU信息如下:

Architecture:           aarch64 

  CPU op-mode(s):       64-bit 

  Byte Order:           Little Endian 

CPU(s):                 64 

  On-line CPU(s) list:  0-63 

Vendor ID:              HiSilicon 

  Model name:           Kunpeng-920 

    Model:              0 

    Thread(s) per core: 1 

    Core(s) per socket: 32 

    Socket(s):          2 

    Stepping:           0x1 

    Frequency boost:    disabled 

    CPU max MHz:        2600.0000 

    CPU min MHz:        200.0000 

    BogoMIPS:           200.00 

    Flags:              fp asimd evtstrm aes pmull sha1 sha2 crc32 atomics fphp asimdhp cpuid asimdrdm jscvt fcma dcpop asimddp asimdfhm 

Caches (sum of all): 

  L1d:                  4 MiB (64 instances) 

  L1i:                  4 MiB (64 instances) 

  L2:                   32 MiB (64 instances) 

  L3:                   64 MiB (2 instances) 

NUMA: 

  NUMA node(s):         2 

  NUMA node0 CPU(s):    0-31 

  NUMA node1 CPU(s):    32-63 

Vulnerabilities: 

  Gather data sampling: Not affected 

  Itlb multihit:        Not affected 

  L1tf:                 Not affected 

  Mds:                  Not affected 

  Meltdown:             Not affected 

  Mmio stale data:      Not affected 

  Retbleed:             Not affected 

  Spec rstack overflow: Not affected 

  Spec store bypass:    Not affected 

  Spectre v1:           Mitigation; __user pointer sanitization 

  Spectre v2:           Not affected 

  Srbds:                Not affected 

  Tsx async abort:      Not affected

我要发帖子