---
title: 自动通道稀疏搜索算法
description: "自动通道稀疏搜索默认采用的搜索算法为贪婪搜索算法，在给定模型计算量约束下，自动选择每一层可删除的、较为合适的通道（价值排序靠后的通道），降低通道稀疏对模型经过Fine-tune精度损失的影响。"
url: https://www.hiascend.com/document/detail/zh/canncommercial/latest/devaids/amct/atlasamct_16_0396.html
sourcePath: /source/zh/canncommercial/900/devaids/amct/atlasamct_16_0396.html
indexId: 609548f1707a9ced3831a72db0458aff59dfe2b0b19f7db945b59fca46eca66d65
---
# 自动通道稀疏搜索算法

自动通道稀疏搜索默认采用的搜索算法为贪婪搜索算法，在给定模型计算量约束下，自动选择每一层可删除的、较为合适的通道（价值排序靠后的通道），降低通道稀疏对模型经过Fine-tune精度损失的影响。

该问题为组合优化问题，建模为背包问题，已知所有物品各自的价值vi和重量Fi，求背包容量C下能够装下总价值最多的物品，可以用公式表示为：

最大化：

受限于：

其中，vi相当于稀疏敏感度；Fi为比特复杂度；b为通道稀疏方案，即该通道是否保留；C为用户设置的压缩率。

对于通道稀疏任务，重量Fi为第i个通道的计算量，vi为裁剪第i个通道后网络w的损失函数变化：


其中，loss(w - wi)可以通过一阶或者二阶泰勒展开式来做近似估计。

根据用户给定的目标稀疏率，计算每一层每一通道的价值密度（稀疏敏感度/比特复杂度），全局排序后挑选出价值密度最低的一批通道进行裁剪，通过上述的组合优化方法完成求解，达成搜索任务。