物理传热启发的视觉表征模型vHeat来了，尝试突破注意力机制，兼具低复杂度、全局感受野

AIxiv专栏是本站发布学术、技术内容的栏目。过去数年，本站AIxiv专栏接收报道了2000多篇内容，覆盖全球各大高校与企业的顶级实验室，有效促进了学术交流与传播。如果您有优秀的工作想要分享，欢迎投稿或者联系报道。投稿邮箱：liyazhou@jiqizhixin.com；zhaoyunfeng@jiqizhixin.com

如何突破 transformer 的 attention 机制？中国科学院大学与鹏城国家实验室提出基于热传导的视觉表征模型 vheat。将图片特征块视为热源，并通过预测热传导率、以物理学热传导原理提取图像特征。相比于基于attention机制的视觉模型， vheat 同时兼顾了：计算复杂度（1.5次方）、全局感受野、物理可解释性。

当使用vHeat-base+%E6%A8%A1%E5%9E%8B进行高分辨率图像输入时，通过put、GPU显存占用、flops分别是Swin-base+%E6%A8%A1%E5%9E%8B的3倍、1/4、3/4。在图像分类、目标检测、语义/实例分割等基础下游任务上达到了先进的性能表现。

• 论文地址: https://arxiv.org/pdf/2405.16555

• 代码地址: https://github.com/MzeroMiko/vHeat

• 论文标题：vHeat: Building Vision Models upon Heat Conduction

Overview

当前最主流的两类基础视觉模型是CNN和视觉Transformer（ViT）。然而，CNN的性能表现受限于局部感受野和固定的卷积核算子。ViT 具有全局依赖关系的表征能力，然而代价是高昂的二次范数计算复杂度。我们认为 CNN 和 ViT 的卷积算子和自注意力算子都是特征内部的像素传递过程，分别是一种信息传递的形式，这也让我们联想到了物理领域的热传导。于是我们根据热传导方程，将视觉语义的空间传播和物理热传导建立联系，提出了一种 1.5 次方计算复杂度的视觉传导算子（Heat Conduction Operator, HCO），进而设计出了一种兼具低复杂度、全局感受野、物理可解释性的视觉表征模型 vHeat。HCO 与 self-attention 的计算形式和复杂度对比如下图所示。实验证明了 vHeat 在各种视觉任务中表现优秀。例如，vHeat-T 在 ImageNet-1K 上达到了 82.2% 的分类准确率，比 Swin-T 高 0.9%，比 ViM-S 高 1.7%。性能之外，vHeat 还拥有高推理速度、低 GPU 显存占用和低 FLOPs 这些优点。在输入图像分辨率较高时，base 规模的 vHeat 模型相比于 Swin 只多吞吐量1/3、1/4 的GPU显存占用和 3/4 的 FLOPs。

方法介绍

用表示点在 t 时刻下的温度， 物理热传导方程为，其中 k>0，表示热扩散率。给定 t=0 时刻下的初始条件，该热传导方程可以采用傅里叶变换求得通解，表示如下：

其中和分别表示傅里叶变换和逆傅里叶变换， 表示频域空间坐标。

我们利用 HCO 来实现视觉语义中的热传导，先将物理热传导方程中的扩展为多通道特征，将视为输入，视为输出，HCO 模拟了离散化形式的热传导通解，如下公式所示：

其中和分别表示二维离散余弦变换和逆变换，HCO 的结构如下图 (a) 所示。

此外，我们认为不同图像内容应该对应不同的热扩散率，考虑到的输出在频域中，我们根据频率值来决定热扩散率，。由于频域中不同位置表示了不同的频率值，我们提出了频率值编码（Frequency Value Embeddings,  FVEs）来表示频率值信息，与 ViT 中的绝对位置编码的实现和作用类似，并用 FVEs 对热扩散率 k 进行预测，使得 HCO 可以进行非均匀、自适应的传导，如下图所示。

vHeat 采用多层级的结构实现，如下图所示，整体框架与主流的视觉模型类似，其中的 HCO layer 如图 2 (b) 所示。

实验结果

ImageNet分类

1. vHeat-T 取得了 82.2% 的性能，超过 DeiT-S 达 2.4%、Vim-S 达 1.7%、Swin-T 达 0.9%。
2. vHeat-S 取得了 83.6% 的性能，超过 Swin-S 达 0.6%、ConvNeXt-S 达 0.5%。
3. vHeat-B 取得了 83.9% 的性能，超过 DeiT-B 达 2.1%、Swin-B 达 0.4%。

下游任务

在 COCO 数据集上， vHeat 也拥有性能优势：在 fine-tune 12 epochs 的情况下，vHeat-T/S/B 分别达到 45.1/46.8/47.7 mAP，超过了 Swin-T/S/B 达 2.4/2.0/0.8 mAP，超过 ConvNeXt-T/S/B 达 0.9/1.4/0.7 mAP。在 ADE20K 数据集上，vHeat-T/S/B 分别达到 46.9/49.0/49.6 mIoU，相比于 Swin 和 ConvNeXt 依然拥有更好的性能表现。这些结果验证了 vHeat 在视觉下游实验中完全 work，展示出了能平替主流基础视觉模型的潜力。

分析实验

有效感受野

以上就是物理传热启发的视觉表征模型vHeat来了，尝试突破注意力机制，兼具低复杂度、全局感受野的详细内容，更多请关注叮当号网其它相关文章！