悠悠楠杉
网站页面
VisionTransformer必读系列：图像分类综述（三）MLP、ConvMixer与架构分析
08/15
一、从Transformer到MLP：架构的简化与重构
当Vision Transformer（ViT）证明纯注意力机制可处理图像任务后，研究者开始反思：是否所有组件都必要？2021年涌现的MLP架构（如MLP-Mixer、ResMLP）给出了答案——去掉自注意力，仅用MLP层也能实现竞争力。
核心发现
- Token混合替代注意力：MLP-Mixer通过"channel-mixing MLP"和"token-mixing MLP"分别实现跨通道与空间位置的信息交互，其计算效率优于ViT。
- 参数共享的潜力：ResMLP证明，即使共享空间投影权重，模型性能下降不足1%，但显存占用减少30%。
- 数据依赖性的削弱：MLP架构在中小规模数据集（如ImageNet-1k）表现接近ViT，但在需要长程建模的任务（如分割）上仍有差距。
思考：MLP的成功暗示视觉任务可能更依赖基础特征交互，而非复杂的动态权重分配。
二、ConvMixer：当卷积遇见ViT
ConvMixer的诞生源于一个尖锐问题："ViT的优势真的来自注意力吗？" 通过极端实验设计，它证明：
- 深度可分离卷积等价于ViT的patch embedding+注意力机制
- 更大感受野比动态权重更重要
- 在300epoch训练下，纯CNN结构准确率媲美ViT
关键对比
| 指标 | ViT-B/16 | ConvMixer-1536/24 |
|---------------|----------|-------------------|
| ImageNet Top-1 | 79.0% | 81.4% |
| 参数量(M) | 86 | 51 |
| FLOPs(G) | 17.6 | 13.2 |
启示：传统卷积的优化潜力被低估，而ViT的部分优势可能来自训练策略（如强数据增强、长周期训练）。
三、架构分析的三个维度
1. 计算效率的博弈
- 注意力复杂度：ViT的O(n²)计算在长序列场景（如1024x1024图像）显存占用爆炸
- 卷积的局部性：ConvNeXt通过7x7大核模拟注意力，FLOPs降低40%
2. 归纳偏置的取舍
- CNN的先天优势：平移等变性适合图像，但可能限制长程建模
- Transformer的灵活性：动态注意力适应多样任务，但需要更多数据
3. 训练范式的革命
ViT的成功部分归因于：
- 大规模预训练（如JFT-300M）
- 强正则化策略（MixUp+CutMix+LabelSmoothing）
- 学习率热重启（Cosine with warmup）
四、未来方向：融合还是分化？
当前趋势显示两类架构正在相互借鉴：
1. CNN的Transformer化：如ConvNeXt引入LayerScale、GELU激活
2. Transformer的CNN化：如PVT采用金字塔结构，Swin Transformer引入局部窗口
终极命题：是否存在统一架构？Meta的《A ConvNet for the 2020s》给出暗示——设计原则比组件形式更重要，即：
- 层次化特征表示
- 渐进式下采样
- 适度的全局交互
或许，未来属于能动态融合局部与全局、静态与动态特性的混合架构。
结语：当我们在MLP、CNN、Transformer之间争论时，真正的赢家可能是那些跳出框架，直击问题本质的设计。正如ConvMixer作者所言："Sometimes the simplest ideas are the hardest to see." （有时候，最简单的想法反而最难被发现。）
