西风 发自 凹非寺
量子位 | 公众号 QbitAI
ICML 2024时间检验奖出炉，贾扬清共同一作论文获奖！
论文题为「DeCAF: A Deep Convolutional Activation Feature for Generic Visual Recognition
」，是贾扬清及其团队10年前在UC伯克利期间完成的工作。
ICML官方第一时间发推文表示祝贺，贾扬清回应道「深感荣幸DeCAF获ICML2024时间检验奖，这是人工智能发展惊人的十年」，并把其他作者艾特了个遍。
作者之一、现谷歌DeepMind副总裁、Gemini项目联合负责人Oriol Vinyals
也开麦表示「非常感谢这个奖（让我感觉自己老了）」：
DeCAF是AlexNet的首个开源版本，我们通过它测试了这个卓越的ImageNet分类器学习到的特征是否能广泛应用于其他视觉任务。事实证明，这个想法在今天仍然与最好的多模态模型非常相关！
两位老搭档也在评论区叙上了旧：
ICML今年是其举办的第41届，投稿量9000+，接受率27.5%。除了时间检验奖，最佳论文奖也已出炉，Stable Diffusion 3论文等上榜
。
获得时间检验奖的这篇论文，目前谷歌学术被引6012次：
先来看这篇论文都讲了什么。
著名框架Caffe的前身
这篇论文提出了一种名为DeCAF
（Deep Convolutional Activation Feature）的深度卷积激活特征，用于解决通用视觉识别问题。
主要是探索了在ImageNet等大规模标记数据集上预训练的深度卷积神经网络，其中间层特征是否能够有效迁移到其他视觉任务中，即transfer learning的可行性
。
作者采用了Geoffrey Hinton、Alex Krizhevsky、Ilya Sutskever2012年提出的AlexNet
卷积神经网络架构，包含5个卷积层和3个全连接层。在ImageNet数据集上进行预训练后，冻结网络权重。
提取了不同层的激活作为特征，具体包括DeCAF5、DeCAF6和DeCAF7（最后一个隐藏层的激活）。并在新任务上仅训练简单的线性分类器，同时保持DeCAF特征不变。
为了验证这种方法的有效性，作者在多个标准计算机视觉基准测试上进行了实验，包括对象识别（Caltech-101）、域适应（Office数据集）、细粒度识别（Caltech-UCSD鸟类数据集）和场景识别（SUN-397）。
实验结果显示，DeCAF在所有这些任务上都取得了优秀的表现，常常超越当时的最佳方法。
使用t-SNE算法将高维特征映射到2D空间，展示了DeCAF特征在语义聚类方面优于GIST和LLC等传统特征。
即使在训练样本稀缺的情况下，如单样本学习，DeCAF仍然表现出色。论文还详细分析了网络各层的计算时间分布，发现全连接层占用了大部分计算时间。
此外，论文还探讨了dropout等正则化技术的影响，特别是在DeCAF6和DeCAF7层上的应用。
最终作者开源了DeCAF特征提取工具和预训练模型。
有网友看到这篇论文在十年后的今天获奖后，突然反应过来「这是不是Caffe的起源？」
贾扬清也做出了回复：
DeCAF的训练速度不够快
（我们估计训练时间需要超过一个月），因此我们转而使用了Caffe。这就是为什么一个名字中含caffeine（咖啡因）成分为零而另一个有的原因——无论是人还是机器，含caffeine都运行得更快。
最佳论文奖
除时间检验奖，ICML 2024最佳论文奖也出炉了，今年获奖论文共有10篇。
其中包括Stable Diffusion 3论文「Scaling Rectified Flow Transformers for High-Resolution Image Synthesis
」。
Pika联合创始人兼CTO Chenlin Meng参与的「Discrete Diffusion Modeling by Estimating the Ratios of the Data Distribution
」这项工作也获奖了。
参考链接：
[1]https://icml.cc/virtual/2024/awards_detail
[2]https://arxiv.org/abs/1310.1531
[3]https://x.com/jiayq/status/1815653822028738667
[4]https://x.com/jiayq/status/1815862939569774796
