内容简介：鱼羊 发自 麦蒿寺量子位 报道 | 公众号 QbitAI最新研究表明，无需重构，无监督表示学习也可以表现出色。
鱼羊 发自 麦蒿寺
量子位 报道 | 公众号 QbitAI
最新研究表明，无需重构，无监督表示学习也可以表现出色。
来自图灵奖得主 Hinton 团队的最新研究，提出了一种名为 SimCLR 的视觉表示对比学习简单框架。
作者表示，SimCLR 简化了自监督对比学习算法，使其不再依赖于专门的架构和存储库。
△ 灰色x表示有监督ResNet-50
SimCLR
SimCLR 学习表示的方式，是通过对比损失最大化了同一示例不同增强视图的隐藏层之间的一致性。
使其表现出色的关键因素，有四点：
1. 多个数据增强的组合
研究人员发现，即使模型可以在对比任务中几乎完美地识别出正对，也无法通过单个变换来学习良好的表示。
采用数据增强组合时，对比预测任务会变得更加困难，但表示质量会大大提高。
并且，研究还指出，比起监督学习，对比学习需要更强大的数据增强。
2. 在表示（the representation）和对比（the contrastive）之间引入可学习的非线性变换
下图显示了使用三种不同头架构的线性评估结果。
非线性投影要好于线性投影，并且比没有投影要好得多。
3. 更大的批处理规模和更多的训练步骤
与监督学习相反，在对比学习中，较大的批处理量产生了更多的负面样本，从而促进了收敛。
4. 温度标度交叉熵损失的归一化
实验结果
在 ImageNet 上，SimCLR 方法训练出的线性分类器与有监督的 ResNet-50 性能相匹配，达到了 76.5% 的 top-1 准确率。相比于 SOTA，提升了7个百分点。
仅对 1% 的标签进行微调时，SimCLR 可以达到 85.8% 的 top-5 准确率。并且相比于 AlexNet，标签数量减少了 100 倍。
一作：北邮毕业生
SimCLR 的研究团队来自谷歌大脑，图灵奖得主 Geoffrey Hinton 名列其中。
论文一作，则是本科毕业于北京邮电大学的 Ting Chen。
本科毕业后，Ting Chen 赴美留学，先后拿下东北大学（Northeastern University）和加州大学洛杉矶分校两个CS博士学位。
2017年开始，他先后在谷歌AI、谷歌大脑等部门实习，2019年正式成为谷歌大脑的研究科学家。
传送门
论文地址：
https://arxiv.org/abs/2002.05709
Ting Chen 推特：
https://twitter.com/tingchenai/status/1228337240708874241
— 完 —
疫情防控期间，家里的小朋友有点无聊？
推荐给7-12岁的小朋友，一个好玩又有趣的事情：在家学习编程。这是一个绝佳的逻辑思维、数理思维、计算思维的提升方式。
柯基少儿编程入门课限时优惠招生，2020年2月17日、29日两个开课时间可选，一共七个课时，现在只需48元，而且学完课程学费全返！
欢迎爸爸妈妈们扫码查看、报名：
在家学编程 | 柯基编程双师互动课
AI内参 | 关注趋势，把握机遇
内参新升级！拓展优质人脉，获取最新AI资讯&论文教程，欢迎加入AI内参社群一起学习~
量子位 QbitAI · 头条号签约作者
վ'ᴗ' ի 追踪AI技术和产品新动态
喜欢就点「在看」吧 !
以上就是本文的全部内容，希望本文的内容对大家的学习或者工作能带来一定的帮助，也希望大家多多支持 码农网
本站部分资源来源于网络，本站转载出于传递更多信息之目的，版权归原作者或者来源机构所有，如转载稿涉及版权问题，请联系我们。
网页设计创意书（卷2）
麦克尼尔 / 图灵编辑部 / 人民邮电 / 2012-1 / 49.00元
《网页设计创意书(卷2)》是《网页设计创意书》的卷2，但并非其简单补充，而是作者基于近几年网站发展新趋势的再创作。《网页设计创意书(卷2)》先讲解了如何从他人的优秀设计中寻找灵感，接着阐述了重点、对比、平衡、对齐等网站设计的基本原则，然后将网站按类型、设计元素、风格和主题、结构样式和结构元素分类，并分章介绍了每一类的设计技巧。《网页设计创意书(卷2)》语言简练，结合作者精挑细选的网站实例，通俗易懂......一起来看看 《网页设计创意书（卷2）》 这本书的介绍吧!
