8亿参数,刷新ImageNet纪录:何恺明团队开源最强ResNeXt预训练模型

栏目: 软件资讯 · 发布时间: 4年前

内容简介:来自Facebook何恺明团队,比以往都强大它叫注:WSL是弱监督学习,不是Windows里面的Linux。

栗子 发自 凹非寺

量子位 报道 | 公众号 QbitAI

来自Facebook何恺明团队,比以往都强大 ResNeXt 预训练模型开源了。

它叫 ResNeXt WSL ,有超过 8亿 个参数,用Instagram上面的 9.4亿 张图做了 (弱监督预训练) , 用ImageNet做了微调

注:WSL是弱监督学习,不是Windows里面的Linux。

8亿参数,刷新ImageNet纪录:何恺明团队开源最强ResNeXt预训练模型

ImageNet测试中,它的 (32×48d) 分类准确率达到 85.4% (Top-1) ,打破了从前的纪录。

LeCun大佬作为公司首席AI科学家,转推了开源的喜讯,而后众人奔走相告,赞数已经超过 1600

8亿参数,刷新ImageNet纪录:何恺明团队开源最强ResNeXt预训练模型

评论区涌起了难以置信的声音:

拿ImageNet做微调??

我头一次听说,在更大的预训练集面前, ImageNet成了微调用的小语料库

9.4亿张图?谁能做完这么多计算?

所以现在好了,你并不需要做这样大大大量的计算,可以直接从预训练的模型开始。

更好的是,开源的不止这一个模型。

究竟是有多强大

预警:先交代一下历史,后面是最新的成绩。

ResNeXt,其实诞生在2016年。

它的前辈是2015年发表的 ResNet (残差网络) ,用“ shortcut ”这种能跳过一些层的连接方式,解决了 梯度消失 问题,训练几百上千层的网络不是梦。

8亿参数,刷新ImageNet纪录:何恺明团队开源最强ResNeXt预训练模型

ResNet在图像分类、目标检测、定位、分割等等项目上完胜各路对手,拿下当年 CVPR最佳论文 ,震动了学界和工业界。

后来,作为ResNet的一个高能 进化版 ,ResNeXt在宽度和深度之外,引入了“ 基数 (Cardinality) ”的概念。在网络不加深不加宽的情况下,就能提升准确率,还能减少超参数的数量。

一个101层的ResNeXt,准确率已媲美200层的ResNet。于是,它也中选了CVPR。

而这一次, ResNeXt WSL 系列是在当年的基础上,又探索了 弱监督 (Weakly Supervised Learning) 的可能性:

Instagram图片,没有经过特别的标注,只带着用户自己加的话题标签 (#) ,就当做预训练的数据集了。

经过9.4亿张图的预训练,再拿ImageNet去微调,四个ResNeXt模型的考试成绩如下:

8亿参数,刷新ImageNet纪录:何恺明团队开源最强ResNeXt预训练模型

团队说,比起直接用ImageNet训练,加上弱监督的预训练步骤,分类准确率有明显的提升。

其中,32×48d的准确率 (Top-1) 刷新了ImageNet的纪录。

弱监督可行,今后AI就可以在更大规模的数据集上训练/预训练了。

一行代码可调用

现在,四个预训练模型都已经开源。加载只需:

1import torch
2model = torch.hub.load('facebookresearch/WSL-Images', 'resnext101_32x8d_wsl')
3# or
4# model = torch.hub.load('facebookresearch/WSL-Images', 'resnext101_32x16d_wsl')
5# or
6# model = torch.hub.load('facebookresearch/WSL-Images', 'resnext101_32x32d_wsl')
7# or
8#model = torch.hub.load('facebookresearch/WSL-Images', 'resnext101_32x48d_wsl')
9model.eval()

说不定你已经看出来了,所有模型都已加入不久前刚发布的 PyTorch Hub 豪华彩蛋。所以,一小段代码便可以轻松调用。

只有一点需要注意:这次开源的模型,要求所有输入图像,都用相同的方式 归一化 (Normalization) 。

具体示例,可以从文下传送门前往主页观摩。

One More Thing

在这样鸡冻人心的日子里,总有些小伙伴的关注点和其他人不一样:

他们用Instagram啊,我以后是不是要把所有的图都做个对抗样本,再发状态?(以达到欺骗AI的目的)

8亿参数,刷新ImageNet纪录:何恺明团队开源最强ResNeXt预训练模型

AI啊,你相信我,这真是一只长臂猿。(误)

ResNeXt主页:

https://pytorch.org/hub/facebookresearch_WSL-Images_resnext/

GitHub项目:

https://github.com/facebookresearch/WSL-Images/blob/master/hubconf.py

Colab Demo:

https://colab.research.google.com/github/pytorch/pytorch.github.io/blob/master/assets/hub/facebookresearch_WSL-Images_resnext.ipynb

ECCV论文:

https://arxiv.org/abs/1805.00932

作者系网易新闻·网易号“各有态度”签约作者

— 完 —

AI社群 | 与优秀的人交流

8亿参数,刷新ImageNet纪录:何恺明团队开源最强ResNeXt预训练模型

小程序 | 全类别AI学习教程

8亿参数,刷新ImageNet纪录:何恺明团队开源最强ResNeXt预训练模型

8亿参数,刷新ImageNet纪录:何恺明团队开源最强ResNeXt预训练模型

量子位  QbitAI · 头条号签约作者

վ'ᴗ' ի 追踪AI技术和产品新动态

喜欢就点「好看」吧 !


以上所述就是小编给大家介绍的《8亿参数,刷新ImageNet纪录:何恺明团队开源最强ResNeXt预训练模型》,希望对大家有所帮助,如果大家有任何疑问请给我留言,小编会及时回复大家的。在此也非常感谢大家对 码农网 的支持!

查看所有标签

猜你喜欢:

本站部分资源来源于网络,本站转载出于传递更多信息之目的,版权归原作者或者来源机构所有,如转载稿涉及版权问题,请联系我们

精通Android游戏开发

精通Android游戏开发

[美] Vladimir Silva / 王恒、苏金国 等 / 人民邮电出版社 / 2011-2 / 45.00元

作为引领移动技术潮流的软件平台,Android发布了NDK以支持Java和C的混合开发,使PC游戏可以在Android平台上焕发更多魅力。 本书是为那些在Android游戏开发工作中寻求突破的人准备的。书中不仅通过Space Blaster和Asteroids这两个炫酷 的街机游戏深入介绍了如何从头构建纯Java游戏,更详细展示了如何将PC上的3D经典游戏Doom和Wolfenstein 3......一起来看看 《精通Android游戏开发》 这本书的介绍吧!

MD5 加密
MD5 加密

MD5 加密工具

UNIX 时间戳转换
UNIX 时间戳转换

UNIX 时间戳转换