登顶五大数据集!最强目标跟踪算法SiamRPN++开源了,商汤出品 | CVPR 2019 Oral

栏目: 软件资讯 · 发布时间: 1年前

来源: mp.weixin.qq.com

内容简介:这是黑客帝国,尼奥和史密斯雨中打斗的样子。而

本文转载自:http://mp.weixin.qq.com/s?__biz=MzIzNjc1NzUzMw==&mid=2247521718&idx=3&sn=974a4a11f54f805caab2dc37ee3989af,本站转载出于传递更多信息之目的,版权归原作者或者来源机构所有。

黑栗子 发自 凹非寺

量子位 报道 | 公众号 QbitAI

登顶五大数据集!最强目标跟踪算法SiamRPN++开源了,商汤出品 | CVPR 2019 Oral

这是黑客帝国,尼奥和史密斯雨中打斗的样子。

目标追踪AI 要在光照急剧变化、物体形状大小也不断改变的场景里,准确锁定尼奥的头。

红色是商汤最新算法 SiamRPN++ 的表现,它中选了CVPR 2019的Oral。

蓝色是它的对手,来自ECCV 2018的优秀前辈 UPDT自古红蓝出CP。

动作太快,看不出红蓝谁更强?有截图啊:

登顶五大数据集!最强目标跟踪算法SiamRPN++开源了,商汤出品 | CVPR 2019 Oral 登顶五大数据集!最强目标跟踪算法SiamRPN++开源了,商汤出品 | CVPR 2019 Oral 登顶五大数据集!最强目标跟踪算法SiamRPN++开源了,商汤出品 | CVPR 2019 Oral

肉眼看去,商汤SiamRPN++更胜一筹,几乎不受复杂场景的影响。

不止如此,它已经在多个数据集上成为了 State-of-the-Art

同时也成了商汤Siam家族的骄傲。现在, 整个家族都 开源

· SiamMask (CVPR 2019) · SiamRPN++ (CVPR 2019 oral) · DaSiamRPN (ECCV 2018) · SiamRPN (CVPR 2018) · SiamFC (ECCV 2016)

但这到底是一个怎样的家族?

显赫之家

Siam是 Siamese 的缩略,所以整个家族都是 孪生网络

所谓孪生,就是两个网络的 所有权重都一样

给它们输入不同的数据,便可以测量两个输入的 相似度 ,做分类之用。

登顶五大数据集!最强目标跟踪算法SiamRPN++开源了,商汤出品 | CVPR 2019 Oral

经年累月,团队死磕孪生网络,用这类算法来做目标跟踪。

在这之中, SiamRPN 赫然挺立,中选了CVPR 2018的Spotlight。

SiamRPN:把检测算法引入跟踪

这只AI的诞生,是因为团队发现:虽然孪生网络能对目标快速定位,但不能对目标框作出调整,也就 不能调节目标的形状

可目标跟踪并不是只要定一个点, 目标所在的范围 也同样重要。

于是,团队为孪生网络引入了区域推荐网络 ( RPN ) 。

登顶五大数据集!最强目标跟踪算法SiamRPN++开源了,商汤出品 | CVPR 2019 Oral

孪生网络可以实现对目标的适应,利用被跟踪目标的信息,完成检测器的初始化;而 RPN 可以让算法对目标位置 (范围) 做出更精准的预测。

两者结合,就有了可以 端到端训练 的SiamRPN。除了算法上的创新之外,由于支持端到端训练, (在VID之外) 大规模数据集 Youtube-BB 也成了它的训练集,进一步提升性能。

于是,在OTB100、VOT15/16/17数据集上,SiamRPN都比基线算法SiamFC高出了5%以上,速度也更快。它被 CVPR 2018 选作了Spotlight。

登顶五大数据集!最强目标跟踪算法SiamRPN++开源了,商汤出品 | CVPR 2019 Oral

DaSiamRPN:改进训练集,增强判别能力

虽然,SiamRPN取得了好成绩,但它是用VID和Youtube-BB训练的:里面的类别非常少,大概二三十类,很难胜任现实任务。

COCOImageNet DET 的检测数据集,分别有80类和200类。且孪生网络的训练只需要图像对,不用完整的视频,所以轻松就把这些数据集引入了。

可引入之后又有新问题:这个网络会对所有 有语义的样本 进行响应,不只对目标物体有响应。比如目标是一个人,而AI遇到一把椅子也有很高的响应。

因为之前的训练中, 负样本 (和目标无关的样本) 只有背景信息 ,限制了网络的判别能力。

登顶五大数据集!最强目标跟踪算法SiamRPN++开源了,商汤出品 | CVPR 2019 Oral

于是,团队改进了方法——增加一些 有语意的负样本对 ,来增强跟踪器的判别能力。

这就是说,训练过程中不再让模板 (Template) 和搜索区域 (Search Region) 是相同目标;是让网络学习判别能力,去搜索区域里找模版更相似的物体,而不是一个简单的有语义的物体。

登顶五大数据集!最强目标跟踪算法SiamRPN++开源了,商汤出品 | CVPR 2019 Oral

做了这样的改动, DaSiamRPN 可以从短时跟踪拓展到 长时跟踪 ,且在UAV20L数据集上比之前成绩最好的方法提高了6%。

DaSiamRPN被ECCV 2018收录,且在VOT workshop比赛上,获得了实时赛的冠军,比上年冠军提升了 80%

登顶五大数据集!最强目标跟踪算法SiamRPN++开源了,商汤出品 | CVPR 2019 Oral

SiamRPN++:让孪生网络用上深度架构

算法也改过了,训练集也改过了。

所以,团队这一次瞄准了还没改过的孪生网络本身。

之前的孪生网络,都是基于 比较浅的卷积网络 (比如AlexNet) 。但如果直接引入 深度网络 ,性能反而会大幅下降。

登顶五大数据集!最强目标跟踪算法SiamRPN++开源了,商汤出品 | CVPR 2019 Oral

想有效利用深网络,就要解决 位置偏见 的问题。于是,研究人员提出了“位置均衡的采样策略”:

不把正样本放在中心,而是以均匀分布的采样方式,让目标在中心点附近进行偏移。

随着偏移范围增大,深度网络慢慢开始发挥作用。不止可以跟踪更多细节信息 (浅层网络特征) ,也能跟踪更多语义信息 (深层网络特征) 。多层融合信息,来进一步提升性能。

除此之外,团队还提出了新的连接部件, Depthwise Cross Correlation (下图c) 。它可以极大减少参数量,平衡两支的参数量,同时让训练更加稳定,也更好地收敛。

登顶五大数据集!最强目标跟踪算法SiamRPN++开源了,商汤出品 | CVPR 2019 Oral

结果,SiamRPN++在5个大型跟踪数据集上,都拿到了最好成绩:OTB2015,VOT2018,UAV123,LaSOT,以及TrackingNet。

突破了孪生网络和深度架构之间的障碍,这只AI顺理成章地中选了CVPR 2019的Oral。

大规模开源

这些孪生网络,现在都开源了。

商汤发布了一个叫做 PySOT 的目标跟踪库,基于PyTorch,把整个Siam家族装了进去。回顾一下,包括这些模型:

· SiamMask (CVPR 2019) · SiamRPN++ (CVPR 2019 oral) · DaSiamRPN (ECCV 2018) · SiamRPN (CVPR 2018) · SiamFC (ECCV 2016)

PySOT库提供了3种不同的backbone,有深有浅:

· ResNet{18, 34, 50} · MobileNetV2 · AlexNet

模型评估,目前支持这些数据集:

· OTB2015 · VOT16/18/19 · VOT18-LT · LaSOT · UAV123

PySOT里面,还包含了评估 工具 的接口。

所以,大家可以尽情探索了。

PySOT传送门:

https://github.com/STVIR/pysot

SiamRPN论文传送门:

http://openaccess.thecvf.com/content_cvpr_2018/papers/Li_High_Performance_Visual_CVPR_2018_paper.pdf

DaSiamRPN论文传送门:

https://arxiv.org/abs/1808.06048

SiamRPN++论文传送门:

https://arxiv.org/abs/1812.11703

作者系网易新闻·网易号“各有态度”签约作者

— 完 —

小程序|get更多AI学习干货

登顶五大数据集!最强目标跟踪算法SiamRPN++开源了,商汤出品 | CVPR 2019 Oral

加入社群

量子位AI社群开始招募啦,社群矩阵: AI讨论群AI+行业群AI技术群

目前已有 4万 AI行业从业者、爱好者加入,AI技术群更有来自 海内外各大高校实验室大牛各明星AI公司工程师 等。 自由互相交流AI发展现状及趋势。

欢迎对AI感兴趣的同学,在量子位公众号(QbitAI)对话界面回复关键字“微信群”,获取入群方式。(技术群与AI+行业群需经过审核,审核较严,敬请谅解)

登顶五大数据集!最强目标跟踪算法SiamRPN++开源了,商汤出品 | CVPR 2019 Oral

量子位  QbitAI · 头条号签约作者

վ'ᴗ' ի 追踪AI技术和产品新动态

喜欢就点「在看」吧 !


以上就是本文的全部内容,希望本文的内容对大家的学习或者工作能带来一定的帮助,也希望大家多多支持 码农网

关注码农网公众号

关注我们,获取更多IT资讯^_^


为你推荐:

相关软件推荐:

查看所有标签

本站部分资源来源于网络,本站转载出于传递更多信息之目的,版权归原作者或者来源机构所有,如转载稿涉及版权问题,请联系我们

数据挖掘十大算法

数据挖掘十大算法

(美)吴信东(Xindong Wu)、(美),库玛尔 ,(Vipin Kumar) / 李文波、吴素研 / 清华大学出版社 / 2013-5 / 39.00元

《世界著名计算机教材精选:数据挖掘十大算法》详细介绍了在实际中用途最广、影响最大的十种数据挖掘算法,这十种算法是数据挖掘领域的顶级专家进行投票筛选的,覆盖了分类、聚类、统计学习、关联分析和链接分析等重要的数据挖掘研究和发展主题。《世界著名计算机教材精选:数据挖掘十大算法》对每一种算法都进行了多个角度的深入剖析,包括算法历史、算法过程、算法特性、软件实现、前沿发展等,此外,在每章最后还给出了丰富的习......一起来看看 《数据挖掘十大算法》 这本书的介绍吧!

MD5 加密
MD5 加密

MD5 加密工具

正则表达式在线测试
正则表达式在线测试

正则表达式在线测试

HEX HSV 转换工具
HEX HSV 转换工具

HEX HSV 互换工具