深度学习的学习历程

栏目: 数据库 · 发布时间: 1年前

来源: mp.weixin.qq.com

内容简介:*延伸阅读

本文转载自:http://mp.weixin.qq.com/s?__biz=MzI5MDUyMDIxNA==&mid=2247489025&idx=1&sn=3be50cfd11ed82d217198ee8fba4963d,本站转载出于传递更多信息之目的,版权归原作者或者来源机构所有。

极市正在推出 CVPR2019的专题直播分享会 邀请CVPR2019的论文作者进行线上直播, 分享优秀的科研工作和技术干货,也欢迎各位小伙伴自荐或推荐优秀的CVPR论文作者到极市进行技术分享~

本周四(5月30日)晚, 帝国理工学院计算机系IBUG组博士生 邓健康 ,将为我们分享: ArcFace 构建高效的人脸识别系统(CVPR2019 ,公众号回复 “42” 即可获取直播详情。

作者 | mileistone

来源 | https://zhuanlan.zhihu.com/p/34524772

已获作者授权,请勿二次转载

我刚入门深度学习的时候,看了各种深度学习相关的资料,花书、cs231n、neural networks and deep learning、cs224d等等。

看来看去,感觉好像什么都懂了,不就那些模块吗,conv、lstm、pooling、fc、drop out等等,这些模块的公式早就能背得滚瓜烂熟。alexnet、vgg、googlenet、resnet等网络就像乐高一样,把这些模块当积木一样组合起来,好像也没啥特别的。

又好像什么都不懂,学会这些模块的公式就算会深度学习了吗?整个深度学习的学习周期是怎样的,我下一步应该干啥?这些模块看起来平平无奇,为什么组合在一起就能发挥这么大威力?为什么drop out能起到正则作用?L1正则和L2正则有什么区别?cnn、rnn、dnn除了公式不一样外到底有啥区别?诶,最后一个fc层看起来跟多类别lr分类器好像啊,它们是一回事吗?各种各样的问题,不一而足,而每个问题我都不知道答案。

看的这些资料里面要么没讲到这些问题,要么用比较数学的方式解释,对初学者非常不友好。

我觉得初学者最缺的不是深度学习的资料,以及那一堆公式,而是一个指路人,他能用通俗易懂的方式把深度学习在你面前掰开,又亲手把它给捏回去,还能告诉你深度学习整个的学习周期是怎样的,这样就能让你少走很多弯路,提高学习的效率。

如果现在可以穿越到我刚入门的时候,我会这样跟当时的自己讲:

深度学习的资料汗牛充栋,不过入门看其中一两本经典的书就够了,比如花书《deep learning》和stanford的cs231n。

入门不要贪多,不要贪图一下就啥都能理解。入门一定要快,不要恋战,比较难理解的知识点先跳过去。入门的目的是对深度学习的历史、概貌有个大致了解,知道深度学习能干什么。

深度学习入门的确容易,就那么几个模块,conv、rnn、relu、pooling、fc等等,只要你懂线性代数、求导,然后看一两本经典的书就入门了。

但是想学好实际上却不那么容易。我觉得学习深度学习分为三个阶段。

一、看山是山

conv、rnn、relu、pooling、fc等等模块的公式背得滚瓜烂熟,定义烂熟于心,但是别人要问两个为什么,立马就招架不住了。

这个阶段主要是看教材、课程,打好基础。

二、看山不是山

conv不就是模板匹配+sliding window嘛,跟用hog进行行人检测的过程多类似呀,只不过conv里的模板参数可以学;drop out不就是集成学习的思想嘛,它跟random forest多像啊;L1正则和L2正则是加在模型上的prior,比如L1正则假定了一个拉普拉斯分布,L2正则假定了一个高斯分布;fc不就是矩阵里空间变换嘛;最后一层fc加softmax不就是多分类lr嘛,之前的部分可以看做一个特征提取器,然后用多分类lr对特征进行分类。

cnn和rnn是加了assumption的dnn。cnn的assumption是数据在二维空间上存在着相关性,rnn的assumption是数据在一维空间上存在着相关性。心想“诶,一维空间是二维空间的特例,那cnn岂不是可以用来解决需要使用rnn的问题?我擦,大发现,看来可以搞一波事情了,谷歌了一下,发现facebook已经用cnn来做翻译了,holy shit,晚了一步”。

这个阶段主要是思考上个阶段看的东西,将书本里的知识内化为自己的知识。

三、看山还是山

慢慢意识到,没有最好的模型,只有最合适的模型。之前听到实验室学弟问“深度学习这么厉害,为啥还要学lr、naive bayes、svm这些low的模型”,我想这应该是很多初学者的疑问,我当初也有这样的疑问。

尺有所长,寸有所短。每个模型都有它适用的范围(其实也就是assumption),深度学习也不例外,超过了适用范围,啥模型都得嗝屁。比如你的数据天然是线性可分的,那lr或者svm将会是最好的选择,如果你选了高大上的深度学习,结果反而会适得其反。

面对一个任务,分析这个任务的assumption,然后去你的武器库(也就是各种模型)里寻找跟这个assumption匹配的武器,知己知彼,方能百战不殆。不要瞧不起svm这样的匕首,也不要太高看深度学习这样的屠龙刀。

这个阶段就是要融会贯通,无招胜有招。大音希声,大象无形,武功高强者,飞花摘叶俱可伤人。

*延伸阅读

点击左下角 阅读原文 ”, 即可申请加入极市 目标跟踪、目标检测、工业检测、人脸方向、视觉竞赛等技术交流群, 更有每月大咖直播分享、真实项目需求对接、干货资讯汇总,行业技术交流, 一起来让思想之光照的更远吧~

深度学习的学习历程

觉得有用麻烦给个在看啦~    深度学习的学习历程


以上就是本文的全部内容,希望本文的内容对大家的学习或者工作能带来一定的帮助,也希望大家多多支持 码农网

关注码农网公众号

关注我们,获取更多IT资讯^_^


为你推荐:

相关软件推荐:

查看所有标签

本站部分资源来源于网络,本站转载出于传递更多信息之目的,版权归原作者或者来源机构所有,如转载稿涉及版权问题,请联系我们

深度学习

深度学习

[美] 伊恩·古德费洛、[加] 约书亚·本吉奥、[加] 亚伦·库维尔 / 赵申剑、黎彧君、符天凡、李凯 / 人民邮电出版社 / 2017-7-1 / 168

《深度学习》由全球知名的三位专家Ian Goodfellow、Yoshua Bengio 和Aaron Courville撰写,是深度学习领域奠基性的经典教材。全书的内容包括3个部分:第1部分介绍基本的数学工具和机器学习的概念,它们是深度学习的预备知识;第2部分系统深入地讲解现今已成熟的深度学习方法和技术;第3部分讨论某些具有前瞻性的方向和想法,它们被公认为是深度学习未来的研究重点。 《深度......一起来看看 《深度学习》 这本书的介绍吧!

Base64 编码/解码
Base64 编码/解码

Base64 编码/解码

MD5 加密
MD5 加密

MD5 加密工具

HSV CMYK 转换工具
HSV CMYK 转换工具

HSV CMYK互换工具