内容简介：特征工程的下一步可能是如何直接操控特征（同域或不同域），而不仅仅是特征选择或特征过滤— David 9相信很多初学迁移学习的朋友心里一直有个疑问：根据Google Brain在
特征工程的下一步可能是如何直接操控特征（同域或不同域），而不仅仅是特征选择或特征过滤— David 9
相信很多初学迁移学习的朋友心里一直有个疑问： 迁移学习的模型真的对新应用效果也好吗？更好的迁移模型，在其他应用上表现效果也更好吗？
根据Google Brain在 CVPR 2019 的研究总结，今天David偷懒一次，只说结论：
答案很大程度上是肯定的！Google Brain的大量实验证明，无论是把 神经网络倒数第二层 直接拿出来做预测，还是把预训练模型对新应用进行 “二次训练” ， 好的imagenet预训练模型普遍有更好的迁移学习效果 ：
如上，左图是直接把网络倒数第二层特征直接拿出来进行迁移学习（使用Logistic Regression），右图是在新应用上find-tuned的迁移学习表现。可以注意到， 只要是模型本来表现就好（横左标），迁移的效果就更好（纵坐标） 。从性能最差的MobileNet到性能最好的Inception-ResNet无一例外。
但是，迁移学习并不是就无敌了。文章指出， 在迁移学习中一定要慎用正则化 ，正则方法如 ( Dropout, Label Smooth ) 用得越少，直接把倒数第二层特征迁移后，效果就越好：
上图从左到右顺着横坐标，是在模型中去掉一些正则化方法的迁移效果，其中 “＋”号 是模型中使用的方法， “－”号 是模型中未使用的方法。因为BN（batch norｍ）不是正则化方法，不会影响迁移学习效果。Dropout就是一种后期的正则化处理，这种操作是对迁移学习有影响的。
而如果你一定要使用正则化方法，并且要对模型做迁移，建议还是需要（用新数据）fine-tune一下迁移模型，这样对迁移效果影响较小：
另外，并不是所有迁移学习都能达到显著效果：
文章指出，对于 find-grained 分类数据集（ 大类中含小类，小类中还能分类 ），如果数据量小的话，迁移学习确实有用，而如果数据量非常大，从头开始训练和迁移学习最后的效果差别不大。如上图，每个点是模型在一个数据集上 迁移学习 和 从头训练 的准确率。
参考文献：
- Do Better ImageNet Models Transfer Better?
- http://www.cs.umd.edu/~djacobs/CMSC733/FineGrainedClassification.pdf
本文采用 署名 – 非商业性使用 – 禁止演绎 3.0 中国大陆许可协议 进行许可。著作权属于“David 9的博客”原创，如需转载，请联系微信: david9ml，或邮箱：yanchao727@gmail.com
或直接扫二维码:
以上就是本文的全部内容，希望对大家的学习有所帮助，也希望大家多多支持 码农网
本站部分资源来源于网络，本站转载出于传递更多信息之目的，版权归原作者或者来源机构所有，如转载稿涉及版权问题，请联系我们。
大数据系统构建
Nathan Marz、James Warren / 马延辉、向磊、魏东琦 / 机械工业出版社 / 2017-1 / 79.00
随着社交网络、网络分析和智能型电子商务的兴起，传统的数据库系统显然已无法满足海量数据的管理需求。 作为一种新的处理模式，大数据系统应运而生，它使用多台机器并行工作，能够对海量数据进行存储、处理、分析，进而帮助用户从中提取对优化流程、实现高增长率的有用信息，做更为精准有效的决策。 但不可忽略的是，它也引入了大多数开发者并不熟悉的、困扰传统架构的复杂性问题。 本书将教你充分利用集群硬件优势的La......一起来看看 《大数据系统构建》 这本书的介绍吧!
