内容简介：人类是如此擅长“无监督”，以至于我们经常用肤浅的认知作出荒谬的结论 — David 9人类擅长“无监督”，往往是因为“滥用”而强行结合传统聚类的深度学习方法，缺乏语义过滤，谁能保证选取的特征都是对聚类任务有意义的？（回过头还得做
人类是如此擅长“无监督”，以至于我们经常用肤浅的认知作出荒谬的结论 — David 9
人类擅长“无监督”，往往是因为“滥用” 过往的经验 妄下结论; 而AI模型的“无监督”，是对 数据 “妄下”的结论。自从有了深度网络的“大锤”，曾经传统聚类的钉子（k-means, 谱聚类等）似乎都被敲了一遍。
而强行结合传统聚类的深度学习方法，缺乏语义过滤，谁能保证选取的特征都是对聚类任务有意义的？（回过头还得做 PCA 和白化）
别忘了， 人类妄下的结论，都是有语义因果（我们有内在逻辑） 。而机器对数据妄下的结论，缺乏因果联系。
为了摒弃传统聚类和神经网络的强拼硬凑， IIC（不变信息聚类） 被提出 。IIC没有用传统聚类，而是对CNN稍作改动，用 互信息最大化目标函数 和 双输入 （ two head ）CNN的架构：
重要的地方有3点，
一， CNN网络用了 双输入 （不要误以为用了两个CNN，注意虚线部分是共享权重的）。为了做到无监督，模型每拿到一张图片 x ，都对这张图片做一次转换操作（ 平移、旋转或crop ）得到另一张图片 x’ 。因此，训练时是 两次正向传播 + 一次反向传播 的模式，把x，x’两张图片的两个输出 z ， z’ 一次性得到再做 loss 计算。
二， loss采用了 互信息最大化目标函数 ：
为了让模型总能在图像中辨认出（过滤出）相同类别的对象，与交叉熵（cross entropy）不同的是， 最大互信息 诱导出的z不会是杂乱无章的（cross entropy是对所有位一起做loss惩罚的）。 最大互信息 会类似 one hot key ， 诱导每一位独立代表一个类别 。
三，IIC可以用overclustering做类别更多的聚类（把那些难以聚类的对象放在更多的抽屉）。对IIC来说只要把输出的 z，z’ 维数进行扩大 。
综上，IIC极力让模型学到：“ 当对象类别一致时，网络输出z也应该非常相似 ”，而最大互信息使得 网络输出z 有了更强的语义（对应的类别）。
比较违反直觉的是，这种无监督纯粹是把每张图像平移，旋转或crop得到 成对图片 的，模型最后能在这些成对图片中找到较好的聚类模式：
如果你有更深刻的见解，别忘了联系David，联系方式在下面二维码：
参考文献：
- Invariant Information Clustering for Unsupervised Image Classification and Segmentation
- https://github.com/xu-ji/IIC
本文采用 署名 – 非商业性使用 – 禁止演绎 3.0 中国大陆许可协议 进行许可。著作权属于“David 9的博客”原创，如需转载，请联系微信: david9ml，或邮箱：yanchao727@gmail.com
或直接扫二维码:
以上所述就是小编给大家介绍的《“不变信息聚类”：满足你对无监督深度聚类的一点幻想，Invarient Information Clustering 深度网络...》，希望对大家有所帮助，如果大家有任何疑问请给我留言，小编会及时回复大家的。在此也非常感谢大家对 码农网 的支持！
本站部分资源来源于网络，本站转载出于传递更多信息之目的，版权归原作者或者来源机构所有，如转载稿涉及版权问题，请联系我们。
模式识别
(希)Sergios Theodoridis、(希)Konstantinos Koutroumbas / 电子工业出版社 / 2010-2 / 75.00元
本书全面阐述了模式识别的基础理论、最新方法以及各种应用。模式识别是信息科学和人工智能的重要组成部分，主要应用领域有图像分析、光学字符识别、信道均衡、语言识别和音频分类等。本书在完美地结合当前的理论与实践的基础上，讨论了贝叶斯分类、贝叶斯网络、线性和非线性分类器设计、上下文相关分类、特征生成、特征选取技术、学习理论的基本概念以及聚类概念与算法。与前一版相比，增加了大数据集和高维数据相关的最新算法，这......一起来看看 《模式识别》 这本书的介绍吧!
