据说有RNN和CNN结合的xDeepFM

介绍

也是一篇在CTR预估中堆Deep层数的轮子文，先来了解一下：

1. DeepFM：使用 FM 的特征组合能力灌给DNN进行joint-train
2. Deep⨯：根据首层和次层的依赖可以解决多阶特征组合的问题

不过xDeepFM所提出的点是结合RNN和CNN的特性完成多阶特征的抽取，并且最终和和DNN以及Linear整合到一起完成显性特征的使用。

CIN

据说有RNN和CNN结合的xDeepFM中最重要的核心元素是 CIN （Compressed Interaction Network）

一个图来解释 CIN :

这里：

1. 我们输入的是一个m个特征的D维Embedding数据，简称$X^0 \in R^{m \times D}$,这个作为第一层
2. 然后CIN有设计一种计算下一层的式子：$$X_{h,*}^k = \sum_{i=1}^{H_{k-1}} \sum_{j=1}^m W_{i,j}^{k,h}(X_{i,*}^{k-1} \circ X_{j,*}^0)$$

   Deep⨯
   sum pooling
   

这儿 CIN 各种复杂度：

1. 他的参数复杂度是:$\sum_{k=1}^T H_k \times (1+H_{k-1} \times m)$

   CIN
   

2. 他的计算复杂度是:$O(mH^2DT)$
   • 他单层的$Z^{k+1}$的计算复杂度是$O(mHD)$
   • 并且额外的我们还需要将feature maps汇聚到$H$个隐藏节点

xDeepFM

最终的 xDeepFM 的大结构是参考了 Wide&Deep 的方式:

CIN
DNN

他和 DeepFM 的关系：如果将 CIN 这一层里面的层数改为1，他其实就是一个FM

实验结果

里面描述的实验结果中，

看起来 xDeepFM 还是有一些提升的，不过主要提升是在 DianPing 数据集上，另外两个数据集提升的还是很微弱，在这种复杂度下，计算性能和带来的效果回报的受益就比较低了。

总结

1. 感觉 xDeepFM 主要引入了 Deep&Cross 里面的 Cross 机制，就是在做堆叠
2. 另外其实看到堆叠和交叉还是能带来一定效果的，但是受益越来越不明显了，如果运行性能和算法性能的性价比， FM 无疑是最高，但是Deep模型可以说故事（chui）啊
3. 作者开放了 源码 ，赞一个

文献

1. Lian, Jianxun, et al. “xDeepFM: Combining Explicit and Implicit Feature Interactions for Recommender Systems.” arXiv preprint arXiv:1803.05170 (2018).