Field-Each Type:p_{ij}=v_i\cdot W_i\odot v_j。每一个filed都有自己的隐矩阵W_i\in R^{k\times k},参数量为f·k·k; Field-Interaction Type:p_{ij}=v_i\cdot W_{ij}\odot v_j。不同的field之间的交互都有一个隐矩阵W_{ij}\in R^{k\times k},参数量为\frac{f(f-1)}{2}\...
前面的deepFM在embedding层后把FM部分直接concat起来(f*k维,f个field,每个filed是k维向量)作为DNN的输入。Neural Factorization Machines,简称NFM,提出了一种更加简单粗暴的方法,在embedding层后,做了一个叫做BI-interaction的操作,让各个field做element-wise后sum起来去做特征交叉,MLP的输入规模直接压缩到k维,和特征的...
7. Neural Factorization Machines (NFM) 前面的deepFM在embedding层后把FM部分直接concat起来(f*k维,f个field,每个filed是k维向量)作为DNN的输入。 Neural Factorization Machines,简称NFM,提出了一种更加简单粗暴的方法,在embedding层后,做了一个叫做BI-interaction的操作,让各个field做element-wise后sum起来去做特征...
7. Neural Factorization Machines (NFM) 前面的deepFM在embedding层后把FM部分直接concat起来(f*k维,f个field,每个filed是k维向量)作为DNN的输入。Neural Factorization Machines,简称NFM,提出了一种更加简单粗暴的方法,在embedding层后,做了一个叫做BI-interaction的操作,让各个field做element-wise后sum起来去做特征交...
从神经网络的视角来看,MF相当于为user和iem引入了嵌入向量,而FM为所有的离散特征引入了嵌入向量,降低了参数的数量,而FFM结合广告领域数据的多field特点,将不同field的特征交叉与同一filed的特征交叉进行区分,为每一维特征引入了多个隐向量。 2.2 串联模型(FM与DNN串联): ...
3)Filed-Interaction Type:每对交互特征P(i,j)都有一个参数矩阵W(i,j)。 最后,Bilinear-Interaction Layer 将原始的特征Embedding向量 和 SENET层输出的Embedding向量分别得到交叉向量p和q。 1.3 效果 (二)DSIN:利用用户时序行为中兴趣变化进行CTR预估
IPNN的叉项使用了内积g(fi, fj) = <fi, fj>。f个filed,两两求内积共计交叉项p部分的参数共f(f-1)/2(f为特征的field个数,原始论文里用的N)个,线性部分z部分参数共fk个。需要学习的参数为: (1)FM部分: 1+ n + n*k (2)product部分: (fk + f(f-1)/2)*H1 ...
不过,由于FNN的初始embedding是由FM模型预训练得到的,这样的embedding初始化质量要取决于FM模型,引入了一些外部依赖。另外,FNN的z层向量输入到MLP全连接层,接受的是“加法”操作,而PNN论文作者认为这样的“加法”操作可能不如向量“乘法”操作能进一步的建模不同特征filed之间的局部关系。
IPNN的叉项使用了内积g(fi, fj) = <fi, fj>。f个filed,两两求内积共计交叉项p部分的参数共f*(f-1)/2(f为特征的field个数,原始论文里用的N)个,线性部分z部分参数共f*k个。 需要学习的参数为: (1)FM部分: 1+ n + n*k (2)product部分: (f*k + f*(f-1)/2)*H1 ...
参考大佬文章:https://zhuanlan.zhihu.com/p/55234968 xDeepFM算法DCN中没有考虑field概念,xDeepFM考虑了filed概念,核心是CIN的理解: 中的m行表示有m个特征 推荐系统CTR预估模型之xDeepFM xDeepFM 是MSRA发表在KDD 2018上的一篇文章,用于CTR预估。 前面已经介绍过Deep FM和Deep & Cross Networks两种...