5.DSSM双塔模型类型汇总 1. DSSM 双塔模型主要通过对两段文本进行编码为固定长度的向量,然后通过两个向量间进行计算相似度来计算两段文本之间的关系。一般的编码方式可以采用简单的word2vec,DNN或者LSTM、CNN等复杂的编码方式。 2.C-DSSM 通过使用CNN对局部信息进行抽取,然后在上层采用max pooling的方式对全局信息进...
DSSM深度语义匹配模型最早是应用于NLP领域中计算语义相似度任务。因为语义匹配本身是一种排序问题,和推荐场景不谋而合,所以DSSM模型被自然的引入到推荐领域中。DSSM模型分别使用相对独立的两个复杂网络构建用户相关特征的user embedding和item相关特征的item embedding,所以称为双塔模型。 初版DSSM双塔模型 DSSM 模型的最...
其实很简单,在单纯的DSSM模型中,中文是按照“字袋模型”来处理的,参考词袋模型,也就是将文本转化成,有几个某某字,有几个某某字。因为中文字个数是有限的,常用的字大概有15K左右,因此这种做法不会有维度过大的问题。 4 特征提取层和相似度计算 熟悉深度学习的朋友,应该很容易看明白DSSM的特征抽取层,其实就是3...
DSSM [1](Deep Structured Semantic Models)的原理很简单,通过搜索引擎里 Query 和 Title 的海量的点击曝光日志,用 DNN 把 Query 和 Title 表达为低维语义向量,并通过 cosine 距离来计算两个语义向量的距离,最终训练出语义相似度模型。该模型既可以用来预测两个句子的语义相似度,又可以获得某句子的低维语义向量表...
深度学习模型训练的一般方法(以DSSM为例) 本文主要用于记录DSSM模型学习期间遇到的问题及分析、处理经验。先统领性地提出深度学习模型训练过程的一般思路和要点,再结合具体实例进行说明。全文问题和解决方案尽可能具备通用性,同样适用于一般深度学习模型的训练。
1.1 DSSM模型原理 DSSM(Deep Structured Semantic Model),由微软研究院提出,利用深度神经网络将文本表示为低维度的向量,应用于文本相似度匹配场景下的一个算法。不仅局限于文本,在其他可以计算相似性计算的场景,例如推荐系统中。根据用户搜索行为中query(文本搜索)和doc(要匹配的文本)的日志数据,使用深度学习网络将query...
DSSM模型全称:Deep Structure Semantic Model 在应⽤于推荐系统时,通过两个塔分别去建模user侧和item侧的embedding,计算embedding之间 的内积,最后⽤真实的label计算loss。 ⼀些经典的双塔模型 1. MicroSoft-DSSM 双塔模型的⿐祖,是微软在CIKM2013发表的⼀篇⼯作,它主要是⽤来解决NLP领域语义相似度任务 的...
首先,DSSM模型是基于深度网络的语义模型,特别适合用在推荐系统中。简单来说,它包括两个塔:用户塔和物品塔。通过这两个塔,我们可以高效地筛选出用户可能感兴趣的内容。DSSM的核心作用是在召回阶段,帮助我们从海量数据中快速找到用户可能喜欢的物品。它的效果在工业界中被广泛认可,曝光和点击率都相对较高。
如果将文档替换为item或广告,DSSM模型就变成了一个推荐模型。双塔模型的优势总结如下: 离线计算Item的Embedding:这意味着可以在线下预先计算好每个Item的Embedding,提高线上计算的效率。 线上计算User和Context的Embedding:线上实时计算用户和上下文的Embedding,进一步计算相似度。 线上计算相似度:直接在线上计算Query和文档...
一、DSSM模型 1.1 DSSM模型架构 这里不按原论文出牌,从推荐系统角度: 双塔模型结构简单,一个user塔,另一个item塔,两边的DNN机构最后一层(全连接层)隐藏单元个数相同,保证user embedding和item embedding维度相同,后面相似度计算(如cos内积计算),损失函数使用二分类交叉熵损失函数。DSSM模型无法像deepFM一样使用user和...