1.word2vec是一个无监督算法,而fasttext是一个有监督算法。 2.模型的输入层:word2vec的输入层是上下文单词;而fasttext 对应的整个句子/文本的单词及其n-gram特征。word2vec要求训练样本是基于上下文带有“序”的属性,而fasttext使用的是词袋模型的思想,使用的是n-gram的无序属性。 3.隐层:对于cbow,隐层采用简单...
两者的区别主要在于Hierarchical Softmax的使用 word2vec会生成全部label的概率从而通过比较得到最优label。 而fasttext通过树的结构动态的淘汰label,最后只能得到一个labe。 Fasttext的使用 fasttext不仅仅在词向量中,在自然语言文本分类上也有比较好的效果。 fastText 在https://github.com/facebookresearch/fastText/tree/...