model = TfidfModel.load(tfidfmodel) else: model = TfidfModel(docs_bow) model.save(tfidfmodel) # 生成文本向量 docs_vector = list(model[docs_bow]) # 对所有的文本向量进行排序,取钱topk docs_sort_vector = [sorted(doc, key=lambda x: x[1], reverse=True)[:topk] for doc in docs_vecto...
tf_idf = tf_idf_transformer.fit_transform(vectorizer.fit_transform(x_train)) x_train_weight = tf_idf.toarray() # 训练集TF-IDF权重矩阵 tf_idf = tf_idf_transformer.transform(vectorizer.transform(x_test)) x_test_weight = tf_idf.toarray() # 测试集TF-IDF权重矩阵 #基于Scikit-learn接口的...
实现中文文本分类,支持文件、文本分类,基于多项式分布的朴素贝叶斯分类器。由于工作实际应用是二分类,加之考虑到每个分类属性都建立map存储词语向量可能引起的内存问题,所以目前只支持二分类。当然,直接复用这个结构扩展到多分类也是很容易。之所以自己写,主要原因是
2.2.1 TF-IDF 出于机器性能的限制,本次实验在利用TF-IDF进行特征提取时,仅提取词频数在500以上的词语,最终词向量的维度数为1648。有关TF-IDF的算法详细介绍可参考这篇博客的内容。 2.2.2 Word2vec 本次实验主要利用到的文本特征方法就是word2vec模型提取文本特征,并且,我们将word2vec的词向量维度分别设置为100...