基于LSTM-Attention与CNN混合模型的文本分类方法 针对传统长短时记忆网络(Long Short-Term Memory,LSTM)和卷积神经网络(Convolution Neural Network,CNN)在提取特征时无法体现每个词语在文本中重要程度的问题,提出一... 滕金保,孔韦韦,田乔鑫,... - 《计算机工程与应用》 被引量: 0发表: 2021年 基于BERT--LSTM...
Keywords:natural language processing;text sentiment classification;deep learning;attention mechanism;long and short-term memory network 0引言 随着科学技术的快速发展，互联网上的各种文本评论信息呈指数增长。这些数量庞大的情感信息拥有极高的研究价值和使用价值，而如何准确地提取文本语句的特征并判断其情感倾向，是...
针对自然语言处理情感分析领域中情感分类的问题,提出了一种基于多特征LSTM-Self-Attention的文本情感分类方法.方法 以词向量和词性向量为输入,利用LSTM网络模型提取文本的序列特征,并通过在模型中引入自注意力机制(self-attention),从序列特征中提取出句子的语法和语义特征,减少了任务的复杂度.上述方法避免了传统循环神经...
首先,使用CNN提取时间序列中的局部特征;然后,将提取的特征输入到LSTM中,捕捉时间序列中的长期依赖关系;最后,通过注意力机制对LSTM的输出进行加权,使模型能够关注与当前预测最相关的历史信息。具体来说,模型的流程如下: 遗传算法作为一种全局优化方法,用于调整CNN-LSTM-Attention模型的超参数,比如学习率、层数、节点数等...
文本生成。比如广告文案、机器人写作、机器翻译。1.2 使用深度学习方法的文本生成按照输入数据的区别,文本生成任务可以分成三类:文本到文本的生成,结构化数据生成文本,图像到文本的生成。基于深度学习的文本生成,常用的是Seq2Seq模型(encoder-decoder)。利用Attention机制的Seq2Seq模型可以加强单词和特征之间的对齐,在生成文...
为了准确识别与处理敏感词,针对分词时延较高,识别精度较低的问题,提出基于双向长短期记忆(Bi-LSTM)神经网络的短文本敏感词识别方法.分析敏感词库,将敏感词库划分为两大类,三个等级,预处理短文本干扰信息(特殊字符,繁体字与拆分汉字),引入Bi-LSTM神经网络构建短文本分词模型,二次训练确定最佳参数,反复计算词语的敏感性...
首先,CNN-LSTM-Attention算法利用CNN来提取输入数据的特征。CNN是一种专门用于图像处理的神经网络模型,通过卷积操作可以有效地捕捉到图像中的局部特征。在CNN的基础上,LSTM模型被引入用于处理时间序列数据。LSTM具有记忆单元和门控机制,可以有效地捕捉到时间序列数据中的长期依赖关系。
针对公交行程时间的时序性,提出一种基于LSTM神经网络的预测模型,并引入注意力(Attention)机制对其进行优化。首先,综合考虑多种影响因素,设计了多变量LSTM模块,将当前时刻的行程时间与历史时刻数据相关联,对其中的多维度特征进行信息提取;随后针对单一...
基于Attention与Bi-LSTM的谣言识别方法 为了实现谣言的高效识别,提出一种基于Attention与Bi-LSTM的谣言识别方法.首先,设计一种基于双向循环神经网络的深度学习模型,并引入Attention机制对长序列编解码的时序... 冀源蕊,康海燕,方铭浩 - 《郑州大学学报(理学版)》 被引量: 0发表: 2023年 基于LSTM情感分析模型的微博...
摘要：针对传统的卷积神经网络（Convolutional Neural Network ，CNN ）和长短时记忆网络（Long Short-Term Memory ，LSTM ）在提取特征时无法体现每个词语在文本中重要程度的问题，提出一种基于CNN 和LSTM 的多通道注意力机制文本分类模型。使用CNN 和LSTM 提取文本局部信息和上下文特征；用多通道注意力机制（Attention ...