Seq2Seq 于 2013年、2014 年被多位学者共同提出,在机器翻译任务中取得了非常显著的效果,随后提出的 attention 模型更是将 Seq2Seq 推上了神坛,Seq2Seq+attention 的组合横扫了非常多的任务,只需要给定足够数量的 input-output pairs,通过设计两端的 sequence 模型和 attention 模型,就可
文章是Graph2Seq在文本生成上的应用。SQL2text这类问题旨在将sql自动翻译成人能理解的自然语言描述,以帮助非专家用户理解sql的查询需求。Seq2Seq是一种常用的处理SQL2text的生成任务的模型,但是模型难以捕获SQL 查询中的图结构特征。 Sql查询可视为一张有向图,即,select本身为一个节点,select后面的列名为节点,聚集...
第六讲还是先还债(GloVe, word embedding evaluation, 以及word2vec在商科/经济学研究中的应用)。然后我将继续和同学们一起学习NLP深度学习重要框架:RNN,LSTM,seq2seq并探讨它们在商科/经济学中的应用。我们将尝试回答以下三个问题: 1. 如何评估词向量及一般语言模型? 2. word2vec在商科/经济学研究分别有什么优...
Seq2Seq 模型提出之后,就有很多的工作将其应用在 Chatbot 任务上,希望可以通过海量的数据来训练模型,做出一个智能体,可以回答任何开放性的问题;而另外一拨人,研究如何将Seq2Seq模型配合当前的知识库来做面向具体任务的 Chatbot,在一个非常垂直的领域(比如:购买电影票等)也取得了一定的进展。但整体看来,这种生成式...