3.1 An Encoder-Decoder Perspective 节点嵌入是基于图编解码器(encoder-decoder)框架的。 图编码器-解码器框架主要有2个关键操作: 1、encoder:将节点映射到低维向量空间中。 2、decoder:使用上一步操作生成的节点嵌入,重构节点的邻居信息。 3.1.1 The Encoder 编码器是一个将节点映射为向量的函数。 所谓浅嵌入方...
这里便不再多做赘述,给出具体的 Encoder 和 Decoder 的定义。 Encoder : GCN (1)Z=GCN(X,A) GCN 具体为两层: (2)GCN(X,A)=A^ReLU(A^XW0)W1 其中A为标准化后的邻节矩阵,A^=D−12AD−12。 Decoder : Dot product 解码器十分简洁,即两个 node embedding 的点积。 (3)A^=σ(ZZT) Loss f...
模型分为两个部分,分别是Graph Encoder和Sequence Decoder。架构图如下所示: Graph Encoder: 输入的图是一个有向无环图(DAG),在对图进行表征时,需要考虑一个核心的问题是如何在维持图自身结构的同时允许所有结点全连接式的进行信息交互。因此总的来说需要两个步骤——先对图中的任意两个结点寻找对...
feature_losses = self.feature_loss_func(h0, self.feature_decoder(gij)) 其实h0 代表原始特征矩阵,而 gij 是经过四层的 GCN encoder 得到的隐表示,然后使用一个 FNN 的 feature_decoder 将 gij 的维度映射成和一样大。 被分为度重建和 邻居重建,对于节点,邻域信息被表示为 i.i.d .的经验实现从中采样元...
过去的方法将整个任务看做一个整体来解决,使用生成模型(Encoder-Decoder)直接将对话映射到对应的回答上,但实际上,这个任务是由两部分组成的——对话规划(Dialogue planning)和外部实现(surface realization)。对话规划是指找到完成用户的需求的动作(如找到用户喜欢的食谱或是向用户推荐餐厅),而外部实现则是指将这些动作...
简要来说,自编码器通常包含encoder、code(隐状态)和decoder。Encoder将输入数据映射成code,而decoder在重构损失的指导下来重构输入数据。对于图自编码器可以用以下的方式来定义。 使用 来表示一个图, 是节点集合, 是节点数量, 是邻接矩阵, 是节点特征矩阵。另外, ...
通过encoder(g)将输入样本x映射到特征空间z,即编码过程;然后再通过decoder(f)将抽象特征z映射回原始空间得到重构样本x',即解码过程。优化目标则是通过最小化重构误差来同时优化encoder和decoder,从而学习得到针对样本输入x的抽象特征表示z,这里我们可以看到,AutoEncoder在优化过程中无需使用样本的label,本质上是把样本...
实际上该问题是一个seq2seq建模问题,因此我们可以使用常用的encoder-decoder框架,如图3.1 图3.1DCRNNs 3.2GAT-LSTM GAT-LSTM[2019]: Graph Attention LSTM 这篇论文是鄙人的一点小小贡献,和上面DCRNNs一样,只不过我将DCNNs换成更加强大的GATs。我解决的是城市路网的交通流预测,城市路网是有潮汐现象的,所以其实路...
Graph convolutional encoder 使用节点消息传递来更新模型参数,比如从item j 到 user i: 其中c是正则化,W是控制变类型的权重,x是j的特征。从user到item当然也是同样的方法,然后对每个节点都进行这样的消息传递,最后就能得到每个节点的表示(如user的表示是用一个权重W对其所有相邻节点的表示聚合得到)。
上图中左侧黄色和紫色分别代表某一帧的原始的joints features和links features,将两种类型的特征反复迭代更新(encoder),可以实现特征在关节和边中的流动传播,最终得到一个概率权重矩阵。将这个矩阵和该帧之前的所有时刻的帧信息结合起来,通过一个decoder来预测下一时刻的关节位置。这样就能通过反向传播的方式来不断的迭代...