1.使用 OpenPose 处理了视频,提出了一个数据集 2.结合 GCN 和 TCN 提出了模型,在数据集上效果还不错 主要贡献 1.将图卷积网络扩展到时空域,称为时空图卷积网络(ST-GCN)。 对于每个关节而言,不仅考虑它在空间上的相邻关节,还要考虑它在时间上的相邻关节,也就是说将邻域的概念扩展到了时间上。 2.新的权重分...
从上面这张图上我们可以看出,一个ST-GCN层包含了一个GCN模块和一个TCN模块,另外,还有邻接矩阵和边权重矩阵(edge_importance)的内积,所要更新的模型参数也分为了两个方面:一是gcn和tcn内卷积核参数,二是edge_importance内的参数。下面来具体讲讲GCN模块和TCN模块,这也是我认为代码中的最难懂的部分。 GCN模块 gcn...