图结构上的卷积网络 为了在时空图上对人类动作的信息进行分析,我们提出使用图卷积网络 (graph convolutional networks – GCN)。图上的神经网络模型是机器学习研究的一个热点领域。本文中使用的图卷积网络即是图上神经网络中的一种,其在网络分析、文本分类等问题都有成功应用。 在介绍图卷积网络的概念之前,我们先来回...
移完一个节点后,移动下一个节点。 ST-GCN的网络结构 最终网络的结构如下,首先对节点坐标做归一化,之后经过9个ST-GCN block。最后是常规的pool, fc, softmax分类。 参考资料: https://zhoef.com/2019/08/24/14_ST-Gcn/ https://www.zhihu.com/question/54504471/answer/611222866...
这里提出了一种新的动态骨架模型,它通过自动从数据中学习空间和时间模式,超越了以前方法的限制。 2.骨架是以图形的形式,不是2D或3D坐标形式,这使得使用卷积网络等经过验证的模型变得困难。因此,将卷积神经网络(cnn)推广到任意结构的图的图神经网络(GCNs)。该模型将图神经网络扩展到时空模型,用于动作识别的骨架序列的...
2.4 ST-GCN网络建立 建立ST-GCN网络模型,其中in_channels (int)表示输入序列数据中的通道数; out_channels (int)表示卷积产生的通道数; kernel_size (tuple)为时态卷积核和图卷积核的大小; stride (int,可选)为时间卷积的步幅。默认值:1; dropout (int,可选)为最终输出的辍学率。 默认值:0;residual (bool...
ST-GCN: Spatial Temporal Graph Convolutional Networks时空图卷积网络,这个网络结构来源于CVPR 2018年的一篇文章《Spatial Temporal Graph Convolutional Networks for Skeleton-Based Action Recognition》,也就是基于时空图卷积网络来做人体动作识别。 今天,我们就来了解下...
定义好了时空图上的卷积操作,我们就可以设计卷积网络了。为了展示 ST-GCN 的性能,我们直接从一个已有的时序卷积网络结构的基础上设计了文中用到的 ST-GCN 的网络结构。我们将所有时序卷积操作转为时空图的卷积操作,每一个卷积层的输出是一个时空图,图上每一个节点保有一个特征向量。最终,我们合并所有节点上的特...
ST-GCN是TCN与GCN的结合。TCN,对时间维度的数据进行卷积操作;GCN,则对空间维度的数据进行卷积操作。GCN属于GNN,而GNN的基础是图论。神经网络处理的传统数据都是欧式距离结构的数据,比如二维的图像、一维的声音等等。
为了展示 ST-GCN 的性能,我们直接从一个已有的时序卷积网络结构的基础上设计了文中用到的 ST-GCN 的网络结构。我们将所有时序卷积操作转为时空图的卷积操作,每一个卷积层的输出是一个时空图,图上每一个节点保有一个特征向量。最终,我们合并所有节点上的特征并使用线性分类层进行动作分类。训练使用标准的 SoftMax...
ST-GCN的网络结构大致可以分为三个部分,首先,对网络输入一个五维矩阵(N,C,T,V;M)\left(N,C,T,V;M\right)(N,C,T,V;M).其中N为视频数据量;C为关节特征向量,包括(x,y,acc)\left(x,y,acc\right)(x,y,acc);T为视频中抽取的关键帧的数量;V表示关节的数量,在本项目中采用25个关节数量;M则是一...
首先进行了一次BN操作和一系列维度变换的操作后,进入st-gcn网络的特征层.shape=(8, 3, 150, 18)。之后遍历st-gcn模块,输出的结果.shape=(8, 256, 38, 18),这部分做了什么后面详细总结一下。最后进行一次最大池化层,并对一个视频中的人数特征取一次平均,得到结果.shape=(4, 256, 1, 1)。然后再通过一...