这里提出了一种新的动态骨架模型,它通过自动从数据中学习空间和时间模式,超越了以前方法的限制。 2.骨架是以图形的形式,不是2D或3D坐标形式,这使得使用卷积网络等经过验证的模型变得困难。因此,将卷积神经网络(cnn)推广到任意结构的图的图神经网络(GCNs)。该模型将图神经网络扩展到时空模型,用于动作识别的骨架序列的...
移完一个节点后,移动下一个节点。 ST-GCN的网络结构 最终网络的结构如下,首先对节点坐标做归一化,之后经过9个ST-GCN block。最后是常规的pool, fc, softmax分类。 参考资料: https://zhoef.com/2019/08/24/14_ST-Gcn/ https://www.zhihu.com/question/54504471/answer/611222866...
图结构上的卷积网络 为了在时空图上对人类动作的信息进行分析,我们提出使用图卷积网络 (graph convolutional networks – GCN)。图上的神经网络模型是机器学习研究的一个热点领域。本文中使用的图卷积网络即是图上神经网络中的一种,其在网络分析、文本分类等问题都有成功应用。 在介绍图卷积网络的概念之前,我们先来回...
这种算法基于人类关节位置的时间序列表示而对动态骨骼建模,并将图卷积扩展为时空图卷积网络而捕捉这种时空的变化关系。 1.1 模型通道 基于骨架的数据可以从动作捕捉设备中获得,也可以从视频中获得姿态估计算法。通常数据是一个坐标系序列,每个坐标系都有一组关节坐标。ST-GCN就是构建一个以关节为图节点,以人体结构和...
ST-GCN: Spatial Temporal Graph Convolutional Networks时空图卷积网络,这个网络结构来源于CVPR 2018年的一篇文章《Spatial Temporal Graph Convolutional Networks for Skeleton-Based Action Recognition》,也就是基于时空图卷积网络来做人体动作识别。 今天,我们就来了解下...
定义好了时空图上的卷积操作,我们就可以设计卷积网络了。为了展示 ST-GCN 的性能,我们直接从一个已有的时序卷积网络结构的基础上设计了文中用到的 ST-GCN 的网络结构。我们将所有时序卷积操作转为时空图的卷积操作,每一个卷积层的输出是一个时空图,图上每一个节点保有一个特征向量。最终,我们合并所有节点上的特...
ST-GCN是TCN与GCN的结合。TCN,对时间维度的数据进行卷积操作;GCN,则对空间维度的数据进行卷积操作。GCN属于GNN,而GNN的基础是图论。神经网络处理的传统数据都是欧式距离结构的数据,比如二维的图像、一维的声音等等。
ST-GCN的网络结构大致可以分为三个部分,首先,对网络输入一个五维矩阵(N,C,T,V;M)\left(N,C,T,V;M\right)(N,C,T,V;M).其中N为视频数据量;C为关节特征向量,包括(x,y,acc)\left(x,y,acc\right)(x,y,acc);T为视频中抽取的关键帧的数量;V表示关节的数量,在本项目中采用25个关节数量;M则是一...
首先进行了一次BN操作和一系列维度变换的操作后,进入st-gcn网络的特征层.shape=(8, 3, 150, 18)。之后遍历st-gcn模块,输出的结果.shape=(8, 256, 38, 18),这部分做了什么后面详细总结一下。最后进行一次最大池化层,并对一个视频中的人数特征取一次平均,得到结果.shape=(4, 256, 1, 1)。然后再通过一...
本文通过深入浅出的方式，解密了图卷积GCN与时空图卷积ST-GCN的精髓，旨在为读者提供清晰的理解。普通卷积与图卷积是神经网络领域的核心概念，普通卷积在图像处理中有着广泛的应用，它通过滑动卷积核来提取特征。而图卷积则将这一概念拓展到非欧氏空间，通过节点及其邻居的特征加权和来提取图结构中的信息。...