GCN 只是表征了单帧图像上的关键点之间的信息,简而言之就是空间信息,没有表征帧之间关键点的信息,因此引入TCN。TCN的思想很简单,就是对帧之间的相同序号的关键点特征向量做个卷积。 TCN 2.1 代码实现 self.tcn=nn.Sequential(nn.BatchNorm2D(out_channels),nn.ReLU(),nn.Conv2D(out_channels,out_channels,(ke...
ST-GCN中的GCN属于图分类，且采用的是空间方法。2.4 ST-GCN ST-GCN：Spatial Temporal Graph Convolutional Networks时空图卷积网络，是在GCN的基础上提出的。核心观点是将TCN与GCN相结合，用来处理有时序关系的图结构数据。网络分为2个部分：GCN_Net与TCN_Net。GCN_Net对输入数据进行空间卷积，即不考虑时间的因素...
ST-GCN:Spatial Temporal Graph Convolutional Networks时空图卷积网络,是在GCN的基础上提出的。核心观点是将TCN与GCN相结合,用来处理有时序关系的图结构数据。网络分为2个部分:GCN_Net与TCN_Net。 GCN_Net对输入数据进行空间卷积,即不考虑时间的因素,卷积作用于同一...
ST-GCN中的GCN属于图分类,且采用的是空间方法。 2.4 ST-GCN ST-GCN:Spatial Temporal Graph Convolutional Networks时空图卷积网络,是在GCN的基础上提出的。核心观点是将TCN与GCN相结合,用来处理有时序关系的图结构数据。网络分为2个部分:GCN_Net与TCN_Net。 GCN_Net对输入数据进行空间卷积,即不考虑时间的因素,卷...
ST-GCN是TCN与GCN的结合。TCN,对时间维度的数据进行卷积操作;GCN,则对空间维度的数据进行卷积操作。GCN属于GNN,而GNN的基础是图论。神经网络处理的传统数据都是欧式距离结构的数据,比如二维的图像、一维的声音等等。而对于非欧式距离结构的数据,比如社交网络、交通运输网等等,传统的网络结构无法直接处理,而GNN就是用来...
st_gcn(64, 64, kernel_size, 1, **kwargs), st_gcn(64, 128, kernel_size, 2, **kwargs), st_gcn(128, 128, kernel_size, 1, **kwargs), st_gcn(128, 128, kernel_size, 1, **kwargs), st_gcn(128, 256, kernel_size, 2, **kwargs), ...
1、ST-GCN 介绍 ST-GCN是香港中文大学提出一种时空图卷积网络,可以用它进行人类行为识别。这种算法基于人类关节位置的时间序列表示而对动态骨骼建模,并将图卷积扩展为时空图卷积网络而捕捉这种时空的变化关系。 1.1 模型通道 基于骨架的数据可以从动作捕捉设备中获得,也可以从视频中获得姿态估计算法。通常数据是一个坐...
ST-GCN是AAAI 2018中提出的经典的基于骨骼的行为识别模型,不仅为解决基于人体骨架关键点的人类动作识别问题提供了新颖的思路,在标准的动作识别数据集上也取得了较大的性能提升。算法整体框架如下图所示: ST-GCN算法示意图 时空图卷积网络模型ST-GCN通过将图卷积网络(GCN)和时间卷积网络(TCN)结合起来,扩展...
首先参照下面的命令,下载st-gcn算法的训练代码,配置环境。 git clone https://github.com/yysijie/st-gcn.git cd st-gcn pip install -r requirements.txt cd torchlight python setup.py install cd .. 二、准备行为数据 训练之前,需要根据kinetics-skeleton数据集的格式,提取自建数据集中目标的行为数据。下图...
GCN 只是表征了单帧图像上的关键点之间的信息,简而言之就是空间信息,没有表征帧之间关键点的信息,因此引入TCN。TCN的思想很简单,就是对帧之间的相同序号的关键点特征向量做个卷积。 TCN 2.1 代码实现 self.tcn = nn.Sequential( nn.BatchNorm2D(out_channels), nn.ReLU(), nn.Conv2D( out_channels, out_...