下面我们将从(1)数据输入(2)网络结构两方面,通过结合论文和代码对ST-GCN进行解析。 2. 数据输入 2.1 数据结构 基于骨架的动作识别方法的一般输入为时间连续的人体骨架关键点,如下图1所示。 这些关键点可以通过openpose进行姿态估计获取,也可以手动标注。其数据维度一般为(N, C, T, V, M ),其中(参考上述引用...
gcn的主要过程是一个Conv2d和一个einsum,可以看forward函数。class ConvTemporalGraphical(nn.Module): ...
gcn的主要过程是一个Conv2d和一个einsum,可以看forward函数。class ConvTemporalGraphical(nn.Module): ...
所谓ST-GCN的S和T就是空间和时间。为了模仿2D卷积,我们需要设置滑动窗口。在时间维度上其实这个操作相当简单,因为它是一个时序信息;在空间上稍复杂,因为它是一个图信息。因此我们分两步构建ST-GCN。先构建S-GCN: classSpatialGraphConvolution(nn.Module):def__init__(self,in_channels,out_channels,s_kernel_si...
St-gcn 动作识别 理论+源码分析(Pytorch) 导言:暑假老师叫我们做动作识别,在查阅了一些做Action Recognition的paper后发现18年AAAI上一篇St-gcn[Spatial Temporal Graph Convolutional Networks for Skeleton-Based Action Recognition]的性能和表现都不错而且是利用了我之前接触过的openPose的,加之采用的是之前没有学过的...
执行语句:mmskl configs/recognition/st_gcn/dataset_example/train.yaml 修改通道是数目(2D为3,3D为4),动作类别的数目,数据的目录,选取的最大置信度人的个数,关键点个数和训练过程中的日志文件、最后训练好的模型保存地址 (文件位置configs/recognition/st_gcn/dataset_example/train.yaml) ...
python main.py recognition -c config/st_gcn/ntu-xview/test.yaml For cross-subject evaluation in NTU RGB+D, run python main.py recognition -c config/st_gcn/ntu-xsub/test.yaml To speed up evaluation by multi-gpu inference or modify batch size for reducing the memory cost, set --test...
Reminder ST-GCN has transferred toMMSkeleton, and keep on developing as an flexible open source toolbox for skeleton-based human understanding. You are welcome to migrate to new MMSkeleton. Custom networks, data loaders and checkpoints of old st-gcn are compatible with MMSkeleton. If you want ...
Github 代码: https://github.com/yysijie/st-gcn 简介 近日,香港中大-商汤科技联合实验室的最新 AAAI 会议论文「Spatial Temporal Graph Convolutional Networks for Skeleton Based Action Recognition」提出了一种新的 ST-GCN,即时空图卷积网络模型,用于解决基于人体骨架关键点的人类动作识别问题。该方法除了思路新颖...
Github 代码:https://github.com/yysijie/st-gcn 简介 近日,香港中大-商汤科技联合实验室的最新 AAAI 会议论文「Spatial Temporal Graph Convolution Networks for Skeleton Based Action Recognition」提出了一种新的 ST-GCN,即时空图卷积网络模型,用于解决基于人体骨架关键点的人类动作识别问题。该方法除了思路新颖之外...