下面我们将从(1)数据输入(2)网络结构两方面,通过结合论文和代码对ST-GCN进行解析。 2. 数据输入 2.1 数据结构 基于骨架的动作识别方法的一般输入为时间连续的人体骨架关键点,如下图1所示。 这些关键点可以通过openpose进行姿态估计获取,也可以手动标注。其数据维度一般为(N, C, T, V, M ),其中(参考上述引用...
有了以上的理论基础,解读ST-GCN的代码就简单得多了 以下代码在人体骨架上实现,如下图: 对于邻接矩阵的定义,主要分三块:获取边,得到邻接矩阵,对邻接矩阵进行正则化 class Graph(): def __init__(self, max_hop=1, dilation=1): self.max_hop = max_hop self.dilation = dilation # get edges 获取边...
gcn的主要过程是一个Conv2d和一个einsum,可以看forward函数。class ConvTemporalGraphical(nn.Module): ...
为了平衡每一个节点的贡献,ST-GCN中提出了一个正则化的邻接矩阵,其过程如下:对于每一个邻接矩阵而言,我们创建一个对角矩阵 Λ \Lambda Λ,它的每一行的值为该节点邻居节点数量的倒数,然后将之前的邻接矩阵与 Λ \Lambda Λ点乘,得到正则化的邻接矩阵,通过该邻接矩阵,我们再用之前的特征矩阵相乘,会发现节点之间的...
导言:暑假老师叫我们做动作识别,在查阅了一些做Action Recognition的paper后发现18年AAAI上一篇St-gcn[Spatial Temporal Graph Convolutional Networks for Skeleton-Based Action Recognition]的性能和表现都不错而且是利用了我之前接触过的openPose的,加之采用的是之前没有学过的gcn来进行建模的,所以准备花一些时间对其进行...
解读:基于动态骨骼的动作识别方法ST-GCN(时空图卷积网络模型) 本文为 AAAI 2018 录用论文「Spatial Temporal Graph Convolutional Networks for Skeleton Based Action Recognition」,香港中文大学提出一种时空图卷积网络,并利用它们进行人类行为识别。这种算法基于人类关节位置的时间序列表示而对动态骨骼建模,并将图卷积扩展...
所以,OpenPose 的输出,也就是 ST-GCN 的输入,形状为(256,3,150,18,2)。想要搞 End2End 的同学...
执行语句:mmskl configs/recognition/st_gcn/dataset_example/train.yaml 修改通道是数目(2D为3,3D为4),动作类别的数目,数据的目录,选取的最大置信度人的个数,关键点个数和训练过程中的日志文件、最后训练好的模型保存地址 (文件位置configs/recognition/st_gcn/dataset_example/train.yaml) ...
Github 代码: https://github.com/yysijie/st-gcn 简介 近日,香港中大-商汤科技联合实验室的最新 AAAI 会议论文「Spatial Temporal Graph Convolutional Networks for Skeleton Based Action Recognition」提出了一种新的 ST-GCN,即时空图卷积网络模型,用于解决基于人体骨架关键点的人类动作识别问题。该方法除了思路新颖...
51CTO博客已为您找到关于st-gcn的相关内容,包含IT学习相关文档代码介绍、相关教程视频课程,以及st-gcn问答内容。更多st-gcn相关解答可以来51CTO博客参与分享和学习,帮助广大IT技术人实现成长和进步。