ST-GCN 的人体时空图如下图所示。一帧图像中的人体骨架信息可以表示成 2D 或者 3D 的关节点坐标。研究人员在具有 个关节点,连续 帧图像的视频上构造了时空图 = ( , )。下面将从节点集和边集两方面介绍时空图的构造方法。 (1)节点集的形式化定义。在人体骨架时空图中,节点集为 = { | =1,2, … , ...
本论文正是针对这个任务提出了一种全新的深度学习模型，我们称之为「时空图卷积网络」（ST-GCN）。构建时空图 ST-GCN 的基础是时空图结构。从骨架关键点序列构建时空图 (spatial-temporal graph) 的想法来源于我们对现有的骨架动作识别方法以及图像识别方法的观察。我们发现，现有的基于骨架的动作识别方法中为了提高识...
框架间的边缘连接连续框架之间的相同节点,关节坐标用作ST-GCN的输入。 Intro创新点部分: 那Intro说了这么多也该结尾了,会议文章intro结尾的惯例,来三个创新点: 1)提出了ST-GCN,这是一个基于图的动态骨架建模的通用模型 2)提出了ST-GCN中卷积核的设计原则,以满足骨架建模的特定需求 3)SOTA啦 Realated: 相关工...
ST-GCN中的GCN属于图分类,且采用的是空间方法。 2.4 ST-GCN ST-GCN:Spatial Temporal Graph Convolutional Networks时空图卷积网络,是在GCN的基础上提出的。核心观点是将TCN与GCN相结合,用来处理有时序关系的图结构数据。网络分为2个部分:GCN_Net与TCN_Net。 GCN_Net对输入数据进行空间卷积,即不考虑时间的因素,卷...
基于对ST-GCN在人体动作识别上的效果,我们将ST-GCN网络与VAE网络结合。目的在于获取人体动作的语义,进而生成人体的动作,最终可以应用于机器人动作模仿或者其他强化学习项目中。 目前项目已在进行中,下图展示的是真实的人体骨架节点3D图与网络生成的人体骨架节点3D图。...
近日,港中大-商汤科技联合实验室的最新 AAAI 会议论文「Spatial Temporal Graph Convolutional Networks for Skeleton Based Action Recognition」提出了一种新的 ST-GCN,即时空图卷积网络模型,用于解决基于人体骨架关键点的人类动作识别问题。该方法除了思路新颖之外,在标准的动作识别数据集上也取得了较大的性能提升。本文...
解读:基于动态骨骼的动作识别方法ST-GCN(时空图卷积网络模型) 本文为 AAAI 2018 录用论文「Spatial Temporal Graph Convolutional Networks for Skeleton Based Action Recognition」,香港中文大学提出一种时空图卷积网络,并利用它们进行人类行为识别。这种算法基于人类关节位置的时间序列表示而对动态骨骼建模,并将图卷积扩展...
基于对ST-GCN在人体动作识别上的效果,我们将ST-GCN网络与VAE网络结合。目的在于获取人体动作的语义,进而生成人体的动作,最终可以应用于机器人动作模仿或者其他强化学习项目中。 目前项目已在进行中,下图展示的是真实的人体骨架节点3D图与网络生成的人体骨架节点3D图。具体的研究结果,之后再跟大家分享,敬请期待。
ST-GCN网络骨骼点序列数据是一种天然的时空图结构数据,具体分析可见[5,6],针对于这类型的数据,可以用时空图卷积进行建模,如ST-GCN[4]模型就是一个很好的代表。简单来说,ST-GCN是在空间域上采用图卷积的方式建模,时间域上用一维卷积进行 论文笔记--Disentangling and Unifying Graph Convolutions for Skeleton-...
然而，GCN（图卷积网络）在处理多通道输入时表现出的耦合聚集现象，与ST-GCN解耦合聚集的特性形成了鲜明对比。尽管GCN的邻接矩阵在训练过程中可以进行微调，但在每个epoch内对不同输入通道的响应仍保持一致性。这一区别在论文中得到了深入探讨，并通过实验验证了解耦合GCN的优越性。总结而言，本文以清晰的...