为了平衡每一个节点的贡献,ST-GCN中提出了一个正则化的邻接矩阵,其过程如下:对于每一个邻接矩阵而言,我们创建一个对角矩阵\Lambda,它的每一行的值为该节点邻居节点数量的倒数,然后将之前的邻接矩阵与\Lambda点乘,得到正则化的邻接矩阵,通过该邻接矩阵,我们再用之前的特征矩阵相乘,会发现节点之间的权重被平均,如下图...
然而，GCN（图卷积网络）在处理多通道输入时表现出的耦合聚集现象，与ST-GCN解耦合聚集的特性形成了鲜明对比。尽管GCN的邻接矩阵在训练过程中可以进行微调，但在每个epoch内对不同输入通道的响应仍保持一致性。这一区别在论文中得到了深入探讨，并通过实验验证了解耦合GCN的优越性。总结而言，本文以清晰的...
团队的ST-GCN是第一个将图CNN用于基于骨架的动作识别任务，它与以前方法的不同之处在于，它可以通过利...
ST-GCN将GCN应用于基于骨架的人体行为识别系统中,在此基础上加入了对识别人体行为非常重要的关节之间的空间关系这一因素,以人体关节为节点,同时连接关节之间的自然联系和相同关节的跨连续时间联系,然后以此为基础构造多个时空图卷积层,沿时空维度进行集成信息。 故本项目通过搭建ST-GCN实现对视频时空流进行姿态估计和行为...
作为 ST-GCN's 的输入，节点 F(vti) 的特征向量是由 坐标向量 以及 预测的置信度构成的。我们在骨骼序列上构建 spatial-temporal graph 是有两个步骤：首先，在一帧上的节点，我们按照人体结构的连接性，用 edge 将其连接起来；然后，每一个节点，会在连续视频帧上，会被连接到相同的节点。the edge set E ...
对于GCN的理解，可以参考与已知技术如CNN的对比。GCN处理的是非结构化数据，如骨骼数据，与结构化图像数据不同。论文中，将普通二维卷积和图卷积进行区分，图卷积在二维卷积的基础上加入了邻接矩阵，这是其独特之处。邻接矩阵是描述节点间关系的关键，虽然对某些人可能陌生，但理解其基本概念后，公式背后的...
故本项目通过搭建ST-GCN实现对视频时空流进行姿态估计和行为分类。最终可实现效果如下: 1、ST-GCN 介绍 ST-GCN是香港中文大学提出一种时空图卷积网络,可以用它进行人类行为识别。这种算法基于人类关节位置的时间序列表示而对动态骨骼建模,并将图卷积扩展为时空图卷积网络而捕捉这种时空的变化关系。
ST-GCN以关节为节点，连接关节之间的自然联系和跨连续时间的联系，构建多个时空图卷积层，从而在时空维度上集成信息，实现对视频时空流的高效姿态估计和行为分类。ST-GCN的模型通道构建基于骨骼序列，每个帧包含人体关节的2D或3D坐标，通过卷积操作进行动作识别。在构建空间图后，通过在连续帧中连接相同关节，...
1 GCN(图卷积网络结构) 1.1 基本图结构 18骨骼关键点 关键点的结构可以参考上图,可以看到实际上关键点的结构是一种图结构,而非欧式结构。图结构是一种非常直观的表征节点之间关系的结构,但是将它集成到深度学习中却带来一个问题,怎么计算和表征节点之间的关系?或者换句话说,怎么通过学习得到特征向量去做下游任务。
ST-GCN原理总结 1 网络特色 1.传统的骨骼建模方法通常依赖于手工制作的部件或遍历规则,从而导致表达能力有限和泛化困难。这里提出了一种新的动态骨架模型,它通过自动从数据中学习空间和时间模式,超越了以前方法的限制。 2.骨架是以图形的形式,不是2D或3D坐标形式,这使得使用卷积网络等经过验证的模型变得困难。因此,...