git clone https://github.com/yysijie/st-gcn.git cd st-gcn pip install -r requirements.txt cd torchlight python setup.py install cd .. 二、准备行为数据 训练之前,需要根据kinetics-skeleton数据集的格式,提取自建数据集中目标的行为数据。下图中是kinetics-skeleton数据集的组成。其中kinetics_train和kinet...
你可以参考常用的行为识别数据集(如Kinetics-skeleton、NTU RGB+D等)的格式来整理你的数据。 三、数据转换 ST-GCN的训练代码提供了数据转换的脚本(如kinetics_gendata.py),用于将原始数据集转换为模型训练所需的格式(如npy和pkl文件)。然而,由于你的数据集是自建的,因此你需要修改这些脚本以适配你的数据集格式。
源码输出的置信度只有两种,检测到的节点为2,检测不到的节点为0,这样归一化后任何检测到的点的值应该也是一样的,但是kinetics数据集中是不同的,不知道是哪里出了问题 我们输入到st-gcn中的骨骼坐标是经过归一化的 因为是学习为主,重点还是用源码
在开始训练前，您需要准备符合kinetics-skeleton格式的行为数据。这个数据集包含视频中的姿态信息和行为标签，以及相应的json文件，详细步骤可在相关资源中找到。提取数据后，将其转换为st-gcn训练所需的npy和pkl文件，这可以通过自带的tools/kinetics_gendata.py脚本完成，但需根据您的自建数据集进行相应参数...
(文件位置configs/recognition/st_gcn/dataset_example/train.yaml) 3.1我是用的是2D数据,所以in_channels是3,同时类别数是13 3.2data_dir是第二步准备数据集的时候,最好保存号的数据集目录,num_track是一帧中选取置信度最高的两个人的意思,num_keypoints是骨架的关键点数目,这个根据具体情况而定,我是按论文中...
ST-GCN 动作识别演示我们的基于骨架的动作识别演示展示了ST-GCN如何从人体骨架中提取局部模式和关联性。下图显示了我们ST-GCN最后一层中每个节点的神经响应幅度。 触摸头部 坐下 脱鞋 进食 投踢他人 掷锤 清洁与抓举 拉力器 太极拳 抛球 上一行结果来自NTU-RGB+D数据集,第二行来自Kinetics-skeleton数据集。‘ ...
利用openpose提取自建数据集骨骼点训练st-gcn,复现st-gcn 0、下载st-gcn 参考: gitbub上fork后导入到gitee快些: st-gcn下载 也可以直接下载zip文件后解压 1、处理准备自己数据集 数据集要求将相同类别的视频放到同一文件夹,我这里用到一个较老的数据集:training_lib_KTH.zip,六种行为放到六个不同文件夹。