所以本文作者就利用LSTM来才从行人的历史轨迹中学习行人的运动模式。 因为考虑到在一些稍微复杂/拥挤的场景中,行人和行人之间的轨迹是相互影响的,所以作者引入了“Social”(即人与人之间的交互)的概念,这也是“Social LSTM”中“Social”的来源。 为了去建立“Social”,本文的核心是:对于每个行人利用一个LSTM学习...
采用了Mini Batch的数据方式使每次模型迭代时具备一定的数量规模;而Social LSTM中由于池化层的加入使得同一时刻需要有MPN个LSTM序列迭代,而纵使存在多个LSTM序列,其实共享的是同一个Cell,因此同一场景的多位行人的轨迹(在代码中称作frame)其实就可以等价于一个batch,从而使训练Cell时有一定的数据规模。
当讲两者联合在一起的时候,讲tag inference 改为一个CRF模型,去计算最大似然函数,目标函数如下: 由于log-bilinear CRF已经支持词汇嵌入的联合训练,我们还可以使用联合目标函数将LS TM输出隐藏向量合并为动态特征,首先,用LSTM参数去增加CRF目标函数: 其中k索引实例、j位置和 表示特征函数为: 联合训练,目标函数为: 这...
今天要解析的主角叫做Social GAN(2018 CVPR),某种程度上是Social LSTM的拓展,需要注意的是,其中Social GAN保留了Pooling进行要素间的交互的同时,引入了生成对抗的思想,使得生成的行人轨迹“更真实”。 二、文献和代码解析 2.1 简介 本文要解析的文章是《Social GAN: Socially Acceptable Trajectories with Generative A...