给定一个输入图像,我们展示了来自初始模型FlowNetS[12]的流估计,以及我们在第一轮和第二轮优化SegFlow时的结果。在优化过程中,研究结果逐渐得到了改善。为了开始训练联合模型,我们分别使用来自ResNet-101[18]和FlowNetS[12]的权值来初始化两个分支。在优化分割分支时,我们冻结了光流分支的权值,并在戴维斯训练集上训练...
本文提出的SegFlow有两个分支,在一个统一的框架下,对目标分割和光流的有用信息进行双向传播。分割分支是建立在完全卷积网络上的,在图像分割任务中被证明是有效的,并且光流分支利用了流网模型。统一的框架通过迭代的方式进行训练,以学习通用的概念,并对特定对象进行在线微调。对视频对象分割和光流数据集进行了大量的实....
因此,我们使用各种训练数据报告性能,其中FlowNetS+ft表示【12】中报告的结果,FlowNetS+ft表示使用与SegFlow中使用的相同训练数据微调的模型。因此,我们表明,我们的SegFlow模型与FlowNetS+ft的结果一致地改善了端点误差,这验证了合并来自分段分支的信息的好处。在KitTI上,没有任何数据增强的SegFlow甚至优于使用广泛数据增强的...
SegFlow: Joint Learning for Video Object Segmentation and Optical Flow Jingchun Cheng, Yi-Hsuan Tsai, Shengjin Wang and Ming-Hsuan Yang IEEE International Conference on Computer Vision (ICCV), 2017. This is the authors' demo code described in the above paper. Please cite our paper if you find...
这篇文章提出了一个端到端的训练网络SegFlow,用于同时预测视频中像素目标的分割和光流。segflow这个网络有两个分支,他可以使得有用的目标分割信息和光流在一个统一的框架内双向传播。其中目标分割这一模块是基于全卷积神经网络的,已经在图像分割任务中被证明是十分有效的,另外光流这一分支主要是采用了FlowNet这一模型。