Superglue是2020年用于关键点(包括描述子)匹配的模型。 基本思想是模拟人眼找匹配关系的过程,即来回浏览两张图根据上下文关系增强特征点的特异性。实现上把注意力机制引入到网络中,用于学习图内和图间关键点的关系,从而构造一个分配矩阵(可以理解为两图关键点间的相似度),最后用sinkhorn算法求解分配结果。 Superglue框架...
L_d具体公式:把原图的每个点的位置warp过去,如果跟warp图的点距离差8个点内算正样本对,否则算负样本对 SuperGlue 输入:两张图的的关键点坐标及其对应描述子 输出:一个指派矩阵,表示两批关键点的匹配关系 SuperGlue推理流程 方法 SuperGlue架构 Keypoint Encoder: 把关键点对应的描述子和坐标融合起来得到新的feature...
为了完成训练,我们利用现成的SFM模型预测出匹配图像之间的相对深度和相机位姿等几何关系,并利用该关系将检测/描述网络对某张图像的预测结果转移到和其匹配的另一张图像上,作为训练目标
具体地,待匹配图像对经过一系列的仿射变换(增强特征点旋转不变性)以及前/背景分割后喂给SuperPoint提取特征点以及描述子(通过一个自动编码器将描述子降维到128维);随后是特征匹配,此处还是利用了SuperGlue(为了适配SuperGlue的输入,解码器还需将128维的特征解码到256维),作者对其SuperGlue网络进行了重新训练调整参数。 6...
摘要:旷视团队主要是对SuperPoint + SuperGlue做了如下修改:预处理:增加掩模,不使用诸如人,车等动态物体上提取点;使用softmax函数对特征点位置进行精化,可以使特征点更加精准;另外使用了较大半径的NMS使特征点分布更加均匀。最后关键的一步特征匹配,旷视团队提供了3种思路:重新训练SuperPoint增强器描述能力;使用DISK特征...
下面再看视觉定位结果,主要对比严重光照变化、重复纹理和无纹理条件下的定位性能,结果显示FeatureBooster在室内和室外环境下都提升了性能,优化后的ORB特征甚至可以和SuperPoint竞争,甚至在室内实验超越了ALIKE。有意思的是,还对比了SuperPoint和SuperGlue这个组合。
摘要:旷视团队主要是对SuperPoint + SuperGlue做了如下修改:预处理:增加掩模,不使用诸如人,车等动态物体上提取点;使用softmax函数对特征点位置进行精化,可以使特征点更加精准;另外使用了较大半径的NMS使特征点分布更加均匀。最后关键的一步特征匹配,旷视团队提供了3种思路:重新训练SuperPoint增强器描述能力;使用DISK特征...
下面再看视觉定位结果,主要对比严重光照变化、重复纹理和无纹理条件下的定位性能,结果显示FeatureBooster在室内和室外环境下都提升了性能,优化后的ORB特征甚至可以和SuperPoint竞争,甚至在室内实验超越了ALIKE。有意思的是,还对比了SuperPoint和SuperGlue这个组合。
CVPR2020图像匹配SuperGlue和SuperPoint superglue代码 官方:https://github.com/magicleap/SuperGluePretrainedNetwork(只能测试,没有训练代码) 非官方可训练代码:https://github.com/HeatherJiaZG/SuperGlue-pytorch 模型在训练时使用单图透视变化(基于4个点)制造样本对。(透视变化和仿射变化的区别:https://zhuanlan....
SuperGlue [69]采用注意力图神经网络和最优输运方法来解决部分分配问题。它处理两组兴趣点及其描述符作为输入,并利用自注意和交叉注意来在两组描述符之间交换消息。该方法的复杂度随着关键点数量的增加呈二次增长,这引发了后续工作的进一步探索。SGMNet [70]建立在SuperGlue的基础上,增加了一个Seeding Module,仅处理少...