Make-It-3D 通过使用 2D 扩散模型作为 3D-aware 先验,从单个图像中创建高保真度的 3D 物体。该框架不需要多视图图像进行训练,并可应用于任何输入图像。其结果如下图所示: 图1 Make-It-3D的3D生成结果图 Part2 方法概述 该研究利用了文本-图像生成模型和文本-图像对比模型的先验知识,通过两阶段(Coarse Stage和R...
基于之前的假设，来自上海交通大学、HKUST、微软研究院的研究者们提出了 Make-It-3D 方法，通过使用 2D 扩散模型作为 3D-aware 先验，从单个图像中创建高保真度的 3D 物体。该框架不需要多视图图像进行训练，并可应用于任何输入图像。这篇论文也被 ICCV 2023 所接收。论文链接：https://arxiv.org/pdf/2303.14184...
论文的方法名为:Make-It-3D,采用两阶段优化pipeline:第一阶段通过在前景视图中结合参考图像的约束和新视图中的扩散先验来优化神经辐射场;第二阶段将粗略模型转化为纹理点云,并利用参考图像的高质量纹理,结合扩散先验进一步提高逼真度。大量实验证明,论文的方法在结果上显著优于先前的方法,实现了预期的重建效果和令人印...
为了应对此挑战,本文充分利用了已训练好的2D扩散模型的先验知识,作为3D生成的3D感知监督。本文(Make-It-3D)采用了两阶段的优化方案:第一阶段,通过结合参考图像的正面视图的约束和新视图的扩散先验来优化神经辐射场NeRF;第二阶段,将粗模型转换成纹理点云,并利用参考图像的高质量纹理,结合扩散先验进一步提升真实感。
图1 Make-It-3D可以仅从一张图像中创建高保真的3D内容 人类具有一种与生俱来的能力,可以轻松地想象3D几何和虚构出从不同角度看物体的外观,这基于他们对世界的先验知识。 在本文中,研究者的目标是实现类似的目标:从一个真实或人工生成的单张图像中创建高保真度的3D内容。这将为艺术表达和创意开辟新的途径,例如为...
论文提出了Make-It-3D框架,使用2D扩散模型作为3D-aware先验,从单个图像中创建高保真度的3D物体。该框架不需要多视图图像进行训练,并可应用于任何输入图像,无论是真实的还是生成的。 通过两个阶段的创建方案,Make-It-3D是首个实现普适对象高保真3D创建的工作。生成的3D模型展现出精细的几何结构和逼真的纹理,与参考图...
1、论文提出了Make-It-3D框架,使用2D扩散模型作为3D-aware先验,从单个图像中创建高保真度的3D物体。该框架不需要多视图图像进行训练,并可应用于任何输入图像,无论是真实的还是生成的。 2、通过两个阶段的创建方案,Make-It-3D是首个实现普适对象高保真3D创建的工作。生成的3D模型展现出精细的几何结构和逼真的纹理,...
Make It 3D Free - 3D Camera app是一款可以生成3D图片的手机软件,你可以使用它轻松制作出3D效果图,无须使用3D照相机了。赶紧下载来体验吧! 官方介绍 3D 立体照片生成(Make It 3D Free)[1.40] Make It 3D生成立体照片,你需要两张照片来生成3D图片,你需要用3D眼镜观看3D图片,请阅读帮助按钮来获得更好的效果...
Make-It-3D: High-Fidelity 3D Creation from A Single Image with Diffusion Prior Junshu Tang1† Tengfei Wang2† Bo Zhang3‡ Ting Zhang3 Ran Yi1 Lizhuang Ma1‡ Dong Chen3 1Shanghai Jiao Tong University 2HKUST 3Microsoft Research https://make-it-3d...
Make-It-3D作为首个将二维图片拓展到三维空间,同时保持了和参考图片相同的渲染质量和真实感的方法,致力于创作和二维图片视觉效果相同的三维内容。研究员们希望可以通过Make-It-3D这篇工作,引发学术界或工业界对于2D转3D这一方案更多的关注,加速三维内容创作的发展。对于方法的更多实验细节和更多结果,请详见论文内容和...