具体来说，与 Polygen 相比，MeshGPT 能生成具有更复杂细节的形状，并且 Polygen 在推理过程中更容易积累错误；AtlasNet 经常出现折叠瑕疵（folding artifact），导致多样性和形状质量较低；BSPNet 使用平面的 BSP 树往往会产生具有不寻常三角测量模式的块状形状；GET3D 可生成良好的高层次形状结构，但三角形过多，且...
MeshGPT 可以生成尖锐、紧凑的网格,并具有较精细的几何细节。 具体来说,与 Polygen 相比,MeshGPT 能生成具有更复杂细节的形状,并且 Polygen 在推理过程中更容易积累错误;AtlasNet 经常出现折叠瑕疵(folding artifact),导致多样性和形状质量较低;BSPNet 使用平面的 BSP 树往往会产生具有不寻常三角测量模式的块状形状;...
1、配置了学长的环境,并编写点处理(旋转、镜像)和保存(由内存numpy数组到shp文件)脚本。 2、初步阅读mesh-gpt论文,思考Transformer网络架构(翻译模型和补全模型的训练区别) 环境配置# pip install torch==2.1.2torchvision==0.16.2torchaudio==2.1.2--index-url https://download.pytorch.org/whl/cu118 pip inst...
近日，来自慕尼黑工业大学、都灵理工大学和AUDI AG的研究人员发表了一篇论文，介绍了一种名为”MeshGPT：仅使用解码器Transformer生成三角形网格“的新方法，能够使用先进的AI技术创建3D形状，特别是三角形网格。论文链接：https://nihalsid.github.io/mesh-gpt/static/MeshGPT.pdf MeshGPT通过从Transformer模型中进行自...
论文地址:nihalsid.github.io/mesh-gpt/static/MeshGPT.pdf 该文章的核心贡献就是给出了一种3D结构的sequence formulation,并成功使用Decoder-only Transformer实现了auto-regressive的生成模式。 该工作总共分为两个步骤: 从大量3D meshes中学习出一个vocabulary of geometric embeddings,目的是使得三角形几何体可以被enc...
MeshGPT,全称为“Generating Triangle Meshes with Decoder-Only Transformers”,是一种基于Transformer架构的AI模型,专门用于生成高质量的三角形网格。这一技术灵感来源于自然语言处理中的GPT模型,但将其应用于3D图形领域,实现了从文本序列生成到三角形网格生成的跨越。 技术原理 MeshGPT的核心在于其解码器Transformer模型,...
MeshGPT主要由两个网络组成。首先通过Encoder-Decoder架构,学习到经过残差量化的三角形embeddings。而后,通过decoder-only GPT,生成紧凑三角形网格。 1. 学习量化三角形embeddings 如图1所示,学习量化三角形embeddings主要分成四部分:首先通过图卷积encoder,将输入的网格转换成rich features;而后,经过残差量化,将features量化为...
最近慕尼黑工业大学、都灵理工学院以及奥迪公司联合发布了一项名为《MeshGPT: Generating Triangle Meshes with Decoder-Only Transformers》的研究成果,其主要的工作就是利用当前在大语言模型中比较流行的GPT模型来进行3D模型的生成,挺有跨时代的意义的,只是当前的模型生成主要针对的是3D的Mesh,不包括材质和贴图等元素。
三维重建最重要的一步就是三角网格生成,现有方法基本都是先建模点、体素、NeRF,再做后处理生成Mesh,这种网格往往存在过度光滑的问题,并存在凹凸不平的等表面伪影。 那有没有可能直接生成Mesh,同时用更少的Mesh表征更清晰的细节呢?这也就是最新开源的MeshGPT提出的思路,别人用GPT来写论文敲代码,他们用GPT直接生成三...
MeshGPT作为一种创新的三维几何表示方法,通过引入Decoder-only Transformer架构,显著提升了网格的精度和紧凑性。其独特的技术优势和广泛的应用前景,使得MeshGPT在三维图形处理领域具有重要的应用价值。随着技术的不断发展和完善,相信MeshGPT将在更多领域展现出其强大的潜力。 参考文献 Siddiqui Y, Alliegro A, Artemov A...