git clone https://github.com/NVIDIA/DeepLearningExamples cd DeepLearningExamples/PyTorch/DrugDiscovery/SE3Transformer Build the se3-transformer PyTorch NGC container. docker build -t se3-transformer . Start an interactive session in the NGC container to run training/inference. mkdir -p results ...
Here are some ideas about speeding up the SE3-Transformer:Depending on the dataset and your system requirements, it might be possible to cache the spherical harmonics / basis vectors. This could tremendously speed things up as it basically addresses all the bottlenecks at once. A not-so-...
提出一种 SE(3)的-Transformer 机制,是一种3D点云和图形的自注意力机制的变体,能够在3D旋转平移的过程中保持等变。等变性对于输入数据有扰动情况下可以保证预测的稳定性。等变性的一个推论是能够增加模型内部权重的紧密-绑定的性质。在一个玩具的N 体模拟数据集来评估模型,展示模型的预测的鲁棒性。又在两个真实...
SE(3)-Transformer 在处理几何对称性问题时非常有用,如小分子处理、蛋白质精制或点云应用。它们可以是更大的药物发现模型的一部分,如RoseTTAFold和此 AlphaFold2 的复制。它们也可以用作点云分类和分子性质预测的独立网络(图 1 )。 图1 .用于分子性质预测的典型 SE ( 3 ) – transformer 的结...
Conclusion I encourage you to check the implementation of the SE(3)-Transformer model in the NVIDIA/DGLPyTorch/DrugDiscovery/SE3TransformerGitHub repository. In the comments, share how you plan to adopt and extend this project.
具体来说,对于点云输入平移等变性很容易得到,只需将输入点云减去其中心值再送入点云网络,这样输出就是不变的,可以再将减去的中心值加回来,这样就变成等变的;而对旋转的等变性却比较复杂,对严格等变的网络一般基于球谐函数的等变基构...
Atomic protein structure refinement graph representations SE(3)-equivariant graph transformer 使用全原子图和SE(3)-等变图神经网络的原子蛋白结构细化(精化) 摘要 先进的蛋白质结构预测方法被广泛的应用于预测生物医学研究中未表征的蛋白质结构,因此也迫切提高所预测结构的质量和原生性(更接近实际结构)来增强其可用...
我们提出的针对稀疏点云配准的SE(3)等变图网络模型如图1所示。与Transformer和基于CNN的模型不同,我们的图架构能够捕获点云的拓扑和几何特征,与其他提出的几何描述符类似,通过数据对称性,促进了精细粒度的刚性旋转等变特征表示的学习,从而实现更稳健和一致的点云配准。
模型的解码器为非自回归结构,采用单层Transformer Encoder来处理语义ID,使用未mask的Token作为key和value。该设计降低了解码的计算量,并增强信息压缩的质量,尤其在训练时不注重解码质量,而是优化语义ID的表达。 训练过程中,模型采用逐步更新的方式,每一位的语义ID仅更新当前位的相关参数,早期位的参数保持不变。这种逐步...
In this work, we propose a novel and effective method to bridge the energy-based simulation and the learning-based strategy, which designs and learns a Wasserstein gradient flow-driven SE(3)-Transformer, called WGFormer, for molecular ground-state conformation prediction. Specifically, our method ...