ProtTXL-BFD 60 65 60 🆕 Predict your sequence live on predictprotein.org. 🧬 Membrane-bound vs Water-soluble (Q2): ModelDeepLoc ProtT5-XL-UniRef50 91 ProtT5-XL-BFD 91 ProtT5-XXL-UniRef50 89 ProtT5-XXL-BFD 90 ProtBert-BFD 89 ProtBert 89 ProtAlbert 88 ProtXLNet 87 ProtElectra-Ge...
模型有的使用编码器(BERT、ALBERT、Electra),或者解码器(Transformer-XL、XLNet),T5表明这种简化会付出代价,因此T5达到了目前的SOTA。 图2:蛋白质语言模型的参数配置 由于Transformer模型的限制,这里提出的模型如ProtBERT, ProtAlbert, ProtElectra也对蛋白长度做出限制,≤512或≤1024,Transformer-XL和XLNet可以处理长序列...
在这里,我们使用来自UniRef和BFD的数据,其中包含高达3930亿个氨基酸,对两个自回归模型(Transformer-XL,XLNet)和四个自编码器模型(BERT,Albert,Electra,T5)进行了训练。我们使用5616个GPU和高达1024个核心的TPU Pod在Summit超级计算机上进行了训练。通过降维技术,我们发现来自未标记数据的原始蛋白质语言模型嵌入捕获了蛋白...
在这里,我们使用来自UniRef和BFD的数据,其中包含高达3930亿个氨基酸,对两个自回归模型(Transformer-XL,XLNet)和四个自编码器模型(BERT,Albert,Electra,T5)进行了训练。我们使用5616个GPU和高达1024个核心的TPU Pod在Summit超级计算机上进行了训练。通过降维技术,我们发现来自未标记数据的原始蛋白质语言模型嵌入捕获了蛋白...
ProtTXL-BFD 60 65 60 🆕 Predict your sequence live on predictprotein.org. 🧬 Membrane-bound vs Water-soluble (Q2): ModelDeepLoc ProtT5-XL-UniRef50 91 ProtT5-XL-BFD 91 ProtT5-XXL-UniRef50 89 ProtT5-XXL-BFD 90 ProtBert-BFD 89 ProtBert 89 ProtAlbert 88 ProtXLNet 87 ProtElectra-Ge...