通过成果分析与实践总结,探索技术创新助力建筑行业智能化、可持续化发展的理论与方法。 This workshop is dedicated to exploring the potential applications of AI technologies, particularly Large Language Models (LLMs), Graph Neural Networks (GNNs), a...
用卷积神经网络(Convolutional Neural Networks, CNN)中的Mask把临近的几个词组合在一起来理解,这比unigram的效果要好；更进一步是RNN，RNN可以沿着整个句子进行信号积累，这个比n-gram的效果又更好，对应的是人类语言学习过程中对整个句子的学习；接下来NLP的Sequential Modeling是对多个句子的理解，并且...
自从引入 Transformer 架构以来,由于其并行性和学习能力,它已成为自然语言处理中的主导选择。通常,这些基于 transformer 的预训练语言模型通常可以根据其训练任务分为两类:autoregressive language modeling和masked language modeling [41]。给定一个由多个标记组成的句子,掩码语言建模的目标,例如 BERT [42] 和 RoBERTa [...
Prompt-Tuning又可以称为Prompt、Prompting、Prompt-based Fine-tuning等。 1.1 解决问题 降低语义差异(Bridge the gap between Pre-training and Fine-tuning) :预训练任务主要以Masked Language Modeling(MLM)为主,而下游任务则重新引入新的训练参数,因此两个阶段的目标通常有较大差异。因此需要解决如何缩小Pre-trainin...
[8] Luo Z, Cai S, Dong J, et al. RaBit: Parametric Modeling of 3D Biped Cartoon Characters with a Topological⁃consistent Dataset[C]//Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. 2023: ...
比如，Object Relighting可智能调整拍摄时的光线，让影像更加亮丽；Semantic Scene Modeling可对图像中的物体进行语义建模，AI S/W ND Filter可实现类似于ND滤镜的长曝光效果，使得图像更加柔和细腻。AI S/W ND Filter 为行业降本增效，虹软Turbo Fusion构建软件“ISP”平台 不难发现，如今的市场已不再像过去那样容易...
[5]. Jon B , Vegard E , Ola B ,et al.Modeling of the GC content of the substituted bases in bacterial core genomes[J].Bmc Genomics, 2018, 19(1):589. [6]. Ikemura T , Aota S I .Global variation in G+C content along vertebrate genome DNA. Possible correlation with chromosome ban...
在2021年发布的「Vector-quantized Image Modeling with Improved VQGAN」表明,基于Vision Transformer的编码器能够显著改善矢量量化GAN模型VQGAN的输出。 论文地址:https://arxiv.org/abs/2110.04627 这在2022年发布的「Scaling Autoregressive Models for Content-Rich Text-to-Image Generation」中得到了扩展,通过将Trans...
(iii)语言建模损失(Language Modeling Loss,LM):针对以图像为基础的文本解码器,通过交叉熵损失进行优化,训练模型以自回归的方式生成目标caption。 (2)caption生成和过滤(Captioning and Filtering,CapFilt):网络上获取的大量图文对,包含许多不准确甚至错误的信息,CapFilt用来从噪声图文对中学习,通过生成和过滤产生新的数...
他作为一作的理论工作《Understanding the Limiting Factors of Topic Modeling via Posterior Contraction》获得ML顶级会议ICML 2014的最佳论文。此后，他在图表示学习领域的工作LINE（《Line: Large-scale information network embedding》）引用次数超5300次，并多次在计算机顶会ICML、NeurlPS担任领域主席。再后来，因为对...