最后附上我本人使用的Longformer中文预训练模型地址 https://huggingface.co/ValkyriaLenneth/longformer_zh
Mindstudio 官网链接:https://www.hiascend.com/zh/software/mindstudio 如需在 Linux 安装昇腾套件包 ascend-cann-toolkit(以下简称 CANN),请在官网下载 CANN。 官网链接:https://www.hiascend.com/software/cann 用户手册 :( 本例中使用的版本为 5.1.RC2) https://www.hiascend.com/document/detail/zh/can...
中文预训练模型:https://huggingface.co/models?language=zh&sort=downloads&search=bigbird Take Away: 使用补充固定token计算全局注意力 又是一个非常清新脱俗的模型起名~ 大鸟模型和longformer相比增加了随机注意力机制,不过感觉主要的创新是对全局注意力机制进行了改良,提出了固定注意力patten的ETC全局注意力机制。 随...
longformer_zh 0 AIWizards / longformer_zh 加入合集 模型评测 部署 微调实例下载模型 1 贡献者 提交历史 tmp update model87c8e56 3 年前 .gitattributes 737 Bytes initial commit 3 年前 README.md 5.8 KB update model 3 年前 config.json