PromptCBLUE-v2将作为CHIP-2023会议的评测任务之一,依托天池大赛平台举办第一期评测; 在CHIP-2023会议后,PromptCBLUE将作为天池数据集,长期开放榜单,供社区评测/打榜。请有意向的团队持续关注天池平台的公告。 提交格式说明 PromptCBLUE-v2中将各个任务都已经转化为了根据prompt生成回复的统一格式,测试样本在test.json文...
该比赛由「CHIP2023-PromptCBLUE-不微调赛道」学术比赛转为学习赛,长期开放供大家学习。 本次大赛已开放为长期打榜赛,长期打榜赛使用的是A榜的验证集和训练集,以及评测脚本。 欢迎持续刷榜和提出更新意见。比赛中关于模型构建与训练的规则已有所更新,请大家按照数据集页面的规定进行参赛。组织方会定期对排行榜排名靠...
文章 CHIP2023-PromptCBLUE开源赛道正赛第三baseline we1k
CHIP2023-PromptCBLUE-参数高效微调赛道以ChatGPT、GPT-4等为代表的大语言模型(Large Language Model, LLM)掀起了新一轮自然语言处理领域的研究浪潮,展现出了类通用人工智能(AGI)的能力,受到业界广泛关注。在LLM大行其道的背景下,几乎所有的NLP任务都转化为了基于提
This paper presents an overview of the PromptCBLUE shared task (http://cips-chip.org.cn/2023/eval1) held in the CHIP-2023 Conference. This shared task reformualtes the CBLUE benchmark, and provide a good testbed for Chinese open-domain or medical-domain large language models (LLMs) in...
PromptCBLUE-v2将作为CHIP-2023会议的评测任务之一,依托天池大赛平台举办第一期评测; 在CHIP-2023会议后,PromptCBLUE将作为天池数据集,长期开放榜单,供社区评测/打榜。请有意向的团队持续关注天池平台的公告。 提交格式说明 PromptCBLUE-v2中将各个任务都已经转化为了根据prompt生成回复的统一格式,测试样本在test.json文...
CHIP2023-PromptCBLUE-参数高效微调赛道以ChatGPT、GPT-4等为代表的大语言模型(Large Language Model, LLM)掀起了新一轮自然语言处理领域的研究浪潮,展现出了类通用人工智能(AGI)的能力,受到业界广泛关注。在LLM大行其道的背景下,几乎所有的NLP任务都转化为了基于提
华东师范大学王晓玲教授团队联合天池团队推出PromptCBLUE评测基准, 将CBLUE基准进行二次开发,将16种不同的医疗场景NLP任务全部转化为基于提示的语言生成任务,形成首个中文医疗场景的LLM评测基准。 PromptCBLUE任务目标 我们采用450多个个指令微调模板,对CBLUE基准中的各个任务进行改造,见CBLUE任务改造说明与举例。经过改造...
CHIP2023-PromptCBLUE-不微调赛道以ChatGPT、GPT-4等为代表的大语言模型(Large Language Model, LLM)掀起了新一轮自然语言处理领域的研究浪潮,展现出了类通用人工智能(AGI)的能力,受到业界广泛关注。在LLM大行其道的背景下,几乎所有的NLP任务都转化为了基于提示的语