MFT后的CodeGeex2-6b有更好的代码生成能力。在五种编程语言的代码补全测试集HumanEval-x上进行了相关评测(见表2),测试结果显示与CodeGen-16B、CodeGeeX-13B、StarCoder-15B等模型相比,微调后的CodeFuse-CodeGeex2-6B在Java/Python/Cpp/JavaScript均是Top1,相对于底座平均提升8%+,在HumanEval-Python和HumanEval-...
在阿里云 ModelScope 中,CodeFuse-CodeGeeX2-6B 是一个面向代码的模型,而 CodeFuse-ChatBot 则是一个面向对话的模型。虽然它们都是基于 GPT 架构,但它们的训练数据和目标任务不同,因此不能直接将 CodeFuse-CodeGeeX2-6B 作为 CodeFuse-ChatBot 的基础模型进行对话。 CodeFuse-CodeGeeX2-6B 主要用于代码相关的...
"transformer.encoder.layers.2.self_attention.query_key_value.bias": "pytorch_model-00001-of-00002.bin", "transformer.encoder.layers.2.self_attention.query_key_value.weight": "pytorch_model-00001-of-00002.bin", "transformer.encoder.layers.20.input_layernorm.weight": "pytorch_model-00001-of...
CodeGeeX-13B、StarCoder-15B等模型相比,微调后的CodeFuse-CodeGeex2-6B在Java/Python/Cpp/JavaScript均是Top1,相对于底座平均提升8%+,在HumanEval-Python和HumanEval-Java上pass@1均能达到45%+,在同系列的6B代码大模型上表现突出。