CodeFuse-13B的训练采用了256路数据并行、2路张量并行和序列并行,通过DeepSpeed ZeRO-1减少内存消耗。CodeFuse-13B的序列长度为4096,并利用Flash Attention加速长序列模型训练。微批量大小为16,全局批量大小为4096,我们在512个GPU上实现了180 TFLOPS和56%的张量核心平均利用率。我们使用Adam优化器进行训练,初始学习率为1...
CodeFuse-13B的训练采用了256路数据并行、2路张量并行和序列并行,通过DeepSpeed ZeRO-1减少内存消耗。CodeFuse-13B的序列长度为4096,并利用Flash Attention加速长序列模型训练。微批量大小为16,全局批量大小为4096,我们在512个GPU上实现了180 TFLOPS和56%的张量核心平均利用率。我们使用Adam优化器进行训练,初始学习率为1...
2022年,我们发布了一个GPT模型,参数规模为0.25B,仅支持Java代码行补全。尽管这只是一个小型模型,但它为我们在2023年的进展打下了基础:在2023年初,CodeFuse 1.3B、7B和13B等多个规模的模型陆续推出;到了9月份,CodeFuse开源,登顶开源代码大模型HumanEval榜单(74.4%),在BigCode状态下也表现优异。 结合CodeFuse的开...
蚂蚁自研的代码生成专属大模型,根据开发者的输入提供智能建议和实时支持,帮助开发者自动生成代码、自动增加注释,自动生成测试用例,修复和优化代码等,以提升研发效率。目前模型支持:CodeFuse-13B,CodeFuse-QWen-14B,CodeFuse-CodeLlama-34B-4bits,CodeFuse-StarCoder-15B,CodeFuse-Test-7B。 无论用户是初学者还是有经验...
CodeFuse-13B是基于GPT-NeoX框架训练的13B参数代码生成模型,能够处理4096个字符的代码序列。该模型还在CodeFuse-Evol-instruction-66k数据集上进行了微调,使得该模型能够生成更加准确、高效、符合要求的代码。 应用案例:CodeFuse的应用场景广泛,包括开发助手、IDE插件、数据分析器等,已在蚂蚁集团内部研发流程中得到验证。
模型部分包括CodeFuse13B-4K、CodeFuse-CodeLlaMa34B-MFT两个大模型。模型训练过程中,CodeFuse使用了程序分析校验技术,对高质量代码数据进行筛选,并构建了代码领域专用字典,编码平均长度低10%+。 早在2022年1月,蚂蚁集团内部成立了代码智能生成专项,随着公司整体战略的推进,在统一软硬件基础设施支持下,从零到一训练了...
其中我们在不断的探索和创新过程中,也会不断的分享一些我们的成果和突破,比如现阶段已经发表“CodeFuse-13B: A Pretrained Multi-lingual Code Large Language Model” 和“REPOFUSE: Repository-Level Code Completion with Fused Dual Context”两篇论文,并且还有多篇论文在编写和审核过程中,感兴趣的同学可以持续关注...
CodeFuse-13B是基于GPT-NeoX框架训练的13B参数代码生成模型,能够处理4096个字符的代码序列。该模型还在CodeFuse-Evol-instruction-66k数据集上进行了微调,使得该模型能够生成更加准确、高效、符合要求的代码。 应用案例:CodeFuse的应用场景广泛,包括开发助手、IDE插件、数据分析器等,已在蚂蚁集团内部研发流程中得到验证。
模型部分包括CodeFuse13B-4K、CodeFuse-CodeLlaMa34B-MFT两个大模型。模型训练过程中,CodeFuse使用了程序分析校验技术,对高质量代码数据进行筛选,并构建了代码领域专用字典,编码平均长度低10%+。 早在2022年1月,蚂蚁集团内部成立了代码智能生成专项,随着公司整体战略的推进,在统一软硬件基础设施支持下,从零到一训练了...
同时,框架内含创新的微调数据打包技术,提升微调速度约8倍,并使用多重部署优化技术,使推理加速约2倍。模型部分包括CodeFuse-13B和CodeFuse-CodeLlaMa34B-MFT两个大模型。模型训练过程中,CodeFuse使用了程序分析校验技术,对高质量代码数据进行筛选,并构建了代码领域专用字典,编码平均长度低10%+。