为此本文提出了一种新型大规模代码指令数据集标注方法:AIEV-INSTRUCT,得到了一个高质量代码指令数据集:AutoCoder-AIEV-Instruct,基于该数据集,作者训练了代码生成大模型:AutoCoder,该模型在HE基准测试集上的pass@1指标超过了GPT-4 Turbo和GPT-4o,并且还提供了一个可自动安装外部依赖包的代码解释器。 https://arxiv...
第一个模型是MIT提出的PolyCoder模型,它采用了GPT-2架构,使用程序设计语言的代码进行预训练,使用了12种程序设计语言的代码,却并没有使用任何自然语言的文本进行预训练。可以看出,这样的代码大模型,用它生成程序测试时,能够直接通过测试的概率非常低,虽然生成更多的样本,测试通过概率会更高,但本质上看,它的正确率整体...
在HumanEval数据集上的测试结果表明,Codex相比于原始的GPT模型,在解决编程问题上展现出了显著的进步。 具体来说,如果我们为HumanEval中的每个问题生成100个代码样本,并从中挑选出能够通过单元测试的样本,我们发现Codex能够解决大部分的问题。这表明,通过增加样本的数量,我们可以提高解决问题的概率,因为这样可以增加找到...
与直接利用大模型代码生成相比，self-collaboration 代码生成的相对性能提高了 29.9%-47.1%，达到了最先进的性能，甚至超越了 GPT-4。接下来我们看看每项研究的具体内容：论文 1：Self-planning Code Generation with Large Language Model尽管大型语言模型在代码生成方面展现了令人瞩目的能力，在解决人类提供的复杂意图...
不过从规模上看，这些模型显然没有OpenAI和Anthropic AI的模型大，所以硬拿它们对比有点以大欺小了。LLaMA代码生成？拉胯 当然，Plappert对LLaMA的测试结果并不满意。从测试结果来看，LLaMA在生成代码方面表现很差劲。可能是因为他们在从GitHub收集数据时采用了欠采样的方法（under-sampling）。就算和Codex 2.5B相比，...
而现在，在大模型时代，人类用户是客户，LLM是「供应商」。为了通过需求细化让大模型生成更好地满足用户需求的代码，就需要研发人类和LLM协作的方法。ChatCoder：聊天细化，生成代码 北大提出了ChatCoder，这是通过聊天进行需求细化的大模型代码生成的新方法。整体框架如下图，非常简洁，通过聊天来辅助LLM和人类在需求...
近年来,生成式人工智能取得了快速发展,在多模态理解和代码生成方面展现前所未有的能力。为此,斯坦福、微软等研究人员提出了利用多模态大模型进行前端开发,制定了一个「Design2Code测试基准」,并开发了一套「多模态提示方法」,实验表明64%的生成网页要比原始参考网页要好,49% 的生成网页可以直接取代原本的网;除此之外...
为了提升大模型在真实编程场景下的能力，北京大学金芝教授和李戈教授团队提出了一种基于 Agent 的项目级别代码生成框架。该方法允许大模型调用多种精心设计的辅助工具，通过大模型和各种工具的交互，自主完成项目级别代码生成的全流程。相关论文近期被国际计算语言学年会（ACL，Annual Meeting of the Association for ...
Codey 的代码生成功能支持 20 多种编码语言，包括 Go、Google Standard SQL、Java、Javascript、Python 和 Typescript 等等。除了基础模型，Vertex AI 还提供了一个完整的工具生态系统，以帮助构建者在生产环境中调整、部署和管理模型。谷歌表示，Vertex AI 是首个提供人类反馈强化学习（RLHF）的企业级机器学习平台，...