一、GPT-3.5 for Code Review Automation: How Do Few-Shot Learning, Prompt Design, and Model Fine-Tuning Impact Their Performance? 链接:arxiv.org/pdf/2402.0090 这篇文章主要是讨论小样本学习、提示设计(即使用角色模式)和模型微调对 GPT-3.5 的影响
常用CodeLLMs模型架构如下,目前基本上都是Decoder-Only的架构。 Pre-trained Language Models for Code 以前的一些常用模型和训练策略如下所示。 在LLM流行之后,模型架构趋向于统一。 CodeLLMs 目前比较流行的是CodeLLaMA、StarCoder2、DeepSeek-Coder等,效果对比如下 《Long-context LLMs Struggle with Long In-context...
Title: CodeT5+: Open Code Large Language Models for Code Understanding and Generation Authors: Yue Wang*, Hung Le*, Akhilesh Deepak Gotmare, Nghi D.Q. Bui, Junnan Li, Steven C.H. Hoi (* indicates equal contribution) Title: CodeT5: Identifier-aware Unified Pre-trained Encoder-Decoder Model...
代码总结Code summarization:LLM用于生成代码的自然语言摘要,提高了代码的可读性和维护性。模型如Codex、CodeBERT、T5等能够理解代码的功能和逻辑,生成易于理解的人类语言描述。 代码理解Code understanding:LLM用于解释与代码相关的文本,如注释和文档,帮助开发人员理解代码的功能和依赖关系。 代码搜索Code search:LLM如CodeBER...
Blog: Announcing MPT-7B-8K: 8K Context Length for Document Understanding Blog: Training LLMs with AMD MI250 GPUs and MosaicML Blog: MPT-30B: Raising the bar for open-source foundation models Blog: Introducing MPT-7B Blog: Benchmarking LLMs on H100 ...
This is the repo for our TMLR survey Unifying the Perspectives of NLP and Software Engineering: A Survey on Language Models for Code - a comprehensive review of LLM researches for code. Works in each category are ordered chronologically. If you have a basic understanding of machine learning but...
代码总结Code summarization:LLM用于生成代码的自然语言摘要,提高了代码的可读性和维护性。模型如Codex、CodeBERT、T5等能够理解代码的功能和逻辑,生成易于理解的人类语言描述。 代码理解Code understanding:LLM用于解释与代码相关的文本,如注释和文档,帮助开发人员理解代码的功能和依赖关系。
然后到了 2023 年,论文《Early Weight Averaging Meets High Learning Rates for LLM Pre-training》探索了 LaWA 的一个修改版,其使用了更高的学习率,并且在训练期间会更早地在平均检查点中开始。其研究者发现,这种方法能显著提升标准 SWA 和 EMA 方法的性能。 来自论文《Early Weight Averaging meets High Learni...
Figure 1. StarCoder2 15B delivers superior accuracy on HumanEval benchmark With a context length of 16,000 tokens, Starcoder models can handle a longer code base and elaborate coding instructions, get a better understanding of code structure, and provide improved code documentation. ...
https://docs.parea.ai/blog/eval-metrics-for-llm-apps-in-prod 10.test-suite-sql-eval test-suite-sql-eval是一个开源的基于精简测试集的Text-to-SQL语义评估框架。项目包含11个文本到SQL任务的测试套件评估指标。与现有的其他度量方法相比,该方法能够有效地计算语义准确度的上界。在我们的EMNLP 2020论文中提...