随着大语言模型(LLM)的参数规模增长到数千亿,并开始显示出早期的通用人工智能迹象,它们的应用也已经超越了文本处理。Codex首创将LLM应用于代码处理,取得了令人惊叹的结果,催生了GitHub Copilot等商业产品和StarCoder、Code LLaMA等数十亿参数的开源代码模型。
除此之外,本文还讨论了code-specific features,比如AST,CFG和单元测试,以及它们在训练code语言模型的应用和在这个领域的潜在未来方向。 背景 这一部分快速浏览Transformer-based language modeling的前置知识 Causal Language Modeling Unidirectional language models(单向语言模型)也叫做causal language models(因果推理模型) ...
《CodeGen: An Open Large Language Model for Code with Multi-Turn Program Synthesis》 《Evaluating Large Language Models Trained on Code》 《A Survey of Large Language Models》
答: 资料整理 http://t.cn/RhETCi9 推荐一篇2014年综述 Security Issues in Cloud Environments, A Survey 很新很全面: 对比此前10篇相关综述, 覆盖工业界话题, 引用315篇论文。粗分8大类: 软件, 存储与计算, 虚拟化, 互联网与服务, 网络, 访问控制, 信任, 法律 [ 微博 ] 2014-09-29 mysql数据库...
该文综述,将代码生成定义为自然语言到代码的任务(NL2Code)。 虽然最近的调查已经从自然语言处理(NLP)、软件工程(SE)或两者的结合[91, 264, 271, 278]的角度阐述了代码LLMs,但它们经常涵盖了一系列广泛的代码相关任务。然而,关于代码生成的高级主题,如细致的数据策划、指令调整、与反馈的对齐、提示技术、自主编码...
[3] Zibin Zheng, Kaiwen Ning, Yanlin Wang, Jingwen Zhang, Dewu Zheng, Mingxi Ye, andJiachi Chen. A survey of large language models for code: Evolution, benchmarking, and futuretrends. arXiv preprint arXiv:2311.10372, 2023. 集中在如何把大模型语言的优势在软件工程中体现。
mrfearless/ModernUI - Modern UI controls for win32 assembler chrislgarry/Apollo-11 - Original Apollo 11 Guidance Computer (AGC) source code for the command and lunar modules. YueDayu/AsmFlappyBird - A flappy bird using asm language with QLearning method sharow/libconcurrent - ©️ Concurren...
badvpn - NCD scripting language, tun2socks proxifier, P2P VPN UnixTools - 一些处理数据的Unix小工具,支持管道操作。 n2n - A development branch of the n2n p2p vpn software p0f-mtu - p0f with patches to save MTU value and export it via API (for VPN detection) BinExp - Linux ...
Language-specific filtering hyperparameters: 虽然基于技术字符 ([0-9{}+/()>]) 的启发式方法仍然有效,但对于基于长度的过滤器(在第 3.2 节中讨论),需要考虑像中文这样的语言每个字符的信息密度要高得多,导致相同的内容需要比英语更少的字符。因此,在过滤管道中,中文需要比英语更小的最小文本长度截止值(Scao、...
本篇是大模型用于推荐系统综述论文的阅读(翻译)笔记,论文名称”A Survey on Large Language Models for Recommendation“,由中国科学技术大学、BOSS直聘、香港科技大学的研究者发表于2023年的 Information Ret…