尽管基于LLM的智能体在数学理论推导和计算方面取得了一些成就,但持续改进LLM的数学推理能力以及设计更有效的数学知识表示,以提高它们解决复杂数学问题的准确性和效率,仍然至关重要。此外,基于LLM的智能体在解决数学问题时的可解释性和可靠性也非常重要。探索补充方法以增强智能体的可解释性,使其能够为用户提供更清晰和可...
基本分为,模型,数据,训练,推理,评估,应用,理论等。 模型 模型架构 目前大部分的模型架构都是decode-only(casual LM),少量的有encode-decode,encode-only,为啥大部分LLM是decode-only的,原因可能是以下几点:从mask的角度看,decode-only的输入是一个对角矩阵,对角矩阵是满秩矩阵,表达能力更强。个人感觉decode-only...
4. 综述现有研究和实践成果: 4.1 学术界相关研究综述: 在学术界,对于大模型的价值观对齐问题已经引起了广泛的关注和研究。一些研究人员提出了各种理论框架和方法来解决这个问题。例如,有学者通过建立机器伦理、道德决策模型等方式探讨如何使大模型与社会公正、隐私保护等核心价值观相协调。此外,还有一些研究聚焦于设计有...
对比实验与分析:本综述的作者对不同场景下的weight-only quantization技术所产生的加速效果。作者使用了LLaMA-2-7B和LLaMA-2-13B,并使用AWQ将它们的权重量化至4-bit。作者使用NVIDIA A100进行实验,并使用TensorRT-LLM和LMDeploy这两个推理框架部署量化后的大模型。然后,作者评估了这些推理框架在不同的输入序列上实现...
大模型参数高效微调技术原理综述(七)-最佳实践、总结 GPU集群 由于目前只有3台A800 GPU服务器(共24卡)。基于目前现有的一些AI框架和大模型,无法充分利用3台服务器。比如:OPT-66B一共有64层Transformer,当使用Alpa进行流水线并行时,通过流水线并行对模型进行切分,要么使用16卡,要么使用8卡,没法直接使用24卡,因此,GP...
但是，自 Chen et al. (2021) 引入了 HumanEval 和 Codex 之后，文本到代码合成就被带到了 NLP 社区的聚光灯下，并从此成为评估 LLM 的标准任务（图 2）。代码处理的下游任务 在这篇综述中，作者按照软件工程的惯例，基于输入 / 输出的模态对代码评估任务进行了分类，而这些类别又可归总为 5 个大类：文本...
- 对限制和可能的未来研究方向进行了讨论,以帮助对这个领域感兴趣的初学者和实践者更有效地学习,并分享了集成资源。 总的来说,综述全面回顾了语言建模范式在推荐系统中的应用,并提供了对现有研究工作的细致分类和解释。此外,指出了该领域的限制和未来的研究方向,以促进该领域的进一步发展。
本文对现有的关于高效大模型推理的文献进行了全面的综述总结。首先分析了大模型推理效率低下的主要原因,即大模型参数规模、注意力计算操的二次复杂度作和自回归解码方法。然后,引入了一个全面的分类法,将现有优化工作划分为数据级别、模型级别和系统级别的优化。此外,本文还对关键子领域的代表性方法进行了对比实验,...
要转行做大模型,AI产品经理不仅需要有对AI技术的兴趣和热情,还需要有一定的知识和技术基础。但是,大模型是一个非常新颖和复杂的领域,涉及到很多前沿的理论和实践,对于普通的AI产品经理来说,可能会感到有些陌生和困难。那么,如何学习和掌握大模型的相关知识和技术呢?有哪些好的资源和方法可以参考呢?
近期,复旦大学自然语言处理团队(FudanNLP)推出 LLM-based Agents 综述论文,全文长达 86 页,共有 600 余篇参考文献!作者们从 AI Agent 的历史出发,全面梳理了基于大型语言模型的智能代理现状,包括:LLM-based Agent 的背景、构成、应用场景、以及备受关注的代理社会。同时,作者们探讨了 Agent 相关的前瞻开放问题,对...