核心能力主要有以下几个部分: - RAG(Retrieval Augmented Generation),RAG是当下落地实践最多,也是最迫切的领域,DB-GPT目前已经实现了一套基于RAG的框架,用户可以基于DB-GPT的RAG能力构建知识类应用。 GBI:生成式BI是DB-GPT项目的核心能力之一,为构建企业报表分析、业务洞察提供基础的数智化技术保障。 微调框架: ...
5.模型权重(可选) 如果你需要将训练的基础模型和微调的Peft模块的权重合并,导出一个完整的模型。则运行如下模型导出脚本: sh ./dbgpt_hub_sql/scripts/export_merge.sh 运行这一步也出现了Bug:AssertionError: Provided path (/root/autodl-tmp/DB-GPT-Hub/src/dbgpt-hub-sql/dbgpt_hub_sql/output/adapter/...
DB-GPT-Hub是一个实验性项目,利用大型语言模型(LLMs)实现文本到SQL的解析。地址:github.com/eosphoros-ai/DB-GPT-Hub 该项目包括各种阶段,包括数据收集、数据预处理、模型选择和构建以及模型权重的微调。通...
DB-GPT是一个开源的AI原生数据应用开发框架(AI Native Data App Development framework with AWEL(Agentic Workflow Expression Language) and Agents)。目的是构建大模型领域的基础设施,通过开发多模型管理(SMMF)、Text2SQL效果优化、RAG框架以及优化、Multi-Agents框架协作、AWEL(智能体工作流编排)等多种技术能力,让围...
01项目介绍随着大模型的发布迭代,大模型变得越来越智能,在使用大模型的过程当中,遇到极大的数据安全与隐私挑战。在利用大模型能力的过程中我们的私密数据跟环境需要掌握自己的手里,完全可控,避免任何的数据隐私泄露以及安全风险。基于此,我们发起了DB-GPT项目,为所有
整体架构 架构解读 可以看到,DB-GPT把架构抽象为7层,自下而上分别为: 运行环境:支持本地/云端&单机/分布式等部署方式。顺便一提,RAY是蚂蚁深度参与的一个开源项目,所以对RAY功能的支持应该非常完善。 训练层:由子项目DB-GPT-Hub提供。以LLM为基,包含多种数据集
MindSQL 与 PostgreSQL、MySQL、SQLite 等知名数据库无缝集成,还通过扩展核心类,将其功能扩展到 Snowflake、BigQuery 等主流数据库。 该库利用 GPT-4、Llama 2、Google Gemini 等大型语言模型 (LLM),并支持 ChromaDB 和 Fais 等知识库。 官方链接:https://pypi.org/project/mindsql/ ...
DB-GPT 框架下提出了一个端到端大模型 Text2SQL 微调子框架 DB-GPT-Hub。在 DB-GPT 框架下,构架了 Text2SQL 领域下的数据预处理 - 模型微调 - 模型预测 - 模型验证 - 模型评估的全链路工作流程,如下图所示: DB-GPT-Hub 的架构流程图 代码库设计 ...
chore: Add pylint for DB-GPT core lib (#1076) 1年前 .mypy.ini chore: Fix pylint error (#1915) 5个月前 .pre-commit-config.yaml feat: call xunfei spark with stream, and fix the temperature bug (#2121) 2个月前 CODE_OF_CONDUCT ...
DB-GPT-Hub是一个利用LLMs实现Text-to-SQL解析的实验项目,主要包含数据集收集、数据预处理、模型选择与构建和微调权重等步骤,通过这一系列的处理可以在提高Text-to-SQL能力的同时降低模型训练成本,让更多的开发者参与到Text-to-SQL的准确度提升工作当中,最终实现基于数据库的自动问答能力,让用户可以通过自然语言描述...