同时,测试集不公开,研究者需要将自己的模型在验证集上调试到最佳性能后将模型发给Spider官方,有官方在测试集上进行测试,并将结果公布在Leaderboard上以确保模型方法对比的公平性。 评价指标 主要评价指标有两个: Exact Match(EM): 模型预测的SQL语句必须与ground truth完全一样。 由于SQL语句中句式的多样性,完成同样...
Text-to-SQL(或者Text2SQL),顾名思义就是把文本转化为SQL语言,更学术一点的定义是:把数据库领域下的自然语言(Natural Language,NL)问题,转化为在关系型数据库中可以执行的结构化询语言(Structured Query Language,SQL),因此Text-to-SQL也可以被简写为NL2SQL。 输入:自然语言问题,比如“查询表t_user的相关信息,...
WikiSQL:SQL查询和表的数量显著增多。但所有SQL查询都很简单,每个数据库仅是单一表,没有外键。Spider 1.0在图中占据最大面积,是首个复杂且跨领域的语义解析和文本到SQL数据集! Leaderboard - Execution with Values Leaderboard - Exact Set Match without Values...
Text-to-SQL(或者Text2SQL),顾名思义就是把文本转化为SQL语言,更学术一点的定义是:把数据库领域下的自然语言(Natural Language,NL)问题,转化为在关系型数据库中可以执行的结构化询语言(Structured Query Language,SQL),因此Text-to-SQL也可以被简写为NL2SQL。 输入:自然语言问题,比如“查询表t_user的相关信息,...
西湖大学在EMNLP2019上提出了一个中文text-to-sql的数据集CSpider,通过这个数据集测试了一个基线系统,探索了在中文的这个任务一些额外的挑战,比如问句-数据库对应问题和问句的分词问题,同时发起了一个基于CSpider数据集的text-to-sql挑战赛,欢迎对这个任务有兴趣的同学加入这个挑战赛刷榜,挑战赛支持Codalab在线提交模型...
WikiSQL:SQL查询和表的数量显著增多。但所有SQL查询都很简单,每个数据库仅是单一表,没有外键。Spider 1.0在图中占据最大面积,是首个复杂且跨领域的语义解析和文本到SQL数据集! Leaderboard - Execution with Values Leaderboard - Exact Set Match without Values BIRD 案例: LLM排名: 3.大模型在NL2SQL上对比 ...
WikiSQL:SQL查询和表的数量显著增多。但所有SQL查询都很简单,每个数据库仅是单一表,没有外键。Spider 1.0在图中占据最大面积,是首个复杂且跨领域的语义解析和文本到SQL数据集! Leaderboard - Execution with Values Leaderboard - Exact Set Match without Values...
eosphoros-ai / Awesome-Text2SQL Public Notifications Fork 162 Star 2.3k Code Issues 1 Pull requests Actions Projects Security Insights New issue docs: update spider leaderboard top1-miniseek-ex91.6 #33 Merged csunny merged 1 commit into main from junewgl_dev Nov 23, 2023 ...
Cleaned Spider Dataset for Text2SQL Dataset Summary The Cleaned Spider Dataset for Text2SQL is an improved version of the original Spider dataset, which is a large-scale, complex, and cross-domain semantic parsing and text-to-SQL dataset. This enhanced version addresses several critical issues fo...
Text-to-SQL任务的定义是将自然语言转化为数据库查询语言SQL,这个任务对于对话系统及问答系统都有很大的用途。最新提出的英文数据集包括WikiSQL和Spider。其中Spider作为到目前以来最复杂的跨领域text-to-SQL数据集,不仅规模大, 设计的SQL包含了复杂的SQL组件,而且在训练和测试集...