在模型选择上,主要使用了Gemini 和 Claude 系列的模型,这些模型在处理长上下文信息方面具有优势,非常适合文本转 SQL 任务。 4.2BIRD结果 论文在 BIRD 开发集和测试集上对 CHASE-SQL 框架进行了端到端的性能评估。在实验中,分别使用 Claude3.5-sonnet 和 Gemini 1.5 pro 进行测试,并与已发表的方法以及未公开的方法...
CHASE-SQL + Gemini 1.5 (Ours) 87.6 ✗ CHESS (talaei2024chess) 87.2 ✗ DAIL-SQL + GPT-4 (gao2023text) 86.6 ✓ DIN-SQL + GPT-4 (pourreza2024din) 85.3 ✓ C3 + ChatGPT (dong2023c3) 82.3 ✓ RESDSQL 3B (li2023resdsql) 79.9 ✓ DIN-SQL + CodeX (pourreza2024din) ...