时,每个 shard 存储量为 18.75GB,符合要求。向量检索方面为了同时保证 recall 和 latency,采用了 HNSW 算法。另外参考<Choose the k-NN algorithm for your billion-scale use case with OpenSearch>中的 benchmark 结论,HNSW 算法中 m 值可以设定为 16。那么内存规划方面,...
我们《基于大语言模型知识问答应用落地实践》系列博客前 4 篇已经介绍了知识库构建和召回调优方面的实践经验,随着 RAG 项目的逐渐丰富和成熟,越来越多的工作会深入到各种细节的打磨,例如 Prompt 模板调优,更换更新的模型,各类阈值或者参数的调整等。然而 RAG 项目普遍缺乏比较客观的、系统化的测试工具来衡量性能和质量...