(中文叫做俄罗斯套娃,可以灵活变化embeddingsize,也是openai最近公布的技术),MAE,MLM预训练,随着时代的发展,现在的Embedding检索技术呈现出吸取大模型技术的趋势,比如instruction tuning, SwiGLU, flash attention,lora,ntk,alibi长序列,利用大模型进行打分,生成数据集等等,也有人直接探索使用大模型本身来做embedding,使用的...