注意安装时是pip install open-retrievals,但调用时只需要import retrievals 欢迎关注最新的更新 https://github.com/LongxingTan/open-retrievals 2. 使用Mistral作为向量模型 这里直接将query_instruction和document_instruction写进了text里 from retrievals import AutoModelForEmbedding model_name = 'intfloat/e5-mi...
12.8日更新,先跑几个热门的,欢迎大家来比较,如果没有特别指明,都是跑int4 量化:1. mistral large 123b,惨烈5tokens每秒,只能算能跑2.mistral 8x22b,140b,激活参数47b,这是我最喜欢的模型,可惜没更新,17tokens每秒3.mistal 8x7b,47b, 激活参数大概14b,45tokens每秒4. llama3.3 70b,最新的,10tokens每秒,跟...