1. detach()的作用相当于 data,但是detach()是深拷贝,data是取值是浅拷贝。 总结:模型放到GPU,那么输入x和输出y_true也要放在GPU,模型的参数也要GPU(如果是内部参数就不需要),最后得到的输出 y_predict 也是GPU类型的。 在GPU上执行程序: (1)自定义的参数和数据,需要转化为cuda支持的tensor (2)model需要转化...
为了实现只回答OpenIM相关的问题,我们目前采取的策略,是设置召回文档的relevance score(取值范围是[0~1])的阈值。对于低于阈值的文档,判断为低质文档,不参与后面的LLM生成prompt的构建中。阈值具体的大小,需要根据实际业务场景的测试结果来设置,OpenIM Bot中设置的阈值是0.5。 deffilter_documents(results:List[Tuple[...