作用:这个参数决定了模型能够记住和参考多少先前的信息。较长的上下文长度允许模型在生成响应时利用更多的历史信息。 两者的区别: 功能差异:Max tokens影响输出的长度,而context length影响模型在生成这些输出时可以利用的输入信息的长度。 应用场景:在一个长对话或文档中,context length决定了模型能够考虑到多少历史信息,...
我理解并愿意跟进此 issue,协助测试和提供反馈 我理解并认可上述内容,并理解项目维护者精力有限,不遵循规则的 issue 可能会被无视或直接关闭 问题描述 如果设置 max_tokens 参数,则 playgroud 无法使用 复现步骤 将max_tokens 设置为非零 预期结果 相关截图 带上max_tokens,提问报错 出错渠道测试是正常的:QA...
MaxKB 版本 1.5.1 问题描述 maxtokens 参数描述错误 重现步骤 如图片位置所示 期待的正确结果 No response 相关日志输出 No response 附加信息 No response fitchibing assigned baixin513 Sep 10, 2024 zyyfit added the 类型:bug label Sep 10, 2024 zyyfit added this to the v1.6.0 milestone Sep 10...
我正在Llama-3.1-8B-Instruct模型上面临类似的问题。我们是否可以增加响应令牌限制，使其超过100?@npn-...
我正在Llama-3.1-8B-Instruct模型上面临类似的问题。我们是否可以增加响应令牌限制，使其超过100?@npn-...