(https://huggingface.co/docs/transformers/main/en/main_classes/text_generation) 请问1.max_new_tokens =2048会对结果有影响吗,是否可以忽略这则提示。2.是否需要设置max_new_tokens=1024,(因为比赛限制中提到max_length(=1024))以及3.max_new_tokens参数应该在哪里设置呢。登录后进行回复提交 全部回答(2) H...
在使用开放式AI模型进行推理时,设置合适的`max_new_tokens`可以帮助你控制生成的文本长度,以满足你的需求。 例如,在使用OpenAI的GPT模型进行推理时,你可以在API请求中设置`max_tokens`参数来限制生成文本的最大长度。以下是一个示例API请求: ```python openai.Completion.create( engine="text-davinci-002", ...