停止序列
停止序列用于使模型在所需的点停止,例如句子或列表的结尾。通常,返回键可以很好地用作单行完成的停止序列。停止序列是一个可选设置,它告诉 API 何时停止生成令牌。完成将不包含停止序列,您最多可以传递四个停止序列。如果未传递任何内容,则默认为标记 <|endoftext|>。此标记表示文本中可能的停止点。
聊天示例:
在聊天示例中,使用了三个停止序列:一个新行、值“Human:”和值“AI:”。我们的目标是只生成与当前说话者相对应的一行文本。所选择的三个停止序列创建了实现该目的所需的约束:
补全不能换行。
完成不能改变说话者。
完成将不允许说话者连续说话两次
问答示例:
在问答示例中,用换行分隔每个问答对的模式让我们相信返回键(换行)将作为我们的停止序列很好地工作。您可以在下面看到,在“ A: ”之后的完成将在一行之后停止,因为返回键用作停止序列。