AIHero

    会话、上下文窗口与轮次

    上下文窗口

    模型在每次提供商请求中能看到的全部内容。它容量有限、因模型而异,也是模型感知外界的唯一界面。

    Matt Pocock
    Matt Pocock

    上下文窗口是模型在每次模型提供商请求中看到的全部内容。它容量有限、因模型而异,也是模型感知任何事物的唯一界面。

    它是一条连续的 Token 序列,其中包含系统提示词、截至当前的对话,以及运行框架反馈回来的每个工具结果。如果某项内容在这条序列中,模型就能使用它;如果不在,模型就不知道它存在——无论是你的代码库、昨天编辑的文件,还是三个会话前给出的指令。窗口之外的任何内容,都必须先被带进来,通常通过一次工具调用完成,之后才能产生影响。

    容量有限意味着窗口终会装满。每个轮次都会追加内容——你的消息、模型回复和工具结果——长会话最终会触及上限,被迫进行压缩清空。这也意味着窗口中的所有内容都在相互竞争:每加载一个 Token,留给其他内容的空间就少一个;不需要的内容仍会占用模型的注意力。实践中应把上下文窗口当成预算——加载任务所需内容,其余内容留在外面。

    避免:把上下文窗口称为“记忆”——上下文窗口只是工作状态,不会跨会话保留。记忆是在其上另行构建的概念。

    用法:

    “我能不能把整个 monorepo 都粘贴进提示词?”

    “上下文窗口只有 200k Token——可能只装得下仓库的五分之一。选择任务会涉及的文件,其余内容留在工具调用之后按需读取。”

    不只想学术语?

    加入 AI Hero,获取实用技能、AI 工程思考,以及帮助你始终走在前沿的资源。

    没有垃圾邮件,随时可以退订。

    分享