AIHero

    交接

    自动压缩

    当上下文窗口接近满载时,由运行框架自动触发的压缩。

    Matt Pocock
    Matt Pocock

    上下文窗口接近满载时,由运行框架自动触发压缩

    运行框架会监测上下文窗口的占用程度。当占用越过某个阈值——通常约为 80%——它会暂停,要求模型总结当前会话,再用摘要启动一个新会话。之后工作会继续进行,仿佛什么都没有发生。

    但实际上确实发生了变化。压缩本身是有损的,而自动压缩会在你没有选择的时刻造成损失。手动压缩可以在阶段边界执行,此时你还能告诉模型哪些内容必须保留;自动压缩则会在任务中途、每当达到阈值时触发——可能正好发生在重构进行到一半,摘要自行判断你作出的哪些决定值得保留。典型症状是:智能体继续自信地工作,却悄悄忘记了你一小时前确定的一项约束,直到它的工作开始与约束矛盾时你才发现。

    防范办法是不要让它随意触发。观察上下文指示器,在自然边界手动压缩;或者把决策写入磁盘上的计划文档或交接产物,这样摘要就无法遗漏。大多数运行框架还允许自定义缓冲区——提前或推后阈值,甚至完全关闭自动压缩——你可以据此调节触发前希望保留多少余量。

    用法:

    “它似乎不记得我们之前对 schema 作出的决定了。”

    “自动压缩在两个轮次之间触发了——早期决定被放进摘要,我们肯定遗漏了什么。重新加载计划文档;下次手动压缩,这样你可以控制保留哪些内容。”

    不只想学术语?

    加入 AI Hero,获取实用技能、AI 工程思考,以及帮助你始终走在前沿的资源。

    没有垃圾邮件,随时可以退订。

    分享