AIHero

    模型

    推理投入

    控制模型回答前进行多少推理的档位。提高投入会消耗更多输出 Token,但也更有机会解决困难问题。

    Matt Pocock
    Matt Pocock

    推理强度(Effort)是调节模型在回答前进行多少推理的旋钮。它按每次模型提供商请求设置,控制模型在开始写出可见回答之前要经历多长的思考过程。这些思考与其他输出一样,在推理时生成;运行框架通常会把它隐藏起来,但模型确实为此完成了实际计算。

    更高的推理强度意味着更高成本和更慢速度。推理过程同样以 Token 形式生成;即使你看不到,也会按输出 Token 计费,而且仍然逐个 Token 产生。因此,提高推理强度会延长答案到达前的等待时间,也会增加账单。这里的权衡是在更充分的思考与速度、成本之间作选择。

    大多数运行框架会把推理强度设置为少数几个等级:

    级别适用场景
    机械性编辑、查询,以及路径明确的清晰改动。
    日常编码——通常的默认选择。
    棘手缺陷、设计决策、多步骤规划。
    最高最困难的问题——错误答案会带来高昂返工成本。

    推理强度设置不当,在两个方向上都会出现明显症状。面对难题时设得过低,会得到一份自信但浅薄的回答:它跳过了问题真正需要的推理,文字读起来没有异常,却会在后续以错误形式让你付出代价。反过来,为一行重命名把强度设到最高,你会等待一段漫长思考,最终却得不到任何最低档无法给出的价值。

    推理强度应与具体任务匹配,而不是与整场会话绑定。遇到真正需要复杂推理的部分时调高,处理其周围的机械性工作时再调低。

    用法:

    “它一直把这个并发修复做错——我已经重新解释三遍了。”

    “把推理强度调高。这是一个高度依赖推理的缺陷,默认设置下,它还没思考充分就确定了处理方案。”

    不只想学术语?

    加入 AI Hero,获取实用技能、AI 工程思考,以及帮助你始终走在前沿的资源。

    没有垃圾邮件,随时可以退订。

    分享