AIHero

    模型

    训练

    让模型接触海量文本,并通过调整来提升下一 Token 预测能力,从而确定模型参数的过程。

    Matt Pocock
    Matt Pocock

    训练是设定模型参数的过程:让模型接触海量文本,并调整参数以改进下一 Token 预测。这是由模型提供商完成的一次性高成本过程。它既包括预训练(主体训练过程),也包括后训练(随后进行的指令遵循、安全性等优化);在本词典的讨论层级上,无需细分二者。

    其机制就是大规模重复:给模型看一段文本,让它预测下一个 Token,再把参数朝真实下一个 Token 的方向微调,并对数万亿个 Token 重复这一过程。系统不会把任何内容以事实或规则的形式存储;模型“知道”的一切,都是预测能力提升所产生的副作用,并以参数化知识的形式压缩进参数中。

    这会带来两个与日常使用密切相关的后果。训练会在某个时间点结束,因此模型存在知识截止时间——它没有见过你上个月才升级的库版本。而且训练不是你能在使用阶段完成的事情:当模型不了解你的代码库、团队约定或内部 API 时,解决办法从来不是“教会模型”,而是把这些材料放入上下文——这是你唯一能控制的输入。

    用法:

    “能让它掌握我们的内部 API 吗?”

    “不能靠训练——那是模型提供商耗时数月完成的流程。应当把 API 文档加载到上下文里;这才是你真正能控制的杠杆。”

    不只想学术语?

    加入 AI Hero,获取实用技能、AI 工程思考,以及帮助你始终走在前沿的资源。

    没有垃圾邮件,随时可以退订。

    分享