参数知识是模型从训练中“知道”的内容，存储在模型参数里。它在训练时固定，模型既看不到自己的参数，也无法更新它们。压缩过程中会损失细节：数十亿事实被塞进固定数量的参数，罕见事实因此变得模糊。参数知识是模型处理常见主题时流畅表达、处理罕见主题时进行编造的来源。它与上下文知识相对。
参数知识并不是以事实清单形式存储的。训练过程不会给模型一个供查询的数据库，而是不断调整参数，直到模型能够良好预测文本；模型对某个主题的文本预测得好，表现出来就像“知道”这个主题。知识可靠程度与某项内容在训练数据中出现的频率相关：拥有数百万示例的主题可以被准确复现，只有少量示例的主题则会依据相似主题的形态进行猜测。对模型而言，复现与猜测是同一个过程，因此它无法判断自己正在做哪一种。编造答案和正确答案一样流畅地到来。幻觉就是模型猜错了。
参数知识也会老化。模型参数在知识截止日期后停止变化，因此在那之后发布或改名的库并不存在于参数中，发生变化的 API 也会以旧形式被记住。
对于这两类缺口——内容太罕见，或内容太新——解决办法相同：知识无法添加进参数，只能作为上下文知识提供给模型。
用法：
“它写 React 代码毫无问题，却在我们的内部 SDK 上编造方法。”
“React 在参数知识中很密集——拥有数百万训练示例。你的 SDK 不是这样，所以模型会填入看似合理的形式。把 SDK 文档加载进上下文。”