AIHero

    AI Hero · 词典

    AI 编码的词汇体系, 用大白话讲清楚.

    用简明易读的定义,讲清智能体编码中的关键术语。你可以搜索 69 下面的条目,或者直接跳到某个分区。

    3,620mattpocock/dictionary-of-ai-coding

    模型

    16 terms

    AI

    它是一个不断移动的标签,而不是某项固定技术。它指向计算机当下新近能够出色完成的事情——现在主要指大语言模型。

    模型

    模型就是那组参数。它本身无状态,只做下一 Token 预测;离开运行框架后,无法独立完成任何智能体式工作。

    参数

    模型内部在训练中调优的数字,通常以十亿计。模型从训练中学到的一切都存放在其中,也称为权重。

    训练

    让模型接触海量文本,并通过调整来提升下一 Token 预测能力,从而确定模型参数的过程。

    推理

    运行训练好的模型来生成输出;每次向模型提供商发起请求时都会进行推理,期间模型参数保持不变。

    推理投入

    控制模型回答前进行多少推理的档位。提高投入会消耗更多输出 Token,但也更有机会解决困难问题。

    Token

    模型读写的原子单位。它大致接近词的粒度,但并不等同于词;上下文窗口大小、费用和延迟都按 Token 计算。

    下一 Token 预测

    模型真正执行的操作:根据上下文采样出下一个 Token,将其追加进去,然后再次运行。这是模型唯一的工作方式。

    非确定性

    相同输入可能得到不同输出。这既来自模型生成文本的方式,也与模型提供商处理请求的方式有关。

    模型提供商

    提供模型推理服务的一方。通常是远程服务(Anthropic、OpenAI、Google),也可以是本地运行环境(Ollama、llama.cpp)。

    运行框架

    围绕模型、将其变成智能体的一整套设施:工具、系统提示词、上下文窗口管理、权限和钩子。

    模型提供商请求

    运行框架与模型提供商之间的一次往返:运行框架发送上下文,提供商返回一次响应。

    输入 Token

    运行框架在每次模型提供商请求中发送的 Token,计费单价通常低于输出 Token。

    输出 Token

    模型生成并返回的 Token。由于生成它们需要更多计算,计费单价通常高于输入 Token。

    前缀缓存

    模型提供商侧的缓存,使连续请求能够跳过对共同前缀的重复处理,并以更低费率计算这些 Token。

    缓存 Token

    模型提供商通过前缀缓存从先前请求中保留下来的输入 Token,通常以低得多的费率计费。

    会话、上下文窗口与轮次

    8 terms

    工具与环境

    10 terms

    失败模式

    9 terms

    交接

    9 terms

    记忆与引导

    6 terms

    工作模式

    11 terms

    不只想学术语?

    加入 AI Hero,获取实用技能、AI 工程思考,以及帮助你始终走在前沿的资源。

    没有垃圾邮件,随时可以退订。