AI Hero · 词典
AI 编码的词汇体系,
用大白话讲清楚.
用简明易读的定义,讲清智能体编码中的关键术语。你可以搜索 69 下面的条目,或者直接跳到某个分区。
3,620mattpocock/dictionary-of-ai-coding模型
16 termsAI
它是一个不断移动的标签,而不是某项固定技术。它指向计算机当下新近能够出色完成的事情——现在主要指大语言模型。
模型
模型就是那组参数。它本身无状态,只做下一 Token 预测;离开运行框架后,无法独立完成任何智能体式工作。
参数
模型内部在训练中调优的数字,通常以十亿计。模型从训练中学到的一切都存放在其中,也称为权重。
训练
让模型接触海量文本,并通过调整来提升下一 Token 预测能力,从而确定模型参数的过程。
推理
运行训练好的模型来生成输出;每次向模型提供商发起请求时都会进行推理,期间模型参数保持不变。
推理投入
控制模型回答前进行多少推理的档位。提高投入会消耗更多输出 Token,但也更有机会解决困难问题。
Token
模型读写的原子单位。它大致接近词的粒度,但并不等同于词;上下文窗口大小、费用和延迟都按 Token 计算。
下一 Token 预测
模型真正执行的操作:根据上下文采样出下一个 Token,将其追加进去,然后再次运行。这是模型唯一的工作方式。
非确定性
相同输入可能得到不同输出。这既来自模型生成文本的方式,也与模型提供商处理请求的方式有关。
模型提供商
提供模型推理服务的一方。通常是远程服务(Anthropic、OpenAI、Google),也可以是本地运行环境(Ollama、llama.cpp)。
运行框架
围绕模型、将其变成智能体的一整套设施:工具、系统提示词、上下文窗口管理、权限和钩子。
模型提供商请求
运行框架与模型提供商之间的一次往返:运行框架发送上下文,提供商返回一次响应。
输入 Token
运行框架在每次模型提供商请求中发送的 Token,计费单价通常低于输出 Token。
输出 Token
模型生成并返回的 Token。由于生成它们需要更多计算,计费单价通常高于输入 Token。
前缀缓存
模型提供商侧的缓存,使连续请求能够跳过对共同前缀的重复处理,并以更低费率计算这些 Token。
缓存 Token
模型提供商通过前缀缓存从先前请求中保留下来的输入 Token,通常以低得多的费率计费。
会话、上下文窗口与轮次
8 terms无状态
不会把信息带到下一次运行。模型在不同请求之间无状态;智能体默认在不同会话之间也无状态。
上下文
智能体当前可以访问的相关信息,也就是它此刻知道的、与任务有关的内容。
上下文窗口
模型在每次提供商请求中能看到的全部内容。它容量有限、因模型而异,也是模型感知外界的唯一界面。
有状态
能够把信息向后传递。会话在多个轮次之间有状态;借助记忆系统,也可以让智能体跨会话保持状态。
智能体
一个被工具、系统提示词和上下文窗口组织起来,并与用户轮流交互的模型。可以把它理解为正在运行中的模型。
系统提示词
运行框架添加到每次模型提供商请求前的指令,相当于智能体长期有效的任务简报,通常在一次会话中保持稳定。
会话
与智能体进行的一次有边界的交互过程。它从空状态开始、不断积累,并在被清空、关闭或压缩成新会话时结束。
轮次
从一条用户消息开始,到智能体把控制权交还给用户为止的全部响应过程,其中包含一次或多次模型提供商请求。
工具与环境
10 terms环境
智能体作用的外部世界:运行框架之外,智能体通过工具结果感知、并通过工具调用改变的一切。
文件系统
由文件和目录组成的树形结构,智能体可以在其中读取、写入和执行;它是编码智能体最常见的默认环境。
工具
运行框架提供给智能体调用的函数,例如读取、写入、Bash 和搜索。智能体正是通过工具感知并作用于环境。
工具调用
模型输出的工具名称及其参数,本质上只是结构化文本;运行框架必须读取并实际执行它。
工具结果
运行框架执行工具调用后返回的内容,例如文件内容、命令输出或错误。它是智能体观察环境的唯一渠道。
MCP
一种把外部工具服务器接入运行框架的协议,使智能体能够获得运行框架内置工具之外的能力。
权限请求
运行框架在执行尚未预先批准的工具调用前展示给用户的确认请求,是把人放入执行回路的机制。
权限模式
智能体模式中负责权限控制的部分,决定哪些工具调用需要请求权限,哪些可以自动执行。
智能体模式
把权限模式与注入系统提示词的行为指令打包在一起的预设,可以在会话进行中切换。
沙箱
智能体运行其中的隔离环境,例如容器、虚拟机或受限 shell,用于限制智能体操作可能造成的影响范围。
失败模式
9 terms谄媚迎合
模型以自信口吻迎合用户的输出。这源于训练过程让模型偏好人类喜欢的回答,其中也包括附和。
幻觉
模型自信但错误的输出,主要有两类:事实性错误(编造事实)和忠实性错误(偏离已加载的上下文)。
参数化知识
模型从训练中学到并存储在参数里的知识,在训练完成时即被冻结;它与上下文知识相对应。
知识截止时间
模型不再具有参数化知识的时间界线。若没有加载文档,截止时间之后出现的库和 API 很容易诱发编造。
上下文知识
智能体此刻可以直接从上下文读取的事实,与参数化知识相对应。
注意力关系
两个 Token 之间的配对关系。有意义的配对会比无关配对产生更强的相互影响;包含 N 个 Token 的上下文大约有 N² 个这种关系。
注意力预算
每个 Token 能分配给上下文其余部分的影响力是有限的;它按 Token 计算,不会随着上下文变长而增加。
注意力退化
随着会话增长,每个 Token 的注意力预算要分配给更多竞争项,有意义关系上的信号便会减弱。
智能区
会话早期,智能体通常敏锐而专注;随着会话变长,它会逐渐进入迟钝区,表现得更草率、更健忘,也更容易犯错。
交接
9 terms清空上下文
结束当前会话并开启一个新会话。下一条消息会从空会话和空上下文窗口开始。
交接
把智能体上下文从一个会话转移到另一个会话,且不再返回原会话。承载方式可以是交接产物、压缩摘要或其他形式。
一手来源
事物本身,例如代码、逐字稿和原始数据。它完整且权威,但加载进上下文的成本较高。
二手来源
对一手来源的转述,隔了一层,例如摘要、文档和压缩摘要。它加载成本低,但从产生方式上就必然会损失信息。
交接产物
用作交接承载机制的文档,由一个会话写成,供另一个会话读取。
规格说明
一种描述跨多个会话工作的交接产物,说明要构建什么,而不是每个会话具体如何完成自己的部分;它由多个任务单组成。
任务单
用于界定单个会话工作范围的交接产物。它可以独立存在,也可以隶属于规格说明;它可能阻塞其他同级任务单,也可能被它们阻塞。
压缩
一种在内存中完成的交接:把上一会话的历史摘要化,用来初始化新会话。它是有损的,以细节换取更多上下文空间。
自动压缩
当上下文窗口接近满载时,由运行框架自动触发的压缩。
记忆与引导
6 terms记忆系统
一种通过把信息持久化到环境中,并在会话开始时重新加载,使智能体能够跨会话保持状态的系统。
AGENTS.md
环境中的一个文件,运行框架会在会话开始时把它加载进上下文窗口,相当于项目给智能体的长期简报。
渐进式披露
只加载智能体当前需要的上下文,其余内容通过上下文指针引用。这一概念借鉴自 UI 设计。
上下文指针
一个文档中指向另一文档的提及,使智能体只在任务需要时才把后者拉入上下文。
技能
被打包成一个单元、可教给智能体的能力。它平时不占用上下文窗口,直到当前任务通过上下文指针将其引入。
子智能体
由另一个智能体通过工具调用启动的智能体。它在自己的会话中运行,只返回一个工具结果,并且不能继续生成更多子智能体。
工作模式
11 terms人在回路
一种工作模式:一个或多个人在会话期间与智能体结对,实时审查、纠偏或协作。
AFK
一种工作模式:用户启动会话后离开,让智能体在无人值守的情况下运行,也就是离开键盘。
自动化检查
在环境中运行的确定性验证,例如测试、类型检查、lint、构建和提交前钩子。它只有通过或失败,不做主观判断。
自动化审查
由一个智能体审查另一个智能体的工作,通常使用不同的模型或系统提示词。它是非确定性的,因为需要形成判断。
人工审查
用户阅读智能体生成的代码并对其作出判断。阅读 diff 算人工审查,只读摘要不算。
氛围编程
一种用户不经人工审查就接受智能体代码的工作模式;代码 diff 被当作不透明的黑箱。
设计概念
用户与智能体对所构建内容的共同理解。它由双方共享,但独立于任何具体产物。
深度追问
一种形成设计概念的方法:智能体以苏格拉底式提问采访用户,每次解决一个决策。
原型验证
当仅靠对话的信息保真度太低时,让智能体快速构建一个粗略版本,以便围绕真实产物展开讨论。
DX
开发者体验:代码库及其工具链在多大程度上帮助人类高质量工作,包括文档、反馈速度和错误信息。
AX
智能体体验:环境在多大程度上帮助智能体高质量工作,包括检查机制、架构和可用上下文空间。