需要同样的结果,就读取已有产物。
结构化文档、清洗后的数据表、只读工具返回值,可以在相同条件下直接复用。
体验结果重放
自然语言是任务的起点。意图编译把目标转化为规划、工具调用与结果,
行为缓存则让走通的中间路径有机会被再次使用。
从理解目标开始,结合执行中的反馈不断推进。
描述目标,提供必要的本地上下文。
理解需求,形成可执行的步骤。
操作应用,并根据反馈调整下一步。
整合工具产出,完成任务。
缓存的是任务中高频、稳定的一段路径。新的需求与变化的节点,仍由模型处理。
我们探索在任务运行时记录轨迹,识别多次走通的共同路径。通过独立验证,再把结果、动作与环境条件一起保存。
网页、接口和软件一直在变。复用前与重放中都要校验环境;一旦失配,就中断旧路径,由模型重新规划。
看看回退过程展开查看意图编译与行为缓存背后的原理、实现和边界。
早期自然语言编程依赖手工规则匹配,难以理解常识与补全隐含假设。大语言模型同时带来了对人类语义的理解能力,以及形式化代码与动作的生成能力。
拆解任务、调用外部工具,并根据环境反馈动态修正下一步。
MCP 将工具调用标准化,Harness 工程支持模型在操作系统环境中执行动作。
Token 成本的下降,使意图编译能够进入更广泛的使用场景。
人类用自然语言表达意图,大模型作为编译器的核心进程完成理解、规划与工具编排,最终实现计算机的状态转移。传统程序语言则成为下游编译产物。
自然语言存在歧义、缺省假设和指代不明;真实意图也会边执行边调整。模型输出本身具有概率性,长链条任务容易发生漂移。
推理用参数模型对符号序列做概率预测;计算用确定的规则处理确定的输入。反复让模型从头推理,会持续为重复决策消耗 Token 与算力。
将输出解析、校验为符合契约的结构,应对模型输出的不确定性。代表工作包括 Structured Outputs、TypeChat、Pydantic / Instructor、BAML。
将需求拆为可审阅的规格与中间文档。代表工作包括 Spec Kit、Kiro、OpenSpec、Tessl。
由外部验证器检查候选方案,记录推理、工具调用与返回结果,支持回放归因和回归测试。
模糊意图的补全与细化应交给大模型,人类对关键结果做确认与审计。在垂直领域建立轻量的领域中间表示,再由确定性编译系统完成底层执行转换,避免重型规范与死板格式约束的负担。
基础设施中的 KV Cache、提示词缓存、投机解码和语义缓存,已经在降低推理成本。行为缓存进一步关注任务路径:用计算与存储替代可以复用的推理过程。
模型从初始意图 S₀ 到最终交付结果 Sₙ,在未知状态空间中寻找路径。行为缓存则发现流量大的路径,将高频且稳定的 A → B 转移固化下来。
这类似 JIT 的热代码编译:不要求整条任务从头到尾不变,也允许首尾继续保留模型的灵活理解,只在真正变化的地方保留模型推理。
保存结构化 Markdown 文件、清洗后的数据表或只读工具返回值。在相同条件下直接读取中间产物,从节点 A 到达节点 B。
当输入参数变化,或需要修改文件、操作界面时,固化工具调用顺序、代码脚本与动作序列,填入新参数后由确定性计算执行。
AOT 由开发者预判高频共性需求,提前将多步路径压缩并固化为接口。希望突破的方向,是在意图编译的运行过程中动态寻找热路径,由系统将其固化为行为缓存。
| 实践形态 | 固化对象与时机 | 命中后的推理与边界 |
|---|---|---|
| 提示词缓存 | 相同前缀的注意力中间状态;运行时自动复用 | 仍需逐词生成;适用于长提示词与多轮对话前缀 |
| 语义缓存 | 相似问题的最终文本答案;运行时复用 | 命中后不调用模型;限无状态、无副作用的纯问答 |
| Skill / MCP | 操作说明、常用脚本与工具通信协议;设计时编写 | 模型仍需阅读说明并推理编排 |
| 工具调用结果缓存 | 只读调用返回值或沙箱状态树;运行时复用 | 跳过工具执行,模型仍需编排;要求参数或沙箱前缀吻合 |
| 原语服务 | 通用多步操作与产出文件压缩为 API;设计时 AOT | 在该子任务段内减少推理;代表包括 Firecrawl / Context7 |
| 轨迹级行为缓存 | 参数化动作序列、状态产物与环境守卫;运行时 JIT | 守卫通过时确定性重放,越界才回退;面向高频、低方差的多步长尾任务 |
将执行流记录为结构化的状态—动作调用树,通过流程挖掘和公共子图提取,发现高频走通的中间子路径。
只读段可以复用历史结果;写操作必须在真实环境中重新执行动作序列,不能用历史返回值代替本次写入。
把多步工具的组合、循环与条件分支编译为确定性代码,只在真正需要语义判断的节点保留模型调用。
在环境变化时拦截失效路径,管理缓存有效期与容量,避免盲目重放和缓存库只增不减。
记录 A → B 的中间状态结果,或工具序列、代码骨架与动态参数槽位。
记录页面 DOM、屏幕视觉特征、接口版本、数据口径哈希等环境前提。
在重放前与重放中比对环境;吻合时确定性执行,失配时立即中断并安全回退给模型重新规划。
新轨迹在留出集上通过独立一致性测试后才能入库。入库后通过 TTL、LFU / LRU 与定期探针抽检,清理低频或失效缓存。
外部工具与人工约束也有边界:如果遮蔽真实环境和反馈,可能妨碍模型能力的提升。工程优化需要保留模型在真实任务中学习与调整的空间。
在数据充足、反馈成本接近于零的领域,应通过学习、数据和算力提升模型能力。但“能够内化”不等于“高效执行”,确定性工作不必反复交给昂贵的模型推理。
工程优化并不假设模型能力停滞。让模型探索未知路径,再自动将探明的热路径编译为缓存;模型越强,能探通的长尾链条越深,能够沉淀的行为缓存也越丰富。
围绕智能工程的实践才刚刚开始,重要的是,在行动中解决问题。
查看端云协同架构标准化软件难以覆盖低频、跨软件、个性化的需求。意图编译让这些需求能通过自然语言交由 AI 实现,同时也将一次性开发成本转变为运行期持续付出的推理成本。
通过节点间的状态结果复用与动作轨迹重放,行为缓存负责压低持续推理成本,建立结构性的边际成本优势。