Agentic Context Engineering（ACE）是什么？

Agentic Context Engineering（ACE）是斯坦福大学、SambaNova Systems和加州大学伯克利分校的研究者们提出的创新框架，通过动态优化输入信息（即“上下文”）来提升大型语言模型（LLM）的性能。能让语言模型在不改变原有参数的情况下，通过优化输入的上下文来自我提升性能。通过三个模块协同工作：生成器产生解决方案，反思器提炼经验教训，整编器将这些经验整合成结构化的知识库。这种方法解决了传统微调耗时耗力的问题，同时避免了上下文简化导致的知识丢失。实验显示，ACE在智能体任务和金融分析等场景中表现优异，性能提升显著，且计算成本更低。这项技术为AI系统的持续学习提供了新思路。

什么是Agentic Context Engineering

Agentic Context Engineering（ACE）是一种新型的AI技术，能让语言模型在不改变原有参数的情况下，通过优化输入的上下文来自我提升性能。通过迭代生成、反思和策划的过程，持续积累、提炼和组织领域策略、代理战术和操作证据。

Agentic Context Engineering的工作原理

• 模块化架构：ACE框架将上下文管理分解为三个模块化角色：
  • 生成器（Generator）：为新的智能体查询生成推理轨迹或问题解决痕迹，尝试任务并探索推理路径，揭示哪些策略有效，哪些失败。
  • 反思器（Reflector）：通过比较成功和不成功的轨迹来评估生成器的输出，通过自然语言评估和反思，提炼出具体的领域见解，不仅识别“什么有效”，还识别系统性失败的来源。
  • 策划者（Curator）：使用增量的、局部化的 delta 更新将提炼出的见解整合到全局上下文存储中。策划者使用轻量级技术（如语义去重和确定性合并）来协调新信息与先前的剧本，而不是整体重写上下文。
• 增量式 Delta 更新：ACE将上下文表示为结构化的条目集合（bullets），而非单一的整体提示词。每个条目包含：
  • 元数据（Metadata）：唯一标识符，以及“有用/有害”计数器。
  • 内容（Content）：如可复用策略、领域概念或常见错误模式。
• 生长与精炼机制（Grow-and-Refine Mechanism）：ACE通过以下方式确保上下文在持续扩展的同时保持紧凑和相关性：
  • 生长（Grow）：新条目被追加到上下文中，已有条目则通过元数据更新（如计数器递增）进行原地修订。
  • 精炼（Refine）：通过语义嵌入比较条目，进行去重。这意味着相似的条目会被识别并合并或删除，以减少冗余。精炼可以主动（在每次 Delta 更新后）或被动（仅当上下文窗口超过限制时）执行。
• 动态可扩展性与低推理开销：ACE架构支持动态可扩展性与低推理开销：
  • 模块化条目结构：上下文以细粒度、可独立检索和更新的“条目”列表形式维护，支持针对性的上下文策划和运行时高效检索。
  • 增量更新逻辑：支持快速适应新领域、工具或任务目标，无需全面重新训练或系统级重新部署。
• 反馈循环：生成器、反思器和策划者共同形成一个反馈循环，使上下文能够在不坍缩成毫无意义的总结的情况下进行扩展。这种方式允许系统从执行轨迹中学习，并在不需要真实标签的情况下进行改进。

Agentic Context Engineering的主要应用

• 智能体任务
  • 在多轮智能体环境中，如AppWorld，ACE通过监控工具调用失败和子目标未命中情况，自动标记相关策略笔记以供删除、修订或增强，从而确保领域知识和程序性见解随着系统经验的增长而积极策划，使智能体能够更好地适应复杂任务。
  • 在智能体任务中，ACE优化了上下文，使较小的开源模型在性能上能匹配甚至超越更大模型。在AppWorld排行榜上，ACE在整体平均分上与顶级生产级智能体持平，并在更具挑战性的测试挑战部分超越了它。
• 领域特定推理：在金融领域，ACE通过持续积累、提炼和组织领域策略，优化了上下文，使模型能更好地进行领域特定的推理，在金融领域基准测试中取得了显著的性能提升。
• 无需微调的模型进化：ACE框架能实现可扩展且高效的上下文自适应，适用于离线（如系统提示优化）与在线（如测试时记忆自适应）场景。通过利用自然执行反馈，而非依赖标注监督，来优化上下文，实现模型的自我改进。
• 避免上下文坍缩和简略偏置：ACE通过增量式Delta更新机制和grow-and-refine机制，避免了上下文坍缩和简略偏置问题。以局部编辑替代整体重写，显著降低了延迟与计算开销，同时在持续扩充上下文的同时抑制冗余，实现上下文的稳态演化。
• 提升系统性能与降低成本：在多种基准测试中，ACE显著提高了系统的性能，同时降低了操作延迟和部署成本。通过结构化、增量式的更新方式，保留了详细知识，并与长上下文模型协同扩展。
• 自动化反馈驱动的自我改进：ACE使用自然执行反馈而不是明确的标记监督，通过生成器记录目标完成或失败事件相关的上下文条目或战术痕迹，反思器进行比较分析并提炼为具体的增量更新，策划者将其整合到全局上下文存储中。这种方式使上下文能根据实际系统结果和错误进行修订，持续向更高实用性对齐。

Agentic Context Engineering面临的挑战

• 反馈质量依赖：ACE框架高度依赖于高质量的反馈来驱动上下文的改进。如果反思器（Reflector）无法提取出有意义的见解，整个系统将难以有效改进。此外，如果反思提示设计不当，可能会产生误导性的模式。
• 上下文管理复杂性：ACE需要处理大量的上下文数据，这可能对计算资源造成压力。特别是当上下文窗口非常大时，可能会导致推理时间增加和资源使用增加。随着上下文的不断增长，需要有效管理旧信息的更新和新信息的整合。
• 性能和成本问题：ACE通过增量更新机制减少了适应延迟和计算成本，但长上下文和反思循环仍然会增加推理时间和资源使用。上下文窗口的限制可能导致模型性能下降，特别是在处理非常长的上下文时。
• 错误累积和系统性问题：随着时间的推移，上下文编辑可能会积累微妙的错误。如果对自动改进过于自信，可能会掩盖更深层次的推理或对齐问题。错误处理也是一个挑战，因为隐藏错误会移除模型从错误中学习的证据。
• 适应性和灵活性限制：ACE依赖于具有一定能力的模型，如果基础模型本身能力不足，那么即使上下文不断优化，也难以达到理想的性能。ACE可能不适用于所有任务，简单问题可能只需要简洁的指令，不是复杂的上下文。
• 数据治理和隐私问题：在处理用户特定或敏感数据时，隐私和数据治理是重要的考虑因素。开发人员需要优先考虑数据最小化、匿名化，并遵守相关法规（如GDPR）。
• 多模态信息整合：现代智能代理通常需要处理多种类型的信息，包括文本、结构化数据、代码、图像和实时传感器数据。将这些不同模态的信息整合到一个连贯的上下文中是一个重大的工程挑战。
• 评估和验证的必要性：如果没有适当的评估，进化的智能代理可能会强化错误的模式。持续的测试、人类验证和以评估为导向的设计是必不可少的。
• 上下文窗口限制：现代语言模型支持较大的上下文窗口，但在实际应用中，这些窗口的大小仍然有限。这可能导致模型在处理复杂任务时需要访问的信息超出了单个上下文窗口的限制。
• KV缓存失效：大模型在处理输入时会利用KV缓存来加速，但上下文中的微小变化（哪怕是一个token的差异）都会导致缓存失效，显著增加延迟和成本。

Agentic Context Engineering的发展前景

Agentic Context Engineering（ACE）作为一种创新的上下文优化框架，具有广阔的发展前景。通过生成、反思和策划的模块化机制，能动态更新和优化智能系统的上下文，显著提升性能并降低部署成本。ACE在无监督学习场景中展现出强大的自主学习能力，无需标注数据即可适应新任务，为数据稀缺场景下的智能化提供了可行方案。增量更新机制和差分更新策略，不仅避免了上下文坍缩和简略偏置问题，还显著降低了适应延迟和部署成本，使智能系统能在复杂环境中保持灵活性和适应性。未来，ACE有望在多模态信息整合、提升系统可解释性和透明度、与现有技术的融合等方面取得突破，推动智能代理系统的发展，并成为智能系统开发的标准实践。随着技术的普及，上下文工程师将成为高需求的职业角色，负责设计、优化和维护智能系统的上下文，确保其在各种应用场景中的高效运行。