OpenRouter推出Prompt Caching与Sticky Routing降低多轮Agent调用成本

OpenRouter近日推出Prompt Caching与Sticky Routing,用于降低多轮Agent会话中重复系统提示词、工具定义和策略指令带来的输入成本。Prompt Caching可让服务商读取已缓存的重复提示词,读取价格约为正常输入的0.1至0.5倍;Sticky Routing则将会话固定到持有热缓存的同一提供商,减少跨轮请求导致的缓存失效。OpenRouter建议智能体工作流使用稳定的session_id,并将系统指令、工具和参考资料等稳定内容置于提示词前部,以提升缓存命中率。

上一篇:

下一篇:

发表回复

登录后才能评论