什么是草稿链（Chain-of-Draft, CoD）

草稿链（Chain-of-Draft, CoD）是新型的AI推理范式，通过简洁的中间推理步骤提升推理效率。模仿人类解决问题时的简洁思维，限制每一步输出的关键信息，不超过五个词。与传统的思维链（CoT）相比，草稿链大幅减少了Token使用量，显著降低了推理成本和延迟，同时保持较高的准确率。在多种推理任务（如算术、常识和符号推理）中，草稿链表现出色，适合实时AI应用、资源受限环境和成本敏感场景。

什么是草稿链

草稿链（Chain-of-Draft, CoD）是Zoom的研究团队提出新的AI推理范式，通过模仿人类的简洁思维过程来提升推理效率，节省成本。受到了人类解决问题时依赖草稿或速记捕捉关键见解的启发。与传统的思维链（Chain-of-Thought, CoT）相比，草稿链鼓励模型生成极简的中间推理步骤，只捕捉解决问题的关键信息。

草稿链的工作原理

草稿链（Chain-of-Draft, CoD）的工作原理是通过模仿人类解决问题时的简洁思维方式，让大型语言模型（LLMs）在推理过程中生成极简但信息丰富的中间步骤。具体来说，CoD策略要求模型在每一步推理中限制使用的词汇数量，通常不超过五个单词。这种方法不强制限制，是一种指导性建议，促进简洁的推理步骤。

CoD鼓励模型在每一步推理中生成最小化且信息丰富的中间结果，专注于关键的计算或转换步骤。通过减少冗长的输出，CoD显著降低了Token使用量，降低了整体输出的长度和延迟。减少了Token使用量，CoD在多种推理任务（如算术推理、常识推理和符号推理）中仍能保持与传统思维链（CoT）相当的准确性。

草稿链的主要应用

• 实时客户支持：在实时客户支持领域，响应速度对于用户体验至关重要。草稿链通过减少推理过程中的Token数量，显著降低了延迟，使AI能更快速地提供解决方案。
• 教育和学习辅助：在教育领域，草稿链可以用于提供快速的学术问题解答。例如，在数学教育中，CoD能迅速展示解题的关键步骤，不是详尽的推理过程，帮助学生更快地理解问题的核心。
• 对话式AI系统：对话式AI系统，如聊天机器人，需要快速且准确地理解用户意图并作出回应。草稿链通过生成简洁的中间推理步骤，使AI系统能更快地处理用户输入并生成回应。
• 大规模AI部署：在需要大规模部署AI模型的场景中，如云计算服务，成本控制是一个重要考虑因素。草稿链通过减少Token使用量，显著降低了推理任务的成本。
• 资源受限环境：在资源受限的环境中，如移动设备或边缘计算设备，计算能力和存储空间可能非常有限。草稿链通过生成极简但信息丰富的中间推理输出，使AI模型能在这些设备上以更低的资源消耗运行。
• 总结和提取关键信息：在需要从大量文本中快速提取关键信息的场景中，如新闻摘要或研究报告的快速阅读，草稿链能够有效地提炼出核心要点。通过限制每个推理步骤的词汇数量，CoD帮助用户快速抓住文本的主要内容，无需深入阅读所有细节。
• 金融高频交易：在金融领域，尤其是高频交易，决策速度对于成功至关重要。草稿链通过减少推理延迟，使AI系统能更快地分析市场数据并作出交易决策。
• 自动驾驶决策：自动驾驶系统需要在极短的时间内做出复杂的决策。草稿链通过提供快速且准确的推理能力，有助于自动驾驶系统在面对复杂交通情况时迅速做出反应。

草稿链面临的挑战

• 零样本设置下的性能下降：草稿链在没有提供少量样本（few-shot examples）的零样本（zero-shot）设置中，性能显著下降。可能是因为大型语言模型的训练数据中缺乏CoD风格的推理模式，使得在没有样本指导的情况下生成简洁且有洞察力的“草稿”变得困难。
• 小模型上的性能差距：在参数少于3B的小型语言模型上测试CoD时，虽然CoD能减少每个响应所需的Token数量并提高准确性，但与CoT相比，性能差距更加明显。
• 复杂任务中的局限性：草稿链可能不适用于需要大量反思、自我纠正或外部知识检索的复杂任务。在这些情况下，CoD的简洁性可能会限制模型的推理深度和准确性。
• 推理深度与简洁性的平衡：虽然CoD通过减少冗余和专注于关键洞察来降低延迟和计算成本，但这种简洁性可能会牺牲推理深度。在某些情况下，详细的中间步骤对于理解和验证推理过程至关重要。CoD的极简主义方法可能会使得推理过程不够透明，难以追踪和理解模型的思考路径。
• 成本与性能的权衡：尽管CoD在降低成本方面表现出色，但在某些高性能要求的应用场景中，成本优势可能会以牺牲准确性为代价。例如，在需要极高准确性的金融分析或医疗诊断领域，CoD的性能可能不足以满足需求。
• 模型适应性：CoD要求模型在每一步推理中限制使用的词汇数量，这种限制可能不适用于所有类型的模型。不同的模型可能需要不同的策略来适应CoD的要求，可能会增加模型训练和调优的复杂性。
• 实时应用的挑战：虽然CoD通过减少Token使用量显著降低了延迟，但在实时应用中，如自动驾驶或高频交易，即使微小的延迟也可能影响决策的质量。因此，CoD需要在保持低延迟的同时，确保推理的准确性和可靠性。

草稿链的发展前景

草稿链（Chain-of-Draft, CoD）作为新兴的AI推理范式，发展前景十分广阔。CoD通过模仿人类的简洁思维过程，将复杂的推理任务分解为简洁且信息密集的中间步骤，显著降低了Token使用量和推理延迟。 CoD的高效性和成本效益在多个领域具有显著的应用潜力。对于每月处理100万次推理查询的企业，用CoD可以将成本从3800美元降低到760美元。这种成本优势在实时客户支持、教育、金融服务等对延迟敏感的场景中尤为突出。CoD的实现方式简单，只需对现有模型的提示进行简单修改即可切换，在大规模部署中具有很高的可行性。 总体来看，CoD为AI推理提供了一种更高效、更经济的解决方案，有望在未来的AI应用中得到更广泛的推广和应用。随着技术的不断进步和优化，CoD有望克服当前的局限性，进一步提升其性能和适用性。