谷歌研究院与特拉维夫大学发布论文,提出以“元认知”能力应对大模型幻觉问题。研究指出,当前依赖扩充数据或保守拒答的方案存在覆盖不足或实用性下降等局限。论文将幻觉核心定义为模型在低置信度下仍以确定语气输出错误信息,主张引入“忠实不确定性”,使模型根据内部置信水平调整表达。研究强调,在AI代理场景中,元认知有助于判断何时调用工具及评估信息可靠性。同时提出评估体系应从单一准确率转向“错误率与实用性”平衡指标,以提升模型可信度与实际应用价值。
谷歌研究院与特拉维夫大学发布论文,提出以“元认知”能力应对大模型幻觉问题。研究指出,当前依赖扩充数据或保守拒答的方案存在覆盖不足或实用性下降等局限。论文将幻觉核心定义为模型在低置信度下仍以确定语气输出错误信息,主张引入“忠实不确定性”,使模型根据内部置信水平调整表达。研究强调,在AI代理场景中,元认知有助于判断何时调用工具及评估信息可靠性。同时提出评估体系应从单一准确率转向“错误率与实用性”平衡指标,以提升模型可信度与实际应用价值。