MiniMax发布技术报告,揭示大模型输出特定人名异常的根因及修复方案

近日,开发者社区发现MiniMax M2系列模型在输出人名“马嘉祺”时出现异常。MiniMax官方进行全链路排查后发布技术报告,指出问题根源在于后训练阶段导致的低频Token退化。由于包含“嘉祺”这一Token的样本在后训练中不足5条,其在向量空间中被高频Token挤压偏移,导致模型虽保留知识却无法正确输出。扫描发现,约4.9%的Token存在退化,日语内容退化率最高达29.7%,并混入大量互联网垃圾词。为此,MiniMax提出三项修复策略:构造全词表合成数据确保最低练习频率、在SFT数据中混入预训练语料、以及裁剪冗余Token并监控覆盖度。目前,日语混淆率已从47%降至1%,全词表参数稳定性显著提升。

上一篇:

下一篇:

发表回复

登录后才能评论