腾讯混元今日发布HY-1.8B-2Bit模型,标志着端侧模型技术重大突破。该模型采用2Bit量化方案,将等效参数量精简至0.3B,内存占用仅约600MB,体积小于部分手机应用。腾讯混元团队通过量化感知训练(QAT)及数据优化,实现了低比特模型在数学、代码、科学等核心指标上的性能,与4Bit PTQ模型版本持平。
HY-1.8B-2Bit模型在端侧设备上的生成速度较原始精度模型提升2—3倍,适配多种硬件。比如,MacBook M4的首字时延加速3~8倍,天玑9500的生成速度加速约1.5倍。此外,该模型具备全思考能力,支持任务复杂度的灵活切换。
目前,模型已提供GGUF-int2格式权重,适配Arm SME2技术平台,适用于手机、耳机、智能家居等场景。腾讯混元计划通过强化学习和模型蒸馏,进一步缩小低比特与全精度模型的能力差距。