淘宝MNN团队开源0.3B端侧模型，iPhone 18 Pro离线解码约350 token/s

淘宝MNN团队开源面向移动设备的轻量大语言模型MNN-Pocket-0.3B，参数量约3亿，提供基础、指令微调及端侧部署等多个版本。在iPhone 18 Pro上通过MNN推理引擎离线运行，平均解码速度约350 token/s；iPad Pro M5测试中，解码速度最高达466 token/s。其INT4部署文件为173MB，在相应测试配置下峰值内存增量为228MB；团队称一加13上的4-bit模型完成100次基准任务，累计增量能耗约占电池总电量的0.3%。模型还将词表缩减至约6.4万，并在多项中英文指令遵循及综合评测中进行测试。