字节跳动酝酿 5 万亿参数大模型,内部严禁蒸馏

据媒体报道,字节跳动正在讨论训练一款参数规模超过5万亿的大模型,规模高于阿里Qwen 3.8-Max的2.4万亿和月之暗面K3的2.8万亿。该项目仍处早期阶段,最终不一定发布,由Seed Foundation负责人项亮与大语言模型预训练数据负责人沈科牵头,Seed已开始调整组织和资源分配。张一鸣内部强调长期主义,并要求对开源模型严禁蒸馏;梁汝波也表示,大语言模型将继续坚持自研。

上一篇:

下一篇:

发表回复

登录后才能评论