7月22日，小红书 dots infra 团队开源 BigMac，一种面向原生多模态大语言模型的流水并行训练范式，代码已发布在 GitHub Dots-Infra。BigMac 以成熟 LLM 流水调度为底层时间线，将编码器和生成器计算嵌入依赖安全位置，降低模态激活显存占用并减少流水空泡。测试显示，在 MLLM-Understanding 负载中，BigMac 较 Optimus 提速1.08至1.1倍，较 Megatron-DistTrain 提速1.6至1.9倍；在含20B MMDiT 生成器的 MLLM-Generation 中，较 Megatron-DistTrain 提速1.5至1.9倍。目前 BigMac 已用于小红书生产环境，相关论文已上线 arXiv。
