在WWDC期间,LM Studio与苹果联合展示,通过4台搭载M3 Ultra的Mac Studio集群成功运行Moonshot AI的万亿参数模型Kimi K2.6。该模型采用MoE架构,推理激活约320亿参数,但完整权重需约2TB内存。借助Thunderbolt 5互联与macOS RDMA-over-Thunderbolt技术,多设备实现内存共享,构建统一内存池并完成加载,现场生成速度约28 token/秒且功耗低于传统GPU集群。同时发布LM Link,实现基于加密通道的远程访问与本地推理。