无显卡运行2.8万亿参数Kimi K3：40核服务器借助傲腾内存完成测试

社区测试显示，一台搭载40核第三代至强可扩展处理器、未配备显卡的老旧服务器，借助傲腾持久内存200系列，成功运行月之暗面2.8万亿参数混合专家模型Kimi K3。测试使用llama.cpp，并将傲腾内存设为App Direct模式，作为程序可直接读写的主存。在1bit量化下，模型生成速度约为每秒0.85个token；3bit量化时约为每秒0.75个token，输出5万个token需约18.5小时。傲腾单条功耗上限为18瓦，高温下可能降频或触发保护关机。该产品线已于2022年开始收缩，此次测试主要验证超大模型在非传统硬件上的运行可行性。