阿里巴巴达摩院3月发布的旗舰级服务器CPU玄铁C950，近日成功原生运行通义千问3.8-27B大模型，未依赖GPU或模拟层。该芯片采用台积电5nm工艺，集成64个计算核心、矩阵加速引擎和向量加速引擎，最高主频3.2GHz，单核SPECint2006突破70分，访存带宽较上一代提升4倍以上。实测推理速度约30 Token/秒，首Token延迟低于1.9秒。
阿里巴巴达摩院3月发布的旗舰级服务器CPU玄铁C950，近日成功原生运行通义千问3.8-27B大模型，未依赖GPU或模拟层。该芯片采用台积电5nm工艺，集成64个计算核心、矩阵加速引擎和向量加速引擎，最高主频3.2GHz，单核SPECint2006突破70分，访存带宽较上一代提升4倍以上。实测推理速度约30 Token/秒，首Token延迟低于1.9秒。