LOADINGLoading
Strata 0.2.10发布:8GB显存支持128K上下文
开源本地大模型工具Strata发布0.2.10版本,更新显存调度、多卡推理及智能体交互功能。新版本可在显存不足时将部分缓存转移至系统内存或硬盘,官方称8GB显卡可运行Qwen3.8 IQ3_S等模型并启用128K上下文,建议配备至少32GB内存。DFlash2成为默认推测解码器,显存占用约625MiB,较此前MTP方案减少约4GB。新增多卡联合分割引擎,官方测试中,两张RTX A6000运行代码编辑任务的速度由195 Token/s提升至377至394 Token/s。版本还加入编程模型ISTA-DAS Coder,并优化Agent操作与模型加载;支持Windows、macOS和Linux。
Comments
0