通义千问官方近日感谢 Unsloth 团队对 Qwen3.8-27B GGUF 量化版本的优化,称其“更小更聪明”。Unsloth 推出 Dynamic V3(v3.0)量化方案后,在相同文件大小下,模型准确率较主流量化方案提升超过 10%,相关 GGUF 文件已上线 Hugging Face,并兼容 llama.cpp、Unsloth Desktop 等工具。同步发布的 1-bit 版本可在 8GB 内存环境运行,进一步降低本地部署门槛。
通义千问官方近日感谢 Unsloth 团队对 Qwen3.8-27B GGUF 量化版本的优化,称其“更小更聪明”。Unsloth 推出 Dynamic V3(v3.0)量化方案后,在相同文件大小下,模型准确率较主流量化方案提升超过 10%,相关 GGUF 文件已上线 Hugging Face,并兼容 llama.cpp、Unsloth Desktop 等工具。同步发布的 1-bit 版本可在 8GB 内存环境运行,进一步降低本地部署门槛。