LLaMA Factory

项目概览

是一个专为 Meta LLaMA 系列模型（包括 LLaMA2、LLaMA3）设计的微调与部署工具，集成了 LoRA、QLoRA、Flash Attention 等技术，适用于中小规模的个人或企业在本地高效训练与部署语言模型。

核心功能

• 支持多种训练方式：LoRA、全参数微调、INT8/4bit 量化微调。
• 自动适配模型结构：支持多种 Hugging Face 格式的模型。
• 界面友好、部署简单：可通过 Web UI 启动训练流程。
• 支持推理与导出：训练完成后可直接用于推理或部署。

应用场景

• 自有数据上的模型微调：企业使用内部数据快速定制模型。
• 研究与竞赛场景：支持快速尝试不同训练方法。
• 小模型快速部署：适合教育与初创团队验证 LLM 能力。