LLMs-from-scratch

项目概览

是一个从零开始训练大语言模型的实战项目，由 Hugging Face 社区成员发起，涵盖从数据准备、分词器构建、模型架构设计，到训练与评估的完整流程，适合希望深入理解大模型底层原理的研究者与开发者。

核心功能

• 逐步构建 Transformer 架构：从 attention 到位置编码，逐层实现。
• 自定义 tokenizer 与数据 pipeline：支持从原始文本到训练样本的完整流程。
• 微调与评估支持：兼容多种开源数据集与模型检查点。

应用场景

• AI 教学课程或工作坊：用于教授 LLM 架构与训练流程。
• 自研小型语言模型：研究者可基于该项目构建适配特定场景的轻量模型。
• 大模型训练过程复现：方便对比不同设计在训练过程中的效果差异。