LLMs from Scratch 是什么？100,135 Star AI 开源项目使用指南

LLMs from Scratch 是一个值得关注的 AI 开源项目。根据本次收录时的 GitHub 数据，该仓库约有 100,135 Star，主要开发语言为 Jupyter Notebook。本文只介绍项目定位、适合人群和上手路径，项目版本、许可证与 Star 数据请以原仓库为准。

LLMs from Scratch 能解决什么问题

通过 PyTorch 从零实现类似 GPT 的大语言模型，以循序渐进的代码和笔记解释分词、注意力、预训练与微调。 相比只提供在线服务的工具，开源项目通常允许用户检查代码、按需部署和二次开发，但同时也要求使用者自己承担部署、升级、安全和模型成本。

适合哪些人

它更适合希望理解大模型底层原理的学生、算法工程师和技术读者。如果只是临时体验，建议先寻找官方演示或在隔离环境运行；如果准备长期使用，应安排具备相关语言和部署经验的人员维护。

基本使用方法

按章节运行 Jupyter Notebook，先理解张量与注意力计算，再依次完成数据准备、预训练和分类或指令微调实验。 第一次运行时不要追求复杂功能，先完成安装、最小示例、结果验证和数据导出四步，再决定是否接入真实业务。

使用前需要注意

仓库当前标注许可证为 未明确标注。开源不等于可以不受限制地商用，使用前仍应查看 LICENSE、模型协议和第三方依赖条款。涉及用户数据、代码仓库、企业知识库或 API 密钥时，应采用最小权限并做好备份。

原始项目地址：https://github.com/rasbt/LLMs-from-scratch

说明：Star 数量记录于 2026 年 7 月 30 日，会随 GitHub 实时数据变化；文章不构成平台背书。