感谢Minimind原作者的无私开源！

深入探索大语言模型：从底层基石到高层架构，从理论原理到工程实践。

本项目是我个人基于https://github.com/jingyaogong/minimind 的学习笔记与思考。我从Minimind出发，系统性梳理了其中涉及到的知识点，并附带了相关的其他要点。我希望本项目能够不仅让读者看懂Minimind，更能对大模型的技术体系建立一个全面的insight。

这里不仅包含了我对Minimind用到的技术的详细解析，源码的超详细注释，也整理了面向求职的面试题库。无论你是想深入了解 Minimind 架构与训练的细节，还是准备相关领域的面试，希望这里的内容能最大化减少你到处找资料的次数，并给你带来启发。

🚧 当前状态：项目持续更新中，目前主要覆盖架构与基础部分，[优化篇]正在撰写中，[面试篇]已经在小红书更新...

网页对md的解析可能有错误，如遇公式或者图片的问题请下载到本地查看。

万丈高楼平地起，这里是理解 LLM 的起点。

• Tokenization：基石：关于 Tokenizer 你所需要知道的一切
• 整体设计：基石：Minimind 的设计目录
• Embeddings：基石：语义的几何与时空的折叠：Embedding与位置编码

深入 Transformer 及其变体的内部构造，解析最前沿的模型设计。

• 归一化技术：架构篇：大语言模型归一化技术：原理、演进与前沿架构
• 性能优化：架构篇：最常见的大模型优化方法：从KV Cache到Flash Attention
• 混合专家模型：架构篇：混合专家模型（MoE）：架构演进、核心算法与工程实践
• 搭建我们自己的大模型：架构篇：超级拼装
• (可选阅读)：大规模语言模型推理与训练优化机制

本章节正在撰写中，将涵盖预训练算法、微调策略（SFT/RLHF）等核心算法细节。

• 预训练算法：算法篇：Minimind的Pretrain
• SFT算法：算法篇：Minimind的SFT
• 大模型RL算法概览：算法篇：大模型强化学习算法概览
• DPO算法：算法篇：Minimind的DPO
• PPO算法：算法篇：Minimind的PPO
• GRPO算法及其变体（Dr.GRPO,DAPO,GSPO,SAPO,GTPO）：算法篇：Minimind的GRPO及其变体
• SPO算法：算法篇：Minimind的SPO

• LoRA：优化篇：常用LoRA类算法全解
• 知识蒸馏：优化篇：知识蒸馏

本章节已完成，讲涵盖我个人对大模型求职的笔记与经验，请移步小红书https://www.xiaohongshu.com/user/profile/6535eb17000000000301f11e查阅。

• 面试八股：大模型八股 100 问
• 面试题库：已经在小红书更新

• Phase 1 (Completed): 完成基础组件（Tokenizer, Embeddings）与核心架构（MoE, Normalization, KV Cache）的解析。
• Phase 2 (Completed): 完善 [算法篇]，深入探讨训练机制等算法细节。
• Phase 3 (Completed): 面试相关内容已经在小红书更新。
• Phase 4 (In progress): 完善 [优化篇]，讲解常用大模型训练优化方案

如果你发现文章中有任何错误，或者有更好的见解，欢迎提交 Issue 或 PR。

再次感谢Minimind原作者的无私开源。同时，感谢https://github.com/hans0809/MiniMind-in-Depth ，我从该项目中学到了很多。

我的更多内容，欢迎关注小红书“天上的彤云”