看到项目 minimind 项目,我大为欣喜,基础薄弱我的决定从头复现一遍该项目。看到网上的教程大多是跑通一遍流程,但是我想完全复刻一遍该项目,学习实现细节。
再次感谢作者的伟大贡献,源项目地址:【minimind】【minimind-v】
以下是个人复现过程中,的一些记录。包含对于项目内容的理解,一些基础知识补充,以及实验结果。
以下按推荐顺序排列,每个章节逐步深入。
建议将markdwon文档下载到本地,使用本地软件查看,网页端公式渲染有些问题。
| 序号 | 章节标题 | 查看文档 |
|---|---|---|
| 📚 0 | 环境搭建 | 查看文档 → |
| 🗂️ 1 | train tokenizer | 查看文档 → |
| 📦 2 | DataLoader | 查看文档 → |
| 🏗️ 3 | 模型构建 | 查看文档 → |
| 🚀 4 | Pretrain | 查看文档 → |
| 🧑🏫 5 | SFT | 查看文档 → |
| ⚡ 6 | LoRA | 查看文档 → |
| 🍅 | 强化学习实现之☞刨根问底 | 查看文档 → |
| 🏆 7 | PPO | 查看文档 → |
| ✅ 8 | DPO | 查看文档 → |
| 🔬 9 | 白盒蒸馏 | 查看文档 → |
| 🧩 10 | MoE | 查看文档 → |
| 🔄 11 | GRPO | 查看文档 → |
| 👀 12 | minimind-v | 查看文档 → |
💡 建议按序号从上到下依次阅读,前置章节是后置章节的基础。