Skip to content

tomatoyuan/minimind-learn

Folders and files

NameName
Last commit message
Last commit date

Latest commit

 

History

27 Commits
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 

Repository files navigation

minimind-learn

看到项目 minimind 项目,我大为欣喜,基础薄弱我的决定从头复现一遍该项目。看到网上的教程大多是跑通一遍流程,但是我想完全复刻一遍该项目,学习实现细节。

再次感谢作者的伟大贡献,源项目地址:【minimind】【minimind-v

以下是个人复现过程中,的一些记录。包含对于项目内容的理解,一些基础知识补充,以及实验结果。

项目文档目录

以下按推荐顺序排列,每个章节逐步深入。

建议将markdwon文档下载到本地,使用本地软件查看,网页端公式渲染有些问题。

序号 章节标题 查看文档
📚 0 环境搭建 查看文档 →
🗂️ 1 train tokenizer 查看文档 →
📦 2 DataLoader 查看文档 →
🏗️ 3 模型构建 查看文档 →
🚀 4 Pretrain 查看文档 →
🧑‍🏫 5 SFT 查看文档 →
6 LoRA 查看文档 →
🍅 强化学习实现之☞刨根问底 查看文档 →
🏆 7 PPO 查看文档 →
8 DPO 查看文档 →
🔬 9 白盒蒸馏 查看文档 →
🧩 10 MoE 查看文档 →
🔄 11 GRPO 查看文档 →
👀 12 minimind-v 查看文档 →

💡 建议按序号从上到下依次阅读,前置章节是后置章节的基础。

About

从零复现 minimind👉minimind-v

Resources

Stars

Watchers

Forks

Releases

No releases published

Packages

 
 
 

Contributors