Open Source Slides for AI Education.
这里是东川路第一可爱猫猫虫，欢迎你的到来！点击表格里的链接，可以直接跳转到视频观看
这里存放我视频的配套 PPTX 课件 (可编辑) 及其 PDF 格式，也会有一些涉及到的代码
持续更新中...
"Talk is cheap, show me the math."
| 🧠 原理清晰图示 | ✏️ 详尽数学推导 | 💻 实战代码讲解 |
|---|---|---|
Folder:
./01_LLM_Base涵盖 Transformer 核心组件 (RoPE, KV Cache)、DeepSeek 前沿技术 (MLA, NSA) 以及 LoRA 微调的底层数学。
| Topic (点击观看视频) | Slides (Download) | Keywords |
|---|---|---|
| Attention & MHA | PPTX | PDF | QKV Softmax |
| RoPE 旋转位置编码 | PPTX | PDF | Complex Number Extrapolation |
| KV Cache 原理 (Part 1) | PPTX | PDF | Memory Optimization |
| GQA, MQA 与 KV Cache (Part 2) | PPTX | PDF | Multi-Query Group-Query |
| DeepSeek: Sparse Attention (DSA) | PPTX | PDF | DeepSeek Sparsity |
| DeepSeek: NSA (Native Sparse) | PPTX | PDF | DeepSeek Compression |
| LoRA: 矩阵低秩近似数学基础 | PPTX | PDF | SVD Pseudo-Inverse |
| LoRA: 反向传播与梯度计算 | PPTX | PDF | Backprop Parameter Efficient |
| LoRA: 初始化策略 (Init) | PPTX | PDF | Zero Init Gaussian |
| 信息论基础: 熵与KL散度 | PPTX | PDF | Shannon Entropy Cross-Entropy |
| 从残差连接到字节跳动_HC到Deepseek_mHC | PPTX | PDF | mHC HyperConnections |
Folder:
./02_RL零基础入门强化学习！从经典的 Q-Learning 一直到 TRPO/PPO 的完整数学推导与代码实现细节，RLHF。
| Topic (点击观看视频) | Slides (Download) | Keywords |
|---|---|---|
| 零基础入门强化学习&Q-Learning | PPTX | PDF | Bellman Equation Table-based |
| DQN (Deep Q-Network) | PPTX | PDF | Replay Buffer Target Net |
| Policy Gradient (PG) | PPTX | PDF | REINFORCE Log_prob |
| Actor-Critic (AC) | PPTX | PDF | Advantage TD Error |
| TRPO: Part 1 理论推导 | PPTX | PDF | Trust Region KL Constraint |
| TRPO: Part 2 代码实现 | PPTX | PDF | Line Search |
| TRPO的数学原理: 共轭梯度法 | PPTX | PDF | Hessian-Vector Product |
| PPO: Part 1 核心原理 | PPTX | PDF | Clip Objective Function |
| PPO: Part 2 完整实现&SB3代码解读 | PPTX | PDF | Stable-Baselines3 Implementation |
| GAE (Generalized Advantage Est.) | PPTX | PDF | Bias-Variance Tradeoff Lambda |
| 从PPO到RLHF（1） | PPTX | PDF | RLHF |
| 从PPO到RLHF（2） | PPTX | PDF | RLHF PPO |
- 预览学习：推荐直接点击表格中的 PDF 链接，GitHub 可以在线高清预览，适合手机/平板阅读。
- 组会/教学：如果你需要修改课件用于组会汇报展示等用途，请下载 PPTX 源文件。
- 引用：本仓库课件遵循 CC BY-NC 4.0 协议。引用时请注明来源：Bilibili @东川路第一可爱猫猫虫。
⭐ 如果对你有帮助，请给我一个 Star喵，感激不尽
If you find these slides helpful, please star this repository.
If you find these slides helpful, please star this repository.