John Huang / pegasas
From Systems to Algorithms to AI
I’m John Huang. 目前专注于 Agentic AI、AI Infra 与 Physical AI,并以分布式系统、数据库与云原生为底座,把实践与学习沉淀为一份结构化的技术知识库。
Field Notes
项目笔记
每篇独立记录实战结果、实验参数和资源用量,完整过程保存在对应的私有笔记中。
推理与服务
Strata GPU 基准
量化、上下文、并发与内核对照
单路 decode 最高 181.2 tok/s
查看数据与摘要 →
推理与服务
vLLM 突发流量调优
3600 次请求的排队与延迟对照
TTFT p95:1234 → 366 ms
查看数据与摘要 →
推理与服务
四卡 vLLM 异步调度排障
从调度自旋定位到 GPU 前后验证
单次请求:318.27 → 6.69 秒
查看数据与摘要 →
算子与数值
Qwen3 FP8 整模型验证
局部矩阵乘更快,整模型反而变慢
完整模型 decode 慢约 21%
查看数据与摘要 →
训练与评测
LoRA、QLoRA 与全量微调
显存、训练、checkpoint 与恢复成本
训练峰值分配:8.21–15.86 GiB
查看数据与摘要 →
训练与评测
Qwen3 偏好微调与评分复核
训练、动态 LoRA 服务和评分边界
评分口径复核:44/48 → 41/48
查看数据与摘要 →
多模态
单卡 Cosmos 推理
实际图像、视频与分辨率边界
768 档位、25 帧视频完成
查看数据与摘要 →
Notes
技术知识库
分两段组织:AI 是当前方向,计算机基础是底座。点分组进入子类,点子类标签直达对应位置。
A · AI
AI
当前专注的方向:模型、Agent 与支撑它们的基础设施。
B · Foundations
计算机基础
AI 系统的底座:分布式、计算、存储、系统与语言。
About
我在做什么
Working on
I’m currently working on LLM / AI Infra / Agentic AI / Physical AI / AI Factory.
Learning
I’m currently learning LLM, AI Infra, distributed system, db, cloud native, etc.
Collaborate
I’m looking to collaborate on C/C++, Java, Golang, Python, Rust.
Keep exploring
Let’s talk.
How to reach me: Email me or try to figure out my WeChat number.
Activity