AI INFRA / LEARNING NOTES
从 GPU Kernel,
从 GPU Kernel,
走到推理系统。
沿着「原理 → 图解 → 实现 → 源码 → Profiling → Debug」的路径,学习 AI Infra 的完整运行链路。
INFERENCE STACK
04诊断层Profiling · Debug · Bug
03服务层调度 · 缓存 · 并行
02算子层Attention · GEMM · Kernel
01硬件层GPU · CUDA · Memory
24章节目录
115独立小文章
07主题分组
01 / LEARNING PATH
从哪里开始?
按层次推进,也可以直接跳到你关心的主题。
02 / HANDBOOK
按主题查阅
先选大主题和章节,再打开独立小文章。第 7–18 章沿用 AIInfraGuide 模块四的推理优化大纲。
GPU 与算子
模型与缓存
推理基础与引擎
加速与分布式
生产服务与端侧
03 / MORE TO EXPLORE
继续探索
项目实践与技术写作笔记。