提示与讲解
Kernel Dev 训练营 · 提示与讲解
每道题一页:背景、参考解逐段讲解、图解、类比和钉死版本的源码链接。建议先自己写,卡住了再来看。
Track C · CUDA C++
硬件映射:线程索引、合并访存、shared memory、warp 原语、数据复用。
Track T · Triton
block 级编程、mask、融合、reduction、tl.dot、autotune、FlashAttention。
Track L · 推理 attention 从零写
Paged KV cache、decode attention、GQA、split-KV:真实 serving 的形状。
Track F · FlashInfer
对着 FlashInfer 的真实 API 实现并逐数值对拍,最后进入它的源码和贡献流程。
Track G · Layout / CuTe
数据在 warp / lane / register 上怎么分布;CuTe 的布局代数。
Track M · MoE 与低精度
路由与对齐、grouped GEMM、FP8 block scaling:DeepSeek-V3 / DeepGEMM 的配方。
Track X · MLX / Metal
Apple silicon 上的自定义 kernel:elementwise、simdgroup 归约、simdgroup_matrix GEMM。
专题
跨题目的系统讲解。