49道LLM推理面试题开源,背后是48个主题的动手路线图
TensorTonic把高频Inference/LLM工程师面试题整理成开源手册,49道题,每题配解释和能跑测试的练习,七阶段覆盖从prefill/decode到生产服务。背答案不够,动手写量化器和调度器才是重点。
TensorTonic开源了一个仓库,叫LLM Optimization Handbook。它收集了49道Inference/LLM engineer面试中高频出现的问题,每题都配解释和一个能对着测试跑的练习题。
仓库地址在这里。它按七个阶段串起48个主题,从单个请求怎么跑过GPU,一直到模型怎么在生产环境里服务。每个主题都链到一篇短解释,以及用Python、CUDA或Triton实现并跑测试的练习题。
仓库原话是,多数优化建议容易复述、难应用,自己写量化器或调度器,最快看到每种技术到底改变了什么。这句话点出了它和普通题库的区别:题库只是入口,路线图和练习才是主体。
七个阶段大致是这些内容:
- Stage 1,Inference Fundamentals。请求如何被服务,注意力前向,prefill与decode,roofline,显存预算与GPU数量,token采样,TTFT、TPOT、ITL、吞吐,延迟分位数。
- Stage 2,Quantization。数值格式与混合精度,对称INT8,per-channel scale,group-wise INT4,FP8 block quantization,outlier与GPTQ/AWQ,QLoRA。
- Stage 3,KV Cache and Attention。KV cache大小估算,MQA、GQA、MLA,解码时的RoPE,FlashAttention与online softmax,PagedAttention,prefix caching。
- Stage 4,Speculative Decoding and MoE。draft与verify,接受率和真实加速,Medusa、EAGLE这类无草稿变体,top-k expert routing,token dispatch与聚合。
- Stage 5,GPU Kernels。线程、block、warp,内存合并与共享内存,tiled matmul,reduction与softmax,Triton kernel,kernel fusion,attention kernel。
- Stage 6,Batching and Parallelism。动态batch,continuous batching,chunked prefill,prefill/decode分离,cache-aware路由,集合通信,tensor parallelism,expert parallelism。
- Stage 7,Serving in Production。搭推理服务器,benchmark方法,GPU时间profiling,延迟SLO下的吞吐与成本,rollout和监控。
面试里常见把量化、FlashAttention、continuous batching当成三张万能牌。追问KV cache内存怎么估、INT4 outlier怎么处理、调度策略怎么影响TTFT,牌就不够用了。这个手册的价值在于把这些名词拆成可测量、可复现的练习。
怎么用,仓库也给了三类路径。ML engineer转推理,按阶段顺序走,每个主题至少做一道题。准备推理或ML系统面试,前三个阶段加batching阶段覆盖大多数问题。已经在生产里服务模型,把表格当checklist,重点补那些只在library flag里用过的主题。
前置要求不算高:熟悉Python,大致知道transformer怎么工作。Stage 5之前不需要GPU编程经验。仓库采用MIT license。
如果只想刷题,先做前三个stage和batching。如果已经在调线上服务,把七阶段表格当检查表,补上那些一直交给框架、自己没亲手写过的部分。
发布时间: 2026-11-19 01:32