Stanford CS336 Language Modeling from Scratch | Spring 2025 | Inference
2025-05-21 10:12
Stanford CS336 2025春季课程第十讲讨论了语言模型推理的效率问题，重点涵盖推理工作负载、性能指标（如首个token生成时间TTFT、延迟、吞吐量）、Transformer架构下的计算强度分析、KV缓存优化技术（如GQA、MLA、CLA）、替代架构（如SSM、线性注意力、扩散模型）、量化与剪枝方法，以及推测采样和动态批处理等系统级优化策略。核心目标是在不牺牲准确性的前提下提升推理速度与资源利用率。
大语言模型
推理效率
Transformer模型
KV缓存优化
内存受限
模型量化
模型剪枝
推测采样
PagedAttention
替代架构
动态工作负载
计算强度
已摘要
阅读时间：9 分钟（2905 个字）
3 summary versions