StreamSparkAI

音频媒体文件

清除
标签搜索结果 for "推理效率"
Stanford CS336 Language Modeling from Scratch | Spring 2025 | Inference
2025-05-21 10:12

Stanford CS336 2025春季课程第十讲讨论了语言模型推理的效率问题，重点涵盖推理工作负载、性能指标（如首个token生成时间TTFT、延迟、吞吐量）、Transformer架构下的计算强度分析、KV缓存优化技术（如GQA、MLA、CLA）、替代架构（如SSM、线性注意力、扩散模型）、量化与剪枝方法，以及推测采样和动态批处理等系统级优化策略。核心目标是在不牺牲准确性的前提下提升推理速度与资源利用率。

大语言模型 推理效率 Transformer模型 KV缓存优化 内存受限 模型量化 模型剪枝 推测采样 PagedAttention 替代架构 动态工作负载 计算强度
已摘要 阅读时间：9 分钟（2905 个字） 3 summary versions
2024-05-01 | Stanford CS25 V4 I Demystifying Mixtral of Experts
2025-05-20 13:31

Mixtral 8x7B：稀疏专家混合模型解析

人工智能 大语言模型 稀疏混合专家 Mixtral 8x7B 模型架构 推理效率 参数效率 模型可解释性 知识密集型任务 路由机制 开源模型
已摘要 阅读时间：12 分钟（3862 个字） 2 summary versions