Stanford CS336 Language Modeling from Scratch ｜ Spring 2025 ｜07 Parallelism 1
2025-05-13 17:44
本次讲座探讨了在训练大规模语言模型时进行多机优化的并行计算问题。由于单个GPU在算力和内存方面均无法满足大型模型的需求，必须采用跨机器并行策略。讲座首先介绍了网络基础，强调了硬件层级结构的重要性：单台机器内的多个GPU通过NVSwitch等高速接口互连，而机器间的通信则依赖相对较慢的网络交换机（如InfiniBand）。这种异构通信特性（节点内快、节点间慢）以及特定规模（如256个GPU）内的高速全互联能力，对并行策略的选择有深远影响。随后，讲座回顾了关键的集体通信操作，如AllReduce、Broadcast、AllGather和ReduceScatter，并特别指出AllReduce操作可以分解为ReduceScatter和AllGather操作，这在带宽受限的情况下能达到最优通信效率。讲座旨在阐释如何结合不同的并行化策略高效训练超大规模模型，并将通过案例分析展示这些策略在实际大规模分布式训练中的应用。
大型语言模型
分布式训练
并行计算
数据并行
模型并行
流水线并行
张量并行
FSDP
GPU
TPU
集体通信
网络通信
已摘要
阅读时间：11 分钟（3561 个字）
2 summary versions