StreamSparkAI

字节开源AIBrix：基于vLLM的高性价比大模型推理加速方案

LLM训练技巧与LoRA方法解析

深度学习模型微调新方法：Adapter与LoRA的高效实践

LoRA：高效微调大语言模型的低秩适配方法

QLoRA详解：高效微调量化大语言模型的三大创新技术

LoRA技术详解：高效微调大模型的创新方法

微调主流开源大模型：对比Unsloth与Transformers性能及技巧解析

微调优化技术解析：DoRA、NEFT、LoRA+与Unsloth

该讲座主要讨论了大规模神经网络的高效训练方法。首先，讲师发布了课程项目提案的评分即将公布以及项目里程碑要求的通知。 核心内容从解释计算机中数字（特别是浮点数）的表示方式开始。FP32（32位浮点数）占用4字节内存，具有较大的表示范围和较高的精度。然而，训练大型模型时，FP32可能导致显存不足（OOM）。 为节省显存，可以使用FP16（16位浮点数），它将内存需求减半，但代价是牺牲了表示范围和精度。这会导致非常小的数值变为零，非常大的数值变为NaN，同时存在舍入误差，尤其影响梯度计算，许多小梯度会因范围限制而直接归零，不利于模型训练。 为解决此问题，引入了混合精度训练（Mixed Precision Training）。一种方案是同时使用FP32和FP16：模型权重保留一份FP32的主副本（master weights），前向和反向传播时将权重转换为FP16进行计算，得到FP16格式的梯度，然后将梯度转换回FP32更新主权重。但这种方法仍存在问题，因为FP16梯度在转换回FP32前可能已经因范围过小而丢失信息（变为零）。 进一步的解决方案是损失缩放（Loss Scaling）：在前向传播得到损失后，将损失乘以一个较大的缩放因子，这会相应地放大梯度值，使得原本在FP16下会变成零的梯度能够被保留。计算完FP16梯度后，将其转换回FP32，再除以缩放因子还原，然后更新FP32主权重。PyTorch中可通过`GradScaler`和`autocast`实现。但损失缩放的缺点是需要小心调整缩放因子，以避免NaN并适应网络动态。 最后，讲座介绍了另一种16位浮点格式BFloat16（Brain Float 16）。BFloat16通过牺牲部分精度（尾数位数减少）来保持与FP32相同的指数位数，从而拥有与FP32相同的动态范围，但精度低于FP16。实践证明，这种精度损失对神经网络训练通常是可以接受的，并且使用BFloat16通常可以避免复杂的梯度缩放问题。