2025-05-23 | Stanford CS25 V4 I Behind the Scenes of LLM Pre-training: StarCoder Use Case
2025-05-20 13:14
Loubna Ben Allal在斯坦福CS25课程中分享了大语言模型（LLM）预训练背后的细节，以StarCoder为例探讨了训练高质量LLM所需的数据、模型架构与训练策略，并分析了开放与闭源模型的发展趋势及训练中的权衡问题。
大语言模型 (LLM)
LLM预训练
StarCoder
数据质量
开源LLM
规模法则 (Scaling Laws)
合成数据
数据筛选与处理
代码大语言模型
模型评估与基准
负责任AI开发
人工智能 (AI)
已摘要
阅读时间：14 分钟（4696 个字）
3 summary versions