StreamSparkAI

音频媒体文件

清除
标签搜索结果 for "数据质量"
2025-05-23 | Stanford CS25 V4 I Behind the Scenes of LLM Pre-training: StarCoder Use Case
2025-05-20 13:14

Loubna Ben Allal在斯坦福CS25课程中分享了大语言模型（LLM）预训练背后的细节，以StarCoder为例探讨了训练高质量LLM所需的数据、模型架构与训练策略，并分析了开放与闭源模型的发展趋势及训练中的权衡问题。

大语言模型 (LLM) LLM预训练 StarCoder 数据质量 开源LLM 规模法则 (Scaling Laws) 合成数据 数据筛选与处理 代码大语言模型 模型评估与基准 负责任AI开发 人工智能 (AI)
已摘要 阅读时间：14 分钟（4696 个字） 3 summary versions
MIT | Liquid AI | Introduction to LLM Post-Training
2025-05-18 16:19

该转录内容阐述了大型语言模型在预训练后的后训练过程。讲者指出，预训练阶段仅使模型具备下一个令牌预测能力，而后训练则通过监督微调和偏好对齐两步，将基础模型转变为能理解指令、回答问题的实用助手。文中区分了通用微调、领域特定微调和任务特定微调三种方式，并说明了不同方式在数据规模和质量要求上的区别。讲解还涉及了何时采用微调技术，如改变回答语气、注入领域知识、模型蒸馏以及针对特定任务优化，同时强调了持续评估与迭代的重要性。最后，内容还总结了构建高质量数据集的三大要素：准确性、多样性和复杂性。

LLM 后训练 监督微调 偏好对齐 大语言模型 模型微调 数据质量 模型合并 模型评估 测试时计算扩展 人工智能 参数高效微调
已摘要 阅读时间：16 分钟（5408 个字） 2 summary versions