StreamSparkAI

音频媒体文件

清除
标签搜索结果 for "模型合并"
【生成式AI时代下的机器学习(2025)】第十一讲：今天你想为 Foundation Model 装备哪些 Task Vector？浅谈神奇的 Model Merging 技术
2025-06-09 21:41

神奇的模型融合技术与应用探索

生成式AI 模型合并 任务向量 基础模型 机器学习 参数空间运算 机器忘却 稀疏微调 模块化AI 技能迁移
已摘要 阅读时间：8 分钟（2575 个字） 1 summary version
MIT | Liquid AI | Introduction to LLM Post-Training
2025-05-18 16:19

该转录内容阐述了大型语言模型在预训练后的后训练过程。讲者指出，预训练阶段仅使模型具备下一个令牌预测能力，而后训练则通过监督微调和偏好对齐两步，将基础模型转变为能理解指令、回答问题的实用助手。文中区分了通用微调、领域特定微调和任务特定微调三种方式，并说明了不同方式在数据规模和质量要求上的区别。讲解还涉及了何时采用微调技术，如改变回答语气、注入领域知识、模型蒸馏以及针对特定任务优化，同时强调了持续评估与迭代的重要性。最后，内容还总结了构建高质量数据集的三大要素：准确性、多样性和复杂性。

LLM 后训练 监督微调 偏好对齐 大语言模型 模型微调 数据质量 模型合并 模型评估 测试时计算扩展 人工智能 参数高效微调
已摘要 阅读时间：16 分钟（5408 个字） 2 summary versions