StreamSparkAI

音频媒体文件

清除
标签搜索结果 for "基准测试"
Stanford CS336 | Language Modeling from Scratch | Spring 2025 | Lecture 12: Evaluation
2025-06-06 15:22

语言模型评估的多维视角与挑战

语言模型评估 人工智能 基准测试 评估危机 数据污染 安全性评估 智能体评估 Chatbot Arena MMLU 困惑度 指令遵循
已摘要 阅读时间：11 分钟（3703 个字） 2 summary versions
Stanford CS224N: NLP with Deep Learning | Spring 2024 | Lecture 11 - Benchmarking by Yann Dubois
2025-05-16 20:35

该演讲主要讨论了机器学习领域中基准测试和评估的核心作用。主讲人Yann Dubois指出，评估贯穿模型从训练、开发、选择到部署及学术发表的整个生命周期，但不同阶段对评估方法（如速度、成本、可微性、可信度、任务相关性、指标绝对性）有不同侧重。学术基准测试（如MMLU）对推动领域进步至关重要，强调可复现性、标准化及长期有效性，而非指标的短期完美。演讲进一步区分了NLP中的两类评估任务：封闭式任务（如情感分析、文本蕴含），其答案固定，评估方法成熟；以及开放式任务（如文本生成），其答案多样，评估更复杂。

自然语言处理 机器学习 深度学习 基准测试 模型评估 大型语言模型 文本生成 文本分类 评估指标 数据污染 人工评估 LLM评估器
已摘要 阅读时间：14 分钟（4806 个字） 2 summary versions