StreamSparkAI

Django与数据科学结合部署机器学习模型

逻辑回归算法拆解：从线性模型到概率输出

神奇的模型融合技术与应用探索

GitHub Copilot 助力 MLOps 与数据科学高效编程

该讲座主要探讨了语言模型在推理领域的应用。首先，讲座定义了推理是利用事实和逻辑得出答案的过程，并区分了演绎推理、归纳推理和溯因推理三种主要类型，同时提及形式与非形式推理，指出讲座重点关注多步骤的非形式演绎推理。 接着，讲座探讨了通过提示工程（prompting）引导大型语言模型进行推理的多种方法。其中包括“思维链”（Chain-of-Thought, CoT）提示，即引导模型在给出答案前生成推理步骤，可通过上下文示例或“让我们一步一步思考”等简单指令实现。“自洽性”（Self-Consistency）方法通过对同一问题采样多个推理路径和答案，并选取最常见答案来提升准确性，其效果优于简单模型集成。针对多步骤推理，提出了“由少至多”（Least-to-Most）提示法，它将复杂问题分解为子问题，模型逐步解决并整合答案，显示了其处理复杂推理的潜力，尽管其根本性优势尚待验证。 最后，讲座讨论了超越提示工程的策略，如通过知识蒸馏将推理能力赋予小型语言模型。以Orca模型为例，它通过微调使小型Llama模型模仿GPT-4生成的解释和推理过程。训练数据通过结合Flan V2等数据集的指令与GPT-4在特定系统提示下（如要求分步解释）生成的详尽回答来构建。讲座强调，相关领域的研究多为近三四年成果，尚有许多未解问题。

该演讲主要讨论了机器学习领域中基准测试和评估的核心作用。主讲人Yann Dubois指出，评估贯穿模型从训练、开发、选择到部署及学术发表的整个生命周期，但不同阶段对评估方法（如速度、成本、可微性、可信度、任务相关性、指标绝对性）有不同侧重。学术基准测试（如MMLU）对推动领域进步至关重要，强调可复现性、标准化及长期有效性，而非指标的短期完美。演讲进一步区分了NLP中的两类评估任务：封闭式任务（如情感分析、文本蕴含），其答案固定，评估方法成熟；以及开放式任务（如文本生成），其答案多样，评估更复杂。