StreamSparkAI

概览/核心摘要 (Executive Summary)

本次内容核心在于深入剖析逻辑回归算法的本质，纠正其名称带来的普遍误解，并详细阐述其数学原理。主讲人（speaker 1）强调，逻辑回归名为“回归”，实则为二分类算法；其名称中的“逻辑”也并非指逻辑运算，而是源于“logistical”一词的翻译。核心观点认为，逻辑回归应更准确地理解为“对数几率回归”。

内容首先指出逻辑回归使用线性回归的表达式 WX + B 来处理分类任务的矛盾，并引入广义线性模型（GLM）作为解释框架。在GLM下，逻辑回归的目标变量（0或1）服从伯努利分布，其连接函数为对数几率函数 log(P/(1-P))。通过数学推导，从此连接函数自然得到Sigmoid函数，该函数将线性输出映射到(0,1)区间，代表正样本的概率P，而非人为设定。

参数求解采用极大似然估计法（MLE），即寻找一组参数W和B，使得当前观测样本出现的联合概率最大。为简化计算，将连乘的似然函数通过取对数转化为对数似然函数（连加形式），再通过取负号将最大化问题转化为最小化问题，从而得到逻辑回归的损失函数。最终，使用梯度下降等优化算法求解该最小化问题，得到模型参数。主讲人还提及，阈值的选择（如0.5）不应盲目，实际应用需更细致考量。

逻辑回归的核心误解与正名

Speaker 1开篇点明逻辑回归是二分类算法，通过特征（如X1, X2）将样本分为正（1）或负（0）两类。其核心在于找到一个超平面（二维空间中为直线，三维为平面）来区分样本。

• 名称的误导性：
  • 逻辑回归的数学表达式初步呈现为 WX + B，这与线性回归的表达式一致，但线性回归输出连续值，而逻辑回归目标是离散的0或1分类。主讲人形象地比喻为“把牛头按在了马嘴上”。
  • 主讲人认为“逻辑回归”这一名称具有误导性，类似于“香菜明明那么臭，却取名叫香菜，而臭豆腐明明那么香，却要叫臭豆腐”。
  • 更准确的名称应为对数几率回归 (logistical regression)。当前“逻辑回归”的叫法是“谎言被重复一千遍就成了真理”的结果。

广义线性模型：理解逻辑回归的关键

Speaker 1解释，逻辑回归之所以能用线性表达式处理分类问题，关键在于广义线性模型 (Generalized Linear Models, GLM)。

• 狭义线性回归：目标变量符合正态分布。
• 广义线性回归：允许目标变量有不同分布，通过连接函数将线性预测值与目标变量的期望关联。
  • 目标变量期望为 μ。
  • 不同分布与连接函数示例：
    • 正态分布：μ = WX + B (无需额外连接函数，或称恒等连接函数)。
    • 泊松分布：log(μ) = WX + B (连接函数为对数函数)。
    • 伯努利分布：log(μ / (1-μ)) = WX + B (连接函数为logit函数/对数几率函数)。
• 逻辑回归与伯努利分布：
  • 逻辑回归的二分类问题中，单个样本结果（0或1）符合伯努利分布。
  • 伯努利分布的期望 μ 等于事件1（正样本）发生的概率 P。
  • 因此，逻辑回归的连接函数为 log(P / (1-P)) = WX + B。
  • 主讲人强调，对于“为什么伯努利的连接函数是这个”，建议听众“目前你只要记住这个结论就好了，不理解没关系，会用就好”，以避免课程过于深入导致完播率下降。

Sigmoid函数的由来：从伯努利分布到概率输出

通过对逻辑回归的连接函数 log(P / (1-P)) = WX + B 进行数学变换，可以推导出正样本概率P的表达式。

1. log(P / (1-P)) = WX + B
2. 两边取指数：P / (1-P) = exp(WX + B)
3. 令 A = exp(WX + B)，则 P = A * (1-P)
4. P = A - A*P
5. P * (1+A) = A
6. P = A / (1+A)
7. 代回 A = exp(WX + B)：P = exp(WX + B) / (1 + exp(WX + B))

8. 分子分母同除以 exp(WX + B)：P = 1 / (exp(-(WX + B)) + 1)，即 P = 1 / (1 + exp(-(WX + B)))。

9. 这个推导出的公式正是Sigmoid函数。

10. 主讲人强调：“这不是人为定义的，只是广义线性回归框架下严谨数学推导的结果。逻辑回归和西格姆函数这段姻缘是天定的。”
11. Sigmoid函数将线性回归的结果 WX + B（取值范围为负无穷到正无穷）缩放到 (0,1) 区间，这个结果即为正样本发生的概率P。
12. 决策边界与阈值：
    • 通过设定概率P的阈值（如0.5）来划分正负样本。当P > 0.5时为正类，否则为负类。
    • 超平面 WX + B = 0 实际上对应 P = 0.5 时的决策边界。
    • Speaker 1 提出一个观点：“我从来没用过0.5做阈值，并且也几乎可以说，但凡是直接用0.5做阈值的，基本上是不太了解底层逻辑，只会照本宣科的。”

几率 (Odds) 与对数几率 (Log-Odds)

• 表达式 P / (1-P) 被称为几率 (Odds)，代表正样本概率与负样本概率之比。
  • 主讲人提到，有些书翻译为“优势比”，认为这个翻译“反而更好理解”。优势比越大，判定为正样本的信心越高。
• 几率取对数后，log(P / (1-P))，称为对数几率 (Log-Odds)。
• 因此，逻辑回归实际上是用线性回归的预测结果 WX + B 去逼近真实标记的对数几率。

参数求解：极大似然估计法 (Maximum Likelihood Estimation, MLE)

目标是求解超平面表达式 WX + B 中的参数W和B。

• 统一概率表达式：
  • 正样本 (y=1) 的概率：P
  • 负样本 (y=0) 的概率：1-P
  • 对于给定样本 (x_i, y_i)，其发生的概率可以统一表示为：P(y_i | x_i) = P_i^(y_i) * (1-P_i)^(1-y_i)。
    • 当 y_i = 1 时，表达式为 P_i^1 * (1-P_i)^0 = P_i。
    • 当 y_i = 0 时，表达式为 P_i^0 * (1-P_i)^1 = 1-P_i。
• 极大似然估计法思想：
  • 既然这些数据已经真实发生了，那么最有可能导致这个数据发生的那个参数值就是对未知参数最好的估计。
  • 选择一组参数，使得当前这组观测样本出现的联合概率最大。
  • 主讲人举例：给定三组参数，分别计算出样本出现的概率，选择使整体样本出现概率最大的那组参数。
  • 似然 vs 概率：
    • 概率：参数确定，计算数据出现的可能性。
    • 似然：数据给定，评估参数的可信度。
• 似然函数：
  • 假设有N个独立同分布的样本，这批样本发生的总概率（即似然函数 L）等于所有单个样本概率的乘积：
    L(W, B) = Π [P_i^(y_i) * (1-P_i)^(1-y_i)] (从 i=1 到 N)
    其中 P_i = 1 / (1 + exp(-(W*x_i + B)))。

优化目标：损失函数与梯度下降

直接最大化似然函数 L（连乘形式）在计算上复杂且容易出现下溢（结果接近0）。

• 对数似然函数 (Log-Likelihood)：
  • 对似然函数 L 取对数，将连乘运算转化为连加运算：
    log L(W, B) = Σ [y_i * log(P_i) + (1-y_i) * log(1-P_i)] (从 i=1 到 N)
  • 由于log函数是单调递增函数，最大化 log L 等价于最大化 L。
• 损失函数 (最小化问题)：
  • 通常优化算法（如梯度下降）用于求解最小值问题。
  • 在对数似然函数前加负号，将最大化问题转化为最小化问题。这个结果即为逻辑回归的损失函数 J(W,B)：
    J(W, B) = - Σ [y_i * log(P_i) + (1-y_i) * log(1-P_i)]
  • 主讲人指出：“这不就是逻辑回归的损失函数吗？殊途同归的。”
• 梯度下降法：
  • 目标是最小化损失函数 J(W,B)。
  • 通过梯度下降法，在多次训练中不断调整W和B的取值，直至找到使损失函数最小的参数。
  • 主讲人表示梯度的具体计算方法推导较为乏味，未详细展开，仅以动画形式展示。

核心观点总结

Speaker 1总结了逻辑回归的建模过程：
1. 任务定义：为了完成二分类任务，需要在特征空间找到一个超平面 WX + B = 0。
2. 概率转换：通过Sigmoid函数 P = 1 / (1 + exp(-(WX + B)))，将线性输出转换为正样本的概率表达式。
3. 优化问题建立：根据极大似然估计法，建立了求解参数W和B的最小化优化问题（即最小化负对数似然损失函数）。
4. 参数求解：使用常见的梯度下降法，在多次训练中不断调整W和B的取值。
5. 模型获得：训练完成后，得到参数W和B的结果，即逻辑回归模型的建模结果。

最终，主讲人强调逻辑回归的本质是利用线性模型去逼近真实标记的对数几率，其核心在于广义线性模型的框架、伯努利分布的假设、对数几率连接函数以及由此推导出的Sigmoid函数和基于极大似然估计的参数求解方法。