Relation_between_Softmax_and_Logistic_Regression

Last updated Feb 11, 2022 Edit Source

• All
• Softmax regression
• Logistic regression
• Classification
• Multiclass classification

Tags: #SoftmaxRegression #LogisticRegression #Classification #MulticlassClassification

Ref: Unsupervised Feature Learning and Deep Learning Tutorial

• 二分类的 Softmax回归

  D2L-13-Softmax_Regression

  Softmax 回归 2022-02-11 Tags: #SoftmaxRegression #MachineLearning #Classification #MulticlassClassification Softmax回归解决的是多分类问题, 它可以看作是二分类的Logistic_Regression.md)的推广. Softmax函数 Softmax回归 Softmax回归就是在线性回归的基础上套上一个Softmax函数, 取输出结果中概率最大的项作为预测结果. 交叉熵作为损失函数 D2L-14-Cross Entropy as Loss Softmax and Argmax 不像Softmax输出K个概率值, Argmax函数直接将输入向量里面最大的元素设置为1, 其他均置为0. Argmax常常用于输出预测结果, 但是Argmax有个很严重的缺点: 它的结果没法用于反向传播优化参数: (因为它要么不可导要么导数为0) 解释:...

  11/19/2023

  形式如下: $$h_{\theta}(x)=\frac{1}{\exp \left(\theta^{(1) \top} x\right)+\exp \left(\theta^{(2) \top} x^{(i)}\right)}\left[\begin{array}{c} \exp \left(\theta^{(1) \top} x\right) \\ \exp \left(\theta^{(2) \top} x\right) \end{array}\right]$$

• 根据: Softmax_Regression_is_Over-parameterized

  Softmax_Regression_is_Over-parameterized

  Softmax Regression is Over-parameterized 2022-02-11 Tags: #SoftmaxRegression Ref: Unsupervised Feature Learning and Deep Learning Tutorial 将Softmax回归里面的参数全部变化一个相同的值, 结果不变: $$\begin{aligned} P\left(y^{(i)}=k \mid x^{(i)} ; \theta\right) &=\frac{\exp \left(\left(\theta^{(k)}-\psi\right)^{\top}...

  11/19/2023

  , 我们可以让参数同时减去 $\psi=\theta^{(2)}$, 得到:

$$\begin{aligned} h(x) &=\frac{1}{\exp \left(\left(\theta^{(1)}-\theta^{(2)}\right)^{\top} x^{(i)}\right)+\exp \left(\overrightarrow{0}^{\top} x\right)}\left[\exp \left(\left(\theta^{(1)}-\theta^{(2)}\right)^{\top} x\right) \exp \left(\overrightarrow{0}^{\top} x\right)\right] \\ &=\left[\begin{array}{l} \frac{1}{1+\exp \left(\left(\theta^{(1)}-\theta^{(2)}\right)^{\top} x^{(i)}\right)} \\ \frac{\exp \left(\left(\theta^{(1)}-\theta^{(2)}\right)^{\top} x\right)}{1+\exp \left(\left(\theta^{(1)}-\theta^{(2)}\right)^{\top} x^{(i)}\right)} \end{array}\right] \\ &=\left[\begin{array}{c} \frac{1}{1+\exp \left(\left(\theta^{(1)}-\theta^{(2)}\right)^{\top} x^{(i)}\right)}\\ {1-\frac{1}{1+\exp \left(\left(\theta^{(1)}-\theta^{(2)}\right)^{\top} x^{(i)}\right)}} \end{array}\right] \end{aligned}$$

通过将 $\theta^{(2)}-\theta^{(1)}$ 替换为 $\theta’$, 得到 $$\begin{bmatrix} \frac{1}{1+\exp \left(-(\theta’)^{\top} x^{(i)}\right)}\\ {1-\frac{1}{1+\exp \left(-(\theta’)^{\top} x^{(i)}\right)}} \end{bmatrix}$$ 我们可以看到函数预测第一个类的概率为: $$\frac{1}{1+\exp \left(-(\theta’)^{\top} x^{(i)}\right)}$$ 就是 Logistic回归的情形.

第二个类的概率为 $${1-\frac{1}{1+\exp \left(-(\theta’)^{\top} x^{(i)}\right)}}$$ 也就是logistic回归没有表述出来的情况.