Search
Part.12_Logistic_Regression(ML_Andrew.Ng.)
Last updated
Aug 19, 2021
Edit Source
# Logistic Regression
2021-08-19
Tags: #LogisticRegression #MachineLearning #Classification
# Logistic Function

# Hypothesis Representation
我们可以通过对线性回归的方法进行一些小改动来匹配回归问题, 在线性回归的时候, h(x)的输出与分类问题的"值域"偏差较大, 比如在二分类问题里面, 要求y=0 or 1, 但是h(x)会输出大于一或者小于零的数.
为了解决这个问题, 我们将h(x)作为逻辑斯蒂函数的输入, 将任意输出匹配到(0,1)区间里面去, 方便分类.
hθ(x)=g(θTx)g(z)=1+e−z1z=θTx
Hypothesis如此表述之后, h(x)的值就可以理解为二分类问题中, x被归为1的概率大小.
严谨的表述是:
hθ(x)=P(y=1∣x;θ)=1−P(y=0∣x;θ)
P(y=0∣x;θ)+P(y=1∣x;θ)=1
其中 " ;θ " 的含义是: θ是参数(Parameterized by theta).
# Decision Boundary
假如我们采用这样的分类方法:
hθ(x)≥0.5→y=1hθ(x)<0.5→y=0
那么分类结果最终由h(x)的值决定:
θTx≥0⇒y=1θTx<0⇒y=0
一个例子:
图中划分数据集的线便是这个h(x), Decision Boundary, 在曲线上面的点h(x)≥0, 分类结果为1, 在曲线下面的点h(x)<0, 分类结果为0.
注意Decision Boundary是h(x)的性质, 即使上图不画数据点, Boundary依然存在.
# Nonlinearity
就像线性回归可以推广为多项式回归一样, Logistic 回归也可以有非线性的决策边界:
