Cyan's Blog

Search

Tag: ConvexOptimization

Sep 11, 2021
正则项不影响Logistic回归损失函数凸性

正则项不影响Logistic回归损失函数凸性

正则项不影响Logistic回归损失函数凸性 2021-09-11 Tags: #MachineLearning #LogisticRegression #Regularization #ConvexOptimization #CostFunction 首先, 没有加正则项的二阶导数如下 那么只需要计算正则项的二阶导数 $\begin{align} J(\theta)&=P(\theta)+\frac\lambda{2m}\sum^n{i=1}\thetai^2 \end{align}$ $\begin{aligned} \frac{\partial^2}{\partial \theta_{j}^2} \left(\frac\lambda{2m}\sum^n{i=1}\thetai^2\right)&= \frac{\lambda}{m}\frac{\partial}{\partial \theta{j}} \theta{j}\\ &=\frac{\lambda}{m}>0 \end{aligned}$ 所以损失函数还是凸的 ...

11/19/2023
Sep 11, 2021
证明Logistic回归的损失函数是凸函数

证明Logistic回归的损失函数是凸函数

证明Logistic回归的损失函数是凸函数 2021-09-11 Tags: #MachineLearning #LogisticRegression #ConvexOptimization #CostFunction 证明 原函数 Part.13CostFunction-LogisticRegression(MLAndrew.Ng.).md) $\begin{aligned} h&=g(X \theta) \\ J(\theta)&=-\frac{1}{m} \cdot\left[y^{T} \log (h)+(1-y)^{T} \log (1-h)\right] \end{aligned}$ 一阶导数 在梯度下降里面我们已经求出了一阶导数了: .md#推导) 二阶导数 $h(x)=g\left(\theta^Tx\right)$ $$\begin{aligned} \frac{\partial}{\partial \theta_{j}} h(x)&= \frac{\partial}{\partial \theta_{j}} g\left(\theta^Tx\right)\\ &=g\left(\theta^Tx\right)\left(1-g\left(\theta^Tx\right)\right) \frac{\partial}{\partial...

11/19/2023
Sep 10, 2021
正则项不影响线性回归损失函数的凸性

正则项不影响线性回归损失函数的凸性

正则项不影响线性回归损失函数的凸性 2021-09-10 Tags: #MachineLearning #Regularization #GradientDescent #LinearRegression #ConvexOptimization Question: 加上正则项以后函数还是凸的吗? 梯度下降还适用吗? 还是适用的, 证明如下 首先, 如何证明一个函数为凸函数? 如果 $f$ 是二阶可微的，那么如果 $f$ 的定义域是凸集，并且 $\forall x\in dom(f), \nabla^2 f(x)\geqslant0$ ，那么 $f$ 就是一个凸函数. 严格凸函数则要求二阶导数恒大于零 $dom(f)$ 意指函数 $f$ 的定义域(Domian) 我们首先证明没有正则项的 $J(\theta)$ 是凸的 $$\begin{aligned} \frac{\partial}{\partial \theta_{j}} J(\theta) &=\frac{1}{2...

11/19/2023
Aug 2, 2021
凸优化与线性回归问题

凸优化与线性回归问题

Gradient Descent & Convex Optimization / 凸优化 2021-08-02 Tags: #MachineLearning #ConvexOptimization #Math 在这里(和下面的引用里面).md), 我们特殊的线性规划的损失函数一定是一个凸函数, 那么在其他情况下, 线性规划还是凸函数吗, 线性规划问题会陷入局部最优的问题中去吗? Note that, while gradient descent...

11/19/2023