正态分布的判别函数

Last updated Dec 24, 2021 Edit Source

• All
• Machine learning
• Discriminant function
• Gaussian distribution

Tags: #MachineLearning #DiscriminantFunction #GaussianDistribution

下面是学习Duda模式分类第二章做的简单的笔记, 有时间应该进一步梳理

高斯分布的判别函数(贝叶斯分类器)的一个常见形式是把Bayes定理的分子取下来, 再取对数.

即以下形式: $$g_{i}(\mathbf{x})=\ln p\left(\mathbf{x} \mid \omega_{i}\right)+\ln P\left(\omega_{i}\right)$$

如果后验概率$p\left(\mathrm{x} \mid \omega_{i}\right) \sim N\left(\boldsymbol{\mu}{i}, \boldsymbol{\Sigma}{i}\right)$, 那么将多元高斯分布的公式带进去可以得到: 多元高斯分布-Mutivariate_Gaussian

$$g_{i}(\mathrm{x})=-\frac{1}{2}\left(\mathrm{x}-\mu_{i}\right)^{t} \Sigma_{i}^{-1}\left(\mathrm{x}-\mu_{i}\right)-\frac{d}{2} \ln 2 \pi-\frac{1}{2} \ln \left|\Sigma_{i}\right|+\ln P\left(\omega_{i}\right)$$

后面书上分三个情况,由特殊到一般, 分别说明了

• $\Sigma_{i}=\sigma^{2} \mathbf{I}$ : 空间里面分布着大小相同的球球
• $\Sigma_{i}=\Sigma$: 空间里面分布着大小相同的椭球
• $\Sigma=$任意

三种情况下判别函数的样子与位置: 前两种情况都是线性的, 但是可能不过中点(还要看先验概率) 第三种情况判别函数是任意二次型

分析的过程就是把式子展开, 分别看哪个部分是和i无关的.