参数估计-Parameter_Estimation

Last updated Dec 25, 2021 Edit Source

• All
• Machine learning
• Parameter estimation
• Math statistics

Tags: #MachineLearning #ParameterEstimation #Math/Statistics

• 在设计分类器或者进行回归预测的时候, 我们需要知道目标问题的概率分布情况. 但是通常我们能得到的数据只是一些特例(即训练样本). 为了对问题进行建模, 我们不仅需要确定合适的概率分布模型, 还需要根据训练样本确定模型里面的具体参数. 参数估计就是在模型已知的情况下得到最优参数的过程.

• 对于贝叶斯分类器, 估计先验概率$P(\omega_i)$通常不是很困难. 难点在于估计类条件概率密度$p(x|\omega_i)$, 这是因为:

  • 在很多情况下, 我们没有足够的样本
  • 在表示特征的向量$x$维数较大的情况下, 计算复杂度很高.

• 目前比较常用的参数估计方法有极大似然估计(Maximum LIkelihood Estimation)和贝叶斯估计(Bayesian Estimation).

  • Maximum_Likelihood_Estimation-极大似然估计

    Maximum_Likelihood_Estimation-极大似然估计

    极大似然估计 MLE 2021-12-25 Tags: #MachineLearning #Math/Statistics Links: Likelihood_Function-似然函数 假设样本 $X$ 服从已知的概率分布(比如正态分布) 极大似然估计就是要找一个参数 $\hat\theta$, 使似然函数 $\mathcal{L}(\theta \mid X)$ 取得最大值$$i.e.\quad \hat{\theta}=\operatorname{argmax}_{\theta \in \Theta} \mathcal{L}(\theta...

    11/19/2023