Cyan's Blog

Search

Tag: MachineLearning

Feb 2, 2022
D2L-10-小批量随机梯度下降

D2L-10-小批量随机梯度下降

小批量随机梯度下降(Mini-Batch)是深度学习默认的求解方法 2022-02-02 Tags: #MachineLearning #GradientDescent #DeepLearning #Optimization DifferentGradientDescent_Methods 注意有两个点: 小批量(Mini-Batch), 随机(Stochastic) 梯度下降其中: 小批量是因为在整个数据集上面训练一次又慢又贵同时小批量还能从多个相似的数据点中选一个代表来计算, 节约了计算资源但是样本不能太小, 太小的样本不适合用GPU并行计算随机是选取小样本的方法: 随机选取 ...

11/19/2023
Feb 2, 2022
D2L-6-计算图

D2L-6-计算图

计算图 2022-02-02 Tags: #MachineLearning #DeepLearning 将计算表示为一个无环图例子线性回归: 计算图有两种构造方法: 显式构造主要应用于: Tensorflow/Theano/MXNet 例子: from mxnet import sym a = sym.var() b = sym.var() c = 2 * a...

11/19/2023
Feb 2, 2022
D2L-9-梯度下降的方向

D2L-9-梯度下降的方向

梯度下降的方向是梯度的反方向 2022-02-02 Tags: #GradientDescent #DeepLearning #MachineLearning 梯度是一个函数增长最快的方向, 通常我们都是想获得损失函数的最小值, 所以需要沿着梯度的反方向来移动. 注意这并不是一定的, 梯度下降.md)/上升只是一种优化方法而已, 如果我们想要优化的目标函数取得最大值, 那么就应该沿着梯度的方向变化. ...

11/19/2023
Dec 27, 2021
Bayesian_Estimation(Inference)贝叶斯估计

Bayesian_Estimation(Inference)贝叶斯估计

贝叶斯估计 2021-12-27 Tags: #Bayes #MachineLearning 贝叶斯估计有点难, 还要进一步学习贝叶斯估计是一种参数估计方法, 不只局限于设计贝叶斯分类器贝叶斯估计的核心在于用新的样本来更新旧的Prior, 一起得到一个PostPrior的参数的概率分布, 合并的过程利用的是贝叶斯分布. 贝叶斯估计和极大似然估计的最大不同就是贝叶斯估计的是参数可能的概率分布, 而不是一个确定的值. 通过对这个概率分布进行积分, 我们可以平均地得到所有情况下最可能出现的参数. 这两篇文章写的很好: Conjugate Prior Explained. With examples & proofs...

11/19/2023
Dec 25, 2021
Maximum_Likelihood_Estimation-极大似然估计

Maximum_Likelihood_Estimation-极大似然估计

极大似然估计 MLE 2021-12-25 Tags: #MachineLearning #Math/Statistics Links: Likelihood_Function-似然函数假设样本 $X$ 服从已知的概率分布(比如正态分布) 极大似然估计就是要找一个参数 $\hat\theta$ , 使似然函数 $\mathcal{L}(\theta \mid X)$ 取得最大值$$i.e.\quad \hat{\theta}=\operatorname{argmax}_{\theta \in \Theta} \mathcal{L}(\theta...

11/19/2023
Dec 25, 2021
参数估计-Parameter_Estimation

参数估计-Parameter_Estimation

参数估计 2021-12-25 Tags: #MachineLearning #ParameterEstimation #Math/Statistics 在设计分类器或者进行回归预测的时候, 我们需要知道目标问题的概率分布情况. 但是通常我们能得到的数据只是一些特例(即训练样本). 为了对问题进行建模, 我们不仅需要确定合适的概率分布模型, 还需要根据训练样本确定模型里面的具体参数. 参数估计就是在模型已知的情况下得到最优参数的过程. 对于贝叶斯分类器, 估计先验概率 $P(\omegai)$ 通常不是很困难. 难点在于估计类条件概率密度 $p(x|\omegai)$ , 这是因为: 在很多情况下, 我们没有足够的样本在表示特征的向量 $x$ 维数较大的情况下, 计算复杂度很高. 目前比较常用的参数估计方法有极大似然估计(Maximum LIkelihood Estimation)和贝叶斯估计(Bayesian...

11/19/2023
Dec 24, 2021
正态分布的判别函数

正态分布的判别函数

Discriminant Function of Gaussian 2021-12-24 Tags: #MachineLearning #DiscriminantFunction #GaussianDistribution 下面是学习Duda模式分类第二章做的简单的笔记, 有时间应该进一步梳理高斯分布的判别函数(贝叶斯分类器)的一个常见形式是把Bayes定理的分子取下来, 再取对数. 即以下形式: $g{i}(\mathbf{x})=\ln p\left(\mathbf{x} \mid \omega{i}\right)+\ln P\left(\omega_{i}\right)$ 如果后验概率 $p\left(\mathrm{x} \mid \omega{i}\right) \sim N\left(\boldsymbol{\mu}{i}, \boldsymbol{\Sigma}_{i}\right)$ ,...

11/19/2023
Dec 21, 2021
Bayesian Decision Theory - Part1

Bayesian Decision Theory - Part1

贝叶斯决策论 - Part1 2021-12-21 Tags: #MachineLearning #Bayes 贝叶斯决策其实就是把生活中我们基于直觉和常识的决策方法形式化了, 并加以进一步地推广. 贝叶斯决策综合考量每种情况的概率和决策带来的代价. 贝叶斯决策假设问题可以用概率分布的形式来刻画, 属于贝叶斯学派的一种方法. Intro A Sad Case 假如圣诞老人打包了100盒糖果, 其中20盒是巧克力( $\omega1$ ), 80盒是水果硬糖( $\omega2$ ), 现在他从里面随机挑了一盒给小企鹅, 盒子的颜色和重量都一样, 那么小企鹅得到的是巧克力还是水果硬糖呢? 如果我们猜对了, 就可以得到一盒糖果! 因为我们只知道不同礼物的比例, 也就是 $P(\omega1)=0.2, P(\omega2)=0.8$ , 所以为了使正确的概率最大,...

11/19/2023
Dec 19, 2021
Cross Validation

Cross Validation

Cross Validation 2021-12-19 Tags: #MachineLearning 交叉验证是一种评价模型好坏的方法. 设置验证集的目的在于减少样本给模型带来的Bias, 即我们想要找到一个普遍适用的模型, 而不是只在训练集上表现很好的模型. 交叉验证是一种增大验证集, 充分利用数据的方法. 交叉验证的方法 Cross-validation (statistics) - Wikipedia#k-fold_cross-validation) Machine Learning Fundamentals: Cross Validation - YouTube 简单的来说, 交叉验证会把训练集随机分成几个部分. 每次选一小部分当作测试集(Validation Set)....

11/19/2023
- All
- MachineLearning
Dec 3, 2021
Johnson Lindenstrauss Lemma - Publish Version

Johnson Lindenstrauss Lemma - Publish Version

Johnson Lindenstrauss Lemma 2021-12-03 Tags: #MachineLearning #Math 对于高维数据，我们能够在降维的过程中保留其大部分的几何特征，即使降维的幅度非常大。这是徐亦达老师让我们学习的第一个主题 Study Materials MIT 6.854 Spring 2016 Lecture 5: Johnson Lindenstrauss Lemma and Extensions PDF(zotero://select/items/@mcnally2021RethinkingKeypoint) MIT 6.854...

11/19/2023

1
2
3
4
5