• 96
    卖女孩的小火柴 2019年2月19日 00:20 其他
    Neural Network

    从理论上看神经网络,dvc = O(VD)。其中,V是神经网络里面神经元的个数,D表示所有权值的数量,所有如果V很大,那么复杂度就会越大,很有可能会overfit,所以可以通过限制模型复杂度来防止过拟合。 防止overfit还有一个方法,就是regular...

  • 96
    卖女孩的小火柴 2019年2月19日 00:19 其他
    linear regression and logistic regression

    霍夫丁不等式保证了一个hypothesis发生坏事的概率是很小的,Multi霍夫丁不等式保证了这个hypothesis set对于所有的数据集发生的坏事的概率满足的不等式,VC dimension则保证了这个hypothesis set里面发生的坏事的概率...

  • 96
    卖女孩的小火柴 2019年2月19日 00:15 其他
    HMM

    概率图模型大多都是围绕着三个问题展开的,求观测序列的概率最大,求隐含序列的概率最大,求参数。MEMM,RCF大多都会围绕这几个问题展开。求观测序列的概率,暴力求解是为了理解模型,前向后向算法才是真正有用的;概率最大的隐含序列viterbi算法,动态规划的思...

  • 96
    卖女孩的小火柴 2019年2月19日 00:09 其他
    Matrix Factorization

    机器学习的作用就是要从一堆数据中学习到学习到某种能力,然后用这种skill来预测未来的结果。比如一个电影推荐的例子,我们手上有很多的电影数据,现在就需要训练一个机器学习的模型来使得这个模型可以预测一个新来的用户会喜欢什么电影,然后推荐过去。或者是对用户没有...

  • 96
    卖女孩的小火柴 2019年2月18日 21:45 其他
    Recommended System

    推荐系统的核心问题就在于为用户推荐与其兴趣相似度比较高的商品。比如在微博上,用户至上想打发时间,并不是想准确的查看某条信息,在首页中查看每一条微博,为了帮助他筛选出一批他们可能感兴趣的信息,此时就需要分析出该用户的兴趣,从海量信息中选择出与用户兴趣相似的信...

  • 96
    卖女孩的小火柴 2019年2月18日 21:45 其他
    Optimization of Machine Learning

    首先提到的是梯度下降,梯度下降算法虽然很简单,但是下降的方向会有所偏差,可能胡局部不稳定,速度不会特别快,但是最终是会到达终点。于是改进一下,梯度下降是一阶拟合,那么换牛顿法二阶拟合,但是牛顿法问题来了,迭代的方向有可能是错误的,所以改进一下,加点阻力,就...

  • 96
    卖女孩的小火柴 2019年2月18日 21:44 其他
    基于SVM的思想做CIFAR-10图像分类

    回顾一下之前的SVM,找到一个间隔最大的函数,使得正负样本离该函数是最远的,是否最远不是看哪个点离函数最远,而是找到一个离函数最近的点看他是不是和该分割函数离的最近的。...

  • 96
    卖女孩的小火柴 2019年2月18日 21:44 其他
    EM Algorithm

    这是李航老师书上的,既然θ是已经知道了,那么自然就可以去掉,因为在log下面做分母就相当于是常数了,拆开可以变减号嘛,在前面的就不可以。回来看看我们刚刚推导的,其实是一样的,下面的那个Q确实可以去掉,因为是事先知道的了。在使用Jensen不等式的时候,需要...

  • 96
    卖女孩的小火柴 2019年2月18日 21:43 其他
    Radial Basis Function Network

    效果非常非常不稳定,我之前怀疑是线性回归的解不稳定的缘故,之前学习到病态矩阵,也就是近似奇异矩阵的矩阵,而regularization L2正则化就是为了使得病态矩阵转换成正常矩阵,所以增大了λ,显然并没有什么卵用。虽然整体效果不错。上面的结果就已经是λ增...

  • 96
    卖女孩的小火柴 2019年2月18日 21:42 其他
    Decision Tree

    回顾上一篇文章讲到的聚合模型,三个臭皮匠顶一个诸葛亮。于是出现了blending,bagging,boost,stacking。blending有uniform和non-uniform,stacking是属于条件类的,而boost里面的Adaboost是边...

  • 96
    卖女孩的小火柴 2019年2月18日 21:41 其他
    Random Forest

    随机森林还是没有脱离聚合模型这块,之前学过两个aggregation model,bagging和decision tree,一个是边learning边uniform。首先是boostrap方式得到数据D1,之后训练做平均;另一个也是边learning但是...

  • 96
    卖女孩的小火柴 2019年2月18日 21:39 其他
    The Optimization of the Adaboost and Gradient Boosted Decision Tree

    再回到我们上篇文章讲到的Adaboost算法,我们要从Adaboost算法推导出GBDT。首先回顾一下上篇文章的Adaboost,主要思想就是把弱分类器集中起来得到一个强的分类器。首先第一次建造树的时候每一个样本的权值都是一样的,之后的每一次训练只要有错误...

  • 96
    卖女孩的小火柴 2019年2月18日 21:38 其他
    Aggregation Model : Blending , Bagging , Boosting

    比如现在有一支股票,你不知道是跌还是涨。你有T个friends,每一个friend对应的建议分别是g1,g2,g3...gn,那么你应该怎么选择建议?...

  • 96
    卖女孩的小火柴 2019年2月18日 21:36 其他
    机器学习可行性与VC dimension

    机器学习可行性与VC dimension...

  • 96
    卖女孩的小火柴 2019年2月18日 21:26 其他
    支持向量机(Support Vector Machine)

    linear regression , perceptron learning algorithm , logistics regression都是分类器,我们可以使用这些分类器做线性和非线性的分类,比如下面的一个问题: GV0SHYC3S{P{Q4QVB...

阅读更多
  • avatar
    卖女孩的小火柴 发表了文章 1 年,8 月前
    Neural Network

    从理论上看神经网络,dvc = O(VD)。其中,V是神经网络里面神经元的个数,D表示所有权值的数量,所有如果V很大,那么复杂度就会越大,很有可能会overfit,所以可以通过限制模型复杂度来防止过拟合。 防止overfit还有一个方法,就是regular

  • avatar
    卖女孩的小火柴 发表了文章 1 年,8 月前
    linear regression and logistic regression

    霍夫丁不等式保证了一个hypothesis发生坏事的概率是很小的,Multi霍夫丁不等式保证了这个hypothesis set对于所有的数据集发生的坏事的概率满足的不等式,VC dimension则保证了这个hypothesis set里面发生的坏事的概率

  • avatar
    卖女孩的小火柴 发表了文章 1 年,8 月前
    HMM

    概率图模型大多都是围绕着三个问题展开的,求观测序列的概率最大,求隐含序列的概率最大,求参数。MEMM,RCF大多都会围绕这几个问题展开。求观测序列的概率,暴力求解是为了理解模型,前向后向算法才是真正有用的;概率最大的隐含序列viterbi算法,动态规划的思

  • avatar
    卖女孩的小火柴 发表了文章 1 年,8 月前
    Matrix Factorization

    机器学习的作用就是要从一堆数据中学习到学习到某种能力,然后用这种skill来预测未来的结果。比如一个电影推荐的例子,我们手上有很多的电影数据,现在就需要训练一个机器学习的模型来使得这个模型可以预测一个新来的用户会喜欢什么电影,然后推荐过去。或者是对用户没有

  • avatar
    卖女孩的小火柴 发表了文章 1 年,8 月前
    Recommended System

    推荐系统的核心问题就在于为用户推荐与其兴趣相似度比较高的商品。比如在微博上,用户至上想打发时间,并不是想准确的查看某条信息,在首页中查看每一条微博,为了帮助他筛选出一批他们可能感兴趣的信息,此时就需要分析出该用户的兴趣,从海量信息中选择出与用户兴趣相似的信

  • avatar
    卖女孩的小火柴 发表了文章 1 年,8 月前
    Optimization of Machine Learning

    首先提到的是梯度下降,梯度下降算法虽然很简单,但是下降的方向会有所偏差,可能胡局部不稳定,速度不会特别快,但是最终是会到达终点。于是改进一下,梯度下降是一阶拟合,那么换牛顿法二阶拟合,但是牛顿法问题来了,迭代的方向有可能是错误的,所以改进一下,加点阻力,就

  • avatar
    卖女孩的小火柴 发表了文章 1 年,8 月前
    基于SVM的思想做CIFAR-10图像分类

    回顾一下之前的SVM,找到一个间隔最大的函数,使得正负样本离该函数是最远的,是否最远不是看哪个点离函数最远,而是找到一个离函数最近的点看他是不是和该分割函数离的最近的。

  • avatar
    卖女孩的小火柴 发表了文章 1 年,8 月前
    EM Algorithm

    这是李航老师书上的,既然θ是已经知道了,那么自然就可以去掉,因为在log下面做分母就相当于是常数了,拆开可以变减号嘛,在前面的就不可以。回来看看我们刚刚推导的,其实是一样的,下面的那个Q确实可以去掉,因为是事先知道的了。在使用Jensen不等式的时候,需要

  • avatar
    卖女孩的小火柴 发表了文章 1 年,8 月前
    Radial Basis Function Network

    效果非常非常不稳定,我之前怀疑是线性回归的解不稳定的缘故,之前学习到病态矩阵,也就是近似奇异矩阵的矩阵,而regularization L2正则化就是为了使得病态矩阵转换成正常矩阵,所以增大了λ,显然并没有什么卵用。虽然整体效果不错。上面的结果就已经是λ增

  • avatar
    卖女孩的小火柴 发表了文章 1 年,8 月前
    Decision Tree

    回顾上一篇文章讲到的聚合模型,三个臭皮匠顶一个诸葛亮。于是出现了blending,bagging,boost,stacking。blending有uniform和non-uniform,stacking是属于条件类的,而boost里面的Adaboost是边

  • avatar
    卖女孩的小火柴 发表了文章 1 年,8 月前
    Random Forest

    随机森林还是没有脱离聚合模型这块,之前学过两个aggregation model,bagging和decision tree,一个是边learning边uniform。首先是boostrap方式得到数据D1,之后训练做平均;另一个也是边learning但是

  • avatar
    卖女孩的小火柴 发表了文章 1 年,8 月前
    The Optimization of the Adaboost and Gradient Boosted Decision Tree

    再回到我们上篇文章讲到的Adaboost算法,我们要从Adaboost算法推导出GBDT。首先回顾一下上篇文章的Adaboost,主要思想就是把弱分类器集中起来得到一个强的分类器。首先第一次建造树的时候每一个样本的权值都是一样的,之后的每一次训练只要有错误

  • avatar
    卖女孩的小火柴 发表了文章 1 年,8 月前
    Aggregation Model : Blending , Bagging , Boosting

    比如现在有一支股票,你不知道是跌还是涨。你有T个friends,每一个friend对应的建议分别是g1,g2,g3...gn,那么你应该怎么选择建议?

  • avatar
    卖女孩的小火柴 发表了文章 1 年,8 月前
    机器学习可行性与VC dimension

    机器学习可行性与VC dimension

  • avatar
    卖女孩的小火柴 发表了文章 1 年,8 月前
    支持向量机(Support Vector Machine)

    linear regression , perceptron learning algorithm , logistics regression都是分类器,我们可以使用这些分类器做线性和非线性的分类,比如下面的一个问题: GV0SHYC3S{P{Q4QVB

阅读更多
...
个性签名
求知若饥,虚心若愚
TA的关注
文章分类