贝叶斯算法

贝叶斯定理相关公式

  • 先验概率P(A):在不考虑任何情况下,A事件发生的概率
  • 条件概率P(B|A):A事件发生的情况下,B事件发生的概率
  • 后验概率P(A|B):在B事件发生之后,对A事件发生的概率的重新评估。条件概率和后验概率区别
  • 全概率:如果B和B’构成样本空间的一个划分,那么事件A的概率为:B和B’的概率分别乘以A对这两个事件的概率之和。
  • 贝叶斯定理:

贝叶斯不同于SVM、逻辑回归与决策树等判别式模型,它属于生成式模型(LDA、HMM等)。
贝叶斯思想可以概括为先验概率+数据=后验概率,后验概率就是我们要求的。

KNN

简述KNN算法过程

谓k最近邻,就是k个最近的邻居的意思,说的是每个样本都可以用它最接近的k个邻居来代表

  1. 计算训练样本和测试样本中每个样本点的距离(常见的距离度量有欧式距离,马氏距离等);
  2. 对上面所有的距离值进行排序;
  3. 选前k个最小距离的样本;
  4. 根据这k个样本的标签进行投票,得到最后的分类类别;

SVM

SVM目标函数推导

SVM就是寻找一个超平面,将所有的数据点尽可能的分开,而且数据点离超平面距离越远越好。
相对逻辑回归和神经网络,SVM在学习复杂的非线性方程时提供了一种更为清晰,更加强大的方式。

SVM 模型可以由 LR 模型推导而来,下面是 LR 的直观理解: