KNN

简述KNN算法过程

谓k最近邻,就是k个最近的邻居的意思,说的是每个样本都可以用它最接近的k个邻居来代表

  1. 计算训练样本和测试样本中每个样本点的距离(常见的距离度量有欧式距离,马氏距离等);
  2. 对上面所有的距离值进行排序;
  3. 选前k个最小距离的样本;
  4. 根据这k个样本的标签进行投票,得到最后的分类类别;

SVM

SVM目标函数推导

SVM就是寻找一个超平面,将所有的数据点尽可能的分开,而且数据点离超平面距离越远越好。
相对逻辑回归和神经网络,SVM在学习复杂的非线性方程时提供了一种更为清晰,更加强大的方式。

SVM 模型可以由 LR 模型推导而来,下面是 LR 的直观理解:

机器学习选择题集锦

回归

1、对于线性回归,我们应该有以下哪些假设?

  1. 找到离群点很重要, 因为线性回归对离群点很敏感
  2. 线性回归要求所有变量必须符合正态分布
  3. 线性回归假设数据没有多重线性相关性
    A 1 和 2
    B 2 和 3
    C 1,2 和 3
    D 以上都不是

基础概念

理解矩阵

有人说,矩阵的本质就是线性方程式,两者是一一对应关系
链接:http://www.ruanyifeng.com/blog/2015/09/matrix-multiplication.html

也有人说,矩阵的本质是运动的描述。简而言之,就是在线性空间中选定基之后,向量刻画对象,矩阵刻画对象的运动,用矩阵与向量的乘法施加运动。
链接:https://pan.baidu.com/s/1BLyrQH5_VAw832jKkCgpBA 密码:ljwq