损失函数和成本函数

损失函数针对的是单个样本,代价函数或者成本函数针对的是全体样本。


逻辑回归

Logistic 回归是一个用于二分分类的算法。

Logistic 回归中使用的参数如下:

  • 输入的特征向量:$x \in R^{n_x}$,其中 ${n_x}$ 是特征数量;
  • 用于训练的标签:$y \in 0,1$
  • 权重:$w \in R^{n_x}$
  • 偏置: $b \in R$
  • 输出:$\hat{y} = \sigma(w^Tx+b)$
  • Sigmoid 函数

循环神经网络

前言

自然语言和音频都是前后相互关联的数据,对于这些序列数据需要使用循环神经网络(Recurrent Neural Network,RNN)来进行处理。

使用 RNN 实现的应用包括下图中所示:

人脸识别

简介

人脸验证(Face Verification)和人脸识别(Face Recognition)的区别:

  • 人脸验证:一般指一个一对一问题,只需要验证输入的人脸图像是否与某个已知的身份信息对应;
  • 人脸识别:一个更为复杂的一对多问题,需要验证输入的人脸图像是否与多个已知身份信息中的某一个匹配。

一般来说,由于需要匹配的身份信息更多导致错误率增加,人脸识别比人脸验证更难一些。

相关链接:

CNN经典网络总结

LeNet-5

LeNet诞生于1998年,网络结构比较完整,包括卷积层、pooling层、全连接层,这些都是现代CNN网络的基本组件,被认为是CNN的开端。

网络特点:

  • LeNet-5 针对灰度图像而训练,因此输入图片的通道数为 1。
  • 该模型总共包含了约 6 万个参数,远少于标准神经网络所需。
  • 典型的 LeNet-5 结构包含卷积层(CONV layer),池化层(POOL layer)和全连接层(FC layer),排列顺序一般为 【CONV layer->POOL layer->CONV layer->POOL layer->FC layer->FC layer->OUTPUT layer】。一个或多个卷积层后面跟着一个池化层的模式至今仍十分常用。在计算神经网络的层数时,通常只统计具有权重和参数的层池化层没有需要训练的参数,所以和之前的卷积层共同计为一层
  • 当 LeNet-5模型被提出时,其池化层使用的是平均池化,而且各层激活函数一般选用 Sigmoid 和 tanh。现在,我们可以根据需要,做出改进,使用最大池化并选用 ReLU 作为激活函数。

卷积网络的边缘检测

神经网络由浅层到深层,分别可以检测出图片的边缘特征、局部特征(例如眼睛、鼻子等),到后面的一层就可以根据前面检测的特征来识别整体面部轮廓。这些工作都是依托卷积神经网络来实现的。

卷积运算(Convolutional Operation)是卷积神经网络最基本的组成部分。我们以边缘检测为例,来解释卷积是怎样运算的。


边缘检测

图片最常做的边缘检测有两类:垂直边缘(Vertical Edges)检测和水平边缘(Horizontal Edges)检测。

Different-edges

贝叶斯算法

贝叶斯定理相关公式

  • 先验概率P(A):在不考虑任何情况下,A事件发生的概率
  • 条件概率P(B|A):A事件发生的情况下,B事件发生的概率
  • 后验概率P(A|B):在B事件发生之后,对A事件发生的概率的重新评估。条件概率和后验概率区别
  • 全概率:如果B和B’构成样本空间的一个划分,那么事件A的概率为:B和B’的概率分别乘以A对这两个事件的概率之和。
  • 贝叶斯定理:

贝叶斯不同于SVM、逻辑回归与决策树等判别式模型,它属于生成式模型(LDA、HMM等)。
贝叶斯思想可以概括为先验概率+数据=后验概率,后验概率就是我们要求的。