持续整理中。。。
1_神经网络与深度学习
…………Week1 深度学习概论
……………………选择题
…………Week2 神经网络基础
数据和特征决定机器学习上限，而模型和算法只是逼近这个上限。
特征工程目的：最大限度地从原始数据中提取特征以供算法和模型使用。
数据清洗的结果直接关系到模型效果以及最终的结论。在实际的工作中，数据清洗通常占开发过程的 50%-80% 的时间。
在数据预处理过程主要考虑两个方面，如下：
缺省值是数据中最常见的一个问题，处理缺省值有很多方式，主要包括以下四个步骤进行缺省值处理：
注意：最重要的是 缺省值内容填充。
在进行确定缺省值范围的时候，对每个字段都计算其缺失比例，然后按照缺失比例和字段重要性分别指定不同的策略。
在进行去除不需要的字段的时候，需要注意的是：删除操作最好不要直接操作不原始数据上，最好的是抽取部分数据进行删除字段后的模型构建，查看模型效果，如果效果不错，那么再到全量数据上进行删除字段操作。总而言之：该过程简单但是必须慎用，不过一般效果不错，删除一些丢失率高以及重要性低的数据可以降低模型的训练复杂度，同时又不会降低模型的效果。
填充缺省值很重要，常用方法如下：
如果某些指标非常重要，但是缺失率有比较高，而且通过其它字段没法比较精准的计算出指标值的情况下，那么就需要和数据产生方(业务人员、数据收集人员等)沟通协商，是否可以通过其它的渠道获取相关的数据，也就是进行重新获取数据的操作。
一般情况下，数据是由用户/访客产生的，也就有很大的可能性存在格式和内容上不一致的情况，所以在进行模型构建之前需要先进行数据的格式内容清洗操作。格式内容问题主要有以下几类：
主要是通过简单的逻辑推理发现数据中的问题数据，防止分析结果走偏，主要包含以下几个步骤：
一般情况下，我们会尽可能多的收集数据，但是不是所有的字段数据都是可以应用到模型构建过程的，也不是说将所有的字段属性都放到构建模型中，最终模型的效果就一定会好，实际上来讲，字段属性越多，模型的构建就会越慢，所以有时候可以考虑将不要的字段进行删除操作。在进行该过程的时候，要注意备仹原始数据。
如果数据有多个来源，那么有必要进行关联性验证，该过程常应用到多数据源合并的过程中，通过验证数据之间的关联性来选择比较正确的特征属性，比如：汽车的线下贩买信息和电话客服问卷信息，两者之间可以通过姓名和手机号进行关联操作，匹配两者之间的车辆信息是否是同一辆，如果不是，那么就需要进行数据调整。
特征转换主要指将原始数据中的字段数据进行转换操作，从而得到适合进行算法模型构建的输入数据(数值型数据)，在这个过程中主要包括但不限于以下几种数据的处理：
机器学习的模型算法均要求输入的数据必须是数值型的，所以对于文本类型的特征属性，需要进行文本数据转换，也就是需要将文本数据转换为数值型数据。常用方式如下：
词袋法(Bag of words, BOW)是最早应用于NLP和IR领域的一种文本处理模型，该模型忽略文本的语法和语序，用一组无序的单词(words)来表达一段文字戒者一个文档，词袋法中使用单词在文档中出现的次数(频数)来表示文档。
词集法(Set of words, SOW)是词袋法的一种变种，应用的比较多，和词袋法的原理一样，是以文档中的单词来表示文档的一种的模型，区别在于：词袋法使用的是单词的频数，而在词集法中使用的是单词是否出现，如果出现赋值为1，否则为0。
词条的重要性随着它在文件中出现的次数成正比增加，但同时会随着它在语料库中出现的频率成反比下降；也就是说词条在文本中出现的次数越多，表示该词条对该文本的重要性越高，词条在所有文本中出现的次数越少，说明这个词条对文本的重要性越高。TF(词频)指某个词条在文本中出现的次数，一般会将其进行归一化处理(该词条数量/该文档中所有词条数量)；IDF(逆向文件频率)指一个词条重要性的度量，一般计算方式为总文件数目除以包含该词语之文件的数目，再将得到的商取对数得到。TF-IDF实际上是：TF * IDF
假设单词用t表示，文档用d表示，语料库用D表示，那么N(t,D)表示包含单词t的文档数量，|D|表示文档数量，|d|表示文档d中的所有单词数量。N(t,d)表示在文档d中单词t出现的次数。
TF-IDF除了使用默认的tf和idf公式外，tf和idf公式还可以使用一些扩展之后公式来进行指标的计算，常用的公式有：
有两个文档，单词统计如下，请分别计算各个单词在文档中的TF-IDF值以及这些文档使用单词表示的特征向量。
不管是前面的词袋法还是TF-IDF，都避免不了计算文档中单词的词频，当文档数量比较少、单词数量比较少的时候，我们的计算量不会太大，但是当这个数量上升到一定程度的时候，程序的计算效率就会降低下去，这个时候可以通过HashTF的形式来解决该问题。
HashTF的计算规则是：在计算过程中，不计算词频，而是计算单词进行hash后的hash值的数量(有的模型中可能存在正则化操作)；
HashTF的特点：运行速度快，但是无法获取高频词，有可能存在单
词碰撞问题(hash值一样)
在scikit中，对于文本数据主要提供了三种方式将文本数据转换为数值型的特征向量，同时提供了一种对TF-IDF公式改版的公式。所有的转换方式均位于模块：sklearn.feature_extraction.text
Word2Vec是Google于2013年开源推出的一个用户获取wordvector的工具包，具有简单、高效的特性；Word2Vec通过对文档中所有单词进行分析，获得单词之间的关联程度，从而获取词向量，最终形成一个词向量矩阵。对词向量矩阵的分析：分类、聚类、相似性计算等等；是一种在NLP和大数据机器学习中应用比较多的一种文本转换数值型向量的方式。
无量纲化使不同规格的数据转换到同一规格。常见的无量纲化方法有标准化和区间缩放法。标准化的前提是特征值服从正态分布，标准化后，其转换成标准正态分布。区间缩放法利用了边界值信息，将特征的取值区间缩放到某个特点的范围，例如[0, 1]等。
标准化：基于特征属性的数据(也就是特征矩阵的列)，获取均值和方差，然后将特征值转换至服从标准正态分布。计算公式如下：
区间缩放法的思路有多种，常见的一种为利用两个最值进行缩放，公式表达为：
简单来说，标准化是依照特征矩阵的列处理数据，其通过求z-score的方法，将样本的特征值转换到同一量纲下。归一化是依照特征矩阵的行处理数据，其目的在于样本向量在点乘运算或其他核函数计算相似性时，拥有统一的标准，也就是说都转化为“单位向量”。规则为l2的归一化公式如下：
定性变量是反映”职业”、”教育程度”等现象属性特点的变量，只能反映现象的属性特点，而不能说明具体量的大小和差异。
哑编码(OneHotEncoder)：对于定性的数据(也就是分类的数据)，可以采用N位的状态寄存器来对N个状态进行编码，每个状态都有一个独立的寄存器位，并且在仸意状态下只有一位有效；是一种常用的将特征数字化的方式。比如有一个特征属性:[‘male’,’female’]，那么male使用向量[1,0]表示，female使用[0,1]表示。
定量变量是反映类似”天气温度”和”月收入”等属性的变量，可以用数值表示其观察结果，这些数值具有明确的数值含义，不仅能分类而且能测量出来具体大小和差异。这些变量就是定量变量也称数值变量，定量变量的观察结果成为定量数据。是说明事物数字特征的一个名称。
二值化(Binarizer)：对于定量的数据根据给定的阈值，将其进行转换，如果大于阈值，那么赋值为1；否则赋值为0
对于缺省的数据，在处理之前一定需要进行预处理操作，一般采用中位数、均值戒者众数来进行填充，在scikit中主要通过Imputer类来实现对缺省值的填充
多项式数据变换主要是指基于输入的特征数据按照既定的多项式规则构建更多的输出特征属性，比如输入特征属性为[a,b]，当设置degree为2的时候，那么输出的多项式特征为[1, a, b, a^2, ab, b^2]
当做完特征转换后，实际上可能会存在很多的特征属性，比如：多项式扩展转换、文本数据转换等等，但是太多的特征属性的存在可能会导致模型构建效率降低，同时模型的效果有可能会变的不好，那么这个时候就需要从这些特征属性中选择出影响最大的特征属性作为最后构建模型的特征属性列表。
在选择模型的过程中，通常从两方面来选择特征：
根据特征选择的形式又可以将特征选择方法分为3种：
方差选择法：先计算各个特征属性的方差值，然后根据阈值，获取方差大于阈值的特征。
相关系数法：先计算各个特征属性对于目标值的相关系数以及相关系数的P值，然后获取大于阈值的特征属性。
经典的卡方检验是检验定性自变量对定性因变量的相关性。假设自变量有N种取值，因变量有M种取值，考虑自变量等于i且因变量等于j的样本频数的观察值与期望的差距，构建统计量：
不难发现，这个统计量的含义简而言之就是自变量对因变量的相关性。
经典的互信息也是评价定性自变量对定性因变量的相关性的，互信息计算公式如下：
为了处理定量数据，最大信息系数法被提出
递归特征消除法：使用一个基模型来进行多轮训练，每轮训练后，消除若干权值系数的特征，再基于新的特征集进行下一轮训练。
在使用惩罚项的基模型，除了可以筛选出特征外，同时还可以进行降维操作。
树模型中GBDT在构建的过程会对特征属性进行权重的给定，所以GBDT也可以应用在基模型中进行特征选择。
特征选择完成后，可以直接进行模型训练，但是可能由于特征矩阵过大，导致计算量大，为了节省训练时长，可以降低特征矩阵的维度。
常见的降维方法除了基于L1的惩罚模型外，还有主成分析法(PCA)和线性判别分析法(LDA)，这两种方法的本质都是将原始数据映射到维度更低的样本空间中；但是采用的方式不同，PCA是为了让映射后的样本具有更大的发散性，LDA是为了让映射后的样本有最好的分类性能 。
主成分析(PCA)：将高纬的特征向量合并成低纬的特征属性，是一种无监督的降维方法。
吴恩达PCA算法讲解
线性判断分析(LDA)：LDA是一种基于分类模型进行特征属性合并的操作，是一种有监督的降维方法。
持续更新中。。。
持续更新中。。。
simhash与重复信息识别：
http://grunt1223.iteye.com/blog/964564
持续更新中。。。
持续更新中。。。
贝叶斯不同于SVM、逻辑回归与决策树等判别式模型，它属于生成式模型（LDA、HMM等）。
贝叶斯思想可以概括为先验概率+数据=后验概率，后验概率就是我们要求的。
朴素贝叶斯模型(Naive Bayesian Model)的朴素(Naive)的含义是很简单地假设样本特征彼此独立. 这个假设现实中基本上不存在， 但特征相关性很小的实际情况还是很多， 所以很多时候这个模型仍然能够工作得很好。
如果样本特征属性关联很大，朴素贝叶斯就没法很好解决这类问题，可以考虑使用贝叶斯网络。
Gaussian Naive Bayes是指当 特征属性为连续值时，而且分布服从高斯分布，
那么在计算 P(x|y) 的时候可以直接使用高斯分布的概率公式：
因此只需要计算出各个类别中此特征项划分的各个均值和标准差
Bernoulli Naive Bayes是指当 特征属性为连续值时，而且分布服从伯努利分布，
那么在计算 P(x|y) 的时候可以直接使用伯努利分布的概率公式：
伯努利分布是一种离散分布，只有两种可能的结果。1表示成功，出现的概率为p；
0表示失败，出现的概率为q=1-p；其中均值为E(x)=p，方差为Var(X)=p(1-p)
Multinomial Naive Bayes是指当 特征属性服从多项分布，从而对于每个类别y，
参数为θy =(θy1, θy2,…,θyn)，其中n为特征属性数目，那么P(xi|y)的概率为θyi
当多个特征属性之间存在着某种相关关系的时候，使用朴素贝叶斯算法就没法解决这类问题，那么贝叶斯网络就是解决这类应用场景的一个非常好的算法。
把某个研究系统中涉及到的随机变量，根据是否条件独立绘制在一个有向图中，就形成了贝叶斯网络。
贝叶斯网络(BN)，又称有向无环图模型，是一种概率图模型，根据概率图的拓扑结构，考察一组随机变量{X1, X2,…,Xn}及其N组条件概率分布的性质。
一般而言，贝叶斯网络的有向无环图中的节点表示随机变量，可以是可观察到的变量，或隐变量，未知参数等等。连接两个节点之间的箭头代表两个随机变量之间的因果关系(也就是这两个随机变量之间非条件独立)，如果两个节点间以一个单箭头连接在一起，表示其中一个节点是“因”，另外一个是“果”，从而两节点之间就会产生一个条件概率值。
注意：每个节点在给定其直接前驱的时候，条件独立于其后继。
更多细节见我整理的PDF文件。
原文：https://github.com/SunnyMarkLiu/NaiveBayesSpamFilter
原文：https://blog.csdn.net/Gane_Cheng/article/details/53219332
