炼数成金数据分析课程---16、机器学习中的分类算法（交叉内容，后面要重点看）

一、总结

一句话总结：

大纲+实例快速学习法

主要讲解常用分类算法(如Knn、决策树、贝叶斯分类器等)的原理及python代码实现

1、什么是分类？

分类模型：输入样本的属性值，输出对应的类别，将每个样本映射到预先定义好的类别

2、常用分类算法？

-Knn算法

-决策树

-贝叶斯分类器

-神经网络

-Knn算法-决策树-贝叶斯分类器-支持向量机-神经网络

3、分类算法中的决策树的主要思想是什么？

空间划分：看图

4、分类算法中的决策树的介绍？

树中每一个非叶节点表示一个决策，该决策的值导致不同的决策结果（叶节点）或者影响后面的决策选择。

根据给定的未知分类的元组X，根据其属性值跟踪一条由根节点到叶节点的路径，该叶节点就是该元组的分类结果预测。

5、构建决策树的算法的本质是什么？

贪心：在构建决策树时，这两类算法的流程基本一样，都采用贪心方法，自顶而下递归构建决策树

6、贪心算法如何构建决策树？

1.创建一个结点N。如果D中的元组都在同一个类别C中，则N作为叶结点，以C标记；如果属性列表为空，则N作为叶节点，以D中最多的类别C作为标记。

2.根据分裂准则找出“最好”的分裂属性A，并用该分裂属性标记N。1）A是离散的，则A的每个已知值都产生一个分支；2）A是连续的，则产生Ass和A>s两个分支；3）若A是连续的，并且必须产生二叉树，则产生AEA1和AEA2两个分支，其中A1，A2非空且A1UA2=A

3.若给定的分支中的元组非空，对于D的每一个分支Dj，重复步骤1，2

7、分类算法中的决策树的属性选择如何度量？

如果我们根据分裂准则把D划分为较小的分区，最好的情况是每个分区都是纯的，即落在一个给定分区的所有元组都是相同的类。最好的分裂准则就是令到每个分区尽量的纯。

属性选择度量给学习集中的每个属性提供了评定。具有最好度量得分的属性被选为分裂属性。

8、决策树的剪枝的两种常用方法是什么？

先剪枝：通过设定一定的阀值来停止树的生长例如，在构建树模型时，使用信息增益、基尼指数来度量划分的优劣。可以预先设定一个阀值，当划分一个结点的元组到时低于预设的阀值时，停止改子集的划分

后剪枝：等树完全生成后再通过删除结点去修剪决策树。由于先剪枝中，选择合适的阀值存在一定的困难，所以后剪枝更加常用

9、python中使用决策分类算法常需要借助哪些包？

主要是python的sklearn库

import numpy as npfrom sklearn.neighbors import KNeighborsClassifierfrom sklearn.metrics import precision_recall_curvefrom sklearn.metrics import classification_reportfrom sklearn.naive_bayes import BernoulliNBfrom sklearn.feature_extraction.text import TfidfVectorizerfrom sklearn.cross_validation import train_test_splitimport matplotlib.pyplot as pltimport pandas as pd