机器学习：决策树学习之决策树基本知识

决策树学习是机器学习中一类最常见的方法之一。顾名思义，决策树学习就是学习用来作决策的树。

决策树学习是一种逼近离散值目标函数的方法，学习到的函数被表示为一颗决策树。

一棵决策树一般包含一个根结点、若干个内部结点和若干个叶子结点：叶子结点对应于决策结果、每个内部结点对应于一个属性测试，每个内部结点包含的样本集合根据属性测试的结果被划分到它的儿子结点中；根结点包含全部训练样本；从根结点到每个叶子结点的路径对应了一条决策规则。

决策树学习的目的就是为了构造一棵泛化能力强，即处理待测样本能力强的决策树，基本算法遵循自顶向下、分而治之的策略，具体步骤如下：

1.选择最好的属性作为测试属性并创建树的根结点

2.为测试属性每个可能的取值产生一个分支

3.训练样本划分到适当的分支形成儿子结点

4.对每个儿子结点，重复上面的过程，直到所有的结点都是叶子结点

决策树的学习是一个递归的过程，过程的实现还需要解决以下六个方面的问题：

最佳划分的度量问题

处理缺失属性值问题

处理连续属性值问题

叶子结点的判定问题

怎样解决过拟合问题

待测样本的分类问题

文章来源: https://www.toutiao.com/group/6726439494779666947/