Python机器学习-构建一棵决策树 - 书目录

Python机器学习-构建一棵决策树

构建一棵决策树

决策树通过将特征空间分割为矩形,所以其决策界很复杂。但是要知道过大的树深度会导致过拟合,所以决策界并不是越复杂越好。我们调用sklearn,使用熵作为度量,训练一颗最大深度为3的决策树。还有一点,对于决策树算法来说,特征缩放并不是必须的。代码如下:

执行上面的代码,我们得到如下结果,决策界和坐标轴平行:

sklearn的一大优点是可以将训练好的决策树模型输出,保存在.dot文件,我们可以利用GraphViz对其可视化。

先调用sklearn中export_graphviz将树模型导出:

然后利用GraphViz程序将tree.dot转为PNG图片:

现在我们可以查看决策树在构建树时的过程:根节点105个样本,使用 petal_width <=0.75分割为两个子节点。经过第一个分割,我们可以发现左节点中样本都是同一类型,所以停止此节点的分割,右节点继续分割,注意一点,在构建决策树时两个特征各使用了两次

results matching “

    No results matching “

    133940

     

    转载链接:https://ljalphabeta.gitbooks.io/python-/content/buildingtree.html