机器学习笔记09-----决策树与随机森林1---决策树概述

1.主要内容

机器学习笔记09-----决策树与随机森林1---决策树概述

案例引出:

机器学习笔记09-----决策树与随机森林1---决策树概述

机器学习笔记09-----决策树与随机森林1---决策树概述

2.条件熵

定义:

机器学习笔记09-----决策树与随机森林1---决策树概述

机器学习笔记09-----决策树与随机森林1---决策树概述

条件熵的定义式推导:

机器学习笔记09-----决策树与随机森林1---决策树概述

机器学习笔记09-----决策树与随机森林1---决策树概述

机器学习笔记09-----决策树与随机森林1---决策树概述

上图以出去打网球的案例为例,根节点的熵是大于0的,最底层的子节点的熵是等于0的,以信息熵为度量,构造一颗熵值下降最快的树

3.决策树

(1)决策树的样式

机器学习笔记09-----决策树与随机森林1---决策树概述

(2)决策树的定义

机器学习笔记09-----决策树与随机森林1---决策树概述

(3)决策树算法的特点

机器学习笔记09-----决策树与随机森林1---决策树概述

(4)生成决策树的算法

机器学习笔记09-----决策树与随机森林1---决策树概述

(5)互信息

机器学习笔记09-----决策树与随机森林1---决策树概述

(6)信息增益

机器学习笔记09-----决策树与随机森林1---决策树概述

机器学习笔记09-----决策树与随机森林1---决策树概述

机器学习笔记09-----决策树与随机森林1---决策树概述

(7)决策树三种算法总结

机器学习笔记09-----决策树与随机森林1---决策树概述

(8)决策树的评价

机器学习笔记09-----决策树与随机森林1---决策树概述