構(gòu)建決策樹的整體過程中我們都需要做什么第一步就是我們首先確定根節(jié)點的特征然后根據(jù)根節(jié)點的特征吧樣本分成兩塊然后針對左邊的或者是右邊的繼續(xù)去分第一個關(guān)鍵決策 就是我們?nèi)绾未_定每一個節(jié)點的特征是什么呢因為在根節(jié)點以及決策樹的左分支和右分支我們必須幾點如果該節(jié)點有少數(shù)的例子包含貓狗混合我們是根據(jù)臉型耳朵還是胡須去分割我們會在下個類型看到?jīng)Q策樹會選擇哪一個特征進行分類以嘗試最大化純度純度就是盡可能做到分的全是貓或者非貓的子集例如如果我們有一個特征他問這個動物有貓的DNA嗎我們實際上沒有這個特征如果我們有我們可以在根節(jié)點上進行分裂這將導(dǎo)致左側(cè)分支全是貓右邊全部不是貓這兩個分支全部都是純的這意味著每個分支都有一個類別要么全是貓要么不是貓因為貓的DNA這是一個非常好的特征但是基于我們實際的我們只能根據(jù)臉型耳性胡須他們都會得到純度不一樣的左右分支因此決策樹必須在這些特征之中進行選擇哪一個特征的純度最高因此我們首先要決定在節(jié)點上選擇最純的特征構(gòu)建決策樹的第二個特征是什么時候停止這個就要制定數(shù)最大的深度防止樹太大難以管理通過保持樹小不太容易過擬合另一個可以決定停止分裂的標(biāo)準(zhǔn)純度分數(shù)的改進低于某個閾值如果一個節(jié)點分類導(dǎo)致純度很小的改進或者是降低了純度如果某個節(jié)點的例子低于某個閾值也可以停止分裂防止規(guī)模較小導(dǎo)致過擬合