Árvore de Decisão (Regressor)

Atualizado 2025-11-05 Leitura 3 min

Resumo

Árvores de regressão aproximam relações não lineares dividindo recursivamente o espaço de características até que cada folha possa ser representada por um único valor constante.
As divisões minimizam o erro quadrático médio (MSE) dos filhos esquerdo e direito; a redução do MSE determina se uma pergunta é útil.
Hiperparâmetros como max_depth, min_samples_leaf e ccp_alpha equilibram a precisão com a interpretabilidade e ajudam a evitar sobreajuste.
Diagnósticos visuais–gráficos de dispersão, mapas de contorno e árvores renderizadas–facilitam a explicação de quais regiões compartilham a mesma predição.

Intuição #

Este método deve ser interpretado através de suas suposições, condições dos dados e como as escolhas de parâmetros afetam a generalização.

Explicação Detalhada #

1. Visão Geral #

Assim como os classificadores, as árvores de regressão fazem perguntas simples sobre as características de entrada, mas o alvo é contínuo. Cada folha prediz uma constante (a média das amostras de treinamento que chegaram ali). Como a função é constante por partes, aumentar a profundidade captura estruturas cada vez mais detalhadas, enquanto árvores rasas enfatizam tendências suaves.

2. Critério de divisão (redução de variância) #

Para um nó (t) contendo (n_t) amostras e alvo médio (\bar{y}_t), a impureza é o MSE do nó:

$$ \mathrm{MSE}(t) = \frac{1}{n_t} \sum_{i \in t} (y_i - \bar{y}_t)^2. $$

A divisão em (x_j) no limiar (s) produz filhos (t_L) e (t_R). A qualidade da divisão é medida por

$$ \Delta = \mathrm{MSE}(t) - \frac{n_L}{n_t} \mathrm{MSE}(t_L) - \frac{n_R}{n_t} \mathrm{MSE}(t_R). $$

Escolhemos a divisão com o maior (\Delta); quando nenhuma divisão produz ganho positivo, o nó se torna uma folha.

3. Exemplo em Python #

O primeiro trecho ajusta uma árvore rasa a amostras ruidosas extraídas de uma curva senoidal para que possamos ver a natureza constante por partes da predição. Um segundo experimento treina um regressor com duas características, avalia (R^2), RMSE e MAE, e visualiza a superfície aprendida além da árvore final.

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
import numpy as np
import matplotlib.pyplot as plt
from sklearn.tree import DecisionTreeRegressor, plot_tree
from sklearn.datasets import make_regression
from sklearn.metrics import r2_score, mean_squared_error, mean_absolute_error

rng = np.random.default_rng(42)
X1 = np.sort(5 * rng.random((120, 1)), axis=0)
y1_true = np.sin(X1).ravel()
y1 = y1_true + rng.normal(scale=0.2, size=X1.shape[0])

reg1 = DecisionTreeRegressor(max_depth=3, random_state=0).fit(X1, y1)
y1_pred = reg1.predict(X1)

plt.figure(figsize=(8, 4))
plt.scatter(X1, y1, s=15, c="gray", label="observations")
plt.plot(X1, y1_true, lw=2, label="true signal")
plt.step(X1.ravel(), y1_pred, where="mid", lw=2, label="tree prediction")
plt.xlabel("x")
plt.ylabel("y")
plt.title("Piecewise-constant fit by a regression tree")
plt.legend()
plt.grid(alpha=0.3)
plt.show()

Ajuste da árvore em uma curva senoidal 1D

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
X, y = make_regression(n_samples=400, n_features=2, noise=15.0, random_state=777)
reg = DecisionTreeRegressor(max_depth=4, random_state=0).fit(X, y)

r2 = r2_score(y, reg.predict(X))
rmse = mean_squared_error(y, reg.predict(X), squared=False)
mae = mean_absolute_error(y, reg.predict(X))
print(f"R2={r2:.3f}  RMSE={rmse:.2f}  MAE={mae:.2f}")

x_min, x_max = X[:, 0].min()-1, X[:, 0].max()+1
y_min, y_max = X[:, 1].min()-1, X[:, 1].max()+1
xx, yy = np.meshgrid(
    np.linspace(x_min, x_max, 150),
    np.linspace(y_min, y_max, 150),
)
zz = reg.predict(np.c_[xx.ravel(), yy.ravel()]).reshape(xx.shape)

plt.figure(figsize=(7, 6))
cs = plt.contourf(xx, yy, zz, levels=15, cmap="viridis", alpha=0.8)
plt.colorbar(cs, label="prediction")
plt.scatter(X[:, 0], X[:, 1], c=y, cmap="viridis", s=20, edgecolor="k", alpha=0.7)
plt.xlabel("x1")
plt.ylabel("x2")
plt.title("Prediction surface of the regression tree")
plt.show()

Superfície de predição da árvore de regressão

1
2
3
4
5
6
7
8
9
plt.figure(figsize=(12, 10))
plot_tree(
    reg,
    filled=True,
    feature_names=["x1", "x2"],
    rounded=True,
)
plt.title("Structure of the fitted regression tree")
plt.show()

Estrutura da árvore renderizada

4. Referências #

Breiman, L., Friedman, J. H., Olshen, R. A., & Stone, C. J. (1984). Classification and Regression Trees. Wadsworth.
scikit-learn developers. (2024). Decision Trees. https://scikit-learn.org/stable/modules/tree.html