Rule Fit.pt

Rule Fit.pt

Atualizado 2026-02-24 Leitura 3 min
Resumo
  • O RuleFit extrai regras de decisão de conjuntos de árvores e as combina com as características originais em um modelo linear esparso.
  • A regularização L1 seleciona regras e características informativas, melhorando a interpretabilidade sem abrir mão da estrutura não linear.
  • A profundidade das regras, o número de regras geradas e a intensidade da regularização afetam fortemente a generalização e a esparsidade.

Intuição #

O RuleFit transforma caminhos de árvores em indicadores se-então legíveis por humanos e então aprende pesos lineares sobre esses indicadores. Você obtém interações não lineares das árvores e interpretabilidade em nível de coeficientes da modelagem linear esparsa.

Explicação Detalhada #

1. Ideia (com fórmulas) #

  1. Extrair regras: cada caminho até uma folha se torna uma característica binária (r_j(x) \in {0,1}).
  2. Adicionar termos lineares escalonados (z_k(x)) para características contínuas.
  3. Ajuste linear com regularização L1:
$$ \hat{y}(x) = \beta_0 + \sum_j \beta_j r_j(x) + \sum_k \gamma_k z_k(x) $$

A L1 promove esparsidade, de modo que apenas regras/termos influentes permanecem.

2. Conjunto de dados (OpenML: house_sales) #

Preços de imóveis no King County (OpenML data_id=42092). Apenas colunas numéricas para clareza.

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15

import japanize_matplotlib
import matplotlib.pyplot as plt
import numpy as np
import pandas as pd
from sklearn.datasets import fetch_openml
from sklearn.model_selection import train_test_split
from sklearn.metrics import mean_squared_error, mean_absolute_error, r2_score

dataset = fetch_openml(data_id=42092, as_frame=True)
X = dataset.data.select_dtypes("number").copy()
y = dataset.target.astype(float)

X_train, X_test, y_train, y_test = train_test_split(
    X, y, test_size=0.2, random_state=42
)

3. Ajustar o RuleFit #

Implementação em Python: christophM/rulefit

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18

from rulefit import RuleFit
import warnings
warnings.simplefilter("ignore")

rf = RuleFit(max_rules=200, tree_random_state=27)
rf.fit(X_train.values, y_train.values, feature_names=list(X_train.columns))

pred_tr = rf.predict(X_train.values)
pred_te = rf.predict(X_test.values)

def report(y_true, y_pred, name):
    rmse = mean_squared_error(y_true, y_pred, squared=False)
    mae  = mean_absolute_error(y_true, y_pred)
    r2   = r2_score(y_true, y_pred)
    print(f"{name:8s}  RMSE={rmse:,.0f}  MAE={mae:,.0f}  R2={r2:.3f}")

report(y_train, pred_tr, "Train")
report(y_test,  pred_te, "Test")

4. Inspecionar as principais regras #

1
2
3

rules = rf.get_rules()
rules = rules[rules.coef != 0].sort_values(by="importance", ascending=False)
rules.head(10)
  • rule: condição se-então (type=linear indica um termo linear)
  • coef: coeficiente de regressão (unidades do alvo)
  • support: fração de amostras que satisfazem a regra
  • importance: pontuação escalonada combinando magnitude do coeficiente e suporte

5. Validar via visualização #

1
2
3
4
5
6
7

plt.figure(figsize=(6, 5))
plt.scatter(X_train["sqft_above"], y_train, s=10, alpha=0.5)
plt.xlabel("sqft_above")
plt.ylabel("price")
plt.title("Relationship between sqft_above and price")
plt.grid(alpha=0.3)
plt.show()

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12

rule_mask = X["sqft_living"].le(3935.0) & X["lat"].le(47.5315)

applicable_data = np.log(y[rule_mask])
not_applicable  = np.log(y[~rule_mask])

plt.figure(figsize=(8, 5))
plt.boxplot([applicable_data, not_applicable],
            labels=["Rule satisfied", "Rule not satisfied"])
plt.ylabel("log(price)")
plt.title("Price distribution by rule satisfaction")
plt.grid(alpha=0.3)
plt.show()

6. Dicas práticas #

  • Trate valores atípicos (Winsorização, recorte) para regras estáveis.
  • Limpe os níveis de variáveis categóricas e codifique somente após agrupar categorias raras.
  • Transforme alvos assimétricos (log(y) ou Box-Cox) se necessário.
  • Selecione contagens de regras/profundidades que as partes interessadas consigam ler; use validação cruzada para escolher os limites.
  • Resuma as principais regras em linguagem simples para relatórios empresariais.

7. Referências #

  • Friedman, J. H., & Popescu, B. E. (2008). Predictive Learning via Rule Ensembles. The Annals of Applied Statistics, 2(3), 916–954.
  • Christoph Molnar. (2020). Interpretable Machine Learning. https://christophm.github.io/interpretable-ml-book/rulefit.html