O que voce vai aprender neste capitulo #
- Panorama das metricas
Organizar os indicadores de regressao, classificacao, ranking e deteccao de anomalias. - Exemplos em Python 3.13
Com scikit-learn / matplotlib, mostrar calculo e visualizacao com pouco codigo. - Escolha de metricas por caso de uso
Relacionar requisitos de negocio (recall, lucro, risco) com o conjunto de metricas adequado.
まとめ
- Lista de metricas por objetivo e padroes de visualizacao com matriz de confusao
- Receitas de calculo para MAE/MSE/RMSE, Accuracy/F1/AUC, MAP@K e outras
- Combinacoes de processo de avaliacao (holdout / CV) e metricas
Estrutura da secao #
| Pagina | Objetivo | Conteudo principal |
|---|---|---|
| Metricas de regressao | Avaliar erro numerico | MAE, MSE, RMSE, MAPE, R², graficos de residuo |
| Metricas de classificacao binaria | Rotulos 0/1 | Precision, Recall, F1, AUC, curva PR |
| Multiclasse / multilabel | Varios rotulos | Macro/Micro averaging, heatmap da matriz de confusao |
| Metricas de ranking | Recomendacao/busca | MAP@K, NDCG, Hit@K |
| Deteccao de anomalias | Poucas ou sem rotulos | ROC/PR, distribuicao de scores, pseudo-rotulos |
Em cada pagina seguimos o fluxo “significado → exemplo de calculo → visualizacao → quando usar”.
Visao geral do processo de avaliacao #
- Divisao de dados
- Holdout: Train / Validation / Test
- Cross-validation: KFold, StratifiedKFold, TimeSeriesSplit
- Calculo das metricas
- Funcoes do
sklearn.metrics - Com
make_scorer, integrar aoGridSearchCV
- Funcoes do
- Agregacao e visualizacao
- Resumo em
pandas.DataFrame, boxplot / ROC / PR - Combinar com feature importance e analise de residuos
- Resumo em
Guia para escolher metricas #
| Criterio | Pergunta | Metricas recomendadas |
|---|---|---|
| Unidade do erro | Quer valor absoluto ou percentual? | MAE / RMSE / MAPE |
| Estrutura de custo | Falso positivo ou falso negativo pesa mais? | Precision/Recall, Fβ, cost-sensitive loss |
| Proporcao de rotulos | Ha desbalanceamento? | PR-AUC, Balanced Accuracy, ROC-AUC |
| Objetivo de ranking | Top-K e o mais importante? | MAP@K, NDCG, Hit@K |
| Monitoramento/alerta | Precisa detectar degradacao cedo? | Serie temporal de metricas + drift |
Depois deste capitulo #
- Explicar em relatorios “por que F1 aqui” com base solida.
- Alternar metricas em competicoes ou A/B tests sem hesitar.
- Criar alertas com base na variacao das metricas.
Na proxima pagina, vamos aprofundar as metricas por tipo de tarefa.