まとめ
- PICP mide qué porcentaje de observaciones cae dentro del intervalo pronosticado para un nivel de confianza dado.
- Genera límites inferior y superior, calcula PICP y el ancho del intervalo, y detecta problemas de calibración.
- Combínalo con PINAW o MIS al evaluar pronósticos por intervalos en demanda, energía o gestión de riesgos.
1. Definición #
Con límites inferiores \(L_i\), superiores \(U_i\), observaciones \(y_i\) y cobertura objetivo \(\gamma\):
$$ \mathrm{PICP} = \frac{1}{n} \sum_{i=1}^n \mathbf{1}{ L_i \le y_i \le U_i } $$
Compara el PICP empírico con \(\gamma\) (por ejemplo 0.9) para comprobar la calibración.
2. Cálculo en Python #
import numpy as np
def picp(y_true: np.ndarray, lower: np.ndarray, upper: np.ndarray) -> float:
"""Prediction interval coverage probability."""
inside = (y_true >= lower) & (y_true <= upper)
return float(inside.mean())
coverage = picp(y_test, lower_bound, upper_bound)
print(f"PICP: {coverage:.3f}")
lower_bound y upper_bound provienen de un modelo que genera intervalos (regresión cuantílica, NGBoost, predicción conformal, etc.).
3. Interpretación #
- PICP ≈ objetivo → intervalos bien calibrados.
- PICP < objetivo → intervalos demasiado estrechos; aumenta cuantiles o la varianza.
- PICP > objetivo → intervalos demasiado anchos; pueden ser excesivamente conservadores.
Revisa también el ancho; intervalos muy amplios pueden cumplir PICP sin aportar valor.
4. PINAW (ancho medio normalizado) #
$$ \mathrm{PINAW} = \frac{1}{nR} \sum_{i=1}^n (U_i - L_i) $$
Con \(R\) el rango de los datos. PICP + PINAW equilibran cobertura y precisión del intervalo.
5. Casos de uso #
- Planificación de inventario: garantizar que intervalos al 90% logran los niveles de servicio deseados.
- Pronóstico energético: evaluar bandas de confianza para balanceo de carga.
- Riesgo financiero: similar al backtesting de Value at Risk (VaR) a un nivel de confianza dado.
Resumen #
- PICP verifica que los intervalos pronosticados cumplan el nivel de fiabilidad planteado.
- Combínalo con métricas de ancho (PINAW) o pinball loss para equilibrar calibración y agudeza.
- Monitoriza PICP de forma periódica en modelos que entregan intervalos para preservar la confianza en sus predicciones.