- Los clasificadores lineales separan clases con hiperplanos, ofreciendo interpretabilidad y entrenamiento rápido.
- Perceptrón, regresión logística, SVM y métodos afines comparten ideas que conviene comparar.
- Los conceptos aprendidos conectan con regularización, kernels y aprendizaje basado en distancias.
Clasificación lineal #
Intuición #
Los clasificadores lineales colocan un hiperplano en el espacio de características y asignan etiquetas según el lado en el que caiga la muestra. Desde el perceptrón sencillo, pasando por la regresión logística probabilística, hasta las SVM basadas en márgenes, la diferencia clave reside en cómo se elige el hiperplano.
Formulación matemática #
Un clasificador lineal genérico predice \(\hat{y} = \operatorname{sign}(\mathbf{w}^\top \mathbf{x} + b)\). Cada método entrena \(\mathbf{w}\) de forma distinta; las variantes probabilísticas aplican una sigmoide o un softmax al puntaje lineal. Con el truco del kernel basta con reemplazar el producto interno por un kernel para extender la idea a fronteras no lineales.
Experimentos con Python #
En este capítulo recorreremos ejemplos prácticos con Python y scikit-learn:
- Perceptrón: reglas de actualización y fronteras de decisión del clasificador lineal más simple.
- Regresión logística: clasificación binaria probabilística con entropía cruzada.
- Regresión softmax: extensión multiclase que entrega todas las probabilidades.
- Análisis discriminante lineal (LDA): direcciones que maximizan la separabilidad.
- Máquinas de vectores de soporte (SVM): maximización del margen y kernel trick.
- Naive Bayes: clasificación rápida con independencia condicional.
- k vecinos más cercanos: aprendizaje perezoso basado en distancias.
Puedes ejecutar los fragmentos de código y experimentar para observar cómo se comportan las fronteras de decisión y las probabilidades.
Referencias #
- Hastie, T., Tibshirani, R., & Friedman, J. (2009). The Elements of Statistical Learning. Springer.
- Bishop, C. M. (2006). Pattern Recognition and Machine Learning. Springer.