La minería de datos es la búsqueda de patrones útiles en conjuntos de datos grandes: grupos de elementos parecidos, cosas que ocurren juntas, casos raros, tendencias. Se sitúa entre la estadística, las bases de datos y el aprendizaje automático, y su resultado es una hipótesis que examinar, no una prueba. Sin cuidado, un conjunto grande siempre mostrará patrones que son puro azar.
Conceptos clave
- Patrones frecuentes: elementos que aparecen juntos a menudo, como los productos de una misma compra, y las reglas que se derivan.
- Agrupamiento (clustering): reunir registros parecidos sin etiquetas, como con k-means.
- Clasificación y regresión: predecir una categoría o un número a partir de ejemplos etiquetados.
- Detección de anomalías: encontrar registros que no encajan, como fallos o fraudes.
- Proceso: seleccionar los datos, limpiarlos, transformarlos, minarlos y luego interpretar y validar el resultado.
Vocabulario
- Soporte y confianza: con qué frecuencia aparece un conjunto de elementos, y con qué frecuencia se cumple una regla cuando se da su condición.
- Medida de distancia: la definición de «parecido» de la que depende el agrupamiento.
- Maldición de la dimensionalidad: con muchas variables, las distancias pierden sentido.
- Patrón espurio: un patrón que surge por azar, sobre todo tras muchas comparaciones.
Qué estudiar, en orden
- Estadística descriptiva y una biblioteca de dataframes, para limpiar un conjunto de datos.
- Implementa la idea de Apriori sobre un conjunto pequeño de compras y lee las reglas que encuentra.
- Implementa k-means desde cero y observa cómo cambian los grupos según el valor de k y la distancia.
- Construye un clasificador de árbol de decisión y evalúalo con datos reservados.
- Prueba la detección de atípicos con datos de anomalías conocidas y cuenta lo que detecta y lo que se le escapa.
- Contrasta un patrón con datos nuevos antes de fiarte de él y escribe lo que los datos no pueden decir.