Saltar al contenido ForoHackers

Minería de datos: por dónde empezar

Minería de datos
#412 · Ophuscado · · Denunciar

La minería de datos es la búsqueda de patrones útiles en conjuntos de datos grandes: grupos de elementos parecidos, cosas que ocurren juntas, casos raros, tendencias. Se sitúa entre la estadística, las bases de datos y el aprendizaje automático, y su resultado es una hipótesis que examinar, no una prueba. Sin cuidado, un conjunto grande siempre mostrará patrones que son puro azar.

Conceptos clave

  • Patrones frecuentes: elementos que aparecen juntos a menudo, como los productos de una misma compra, y las reglas que se derivan.
  • Agrupamiento (clustering): reunir registros parecidos sin etiquetas, como con k-means.
  • Clasificación y regresión: predecir una categoría o un número a partir de ejemplos etiquetados.
  • Detección de anomalías: encontrar registros que no encajan, como fallos o fraudes.
  • Proceso: seleccionar los datos, limpiarlos, transformarlos, minarlos y luego interpretar y validar el resultado.

Vocabulario

  • Soporte y confianza: con qué frecuencia aparece un conjunto de elementos, y con qué frecuencia se cumple una regla cuando se da su condición.
  • Medida de distancia: la definición de «parecido» de la que depende el agrupamiento.
  • Maldición de la dimensionalidad: con muchas variables, las distancias pierden sentido.
  • Patrón espurio: un patrón que surge por azar, sobre todo tras muchas comparaciones.

Qué estudiar, en orden

  1. Estadística descriptiva y una biblioteca de dataframes, para limpiar un conjunto de datos.
  2. Implementa la idea de Apriori sobre un conjunto pequeño de compras y lee las reglas que encuentra.
  3. Implementa k-means desde cero y observa cómo cambian los grupos según el valor de k y la distancia.
  4. Construye un clasificador de árbol de decisión y evalúalo con datos reservados.
  5. Prueba la detección de atípicos con datos de anomalías conocidas y cuenta lo que detecta y lo que se le escapa.
  6. Contrasta un patrón con datos nuevos antes de fiarte de él y escribe lo que los datos no pueden decir.

Etiquetas relacionadas

#data-science #machine-learning #databases #probability

Inicia sesión o únete para responder.