Saltar al contenido ForoHackers

Minería de datos: por dónde empezar

Minería de datos
#2918 · · Citar · Denunciar

La minería de datos es la búsqueda de patrones útiles en conjuntos de datos grandes: grupos de elementos parecidos, cosas que ocurren juntas, casos raros, tendencias. Se sitúa entre la estadística, las bases de datos y el aprendizaje automático, y su resultado es una hipótesis que examinar, no una prueba. Sin cuidado, un conjunto grande siempre mostrará patrones que son puro azar.

Conceptos clave

  • Patrones frecuentes: elementos que aparecen juntos a menudo, como los productos de una misma compra, y las reglas que se derivan.
  • Agrupamiento (clustering): reunir registros parecidos sin etiquetas, como con k-means.
  • Clasificación y regresión: predecir una categoría o un número a partir de ejemplos etiquetados.
  • Detección de anomalías: encontrar registros que no encajan, como fallos o fraudes.
  • Proceso: seleccionar los datos, limpiarlos, transformarlos, minarlos y luego interpretar y validar el resultado.

Vocabulario

  • Soporte y confianza: con qué frecuencia aparece un conjunto de elementos, y con qué frecuencia se cumple una regla cuando se da su condición.
  • Medida de distancia: la definición de «parecido» de la que depende el agrupamiento.
  • Maldición de la dimensionalidad: con muchas variables, las distancias pierden sentido.
  • Patrón espurio: un patrón que surge por azar, sobre todo tras muchas comparaciones.

Qué estudiar, en orden

  1. Estadística descriptiva y una biblioteca de dataframes, para limpiar un conjunto de datos.
  2. Implementa la idea de Apriori sobre un conjunto pequeño de compras y lee las reglas que encuentra.
  3. Implementa k-means desde cero y observa cómo cambian los grupos según el valor de k y la distancia.
  4. Construye un clasificador de árbol de decisión y evalúalo con datos reservados.
  5. Prueba la detección de atípicos con datos de anomalías conocidas y cuenta lo que detecta y lo que se le escapa.
  6. Contrasta un patrón con datos nuevos antes de fiarte de él y escribe lo que los datos no pueden decir.

Etiquetas relacionadas

#data-science #machine-learning #databases #probability

No has iniciado sesión, así que esto se publica como anónimo: no se guarda con ello ninguna cuenta, nombre ni dirección, y no puede llevar enlaces ni imágenes. Inicia sesión o únete para publicar con tu nombre. Los registros de nuestro servidor web guardan la dirección y la hora de cada petición hasta 14 días; para que la tuya no quede en ellos, usa Tor. Para escribir al equipo de forma confidencial, usa el buzón. Firmar como fuente habitual (una clave guardada solo en este navegador)

Enviar tarda unos segundos aquí: tu navegador resuelve antes una prueba de trabajo contra el spam.

Responder