Skip to the content ForoHackers
Log inJoin

Minería de datos: por dónde empezar

Data mining
#2918 · · Quote · Report

La minería de datos es la búsqueda de patrones útiles en conjuntos de datos grandes: grupos de elementos parecidos, cosas que ocurren juntas, casos raros, tendencias. Se sitúa entre la estadística, las bases de datos y el aprendizaje automático, y su resultado es una hipótesis que examinar, no una prueba. Sin cuidado, un conjunto grande siempre mostrará patrones que son puro azar.

Conceptos clave

  • Patrones frecuentes: elementos que aparecen juntos a menudo, como los productos de una misma compra, y las reglas que se derivan.
  • Agrupamiento (clustering): reunir registros parecidos sin etiquetas, como con k-means.
  • Clasificación y regresión: predecir una categoría o un número a partir de ejemplos etiquetados.
  • Detección de anomalías: encontrar registros que no encajan, como fallos o fraudes.
  • Proceso: seleccionar los datos, limpiarlos, transformarlos, minarlos y luego interpretar y validar el resultado.

Vocabulario

  • Soporte y confianza: con qué frecuencia aparece un conjunto de elementos, y con qué frecuencia se cumple una regla cuando se da su condición.
  • Medida de distancia: la definición de «parecido» de la que depende el agrupamiento.
  • Maldición de la dimensionalidad: con muchas variables, las distancias pierden sentido.
  • Patrón espurio: un patrón que surge por azar, sobre todo tras muchas comparaciones.

Qué estudiar, en orden

  1. Estadística descriptiva y una biblioteca de dataframes, para limpiar un conjunto de datos.
  2. Implementa la idea de Apriori sobre un conjunto pequeño de compras y lee las reglas que encuentra.
  3. Implementa k-means desde cero y observa cómo cambian los grupos según el valor de k y la distancia.
  4. Construye un clasificador de árbol de decisión y evalúalo con datos reservados.
  5. Prueba la detección de atípicos con datos de anomalías conocidas y cuenta lo que detecta y lo que se le escapa.
  6. Contrasta un patrón con datos nuevos antes de fiarte de él y escribe lo que los datos no pueden decir.

Etiquetas relacionadas

#data-science #machine-learning #databases #probability

You are not logged in, so this goes up anonymously: no account, no name and no address is stored with it, and it may carry no link and no image. Log in or join to post under your name. Our web server's logs keep the address and time of every request for up to 14 days; to keep yours out of them, use Tor. To reach the staff in confidence, use the drop. Sign as a returning source (a key kept only in this browser)

Sending takes a few seconds here: your browser first works out a proof of work against spam.

Reply