La ciencia de datos extrae conocimiento de los datos combinando estadística, programación y conocimiento del tema. Plantea una pregunta, reúne y limpia datos, los explora, construye un modelo o una estimación e informa de lo que está y de lo que no está respaldado. La habilidad está tanto en dudar de los resultados como en producirlos.
Conceptos clave
- Primero la pregunta: una pregunta clara y una forma de saber si la respuesta sirve van antes que cualquier modelo.
- Limpieza y exploración: la mayor parte del tiempo se va en corregir, unir y graficar datos para entenderlos.
- Pensamiento estadístico: distribuciones, muestreo, incertidumbre y la diferencia entre correlación y causalidad.
- Modelado y validación: ajustar con datos de entrenamiento y juzgar con datos que el modelo no ha visto.
- Comunicación: los resultados deben llegar a quienes deciden con palabras claras y con sus salvedades.
Vocabulario
- Sobreajuste: un modelo que memoriza el ruido de los datos de entrenamiento y falla con datos nuevos.
- Característica (feature): una variable de entrada que usa un modelo.
- Intervalo de confianza: un rango que expresa la incertidumbre de una estimación.
- Sesgo: un error sistemático, en los datos, en el muestreo o en el modelo.
Qué estudiar, en orden
- Estadística descriptiva y probabilidad: media, dispersión, distribuciones y muestreo.
- Python o R con una biblioteca de dataframes; carga, limpia y resume un conjunto de datos real.
- Grafica cada variable y cada par, y anota lo que te sorprendió.
- Ajusta una regresión lineal y una logística e interpreta los coeficientes.
- Divide los datos en entrenamiento y prueba, usa validación cruzada y provoca un sobreajuste a propósito.
- Escribe un informe breve que exponga la pregunta, el método, el resultado y sus límites.