El aprendizaje profundo es aprendizaje automático con redes neuronales de muchas capas, entrenadas con grandes cantidades de datos mediante descenso de gradiente. Aprende sus propias características a partir de píxeles, sonido o texto en bruto en lugar de usar características hechas a mano, y por eso mueve la mayoría de los sistemas modernos de visión, voz y lenguaje. También es voraz en datos, caro de entrenar y difícil de inspeccionar.
Conceptos clave
- Retropropagación: la regla de la cadena aplicada capa por capa para obtener el gradiente de la pérdida en cada peso.
- Arquitecturas: capas totalmente conectadas, convolucionales, recurrentes y de atención, cada una con una suposición distinta sobre los datos.
- Optimización: descenso de gradiente estocástico con momento o con pasos adaptativos, calendarios de la tasa de aprendizaje, lotes.
- Regularización: el decaimiento de pesos, el dropout, el aumento de datos y la parada temprana combaten el sobreajuste.
- Aprendizaje de representaciones: las capas ocultas se vuelven características reutilizables; el preentrenamiento y el ajuste fino las reaprovechan.
Vocabulario
- Tensor: un arreglo de n dimensiones, el tipo de dato básico del campo.
- Época: una pasada completa por el conjunto de entrenamiento.
- Función de activación: la no linealidad entre capas, como ReLU.
- Gradiente que se desvanece: gradientes que se encogen a través de muchas capas hasta que las primeras dejan de aprender.
Qué estudiar, en orden
- Primero lo básico del aprendizaje automático: pérdida, sobreajuste, validación.
- Escribe una red diminuta y su retropropagación en NumPy, y comprueba tus gradientes numéricamente.
- Pasa a un framework de diferenciación automática; entrena una red convolucional con un conjunto pequeño de imágenes y mira las curvas de pérdida.
- Rómpela a propósito: tasa de aprendizaje mala, sin normalización, etiquetas filtradas, y diagnostica cada caso.
- Lee sobre atención y modelos de secuencias, y luego ajusta una red preentrenada con tu propio conjunto pequeño.
Etiquetas relacionadas
#machine-learning #linear-algebra #gpu #computer-vision #optimization