Skip to the content ForoHackers
Log inJoin

Aprendizaje profundo: por dónde empezar

Deep learning
#334 · Ophuscado · · Report

El aprendizaje profundo es aprendizaje automático con redes neuronales de muchas capas, entrenadas con grandes cantidades de datos mediante descenso de gradiente. Aprende sus propias características a partir de píxeles, sonido o texto en bruto en lugar de usar características hechas a mano, y por eso mueve la mayoría de los sistemas modernos de visión, voz y lenguaje. También es voraz en datos, caro de entrenar y difícil de inspeccionar.

Conceptos clave

  • Retropropagación: la regla de la cadena aplicada capa por capa para obtener el gradiente de la pérdida en cada peso.
  • Arquitecturas: capas totalmente conectadas, convolucionales, recurrentes y de atención, cada una con una suposición distinta sobre los datos.
  • Optimización: descenso de gradiente estocástico con momento o con pasos adaptativos, calendarios de la tasa de aprendizaje, lotes.
  • Regularización: el decaimiento de pesos, el dropout, el aumento de datos y la parada temprana combaten el sobreajuste.
  • Aprendizaje de representaciones: las capas ocultas se vuelven características reutilizables; el preentrenamiento y el ajuste fino las reaprovechan.

Vocabulario

  • Tensor: un arreglo de n dimensiones, el tipo de dato básico del campo.
  • Época: una pasada completa por el conjunto de entrenamiento.
  • Función de activación: la no linealidad entre capas, como ReLU.
  • Gradiente que se desvanece: gradientes que se encogen a través de muchas capas hasta que las primeras dejan de aprender.

Qué estudiar, en orden

  1. Primero lo básico del aprendizaje automático: pérdida, sobreajuste, validación.
  2. Escribe una red diminuta y su retropropagación en NumPy, y comprueba tus gradientes numéricamente.
  3. Pasa a un framework de diferenciación automática; entrena una red convolucional con un conjunto pequeño de imágenes y mira las curvas de pérdida.
  4. Rómpela a propósito: tasa de aprendizaje mala, sin normalización, etiquetas filtradas, y diagnostica cada caso.
  5. Lee sobre atención y modelos de secuencias, y luego ajusta una red preentrenada con tu propio conjunto pequeño.

Etiquetas relacionadas

#machine-learning #linear-algebra #gpu #computer-vision #optimization

Log in or join to reply.