Skip to the content ForoHackers
Log inJoin

Aprendizaje profundo: por dónde empezar

Deep learning
#2840 · · Quote · Report

El aprendizaje profundo es aprendizaje automático con redes neuronales de muchas capas, entrenadas con grandes cantidades de datos mediante descenso de gradiente. Aprende sus propias características a partir de píxeles, sonido o texto en bruto en lugar de usar características hechas a mano, y por eso mueve la mayoría de los sistemas modernos de visión, voz y lenguaje. También es voraz en datos, caro de entrenar y difícil de inspeccionar.

Conceptos clave

  • Retropropagación: la regla de la cadena aplicada capa por capa para obtener el gradiente de la pérdida en cada peso.
  • Arquitecturas: capas totalmente conectadas, convolucionales, recurrentes y de atención, cada una con una suposición distinta sobre los datos.
  • Optimización: descenso de gradiente estocástico con momento o con pasos adaptativos, calendarios de la tasa de aprendizaje, lotes.
  • Regularización: el decaimiento de pesos, el dropout, el aumento de datos y la parada temprana combaten el sobreajuste.
  • Aprendizaje de representaciones: las capas ocultas se vuelven características reutilizables; el preentrenamiento y el ajuste fino las reaprovechan.

Vocabulario

  • Tensor: un arreglo de n dimensiones, el tipo de dato básico del campo.
  • Época: una pasada completa por el conjunto de entrenamiento.
  • Función de activación: la no linealidad entre capas, como ReLU.
  • Gradiente que se desvanece: gradientes que se encogen a través de muchas capas hasta que las primeras dejan de aprender.

Qué estudiar, en orden

  1. Primero lo básico del aprendizaje automático: pérdida, sobreajuste, validación.
  2. Escribe una red diminuta y su retropropagación en NumPy, y comprueba tus gradientes numéricamente.
  3. Pasa a un framework de diferenciación automática; entrena una red convolucional con un conjunto pequeño de imágenes y mira las curvas de pérdida.
  4. Rómpela a propósito: tasa de aprendizaje mala, sin normalización, etiquetas filtradas, y diagnostica cada caso.
  5. Lee sobre atención y modelos de secuencias, y luego ajusta una red preentrenada con tu propio conjunto pequeño.

Etiquetas relacionadas

#machine-learning #linear-algebra #gpu #computer-vision #optimization

You are not logged in, so this goes up anonymously: no account, no name and no address is stored with it, and it may carry no link and no image. Log in or join to post under your name. Our web server's logs keep the address and time of every request for up to 14 days; to keep yours out of them, use Tor. To reach the staff in confidence, use the drop. Sign as a returning source (a key kept only in this browser)

Sending takes a few seconds here: your browser first works out a proof of work against spam.

Reply