Saltar al contenido ForoHackers

Aprendizaje profundo: por dónde empezar

Aprendizaje profundo
#2840 · · Citar · Denunciar

El aprendizaje profundo es aprendizaje automático con redes neuronales de muchas capas, entrenadas con grandes cantidades de datos mediante descenso de gradiente. Aprende sus propias características a partir de píxeles, sonido o texto en bruto en lugar de usar características hechas a mano, y por eso mueve la mayoría de los sistemas modernos de visión, voz y lenguaje. También es voraz en datos, caro de entrenar y difícil de inspeccionar.

Conceptos clave

  • Retropropagación: la regla de la cadena aplicada capa por capa para obtener el gradiente de la pérdida en cada peso.
  • Arquitecturas: capas totalmente conectadas, convolucionales, recurrentes y de atención, cada una con una suposición distinta sobre los datos.
  • Optimización: descenso de gradiente estocástico con momento o con pasos adaptativos, calendarios de la tasa de aprendizaje, lotes.
  • Regularización: el decaimiento de pesos, el dropout, el aumento de datos y la parada temprana combaten el sobreajuste.
  • Aprendizaje de representaciones: las capas ocultas se vuelven características reutilizables; el preentrenamiento y el ajuste fino las reaprovechan.

Vocabulario

  • Tensor: un arreglo de n dimensiones, el tipo de dato básico del campo.
  • Época: una pasada completa por el conjunto de entrenamiento.
  • Función de activación: la no linealidad entre capas, como ReLU.
  • Gradiente que se desvanece: gradientes que se encogen a través de muchas capas hasta que las primeras dejan de aprender.

Qué estudiar, en orden

  1. Primero lo básico del aprendizaje automático: pérdida, sobreajuste, validación.
  2. Escribe una red diminuta y su retropropagación en NumPy, y comprueba tus gradientes numéricamente.
  3. Pasa a un framework de diferenciación automática; entrena una red convolucional con un conjunto pequeño de imágenes y mira las curvas de pérdida.
  4. Rómpela a propósito: tasa de aprendizaje mala, sin normalización, etiquetas filtradas, y diagnostica cada caso.
  5. Lee sobre atención y modelos de secuencias, y luego ajusta una red preentrenada con tu propio conjunto pequeño.

Etiquetas relacionadas

#machine-learning #linear-algebra #gpu #computer-vision #optimization

No has iniciado sesión, así que esto se publica como anónimo: no se guarda con ello ninguna cuenta, nombre ni dirección, y no puede llevar enlaces ni imágenes. Inicia sesión o únete para publicar con tu nombre. Los registros de nuestro servidor web guardan la dirección y la hora de cada petición hasta 14 días; para que la tuya no quede en ellos, usa Tor. Para escribir al equipo de forma confidencial, usa el buzón. Firmar como fuente habitual (una clave guardada solo en este navegador)

Enviar tarda unos segundos aquí: tu navegador resuelve antes una prueba de trabajo contra el spam.

Responder