Saltar al contenido ForoHackers

Voz: por dónde empezar

Voz
#342 · Ophuscado · · Denunciar

La tecnología de voz abarca convertir audio hablado en texto, texto en audio, y saber quién habla. Está detrás de los subtítulos, el dictado y las interfaces de voz. La voz es una señal que varía con el hablante, el acento, el ruido y el micrófono, así que el trabajo es mitad procesamiento de señales y mitad aprendizaje.

Conceptos clave

  • Nociones de audio: frecuencia de muestreo, profundidad de bits, tramas y la transformada de Fourier, que convierte una forma de onda en un espectro.
  • Características: espectrogramas y representaciones en escala mel, la entrada habitual de los modelos.
  • Reconocimiento de voz: pasar de audio a texto, con un modelo acústico más un modelo de lenguaje, o con una sola red de extremo a extremo.
  • Síntesis de voz: de texto a onda, con un modelo acústico que predice un espectrograma y un vocoder que lo convierte en sonido.
  • Tareas sobre el hablante: identificación, verificación y diarización, que marca quién habló y cuándo.

Vocabulario

  • Fonema: la unidad de sonido más pequeña que distingue palabras en un idioma.
  • Espectrograma: una imagen del contenido en frecuencias a lo largo del tiempo.
  • Tasa de error de palabras: sustituciones, omisiones e inserciones divididas por el número de palabras de referencia.
  • Alineación forzada: hacer coincidir una transcripción conocida con los instantes exactos del audio.

Qué estudiar, en orden

  1. Graba un sonido, dibuja su forma de onda y su espectrograma, y mira en qué se distinguen las vocales.
  2. Estudia el muestreo, el aliasing y los filtros en un curso o un texto de procesamiento de señales.
  3. Construye un detector de palabras clave sobre características mel con una red pequeña.
  4. Ejecuta un sistema de reconocimiento sobre grabaciones de voces distintas y calcula la tasa de error de palabras.
  5. Lee cómo funciona la síntesis y prueba cómo responde una salida con nombres, números y entradas ruidosas.

Etiquetas relacionadas

#signal-processing #nlp #deep-learning #accessibility #multimedia

Inicia sesión o únete para responder.