Saltar al contenido ForoHackers

Voz: por dónde empezar

Voz
#2848 · · Citar · Denunciar

La tecnología de voz abarca convertir audio hablado en texto, texto en audio, y saber quién habla. Está detrás de los subtítulos, el dictado y las interfaces de voz. La voz es una señal que varía con el hablante, el acento, el ruido y el micrófono, así que el trabajo es mitad procesamiento de señales y mitad aprendizaje.

Conceptos clave

  • Nociones de audio: frecuencia de muestreo, profundidad de bits, tramas y la transformada de Fourier, que convierte una forma de onda en un espectro.
  • Características: espectrogramas y representaciones en escala mel, la entrada habitual de los modelos.
  • Reconocimiento de voz: pasar de audio a texto, con un modelo acústico más un modelo de lenguaje, o con una sola red de extremo a extremo.
  • Síntesis de voz: de texto a onda, con un modelo acústico que predice un espectrograma y un vocoder que lo convierte en sonido.
  • Tareas sobre el hablante: identificación, verificación y diarización, que marca quién habló y cuándo.

Vocabulario

  • Fonema: la unidad de sonido más pequeña que distingue palabras en un idioma.
  • Espectrograma: una imagen del contenido en frecuencias a lo largo del tiempo.
  • Tasa de error de palabras: sustituciones, omisiones e inserciones divididas por el número de palabras de referencia.
  • Alineación forzada: hacer coincidir una transcripción conocida con los instantes exactos del audio.

Qué estudiar, en orden

  1. Graba un sonido, dibuja su forma de onda y su espectrograma, y mira en qué se distinguen las vocales.
  2. Estudia el muestreo, el aliasing y los filtros en un curso o un texto de procesamiento de señales.
  3. Construye un detector de palabras clave sobre características mel con una red pequeña.
  4. Ejecuta un sistema de reconocimiento sobre grabaciones de voces distintas y calcula la tasa de error de palabras.
  5. Lee cómo funciona la síntesis y prueba cómo responde una salida con nombres, números y entradas ruidosas.

Etiquetas relacionadas

#signal-processing #nlp #deep-learning #accessibility #multimedia

No has iniciado sesión, así que esto se publica como anónimo: no se guarda con ello ninguna cuenta, nombre ni dirección, y no puede llevar enlaces ni imágenes. Inicia sesión o únete para publicar con tu nombre. Los registros de nuestro servidor web guardan la dirección y la hora de cada petición hasta 14 días; para que la tuya no quede en ellos, usa Tor. Para escribir al equipo de forma confidencial, usa el buzón. Firmar como fuente habitual (una clave guardada solo en este navegador)

Enviar tarda unos segundos aquí: tu navegador resuelve antes una prueba de trabajo contra el spam.

Responder