Skip to the content ForoHackers
Log inJoin

Teoría de la información: por dónde empezar

Information theory
#904 · Ophuscado · · Report

La teoría de la información mide cuánta información produce una fuente y con qué fiabilidad puede cruzar un canal con ruido. Fija límites duros: lo mínimo a lo que se puede comprimir un mensaje y lo máximo que un canal puede transportar sin error. La compresión, los códigos correctores de errores, las comunicaciones y parte del aprendizaje automático se apoyan en ella.

Conceptos clave

  • Entropía: la sorpresa media de una fuente en bits; es la cota inferior de la compresión sin pérdida.
  • Codificación de fuente: los códigos de Huffman y aritmético se acercan al límite de la entropía.
  • Capacidad del canal: la mayor tasa a la que un canal ruidoso puede llevar datos con un error arbitrariamente pequeño.
  • Códigos correctores de errores: la redundancia añadida deja al receptor detectar y reparar errores; la paridad y los códigos de Hamming y Reed-Solomon son clásicos.
  • Información mutua: cuánto dice saber una variable sobre otra.

Vocabulario

  • Bit: la unidad de información, una elección de sí o no entre opciones igual de probables.
  • Redundancia: la parte de un mensaje que no hace falta para transmitir su contenido.
  • Con y sin pérdida: si el original se puede recuperar exactamente.
  • Complejidad de Kolmogorov: la longitud del programa más corto que produce una cadena dada.

Qué estudiar, en orden

  1. Lo básico de probabilidad: distribuciones, esperanza e independencia.
  2. Calcula la entropía de un texto con las frecuencias de las letras y compárala con lo que logra un compresor de uso general.
  3. Implementa la codificación de Huffman y mide su distancia a la entropía.
  4. Construye un código de Hamming que corrija un solo bit invertido.
  5. Estudia la capacidad de un canal binario simétrico y luego la entropía cruzada como función de pérdida en el aprendizaje.

Etiquetas relacionadas

#probability #cryptography #signal-processing #machine-learning

Log in or join to reply.