Saltar al contenido ForoHackers

Teoría de la información: por dónde empezar

Teoría de la información
#3410 · · Citar · Denunciar

La teoría de la información mide cuánta información produce una fuente y con qué fiabilidad puede cruzar un canal con ruido. Fija límites duros: lo mínimo a lo que se puede comprimir un mensaje y lo máximo que un canal puede transportar sin error. La compresión, los códigos correctores de errores, las comunicaciones y parte del aprendizaje automático se apoyan en ella.

Conceptos clave

  • Entropía: la sorpresa media de una fuente en bits; es la cota inferior de la compresión sin pérdida.
  • Codificación de fuente: los códigos de Huffman y aritmético se acercan al límite de la entropía.
  • Capacidad del canal: la mayor tasa a la que un canal ruidoso puede llevar datos con un error arbitrariamente pequeño.
  • Códigos correctores de errores: la redundancia añadida deja al receptor detectar y reparar errores; la paridad y los códigos de Hamming y Reed-Solomon son clásicos.
  • Información mutua: cuánto dice saber una variable sobre otra.

Vocabulario

  • Bit: la unidad de información, una elección de sí o no entre opciones igual de probables.
  • Redundancia: la parte de un mensaje que no hace falta para transmitir su contenido.
  • Con y sin pérdida: si el original se puede recuperar exactamente.
  • Complejidad de Kolmogorov: la longitud del programa más corto que produce una cadena dada.

Qué estudiar, en orden

  1. Lo básico de probabilidad: distribuciones, esperanza e independencia.
  2. Calcula la entropía de un texto con las frecuencias de las letras y compárala con lo que logra un compresor de uso general.
  3. Implementa la codificación de Huffman y mide su distancia a la entropía.
  4. Construye un código de Hamming que corrija un solo bit invertido.
  5. Estudia la capacidad de un canal binario simétrico y luego la entropía cruzada como función de pérdida en el aprendizaje.

Etiquetas relacionadas

#probability #cryptography #signal-processing #machine-learning

No has iniciado sesión, así que esto se publica como anónimo: no se guarda con ello ninguna cuenta, nombre ni dirección, y no puede llevar enlaces ni imágenes. Inicia sesión o únete para publicar con tu nombre. Los registros de nuestro servidor web guardan la dirección y la hora de cada petición hasta 14 días; para que la tuya no quede en ellos, usa Tor. Para escribir al equipo de forma confidencial, usa el buzón. Firmar como fuente habitual (una clave guardada solo en este navegador)

Enviar tarda unos segundos aquí: tu navegador resuelve antes una prueba de trabajo contra el spam.

Responder