La teoría de la información mide cuánta información produce una fuente y con qué fiabilidad puede cruzar un canal con ruido. Fija límites duros: lo mínimo a lo que se puede comprimir un mensaje y lo máximo que un canal puede transportar sin error. La compresión, los códigos correctores de errores, las comunicaciones y parte del aprendizaje automático se apoyan en ella.
Conceptos clave
- Entropía: la sorpresa media de una fuente en bits; es la cota inferior de la compresión sin pérdida.
- Codificación de fuente: los códigos de Huffman y aritmético se acercan al límite de la entropía.
- Capacidad del canal: la mayor tasa a la que un canal ruidoso puede llevar datos con un error arbitrariamente pequeño.
- Códigos correctores de errores: la redundancia añadida deja al receptor detectar y reparar errores; la paridad y los códigos de Hamming y Reed-Solomon son clásicos.
- Información mutua: cuánto dice saber una variable sobre otra.
Vocabulario
- Bit: la unidad de información, una elección de sí o no entre opciones igual de probables.
- Redundancia: la parte de un mensaje que no hace falta para transmitir su contenido.
- Con y sin pérdida: si el original se puede recuperar exactamente.
- Complejidad de Kolmogorov: la longitud del programa más corto que produce una cadena dada.
Qué estudiar, en orden
- Lo básico de probabilidad: distribuciones, esperanza e independencia.
- Calcula la entropía de un texto con las frecuencias de las letras y compárala con lo que logra un compresor de uso general.
- Implementa la codificación de Huffman y mide su distancia a la entropía.
- Construye un código de Hamming que corrija un solo bit invertido.
- Estudia la capacidad de un canal binario simétrico y luego la entropía cruzada como función de pérdida en el aprendizaje.
Etiquetas relacionadas
#probability #cryptography #signal-processing #machine-learning