Forma práctica de explicar "Teoría de la información"

Question

La teoría de la información entra en juego donde siempre está presente la codificación &. Por ejemplo: compresión (multimedia), criptografía.

En Information Theory encontramos términos como "Entropy", "Self Information", "Mutual Information" y todo el asunto se basa en estos términos. Lo cual no suena más que abstracto. Francamente, realmente no tienen ningún sentido.

¿Hay algún libro/material/explicación (si es posible) que explica estas cosas de una manera práctica?

EDIT:

An Introduction to Information Theory: symbols, signals & noise by John Robinson Pierce es El libro que lo explica la forma que yo quiero (prácticamente). Es muy bueno. Empecé a leerlo.

Answer 1

El artículo original de Shanon "A mathematical theory of communication" es un recurso muy importante para estudiar esta teoría. Nadie NADIE debería perderlo.

Al leerlo comprenderá cómo Shanon llegó a la teoría que debería aclarar la mayoría de las dudas.

También estudiando funciona el algoritmo de compresión Huffman será muy útil.

EDIT:

Introducción a la Teoría de la Información

John R. Pierce

parece bueno según las opiniones de Amazon (no he probado).

[por Googleing "teoría de la información laico"]

Answer 2

que iba a recomendar Feynman para fines pop-SCI, pero en la reflexión creo que podría ser una buena opción para aliviar en un estudio serio también. Realmente no se puede saber todo esto sin obtener los cálculos, pero Feynman es tan evocador que se cuela los cálculos sin asustar a los caballos.

Feynman Lectures on Computation http://ecx.images-amazon.com/images/I/51BKJV58A9L._SL500_AA240_.jpg

Cubiertas lugar más terreno que acaba de teoría de la información, pero lo bueno y agradable de leer. (Además, estoy obligado a tirar para el equipo de Física. Rah! Rah! Rhee!)

Answer 3

Mi punto de vista sobre "Teoría de la Información" es que es esencialmente lo mismo aplica matemáticas/estadísticas, sino porque está siendo aplicada a las comunicaciones/señala que se ha llamado "Teoría de la información".

La mejor manera de empezar a entender los conceptos es establecer una tarea real. Digamos, por ejemplo, tomar algunas páginas de su blog favorito, guárdelo como un archivo de texto y luego intente reducir el tamaño del archivo mientras se asegura de que aún pueda reconstruir el archivo por completo (es decir, la compresión sin pérdida). Comenzará, por ejemplo, reemplazando todas las instancias de y con un 1 por ejemplo ....

estoy siempre de la opinión de aprendizaje haciendo será el mejor enfoque

Answer 4

Recuerdo artículos en, creo, Personal Computer World que presenta una versión de ID3 para la identificación de monedas, a pesar de que utiliza una alternativa heurística a la fórmula de registro. Creo que minimizó sumas de cuadrados en lugar de maximizar la entropía, pero fue hace mucho tiempo. Hubo otro artículo en (creo) Byte que utilizó la fórmula de registro para obtener información (no entropía) para cosas similares. Cosas como esa me dieron un manejo que hizo que la teoría fuera más fácil de manejar.

EDITAR - por "no entropía" Quiero decir que creo que solía medias ponderadas de los valores de información, pero no utilizó el nombre de "entropía".

Creo que la construcción de árboles de decisión simples a partir de tablas de decisión es una muy buena manera de entender la relación entre la probabilidad y la información. Hace que el enlace de la probabilidad a la información sea más intuitivo, y proporciona ejemplos del promedio ponderado para ilustrar el efecto de maximización de la entropía de las probabilidades equilibradas. Un día muy bueno, un tipo de lección.

Y lo que es también muy agradable es a continuación, puede reemplazar el árbol de decisión con un árbol de decodificación Huffman (que es, después de todo, a "que Token estoy decodificación?" Árbol de decisión) y hacer que enlazan con la codificación.

BTW - echar un vistazo a este enlace ...

• http://www.inference.phy.cam.ac.uk/mackay/

Mackay tiene un libro de texto de descarga gratuita (y disponible en forma impresa), y aunque no he leído todo , las partes que he leído parecían muy buenas. La explicación de "explicar lejos" en Bayes, comenzando en la página 293, en particular, se tiene en cuenta.

CiteSeerX es un recurso muy útil para los papeles teoría de la información (entre otras cosas) .Dos papeles interesantes son ...

• http://citeseerx.ist.psu.edu/viewdoc/summary?doi=10.1.1.18.2410
• http://citeseerx.ist.psu.edu/viewdoc/summary?doi=10.1.1.51.3672

Aunque probablemente no es CN2 material del día uno.

Answer 5

La teoría de la información tiene aplicaciones muy eficientes en, p. aprendizaje automático y minería de datos. en particular, visualización de datos, selección de variables, transformación de datos y proyecciones, los criterios teóricos de la información se encuentran entre los enfoques más populares.

Véase p.

http://citeseerx.ist.psu.edu/viewdoc/download?doi=10.1.1.87.825&rep=rep1&type=pdf o http://www.mdpi.com/1424-8220/11/6/5695

teoría de la información nos permite acercarnos a la compactación de datos óptima de una manera formal, por ejemplo,en cuanto a la distribución posterior y Markov Mantas:

http://www.mdpi.com/1099-4300/13/7/1403

Se nos permite recuperar límites superior e inferior de la probabilidad de error en la selección de variables:

http://www.mdpi.com/1099-4300/12/10/2144

Una de las ventajas de El uso de la teoría de la información en comparación con las estadísticas es que uno no necesariamente necesita establecer distribuciones de probabilidad. Uno puede calcular la información, la redundancia, la entropía, la entropía de transferencia sin intentar estimar las distribuciones de probabilidad en absoluto. La eliminación de variables sin pérdida de información se define en términos de preservación de probabilidades condicionales posteriores, utilizando la teoría de la información se pueden encontrar formulaciones similares ... sin la necesidad de calcular densidades de probabilidad. Los cálculos son más bien en términos de información mutua entre variables y la literatura ha proporcionado muchos estimadores eficientes y aproximaciones dimensionales más bajas para estos. Ver: http://citeseerx.ist.psu.edu/viewdoc/download?doi=10.1.1.87.825&rep=rep1&type=pdf http://www.mdpi.com/1424-8220/11/6/5695

Answer 6

que podría sugerir este libro de Glynn Winskel. Fue utilizado en mi universidad para el curso de Teoría de la Información. Empieza a partir de Logic Theory y luego define un lenguaje imperativo simple, llamado IMP, y sigue con muchos conceptos acerca de la semántica formal en el lenguaje.

la semántica formal de los lenguajes de programación

http://mitpress.mit.edu/books/formal-semantics-programming-languages

Answer 7

embargo, los conceptos pueden ser abstracta, pero encontrar un buen uso en los últimos tiempos en el aprendizaje de la máquina de inteligencia/artificial. Esto podría servir como una buena motivación sobre la necesidad práctica de estos conceptos teóricos. En resumen, quiere estimar qué tan bien su aproximación funcional (LSTM, RNN o CNN o regresión lineal) funciona bien al modelar la distribución verdadera: esta es información mutua o entropía relativa, por ejemplo, minimizar la entropía cruzada en cnn o minimizar la función de distorsión/distancia en regresión lineal.

Además, no creará un sistema de comunicación o red útil sin algún análisis teórico de la capacidad y las propiedades del canal.

En esencia, podría parecer teórico, pero está en el corazón de la era de la comunicación actual.

para obtener una visión más elaborada de lo que quiero decir, los invito a ver este ISIT conferencia: https://www.youtube.com/watch?v=O_uBxFGk-U4&t=1563s por el Prof. David TSe