Diferencia entre revisiones de «Entropía (información)»

[[Archivo:Binary entropy plot.svg|thumb|Entropía de la información en un [[ensayo de Bernoulli]] ''X'' (experimento aleatorio en que X puede tomar los valores 0 o 1). La entropía depende de la probabilidad P (X=1) de que X tome el valor 1. Cuando P (X=1)=0.5, todos los resultados posibles son igualmente probables, por lo que el resultado es poco predecible y la entropía es máxima.]]

 

 

Como ejemplo, consideremos algún texto escrito en [[idioma español|español]], codificado como una cadena de letras, espacios y [[signos de puntuación]] (nuestra señal será una cadena de caracteres). Ya que, estadísticamente, algunos caracteres no son muy comunes (por ejemplo, 'y'), mientras otros sí lo son (como la 'a'), la cadena de caracteres no será tan "aleatoria" como podría llegar a ser. Obviamente, no podemos predecir con exactitud cuál será el siguiente carácter en la cadena, y eso la haría aparentemente aleatoria. Pero es la entropía la encargada de medir precisamente esa aleatoriedad, y fue presentada por Shannon en su artículo de [[1948]] [http://cm.bell-labs.com/cm/ms/what/shannonday/paper.html A Mathematical Theory of Communication] ("Una teoría matemática de la comunicación", en inglés).