Diferencia entre revisiones de «Teoría de la información»

Un código es un conjunto de unos y ceros que se usan para representar un cierto mensaje de acuerdo con reglas o convenciones preestablecidas. Por ejemplo, al mensaje 0010 lo podemos representar con el código 1101 usado para codificar la función ([[lógica binaria#Negación lógica|NOT]]). La forma en la cual codificamos es arbitraria. Un mensaje puede, en algunos casos, representarse con un código de menor longitud que el mensaje original. Supongamos que a cualquier mensaje ''S'' lo codificamos usando un cierto algoritmo de forma tal que cada ''S'' es codificado en ''L(S)'' bits; definimos entonces la información contenida en el mensaje ''S'' como la cantidad mínima de bits necesarios para codificar un mensaje.

 

La información contenida en un mensaje es proporcional a la cantidad de bits que se requieren como mínimo para representar al mensaje. El concepto de información puede entenderse más fácilmente si consideramos un ejemplo. Supongamos que estamos leyendo un mensaje y hemos leído "cadena de c"; la probabilidad de que el mensaje continúe con "caracteres" es muy alta. Así, cuando efectivamente recibimos a continuación "caracteres" la cantidad de información que nos llegó es muy baja pues estábamos en condiciones de predecir qué era lo que iba a ocurrir. La ocurrencia de mensajes de alta probabilidad de aparición aporta menos información que la ocurrencia de mensajes menos probables. Si luego de "cadena de c" leemos "himichurri" la cantidad de información que estamos recibiendo es mucho mayor.