Entropía condicional

La entropía condicional es una extensión del concepto de entropía de la información a procesos donde intervienen varias variables aleatorias no necesariamente independientes.

DefiniciónEditar

Supóngase que   es una variable aleatoria sobre un espacio de probabilidad   y   sea un evento. Si   toma valores sobre un conjunto finito  , se define de manera natural la entropía condicional de   dado   como:

 

De la misma manera si   es otra variable aleatoria que toma valores   se define la entropía condicional   como:

 

Puede interpretarse la anterior magnitud como la incertidumbre de   dado un valor particular de  , promediado por todos los valores posibles de  .

PropiedadesEditar

  • Trivialmente se tiene que  
  •   si   e   son variables independientes.
  • Dadas dos variables que toman un conjunto finito de valores:  
  • Como consecuencia de lo anterior y de que  , se tiene:  .

ReferenciasEditar

BibliografíaEditar