Informazioaren teorian baldintzazko entropia , baita ere nahastea deituta, kuantifikatzen du zenbatekoa den
Y
{\displaystyle Y}
aldagai aleatorioa,
X
{\displaystyle X}
aldagai aleatorioaren balioaren menpean dagoena, behar izan den informazio kopurua.
H
(
Y
|
X
=
x
)
{\displaystyle \mathrm {H} (Y|X=x)}
baldin bada
Y
{\displaystyle Y}
ausazko aldagairen entropia,
X
{\displaystyle X}
ausazko aldagairen menpean izanik eta hau
x
{\displaystyle x}
valioa edukiz, eta
Y
{\displaystyle Y}
Probabilitate-funtzio edukiz,
p
Y
(
y
)
{\displaystyle p_{Y}{(y)}}
, bere baldintzazko entropia honela kalkulatuko da
H
(
Y
)
:=
E
[
I
(
Y
)
]
{\displaystyle \mathrm {H} (Y):=\mathbb {E} [\operatorname {I} (Y)]}
. Hona emen formula:
H
(
Y
)
=
∑
i
=
1
n
P
r
(
Y
=
y
i
)
I
(
y
i
)
=
−
∑
i
=
1
n
p
Y
(
y
i
)
log
2
p
Y
(
y
i
)
,
{\displaystyle \mathrm {H} (Y)=\sum _{i=1}^{n}{\mathrm {Pr} (Y=y_{i})\,\mathrm {I} (y_{i})}=-\sum _{i=1}^{n}{p_{Y}(y_{i})\log _{2}{p_{Y}(y_{i})}},}
I
(
y
i
)
{\displaystyle \operatorname {I} (y_{i})}
Y
{\displaystyle Y}
ren informazio-edukia izanik
y
i
{\displaystyle y_{i}}
balioa hartuz.
Y
{\displaystyle Y}
ren baldintza entropikoa
X
{\displaystyle X}
k
x
{\displaystyle x}
balioa hartuz konditzionatuta egotea analogikoki definitituta dago baldintzazko esperantzaren bitartez:
H
(
Y
|
X
=
x
)
=
E
[
I
(
Y
)
|
X
=
x
]
=
−
∑
i
=
1
n
Pr
(
Y
=
y
i
|
X
=
x
)
log
2
Pr
(
Y
=
y
i
|
X
=
x
)
.
{\displaystyle \mathrm {H} (Y|X=x)=\mathbb {E} [\operatorname {I} (Y)|X=x]=-\sum _{i=1}^{n}{\Pr(Y=y_{i}|X=x)\log _{2}{\Pr(Y=y_{i}|X=x)}}.}
H
(
Y
|
X
)
{\displaystyle \mathrm {H} (Y|X)}
da
H
(
Y
|
X
=
x
)
{\displaystyle \mathrm {H} (Y|X=x)}
batazbestekoa
X
{\displaystyle X}
ren
x
{\displaystyle x}
positibo guztiak hartuz.
X
{\displaystyle X}
eta
Y
{\displaystyle Y}
zorizko aldagaiak emanez, bere imajinak
X
{\displaystyle {\mathcal {X}}}
eta
Y
{\displaystyle {\mathcal {Y}}}
izanik,
Y
{\displaystyle Y}
ren baldintzazko entropia
X
{\displaystyle X}
emanez
H
(
Y
|
X
=
x
)
{\displaystyle \mathrm {H} (Y|X=x)}
ren gehiketa izango da,
x
{\displaystyle x}
ren balio positibo guztietan,
p
(
x
)
{\displaystyle p(x)}
pisua bezala hartuz.
H
(
Y
|
X
)
≡
∑
x
∈
X
p
(
x
)
H
(
Y
|
X
=
x
)
=
−
∑
x
∈
X
p
(
x
)
∑
y
∈
Y
p
(
y
|
x
)
log
p
(
y
|
x
)
=
−
∑
x
∈
X
∑
y
∈
Y
p
(
x
,
y
)
log
p
(
y
|
x
)
=
−
∑
x
∈
X
,
y
∈
Y
p
(
x
,
y
)
log
p
(
y
|
x
)
=
−
∑
x
∈
X
,
y
∈
Y
p
(
x
,
y
)
log
p
(
x
,
y
)
p
(
x
)
.
{\displaystyle {\begin{aligned}\mathrm {H} (Y|X)\ &\equiv \sum _{x\in {\mathcal {X}}}\,p(x)\,\mathrm {H} (Y|X=x)\\&=-\sum _{x\in {\mathcal {X}}}p(x)\sum _{y\in {\mathcal {Y}}}\,p(y|x)\,\log \,p(y|x)\\&=-\sum _{x\in {\mathcal {X}}}\sum _{y\in {\mathcal {Y}}}\,p(x,y)\,\log \,p(y|x)\\&=-\sum _{x\in {\mathcal {X}},y\in {\mathcal {Y}}}p(x,y)\log \,p(y|x)\\&=-\sum _{x\in {\mathcal {X}},y\in {\mathcal {Y}}}p(x,y)\log {\frac {p(x,y)}{p(x)}}.\\\end{aligned}}}
Oharra: Ulertzen da expresioa
0
l
o
g
(
0
)
{\displaystyle 0log(0)}
eta
0
l
o
g
(
c
/
0
)
{\displaystyle 0log(c/0)}
finkorako
c
>
0
{\displaystyle c>0}
erabili behar direla 0 bezala.
Baldintzazko entropia zero bada
editar
H
(
Y
|
X
)
=
0
{\displaystyle \mathrm {H} (Y|X)=0}
izango da baldin eta
Y
{\displaystyle Y}
koa
X
{\displaystyle X}
rekiko guztiz baldintzatuta baldin badago.
Baldintzazko entropia ausazko aldaigaia independentea bada
editar
H
(
Y
|
X
)
=
H
(
Y
)
{\displaystyle \mathrm {H} (Y|X)=\mathrm {H} (Y)}
izango da
Y
{\displaystyle Y}
koa eta
X
{\displaystyle X}
aldagai independenteak baldin badira.
H
(
Y
|
X
)
=
∑
x
∈
X
,
y
∈
Y
p
(
x
,
y
)
log
(
p
(
x
)
p
(
x
,
y
)
)
=
−
∑
x
∈
X
,
y
∈
Y
p
(
x
,
y
)
log
(
p
(
x
,
y
)
)
+
∑
x
∈
X
,
y
∈
Y
p
(
x
,
y
)
log
(
p
(
x
)
)
=
H
(
X
,
Y
)
+
∑
x
∈
X
p
(
x
)
log
(
p
(
x
)
)
=
H
(
X
,
Y
)
−
H
(
X
)
.
{\displaystyle {\begin{aligned}\mathrm {H} (Y|X)&=\sum _{x\in {\mathcal {X}},y\in {\mathcal {Y}}}p(x,y)\log \left({\frac {p(x)}{p(x,y)}}\right)\\[4pt]&=-\sum _{x\in {\mathcal {X}},y\in {\mathcal {Y}}}p(x,y)\log(p(x,y))+\sum _{x\in {\mathcal {X}},y\in {\mathcal {Y}}}{p(x,y)\log(p(x))}\\[4pt]&=\mathrm {H} (X,Y)+\sum _{x\in {\mathcal {X}}}p(x)\log(p(x))\\[4pt]&=\mathrm {H} (X,Y)-\mathrm {H} (X).\end{aligned}}}
Bayesen legeak baldintzazko entropiari buruz dio
H
(
Y
|
X
)
=
H
(
X
|
Y
)
−
H
(
X
)
+
H
(
Y
)
.
{\displaystyle \mathrm {H} (Y|X)\,=\,\mathrm {H} (X|Y)-\mathrm {H} (X)+\mathrm {H} (Y).}
Frogapena:
H
(
Y
|
X
)
=
H
(
X
,
Y
)
−
H
(
X
)
{\displaystyle H(Y|X)=H(X,Y)-H(X)}
eta
H
(
X
|
Y
)
=
H
(
Y
,
X
)
−
H
(
Y
)
{\displaystyle H(X|Y)=H(Y,X)-H(Y)}
ekuazioak ditugu, eta
H
(
X
,
Y
)
=
H
(
Y
,
X
)
{\displaystyle H(X,Y)=H(Y,X)}
simetrikoak dira. Hortaz,
H
(
Y
,
X
)
=
H
(
X
|
Y
)
+
H
(
Y
)
{\displaystyle H(Y,X)=H(X|Y)+H(Y)}
daukagunez,
H
(
Y
|
X
)
=
(
H
(
X
|
Y
)
+
H
(
Y
)
)
−
H
(
X
)
{\displaystyle H(Y|X)=(H(X|Y)+H(Y))-H(X)}
lortzen degu, eta hau ordenatuz
H
(
Y
|
X
)
=
H
(
X
|
Y
)
−
H
(
X
)
+
H
(
Y
)
.
{\displaystyle \mathrm {H} (Y|X)\,=\,\mathrm {H} (X|Y)-\mathrm {H} (X)+\mathrm {H} (Y).}
Bayesen legea lortzen da.
Y
{\displaystyle Y}
koa
Z
{\displaystyle Z}
rekiko independentea baldin bada, eta
X
{\displaystyle X}
edukiz
H
(
Y
|
X
,
Z
)
=
H
(
Y
|
X
)
.
{\displaystyle \mathrm {H} (Y|X,Z)\,=\,\mathrm {H} (Y|X).}
Edozein
X
{\displaystyle X}
eta
Y
{\displaystyle Y}
rako:
H
(
Y
|
X
)
≤
H
(
Y
)
H
(
X
,
Y
)
=
H
(
X
|
Y
)
+
H
(
Y
|
X
)
+
I
(
X
;
Y
)
,
H
(
X
,
Y
)
=
H
(
X
)
+
H
(
Y
)
−
I
(
X
;
Y
)
,
I
(
X
;
Y
)
≤
H
(
X
)
,
{\displaystyle {\begin{aligned}\mathrm {H} (Y|X)&\leq \mathrm {H} (Y)\,\\\mathrm {H} (X,Y)&=\mathrm {H} (X|Y)+\mathrm {H} (Y|X)+\operatorname {I} (X;Y),\qquad \\\mathrm {H} (X,Y)&=\mathrm {H} (X)+\mathrm {H} (Y)-\operatorname {I} (X;Y),\,\\\operatorname {I} (X;Y)&\leq \mathrm {H} (X),\,\end{aligned}}}
Non
I
(
X
;
Y
)
{\displaystyle \operatorname {I} (X;Y)}
den
X
{\displaystyle X}
eta
Y
{\displaystyle Y}
ren elkarrekiko informazioa
X
{\displaystyle X}
eta
Y
{\displaystyle Y}
elkarrekiko independenteak direnean:
H
(
Y
|
X
)
=
H
(
Y
)
{\displaystyle \mathrm {H} (Y|X)=\mathrm {H} (Y)}
and
H
(
X
|
Y
)
=
H
(
X
)
{\displaystyle \mathrm {H} (X|Y)=\mathrm {H} (X)\,}
Naiz eta baldintza-espezifiko entropia
E
t
a
(
X
|
Y
=
y
)
{\displaystyle Eta(X|Y=y)}
E
t
a
(
X
)
{\displaystyle Eta(X)}
baino handiago ala txikiago izan daitekeen
Y
{\displaystyle Y}
ko
y
{\displaystyle y}
ausako algaia,
E
t
a
(
X
|
Y
)
{\displaystyle Eta(X|Y)}
ezin du inoiz
E
t
a
(
X
)
{\displaystyle Eta(X)}
baino probabilitate gehio eduki