文章目录

定义

条件互信息 I ( X , Y ∣ Z ) I(X, Y|Z) I(X,Y∣Z)定义如下：

I ( X , Y ∣ Z ) = ∑ z ∈ Z p Z ( z ) ∑ y ∈ Y ∑ x ∈ X p X , Y ∣ Z ( x , y ∣ z ) log ⁡ p X , Y ∣ Z ( x , y ∣ z ) p X ∣ Z ( x ∣ z ) p Y ∣ Z ( y ∣ z ) I(X, Y|Z)=\sum_{z\in Z}p_Z(z)\sum_{y \in Y}\sum_{x \in X} p_{X,Y|Z}(x,y|z)\log \frac{p_{X,Y|Z}(x,y|z)}{p_{X|Z}(x|z)p_{Y|Z}(y|z)} I(X,Y∣Z)=z∈Z∑​pZ​(z)y∈Y∑​x∈X∑​pX,Y∣Z​(x,y∣z)logpX∣Z​(x∣z)pY∣Z​(y∣z)pX,Y∣Z​(x,y∣z)​

也有：

I ( X , Y ∣ Z ) = ∑ z ∈ Z ∑ y ∈ Y ∑ x ∈ X p X , Y , Z ( x , y , z ) log ⁡ p Z ( z ) p X , Y ∣ Z ( x , y ∣ z ) p X , Z ( x , z ) p Y , Z ( y , z ) I(X, Y|Z)=\sum_{z\in Z}\sum_{y \in Y}\sum_{x \in X} p_{X,Y,Z}(x,y,z)\log \frac{p_{Z}(z)p_{X,Y|Z}(x,y|z)}{p_{X,Z}(x,z)p_{Y,Z}(y,z)} I(X,Y∣Z)=z∈Z∑​y∈Y∑​x∈X∑​pX,Y,Z​(x,y,z)logpX,Z​(x,z)pY,Z​(y,z)pZ​(z)pX,Y∣Z​(x,y∣z)​

see also

集智百科：条件互信息