I(X;Y;Z)三方交互信息（或，三元互信息）

当有三个随机变量时他们之间各种熵和互信息之间关系如下图所示，可以看到中间那部分就是 I ( X ; Y ; Z ) I(X;Y;Z) I(X;Y;Z)

I ( X ; Y ; Z ) = I ( X ; Y ) − I ( X ; Y ∣ Z ) I ( X ; Y ; Z ) = I ( X ; Z ) − I ( X ; Z ∣ Y ) I ( X ; Y ; Z ) = I ( Y ; Z ) − I ( Y ; Z ∣ X ) I ( X ; Y ; Z ) = H ( X , Y , Z ) − H ( X ) − H ( Y ) − H ( Z ) + I ( X , Y ) + I ( Y , Z ) + I ( X , Z ) I(X;Y;Z) = I(X;Y)-I(X;Y|Z)\\ I(X;Y;Z) = I(X;Z)-I(X;Z|Y)\\ I(X;Y;Z) = I(Y;Z)-I(Y;Z|X)\\ I(X;Y;Z) = H(X,Y,Z)-H(X)-H(Y)-H(Z)+I(X,Y)+I(Y,Z)+I(X,Z) I(X;Y;Z)=I(X;Y)−I(X;Y∣Z)I(X;Y;Z)=I(X;Z)−I(X;Z∣Y)I(X;Y;Z)=I(Y;Z)−I(Y;Z∣X)I(X;Y;Z)=H(X,Y,Z)−H(X)−H(Y)−H(Z)+I(X,Y)+I(Y,Z)+I(X,Z)

I(X,Y;Z)联合互信息

I ( X , Y ; Z ) = I ( X ; Z ) + I ( Y ; Z ∣ X ) = I ( Y ; Z ) + I ( X ; Z ∣ Y ) I(X,Y ; Z) = I(X; Z) + I(Y ; Z|X)\\ \qquad \qquad\quad=I (Y ; Z)+I (X; Z |Y) I(X,Y;Z)=I(X;Z)+I(Y;Z∣X)=I(Y;Z)+I(X;Z∣Y)

这个互信息是将 X , Y X,Y X,Y看做一个整体，然后求和 Z Z Z之间的互信息

链式法则：

参考文献

Jakulin A. Machine learning based on attribute interactions[D]. Univerza v Ljubljani, .