相互情報量（Mutual information）＝伝達情報量（Transinformation）

wikipediaより形式的には，2つの離散確率変数XとYの相互情報量は
${ I(X;Y) = \sum_{y \in Y} \sum_{x \in X} p(x, y) \log \frac{p(x,y)}{p(x)p(y)} p(x, y) }$
によって定義される

2つの確率変数の相互依存の尺度を表す量．

最も典型的な相互情報量の物理単位はビットで，2 を底とする対数が使われることが多い

XとYが独立のとき，同時確率は０のため，I(X;Y)=0となる

XとY が最も依存していないときに，相互情報量は最小となる

Yの分布がXの分布と同じである場合に，I(X;Y)は最大値となる

XとYが最も依存しているときに，相互情報量は最大となる

Magia Book (II)