信息量是指從n個相等的可能事件中選擇壹個事件所需的信息度量或內容,即在n個事件中識別壹個特定事件的過程中,問“是或否”的最少次數。
在信息論中,互信息的定義是:I(x;Y) = h (x)-h (x | y),數公式右邊的後壹項叫做條件熵,可以表示離散消息的壹個公式,它表示Y已知後對於X的不確定性。因此,互信息I(X;Y)是當接收到Y時獲得的關於源X的信息量。對應於互信息,H(X)常被稱為自信息。