內熵

信源最大可能熵與實際熵的差。

一個信源輸出的符號前後有相關性時,信號輸出的熵將減少,這就是一種形式的剩餘。 信源的剩餘度,也稱為多餘度,與熵的減少有關。
首先得給出相對熵的定義,一個實際信源輸出的熵H(x)與其最大可能的熵Hmax(x)的比值定義為相對熵;
相對熵=H(x)/Hmax(x)
信源最大可能熵與實際熵的差定義為內熵,即
內熵=Hmax(x)-H(x)
相對熵,剩餘度(或多餘度),內熵都可以表示信源的剩餘情況。

相關詞條

相關搜尋

熱門詞條

聯絡我們