エントロピーは、もともと熱力学の用語ですが、難解な概念の代表格でもあります。「熱力学の第二法則」は別名「エントロピー増大の法則」と呼ばれ、「宇宙は秩序から無秩序へ向かい逆戻りはしない」という実に深遠な意味があるのです。
それはさておき、そのエントロピーの考え方がシャノン（Claude Elwood Shannon 1916-2001）によって情報理論に導入されたのが情報エントロピー（平均情報量）と呼ばれるものです。単位はビット（シャノン）を使います。
計算方法はともかく、言葉としてはこんなふうに使います。
エントロピーの大きい通信システムはいろいろなことを伝えられる
いつも同じような問題を出す先生の試験はエントロピーが小さい
・・・なんのこと？と思われるかもしれませんが、「多様性や乱雑さの尺度」と考えると理解できる場合がよくあります。エントロピーは情報の量ですから、エントロピーが大きい通信システムは多くの情報を送れます。いっぽう、予測という観点では情報の種類が少ない方が当てやすいので、エントロピーの小さい方がありがたいわけです。 --- Y.O. ---
