「情報エントロピーって何？」「熱力学にもエントロピーがあるけれど、同じ意味なの？」と疑問に感じたことはありませんか。エントロピーという言葉は難しく見えますが、基本となる考え方から順番に見ていけば、それほど身構える必要はありません。情報エントロピーは、簡単にいうと「ある結果がどのくらい予測しにくいか」を表す量です。一方、熱力学のエントロピーは、熱や物質からなる物理系の状態や変化を考えるために使われます。2つはまったく無関係ではなく、確率を使って表すとよく似た数学的な形が現れる点も特徴です。この記事では、コイン投げなど身近な例を使いながら、情報エントロピーの意味、計算方法、熱力学のエントロピーとの違いと共通点を初心者の方にもわかりやすく解説します。
情報エントロピーとは？まずは簡単に意味を理解しよう
情報エントロピーとは「情報の不確実さ」を表す量
情報エントロピーとは、ある出来事について「結果が出る前に、どれくらい結果を予測しにくいか」を数値で表したものです。情報理論では「シャノンエントロピー」とも呼ばれます。
たとえば、箱の中に赤いボールしか入っていなければ、取り出す前から「赤が出る」とわかりますよね。この場合、結果にほとんど不確実さはありません。
反対に、赤・青・黄・緑など、どの色が出るかわからない状態なら、結果を予測するのは難しくなります。このように起こりうる結果があり、それぞれがどの程度の確率で起こるのかによって情報エントロピーは決まります。
大切なのは、「情報エントロピー＝文章やデータそのものの量」と単純に考えないことです。情報理論では、出来事の意味や重要性を測っているわけではありません。確率をもとに、結果が判明する前にどれほど不確実性があるのかを数学的に扱います。
MITの情報理論教材でも、エントロピーは各結果が持つ情報を確率で重み付けした平均として示され、「平均的・期待される不確実性」と考えられると説明されています。つまり最初は、「情報エントロピーは、予測の難しさを数値にしたもの」と覚えておけば十分です。
コイン投げで考えると情報エントロピーがわかりやすい
情報エントロピーを理解するときに、とてもわかりやすいのがコイン投げです。
普通のコインを投げて、「表」と「裏」がそれぞれ50％の確率で出ると考えてみましょう。投げる前には、表が出るのか裏が出るのかわかりません。どちらも同じくらいありそうなので、結果を確実に予測することはできません。
このとき、表と裏の2通りの結果を区別するために必要となる情報は1ビットと考えられます。MITの教材でも、公平なコイン投げの結果を伝える例を使って、2つの等確率な結果を区別する情報量を1ビットとして説明しています。
では、「必ず表が出るコイン」があったらどうでしょうか。投げる前から答えが表だとわかっているため、結果を聞いても新しい驚きはありません。この場合の情報エントロピーは0です。
つまり情報エントロピーでは、単純に「選択肢が何個あるか」だけを見るのではなく、それぞれの結果がどのような確率で起こるかが重要になります。
コインの表と裏が半々なら予想が難しく、不確実性が大きくなります。一方、一方の結果がほぼ確実なら予想しやすく、不確実性は小さくなります。この感覚をつかんでおくと、後ほど登場する情報エントロピーの公式も理解しやすくなります。
予測しにくいほど情報エントロピーが大きくなる
情報エントロピーには、結果を予測しにくいほど大きくなるという特徴があります。
たとえば明日の天気について、「晴れになる確率が99％」と言われた場合を考えてみましょう。もちろん絶対ではありませんが、多くの方は「たぶん晴れるだろう」と予想できます。結果にはある程度の不確実性が残っているものの、それほど大きくはありません。
一方で、「晴れ50％、雨50％」と言われると、どちらになるのか予想しにくくなります。2つの結果しかなくても、どちらも同じ確率で起こりうるためです。
このように、起こりうる結果の確率が均等に近づくほど、一般に結果を当てにくくなります。公平なコインのように2つの結果がそれぞれ1/2なら、2通りの結果を持つ確率分布では情報エントロピーが最大になります。反対に、一方の確率が1、もう一方が0なら結果は確定しているため、エントロピーは0になります。
ここで注意したいのは、情報エントロピーの「大きい・小さい」は、良い・悪いを意味するものではないことです。あくまで確率分布から見た平均的な不確実性の大きさを表しています。
まずは「答えがわかりきっているほど小さい」「どれになるかわからないほど大きい」と考えると、情報エントロピーの基本的なイメージをつかみやすいでしょう。
熱力学のエントロピーとは何が違う？先に簡単に比較
「エントロピー」という言葉は、情報理論だけでなく熱力学にも登場します。そのため、「情報エントロピーと熱力学のエントロピーは同じものなの？」と混乱しやすいところです。
結論からいうと、両者は同じものとして扱うことはできませんが、数学的には深い関係があります。
情報エントロピーは、情報理論において確率分布が持つ不確実性を表す量です。代表的な式は「H = −Σp log p」で、対数の底を2にすれば通常はビットという単位で表せます。
一方、熱力学のエントロピーは温度、熱、物質などを扱う物理学の量です。統計力学では、取りうる微視的な状態の数とエントロピーを結び付けるボルツマンの式「S = k log Ω」がよく知られています。ご指定の東京大学物性研究所の講義資料でも、熱力学とは別の統計力学的な視点からエントロピーを理解することが扱われています。
違いを最初に整理すると、次のようになります。
| 比較する項目 | 情報エントロピー | 熱力学のエントロピー |
|---|---|---|
| 主な分野 | 情報理論・通信・データ分析など | 熱力学・統計力学 |
| 主に表すもの | 確率分布の不確実性 | 物理系の状態を表す熱力学的な状態量 |
| 代表的な式 | H = −Σp log p | S = k log Ω など |
| 代表的な単位 | bit（対数の底が2の場合） | J/K（ジュール毎ケルビン） |
| 身近なイメージ | 「次に何が起こるかわかりにくい」 | 多数の粒子からなる物理系がどのような状態を取りうるか |
ただし、「情報エントロピーは情報の話、熱力学エントロピーは物理の話だから無関係」と切り離すのも正確ではありません。統計力学で確率分布を使ってエントロピーを表すと、シャノンの情報エントロピーとよく似た形が現れます。ご指定資料にも、情報エントロピーと統計力学的エントロピーの式の類似性や、微視的な状態の不確定性との関係が紹介されています。
この先では、まず情報エントロピーそのものを身近な例から理解し、そのあとで熱力学のエントロピーを学ぶことで、「何が違い、どこが似ているのか」を順番に整理していきます。
情報エントロピーの意味を身近な例でわかりやすく解説
情報エントロピーの意味は、数式だけを見て理解しようとすると少し難しく感じるかもしれません。そこで、まずは「結果がわかっている場合」と「結果がわからない場合」を比べてみましょう。
ポイントになるのは、結果が出る前にどれくらい不確実性が残っているかです。身近な出来事に置き換えると、情報エントロピーの大きい・小さいがイメージしやすくなります。
必ず同じ結果になる場合は情報エントロピーが小さい
まず、「結果が最初から決まっている場合」を考えてみましょう。
たとえば、袋の中に白いボールが100個入っていて、白以外のボールは1個も入っていないとします。目を閉じて1個取り出したとしても、出てくるのは必ず白いボールです。
この場合、取り出す前から結果がわかっています。
「何色が出るのかな？」と予想する必要がありませんし、結果を教えてもらっても「やっぱり白だった」となるだけです。
このように結果が完全に予測できる場合、情報エントロピーは0になります。
これは、選択肢が形式上いくつあるかというよりも、「実際にどの結果がどの確率で起こるのか」が重要だからです。
もう少し日常的な例なら、「明日は太陽が東から昇るでしょう」という知らせを考えてみるとよいでしょう。ほぼ当然だと思っている出来事を知らされても、大きな驚きはありません。
情報理論では、この「予測できる・できない」を確率を使って数学的に扱います。
確実に起こる結果しかない → 不確実性がない → 情報エントロピーは0という流れで覚えておくと、初心者の方にも理解しやすいでしょう。
反対に、複数の結果があり、どれになるのか予測しにくくなっていくと、情報エントロピーは大きくなります。
結果が半々の場合に情報エントロピーが大きくなる理由
次は、結果を簡単には予測できないケースです。
わかりやすいのが、表と裏がそれぞれ50％の確率で出る公平なコインです。
コインを投げる前に「表と裏のどちらが出るでしょう？」と聞かれても、確実に答えることはできません。表も裏も同じ50％なので、どちらを選んでも同じくらい外れる可能性があります。
ここに大きな不確実性があります。
一方、表が99％、裏が1％のコインならどうでしょうか。
絶対ではありませんが、「おそらく表」とかなり予測しやすくなります。そのため、50％対50％の場合よりも情報エントロピーは小さくなります。
2つの結果しかない場合、情報エントロピーが最も大きくなるのは、それぞれの確率が50％ずつのときです。
| 表の確率 | 裏の確率 | 予測しやすさ | 情報エントロピー |
|---|---|---|---|
| 100％ | 0％ | 結果がわかっている | 0 bit |
| 99％ | 1％ | かなり予測しやすい | 小さい |
| 75％ | 25％ | やや予測しやすい | 中間 |
| 50％ | 50％ | 最も予測しにくい | 1 bit（最大） |
ここで「半々だと情報が少なそうなのに、どうしてエントロピーが大きいの？」と感じる方もいるかもしれません。
情報エントロピーが表しているのは、どちらの結果が「大切か」ではありません。結果を知る前に残っている不確実性がどれくらい大きいかです。
50％対50％では、どちらが起こるか最も判断しにくいため、エントロピーが最大になるのです。
天気予報やくじ引きから考える情報量と不確実性
情報エントロピーの考え方は、コインだけでなく私たちの身近な場面にも当てはめられます。
たとえば天気予報を考えてみましょう。
「明日は晴れる確率100％」という状況なら、結果についての不確実性はありません。一方、「晴れ50％、雨50％」なら、明日になってみなければどちらになるのかわからず、不確実性が大きくなります。
くじ引きでも同じように考えられます。
2本のくじがあり、1本が当たり、もう1本が外れで、どちらを引くかによって当たり・外れの確率が半々になるなら、引く前には結果を予測できません。
では、1万本のくじのうち「特賞」がたった1本しかない場合はどうでしょうか。
ここでは少し注意が必要です。
「特賞が出る」という出来事そのものは非常に珍しいため、実際に特賞が出たと知ったときの情報量（自己情報量）は大きくなります。
情報理論では、ある出来事の情報量は、その出来事が起こる確率が低いほど大きくなるように定義されています。
つまり、
「珍しい出来事が実際に起きたときの情報量」
と、
「起こりうる結果全体について、結果を知る前にどれくらい不確実なのか」
は、区別して考える必要があります。
前者が個々の出来事の「情報量」、後者を平均的に考えたものが「情報エントロピー」です。
たとえば、いつも通りの出来事を聞いても、それほど驚きません。しかし、めったに起こらない出来事を聞けば「そんなことが起きたの？」と驚きます。この感覚が、起こりにくい出来事ほど大きな情報量を持つという考え方につながります。
ただし、情報理論が人間の感情としての「驚き」を直接測定しているわけではありません。あくまで出来事が起こる確率をもとに情報量を数学的に定義している点は覚えておきましょう。
この「1つの出来事が持つ情報量」と「結果全体の平均的な不確実性」の違いがわかると、情報エントロピーへの理解が一段深まります。
次は、この考え方を生み出したシャノンの情報理論について見ていきましょう。
情報エントロピーとシャノンの情報理論
情報エントロピーを理解するうえで欠かせない人物が、アメリカの数学者・電気工学者クロード・シャノンです。
シャノンは「情報」を意味の深さや文章の重要性ではなく、確率を使って数学的に扱えるものとして考えました。この考え方によって、情報をどれだけ効率よく表現できるのか、通信でどれだけ情報を送れるのかといった問題を数学的に研究できるようになりました。
ここでは、シャノンの情報理論と情報エントロピーの関係を、難しい数式に入る前に整理してみましょう。
シャノンが情報エントロピーという考え方を導入した理由
私たちは普段、「このニュースには情報が多い」「この文章は内容が濃い」といった言い方をしますよね。
しかし、このような日常的な「情報」の意味は、人によって受け取り方が変わります。あるニュースを重要だと感じる人もいれば、そうではない人もいるからです。
そこで情報理論では、文章の意味や価値とは少し離れて、情報を確率にもとづいて数量化します。
この考え方を体系化したのがクロード・シャノンです。シャノンは1948年に発表した「A Mathematical Theory of Communication（通信の数学的理論）」で、現代の情報理論につながる枠組みを示しました。
通信を考えるときには、「どのようなメッセージが、どのくらいの確率で発生するのか」が重要です。
たとえば、ある記号ばかり何度も現れるデータと、さまざまな記号が予測しにくい形で現れるデータでは、効率的な表し方も変わってきます。
そこで役立つのが情報エントロピーです。
情報エントロピーを使えば、情報源から生まれる結果について「平均するとどれくらいの情報が得られるのか」を数量として考えられます。
この考え方は、データを効率よく表現する「データ圧縮」や、情報を正確に届ける「通信」などを考えるための重要な基礎になっています。
つまり情報エントロピーは、単に「情報が多い・少ない」という感覚を表したものではありません。確率的に発生する情報を数学として扱うための基本的な尺度なのです。
情報量とは？起こりにくい出来事ほど情報量が大きい
情報エントロピーを理解する前に知っておきたいのが、1つの出来事に対する「情報量（自己情報量）」です。
情報理論では、起こる確率が低い出来事ほど、それが実際に起きたと知ったときの情報量を大きく考えます。
たとえば、毎朝ほぼ決まった時間に届く新聞が「今日も届きました」と知らされても、それほど意外には感じないでしょう。
一方、「めったに起こらない出来事が発生しました」と知られたら、先ほどより大きな情報を受け取ったように感じます。
この考え方を数学的に表したものが自己情報量です。
ある出来事が起こる確率を「p」とすると、その出来事の情報量は、対数の底を2とする場合、
I = −log₂p
または、
I = log₂(1/p)
と表せます。
たとえば、必ず起こる出来事ならp＝1です。
この場合は、
−log₂1 = 0 bit
となり、情報量は0です。
一方、1/2の確率で起こる出来事なら、
−log₂(1/2) = 1 bit
となります。
さらに1/8の確率なら3 bitです。
このように、起こる確率が小さい出来事ほど、実際に起こったときの自己情報量は大きくなるように定義されています。
ただし、ここでいう「情報量が大きい」は、「そのニュースが重要」「文章の内容が役に立つ」という意味ではありません。
あくまでその出来事がどのくらい起こりにくかったのかを、確率から数量化したものです。
この「1つの出来事の情報量」を理解すると、次に出てくる情報エントロピーとの違いがわかりやすくなります。
情報エントロピーは確率分布の平均的な不確実性を表す
ここまで説明した「情報量」は、1つの出来事に注目した値でした。
では、コイン投げのように複数の結果が考えられるとき、結果全体としてどれくらい不確実なのかを知りたい場合はどうすればよいのでしょうか。
そこで登場するのが情報エントロピーです。
情報エントロピーは、それぞれの結果が持つ自己情報量を、その結果が起こる確率で重み付けして平均したものと考えられます。
たとえば公平なコインなら、
・表が出る確率……1/2
・裏が出る確率……1/2
です。
表が出たときの自己情報量は1 bit、裏が出たときも1 bitなので、その平均も1 bitになります。
これが公平なコイン投げの情報エントロピーです。
一方、「表が必ず出る」と決まっていれば、結果を知る前から答えがわかっています。この場合には不確実性がなく、情報エントロピーは0になります。
ここで大切なのは、自己情報量と情報エントロピーを同じものとして考えないことです。
| 項目 | 何を表す？ | 考え方 |
|---|---|---|
| 自己情報量 | ある1つの結果から得られる情報量 | 起こりにくい結果ほど大きい |
| 情報エントロピー | 結果全体についての平均的な情報量・不確実性 | 各結果の確率を考慮して平均する |
たとえば、「1万回に1回しか起こらない珍しい出来事」が実際に起これば、その出来事の自己情報量は大きくなります。
だからといって、「珍しい出来事が1つあるだけで、その確率分布全体の情報エントロピーも必ず大きい」とは限りません。
1つの結果を見るのが自己情報量、起こりうる結果全体を確率込みで見るのが情報エントロピーと区別すると理解しやすいでしょう。
この情報エントロピーは、確率分布に対して
H = −Σ pᵢ log pᵢ
という形で表されます。
式だけを見ると難しそうですが、意味は「それぞれの結果の情報量を、起こる確率に応じて平均している」と考えれば大丈夫です。
詳しい計算方法については、次の章でコイン投げを使ってゆっくり確認していきます。
情報エントロピーの単位「ビット」とは
情報エントロピーを調べていると、「bit（ビット）」という単位がよく登場します。
パソコンやスマートフォンに詳しくなくても、「8ビット」「32ビット」「ビット列」といった言葉を見たことがある方は多いかもしれません。
情報理論では、対数の底を2にして情報量や情報エントロピーを計算した場合、単位としてbitを使います。
最も簡単な例が、公平なコイン投げです。
表と裏がそれぞれ1/2の確率なら、
H = 1 bit
になります。
「表か裏か」という2つの等確率な選択肢のうち、どちらだったのかを区別するための情報量をイメージするとわかりやすいでしょう。
また、4つの結果がすべて同じ1/4の確率で起こる場合、情報エントロピーは2 bitです。
8つの結果がすべて1/8なら3 bitになります。
| 等確率な結果の数 | 1つの結果の確率 | 情報エントロピー |
|---|---|---|
| 2通り | 1/2 | 1 bit |
| 4通り | 1/4 | 2 bit |
| 8通り | 1/8 | 3 bit |
ここで1つ注意したいのが、情報量の単位としての「bit」と、コンピューター上の0または1を表す二進数字としてのビットは、文脈によって意味が少し異なることです。
MITの講義でも、情報を測る単位としてのbitと、0または1というbinary digit（2進数字）を区別して説明しています。
また、情報エントロピーの単位が必ずbitになるわけではありません。どの底の対数を使うかによって単位が変わります。底を2にすればbit、自然対数を使えばnat（ナット）という単位になります。
初心者の方は、まず「log₂を使って計算した情報エントロピーの単位がbit」と覚えておけば十分です。
ここまでわかれば、「情報エントロピーとは何か」という基本部分はかなり整理できています。
次は実際の公式を見ながら、なぜlog（対数）が登場するのか、そしてコインの確率を変えると情報エントロピーがどのように変化するのかを計算してみましょう。
情報エントロピーの公式と計算方法を初心者向けに解説
ここまで、情報エントロピーは「結果がどれくらい予測しにくいか」「確率分布が持つ平均的な不確実性」を表す量だと説明してきました。
では、その不確実性を実際にどのように数値にするのでしょうか。
情報エントロピーは、シャノンが示した公式を使って計算できます。数式を見ると少し難しそうに感じるかもしれませんが、意味を一つずつ確認すれば大丈夫です。
まずは公式の形を確認し、そのあとにコイン投げを例として実際に計算してみましょう。
シャノンのエントロピーの公式を確認
情報エントロピーは、一般に次の式で表されます。
H(X) = −Σ p(x) log₂ p(x)
「記号が多くて難しそう」と感じるかもしれませんが、それぞれの意味を分けて考えてみましょう。
- H(X)：確率変数Xの情報エントロピー
- p(x)：ある結果xが起こる確率
- log₂：底が2の対数
- Σ（シグマ）：すべての結果について計算した値を足す
つまり、この式は簡単にいうと、
「それぞれの結果が持つ情報量を、起こる確率に応じて平均する」
ための計算です。
1つの結果xが起こったときの自己情報量は、
−log₂ p(x)
で表されます。
そこに、その結果が起こる確率p(x)を掛けると、
−p(x) log₂ p(x)
となります。
これをすべての結果について足したものが情報エントロピーです。
たとえば結果がAとBの2種類なら、
H = −p(A)log₂p(A) − p(B)log₂p(B)
となります。
一見すると複雑ですが、やっていることは「各結果の情報量の平均を求めている」だけです。
なお、底を2とする対数を使った場合、情報エントロピーの単位はbit（ビット）になります。
最初から公式を暗記する必要はありません。「確率がわかれば、不確実性を数字として計算できる式」と理解しておけば十分です。
なぜlog（対数）が使われるのか簡単に理解しよう
情報エントロピーの公式を見ると、多くの方が気になるのが「なぜlog（対数）が出てくるの？」という点ではないでしょうか。
対数には難しい印象がありますが、情報量でlogを使う理由の一つは、独立した出来事から得られる情報を足し算できるようにするためです。
たとえば公平なコインを1回投げると、「表か裏か」という2通りの結果があります。
この結果を表す情報量は1 bitです。
では、コインを2回投げたらどうでしょうか。
結果は、
・表・表
・表・裏
・裏・表
・裏・裏
の4通りになります。
4通りを等しく区別する情報量は、
log₂4 = 2 bit
です。
つまり、
1回目の情報量1 bit ＋ 2回目の情報量1 bit ＝ 2 bit
と足し算できます。
3回なら結果は8通りなので、
log₂8 = 3 bit
となります。
このように対数には、掛け算で増えていく選択肢の数を、情報量として足し算に変換できる便利な性質があります。
数学的には、
log(ab) = log(a) + log(b)
という関係です。
独立した出来事AとBが同時に起こる確率は、それぞれの確率を掛け合わせて考えることができます。そのとき対数を使えば、2つの出来事から得られる情報量を足し算として表せます。
そのため、情報量を扱ううえで対数はとても相性がよいのです。
初心者の方は、対数の細かな計算方法まで最初から覚えなくても構いません。
「選択肢が掛け算で増えても、情報量は足し算として扱える。そのためにlogが役立つ」
とイメージしておくとよいでしょう。
コイン投げを例に情報エントロピーを計算してみる
それでは、公平なコインを1回投げる場合の情報エントロピーを実際に計算してみましょう。
表が出る確率を1/2、裏が出る確率も1/2とします。
公式は、
H = −Σ p log₂p
でした。
表と裏をそれぞれ入れると、
H = −{(1/2)log₂(1/2) + (1/2)log₂(1/2)}
となります。
ここで、
log₂(1/2) = −1
です。
したがって、
H = −{(1/2 × −1) + (1/2 × −1)}
となります。
計算すると、
H = 1 bit
です。
つまり、公平なコインを1回投げたときの情報エントロピーは1 bitになります。
| 結果 | 確率 | 自己情報量 | 確率×自己情報量 |
|---|---|---|---|
| 表 | 1/2 | 1 bit | 0.5 bit |
| 裏 | 1/2 | 1 bit | 0.5 bit |
| 合計（情報エントロピー） | 1 bit | ||
ポイントは、表そのものに「1 bit」、裏そのものに「1 bit」が固定されているというより、表と裏がそれぞれ1/2という確率で発生するため、その確率分布について計算するとエントロピーが1 bitになるということです。
また、結果が「必ず表」なら、
表の確率は1です。
この場合、
−1 × log₂1 = 0
なので、情報エントロピーは0になります。
結果を知る前から答えがわかっているため、不確実性がないことが数式からも確認できます。
確率が偏ると情報エントロピーはどう変化する？
最後に、コインの確率を少しずつ変えてみましょう。
公平なコインでは、
表50％・裏50％ → H = 1 bit
でした。
では、表が90％、裏が10％ならどうなるでしょうか。
公式に入れると、
H = −{0.9log₂0.9 + 0.1log₂0.1}
です。
計算すると、
約0.469 bit
になります。
50％対50％の1 bitよりも小さくなりました。
これは、表が90％も出るので「おそらく表だろう」と予測しやすくなったためです。
さらに表が99％、裏が1％になると、情報エントロピーは約0.081 bitまで小さくなります。
比較すると次のようになります。
| 表の確率 | 裏の確率 | 情報エントロピー | 状態のイメージ |
|---|---|---|---|
| 100％ | 0％ | 0 bit | 結果が完全にわかっている |
| 99％ | 1％ | 約0.081 bit | かなり予測しやすい |
| 90％ | 10％ | 約0.469 bit | 予測しやすい |
| 75％ | 25％ | 約0.811 bit | やや不確実 |
| 50％ | 50％ | 1 bit | 最も予測しにくい |
この表を見ると、確率が50％対50％に近づくにつれて情報エントロピーが大きくなっていることがわかります。
反対に、一方の確率が100％に近づくほど、結果を予測しやすくなり、エントロピーは0に近づきます。
2つの結果しかない場合、50％対50％のとき情報エントロピーは最大の1 bitになります。
ここで覚えておきたいのは、「50％だから特別」というより、2つの結果が同じ確率になっていて、どちらになるのか最も予測しにくいから最大になるという点です。
結果が4種類なら、4種類すべてが1/4ずつのときにエントロピーが最大になります。一般に、取りうる結果の数が決まっている場合、それぞれが同じ確率で起こる一様な確率分布で情報エントロピーは最大になります。
逆に、1つの結果が確率1で必ず起こるならエントロピーは0です。
つまり情報エントロピーの公式は、数式だけを見ると難しく感じますが、実際には、
「どれくらい結果を予測しにくいのか」を確率から計算している
と考えれば理解しやすくなります。
ここまでは情報理論のエントロピーを見てきました。
次からは、もう一つの「エントロピー」である熱力学のエントロピーについて基礎から確認していきましょう。2つの意味をそれぞれ理解すると、「なぜ同じエントロピーという名前が使われているのか」も見えてきます。
熱力学のエントロピーとは？情報エントロピーとの違いを知るための基礎
ここまでは、シャノンの情報理論に登場する「情報エントロピー」について見てきました。
ここからは、もう一つの熱力学のエントロピーについて考えてみましょう。
熱力学のエントロピーも「S」という記号で表されますが、情報エントロピーとは扱う対象や単位が異なります。
「エントロピー＝乱雑さ」と説明されることもありますが、それだけでは正確な意味をつかみにくいところがあります。まずは、物質や熱を扱う物理学において、ある系の状態を特徴づける量として理解していきましょう。
熱力学におけるエントロピーの意味と定義
熱力学では、気体や液体など、たくさんの粒子からできている物理的な対象を「系」として考えます。
その系がどのような状態にあるのかを表すために、温度、圧力、体積、内部エネルギーなど、さまざまな物理量を使います。
エントロピーSも、そのような熱力学的な状態を表す「状態量（状態関数）」の一つです。
状態量の特徴は、現在どの状態にあるのかによって値が決まり、そこに至るまでの細かな道筋には依存しないことです。
たとえば、ある状態Aから状態Bまで変化したとしましょう。
途中でどのような経路を通ったとしても、最初と最後の状態が同じなら、
ΔS = SB − SA
というエントロピーの変化量は同じです。
そのため熱力学では、エントロピーそのものだけでなく、ある変化の前後で「エントロピーがどれだけ変わったのか」というエントロピー変化ΔSが重要になります。
ここで気をつけたいのが、「エントロピーは乱雑さを表す」という有名な説明です。
気体が広がったり物質が混ざったりする現象をイメージするには便利ですが、すべての現象を「散らかっているか、整っているか」だけで判断すると誤解することがあります。
初心者の段階では、
「熱力学のエントロピーは、物理系の状態を表す重要な状態量の一つ」
と押さえておくとよいでしょう。
そして後ほど紹介する統計力学では、このエントロピーを、原子や分子が取りうる微視的な状態の数と結びつけて考えることができます。
温度・熱量とエントロピーの関係
熱力学のエントロピーを理解するうえで大切なのが、熱と温度との関係です。
可逆的な過程を考えると、エントロピーの微小な変化は、
dS = δQrev / T
と表せます。
一定温度での可逆過程なら、
ΔS = Qrev / T
と書くことができます。
ここで、
- ΔS：エントロピーの変化
- Qrev：可逆的な過程として考えたときに系へ入る熱量
- T：絶対温度（K：ケルビン）
を表します。
たとえば、温度300 Kの物体が可逆的に30 Jの熱を受け取ったとしましょう。
一定温度なら、
ΔS = 30 J ÷ 300 K = 0.1 J/K
となります。
ここから、熱力学のエントロピーの単位がJ/K（ジュール毎ケルビン）になることもわかります。
ただし、ここは少し注意が必要です。
「エントロピー＝熱量÷温度」と単純に覚えてしまうのは正確ではありません。
エントロピーは状態量ですが、熱Qは状態量ではなく、どのような過程で変化したかに関係する量です。そのため、エントロピー変化を熱から求めるときには「可逆的な経路」を考えて計算します。
難しく感じる場合は、
「熱力学のエントロピーは、熱と温度に深く関係する状態量」
というところまで理解できれば十分です。
情報エントロピーが確率を中心に考えるのに対して、熱力学では温度・熱・物質などの物理的な状態を扱う点が、大きな違いの一つです。
クラウジウスとエントロピー増大の法則
熱力学のエントロピーを語るうえで欠かせないのが、熱力学第二法則です。
身近な例として、熱いコーヒーを机の上に置いた場面を考えてみましょう。
時間がたつと、熱いコーヒーは周囲へ熱を渡し、少しずつ冷めていきます。
しかし、何もしていないのに室温のコーヒーが周囲から熱を集め、突然熱々になるという逆向きの変化は、日常では自然に起こりません。
このように、自然に起こる変化には方向性があります。
19世紀にエントロピーの概念を熱力学へ導入したルドルフ・クラウジウスは、熱力学第二法則をエントロピーを使って表現しました。
現在の考え方では、孤立した系について、
ΔS ≥ 0
となります。
つまり、孤立系のエントロピーは自然な過程によって減少せず、可逆過程では一定、不可逆過程では増大します。
ここで重要なのは、「どんな物体でも、いつでもエントロピーが増える」という意味ではないことです。
ある部分だけを見れば、エントロピーが減少することもあります。
たとえば冷蔵庫の中を冷やすことはできますが、冷蔵庫は電気を使い、外部へ熱を放出します。そのため第二法則を考えるときには、冷蔵庫の中だけではなく周囲まで含めて考える必要があります。
この「どこまでを系として考えるのか」は、エントロピーを理解するうえでとても大切なポイントです。
エントロピー増大の法則については、後ほど「気体が広がる場合」「高温から低温へ熱が移動する場合」などを例に、さらに詳しく見ていきます。
ボルツマンの式と「状態数」の考え方
熱力学ではエントロピーを状態量として扱いますが、さらに原子や分子の世界まで視点を広げる統計力学では、エントロピーを別の角度から理解できます。
そこで有名なのが、ボルツマンの式です。
S = kB ln Ω
と表されます。
ここで、
- S：エントロピー
- kB：ボルツマン定数
- ln：自然対数
- Ω（オメガ）：ある巨視的状態に対応する微視的状態の数
を表します。
「微視的状態」と聞くと難しそうですが、まずは同じように見える状態を、原子や分子のレベルで実現する細かなパターンと考えてみましょう。
たとえば箱の中に多数の気体分子が入っているとします。
私たちが外から見ると、「温度○K、体積○L」といった一つの状態に見えます。
しかし分子の世界まで細かく見ると、それぞれの分子がどこにあり、どのような運動をしているのかには非常に多くの可能性があります。
巨視的には同じ状態に見えても、それを実現する微視的な状態はたくさん存在するわけです。
ボルツマンの式では、利用できる微視的状態の数Ωが大きいほど、エントロピーSも大きくなります。
たとえばΩ＝1なら、
S = kB ln 1 = 0
です。
一方、Ωが非常に大きくなれば、エントロピーも大きくなります。
この考え方によって、目に見える熱力学の世界と、原子・分子という目に見えない微視的な世界をつなげて考えることができます。
東京大学物性研究所の統計力学に関する講義資料でも、熱力学とは別の角度からエントロピーを考えることや、S = k log Wというボルツマンの式、さらに統計力学と情報理論には密接な関係があることが触れられています。
そして、ここで少し気づくことがあります。
情報エントロピーは、
H = −Σp log p
でした。
一方、統計力学では、
S = kB ln Ω
という式が登場しました。
どちらにも確率や状態の数、そして対数が関係しています。
もちろん、だからといって情報エントロピーと熱力学のエントロピーをそのまま同じものとして扱えるわけではありません。
しかし、2つのエントロピーがまったく偶然に同じ名前を持っているわけでもないのです。
次の章では、いよいよ情報エントロピーと熱力学エントロピーの違いを一覧表も使いながら詳しく比較していきます。
情報エントロピーと熱力学エントロピーの違いを比較
情報エントロピーと熱力学のエントロピーは、どちらも「エントロピー」という名前が使われるため、同じもののように感じるかもしれません。
しかし、扱う対象や物理的な単位、使われる分野には明確な違いがあります。
一方で、確率的な状態を考えると数式の形には共通する部分があり、まったく無関係というわけでもありません。
まずは、2つの違いを一覧表で整理してみましょう。
情報エントロピーと熱力学エントロピーの違いを一覧表で比較
情報エントロピーと熱力学エントロピーの主な違いは、次のとおりです。
| 比較項目 | 情報エントロピー | 熱力学エントロピー |
|---|---|---|
| 主な分野 | 情報理論・通信・データ分析など | 熱力学・統計力学 |
| 主に扱うもの | 確率分布・情報源など | 物質や熱を含む物理系 |
| 基本的な意味 | 結果についての平均的な不確実性 | 物理系の状態を表す状態量 |
| 代表的な式 | H = −Σpilog pi | dS = δQrev/T、S = kBlnΩ など |
| 単位の例 | bit、natなど | J/K |
| 確率との関係 | 確率分布から直接計算する | 統計力学では微視的状態の確率と深く関係する |
| 値が大きい場合のイメージ | 結果を予測しにくい | 対応する微視的状態の可能性が多いなど |
| 主な用途 | 通信、符号化、圧縮、機械学習など | 熱現象、平衡、自然な変化の方向などの理解 |
一言で分けるなら、
情報エントロピー → 「結果についてどれくらい不確実なのか」を扱う
熱力学エントロピー → 「物理系の状態や変化」を扱う
と考えるとわかりやすいでしょう。
ただし、この表は両者の役割を初心者向けに整理したものです。統計力学まで踏み込むと、熱力学エントロピーも確率と深く結びついているため、両者には重要な数学的共通点が見えてきます。
情報エントロピーは不確実性、熱力学エントロピーは物理系の状態に関係する
2つのエントロピーの最もわかりやすい違いは、何についてのエントロピーなのかという点です。
情報エントロピーでは、ある情報源からどの結果が出てくるのかを確率分布として考えます。
たとえば公平なコインなら、
「表が出る確率50％」
「裏が出る確率50％」
という確率分布があります。
どちらになるのか事前には予測できないため、情報エントロピーは1 bitです。
一方、熱力学で扱うのは、気体、液体、固体などの実際の物理系です。
たとえば箱の中に気体が入っている場合、温度、圧力、体積などによって巨視的な状態を表すことができます。そして、その状態には熱力学的なエントロピーがあります。
統計力学の視点まで広げると、同じ巨視的状態に対応して、分子の位置や運動には非常に多くの微視的な可能性が存在します。
そのため、
情報エントロピー＝確率分布についての量
熱力学エントロピー＝物理系の熱力学的な状態量
という違いをまず押さえておくとよいでしょう。
ここで「熱力学エントロピーは不確実性とは無関係」と考えてしまうのも正確ではありません。
統計力学では、物理系の微視的状態を確率的に扱い、その確率分布とエントロピーを結びつけることができます。
つまり、使われる場面や物理的な意味は違うけれど、確率という視点を通すと共通する数学的構造が見えてくるのです。
数式・単位・確率・状態数にはどんな違いがある？
情報エントロピーと熱力学エントロピーの違いは、数式や単位を見るとさらにわかりやすくなります。
情報エントロピーの代表的な式は、
H = −Σpi log pi
です。
対数の底を2にすれば、単位はbitになります。自然対数を使えばnatです。
一方、熱力学では可逆過程におけるエントロピー変化を、
dS = δQrev/T
と表せます。
この場合、熱量をジュール（J）、絶対温度をケルビン（K）で表すため、エントロピーのSI単位はJ/Kです。
さらに統計力学では、有名なボルツマンの式、
S = kB ln Ω
があります。
Ωは、ある巨視的状態に対応する微視的状態の数です。
ここで、シャノンの式とボルツマンの式を並べてみましょう。
| 種類 | 代表的な式 | ポイント |
|---|---|---|
| シャノンエントロピー | H = −Σpilog pi | 各結果の確率分布から求める |
| ボルツマンエントロピー | S = kBlnΩ | 等確率な微視的状態の数Ωと結びつける |
一見すると違う式ですが、ある巨視的状態に対応するΩ個の微視的状態がすべて同じ確率だと考えてみましょう。
それぞれの確率は、
pi = 1/Ω
です。
自然対数を使ったシャノン型の式に代入すると、
−Σ(1/Ω) ln(1/Ω) = lnΩ
となります。
これにボルツマン定数kBを掛ければ、
S = kBlnΩ
というボルツマンの式と対応します。
ここが、情報エントロピーと統計力学的なエントロピーの重要な接点です。
ただし、「式が似ているから両者は完全に同じもの」と結論づけないことが大切です。
情報理論では情報源の確率分布を扱い、熱力学・統計力学では物理法則に従う物理系を扱います。また、熱力学エントロピーにはkBが入り、物理量としてJ/Kという次元を持ちます。
「数学的な構造には共通点があるが、扱う対象と物理的な意味、単位は異なる」と理解するとよいでしょう。
なぜどちらも「エントロピー」と呼ばれるのか
ここまで読むと、「分野が違うのに、なぜ両方ともエントロピーと呼ぶの？」という疑問が出てくるかもしれません。
情報理論のエントロピーという名称については、数学者ジョン・フォン・ノイマンがシャノンに「entropy」という名称を勧めたという有名な逸話があります。
ただし、この逸話はさまざまな形で引用されており、名称の由来を説明する決定的な一次資料として安易に断定するのは避けたほうがよいでしょう。
それより重要なのは、情報理論と統計力学で現れるエントロピーの数学的な形に深い類似性があることです。
シャノンの情報エントロピーは、
H = −Σpilog pi
で表されます。
統計力学でも、微視的状態の確率をpiとすると、エントロピーは一般的に
S = −kBΣpiln pi
という形で表すことができます。
すべての微視的状態が等確率なら、これが先ほどの
S = kBlnΩ
につながります。
つまり、どちらも「可能な結果・状態がどのような確率で分布しているか」と深く関係しています。
ここに、2つのエントロピーを理解するための大きなヒントがあります。
ただし、ブログなどでよく見かける、
「情報が増えると物理的なエントロピーも増える」
「情報エントロピーと熱力学エントロピーはまったく同じもの」
といった単純な説明には注意が必要です。
情報理論のHは確率分布の不確実性を測る量であり、熱力学のSは物理系の状態量です。数式上の対応や、情報と物理を結びつける重要な研究分野はありますが、日常的な場面で両者をそのまま置き換えることはできません。
情報エントロピーと熱力学エントロピーは「違う対象に使われる量」ですが、確率と対数を通して数学的に深いつながりを持っています。
この「違うけれど、共通点もある」という理解が大切です。
次の章では、この共通点に注目して、ボルツマンのエントロピーとシャノンのエントロピーがどこまで似ているのか、そして「エントロピー＝乱雑さ」と覚えると、なぜ誤解しやすいのかを詳しく見ていきましょう。
情報エントロピーと熱力学エントロピーに共通点はある？
情報エントロピーと熱力学エントロピーには、扱う対象や単位などに違いがあります。
それでは、なぜ同じ「エントロピー」という言葉が使われているのでしょうか。
その理由を理解するカギになるのが、確率と「どの状態がどれくらいあり得るのか」という考え方です。
情報理論では、起こりうる結果の確率分布から情報エントロピーを求めます。一方、統計力学でも、物理系の微視的な状態を確率的に扱うことでエントロピーを考えることができます。
つまり両者は、まったく同じものではありませんが、確率分布を対数を使って評価するという数学的な共通点を持っています。
確率という視点から見る2つのエントロピー
情報エントロピーでは、「どの結果がどれくらいの確率で起こるのか」が中心になります。
たとえば公平なコインなら、
・表が出る確率……1/2
・裏が出る確率……1/2
です。
どちらになるか予測しにくいため、情報エントロピーは大きくなります。
一方、表が出る確率が100％なら、結果は最初からわかっています。この場合、情報エントロピーは0です。
では、熱力学ではどうでしょうか。
私たちが目で見ている「温度」「圧力」「体積」といった状態の裏側では、非常にたくさんの原子や分子が動いています。
同じ温度や圧力に見える状態でも、分子一つひとつの位置や運動まで考えると、非常に多くの微視的な状態が考えられます。
統計力学では、このような微視的状態とその確率を使って巨視的な物理現象を説明します。統計力学そのものが、微視的な構成要素の運動と確率的な仮定から巨視的な振る舞いを理解する理論です。
つまり、
情報エントロピーでは「可能な結果の確率」
統計力学では「可能な微視的状態の確率」
に注目します。
対象は異なりますが、「いくつかの可能性があり、それぞれに確率がある」という考え方には共通点があります。
このため、情報理論と統計力学のエントロピーを確率分布の視点から見ると、数式の形にもよく似た構造が現れます。
ボルツマンのエントロピーとシャノンのエントロピーの似ているところ
2つのエントロピーの共通点を最もわかりやすく示しているのが、数式です。
シャノンの情報エントロピーは、自然対数を使えば、
H = −Σpi ln pi
と表せます。
一方、統計力学では確率分布を使って、
S = −kBΣpi ln pi
という形のエントロピーを考えることができます。
見比べると、とてもよく似ています。
違いの一つは、熱力学・統計力学側にはボルツマン定数kBが掛かっていることです。
このkBによって、熱力学エントロピーはJ/Kという物理的な単位を持ちます。
また、すべての微視的状態が同じ確率で現れる場合を考えてみましょう。
微視的状態の数がΩ個なら、それぞれの確率は、
pi = 1/Ω
です。
これを確率分布を使った式に代入すると、
S = kB ln Ω
となります。
これは前章で登場したボルツマンのエントロピーの式です。
つまり、
「多数の可能な状態があり、それらの確率がどのように分布しているかを対数を使って表す」
という点で、シャノンエントロピーと統計力学のエントロピーには数学的な共通性があります。
MITでは情報理論と統計力学を関連づける教材も用意されており、最大エントロピー原理を物理へ応用したJaynesの研究も紹介されています。
ただし、式が似ていることだけを理由に、「情報エントロピー＝熱力学エントロピー」と考えるのは適切ではありません。
情報エントロピーでは確率変数や情報源を扱いますが、熱力学・統計力学では実在する物理系について考えます。
数学的な構造はよく似ていても、何を表している量なのかは区別することが大切です。
「乱雑さ」だけで説明すると誤解しやすい理由
エントロピーについて調べると、
「エントロピー＝乱雑さ」
という説明をよく見かけます。
初心者の方が大まかなイメージをつかむためには便利な表現ですが、これだけでエントロピーを理解しようとすると誤解が生まれることがあります。
その理由の一つは、「乱雑」という言葉が人間の感覚に左右されるからです。
たとえば、机の上に本やペンがバラバラに置かれていれば、私たちは「散らかっている」と感じます。
しかし、熱力学エントロピーは机が見た目に散らかっているかどうかを測定しているわけではありません。
同じように、意味の通じない文字列を見て「乱雑だから情報エントロピーが高い」と判断するのも正確ではありません。
情報エントロピーは、その文字列を生み出す確率分布によって決まります。
たとえば、
「AAAAAAAAAA」
という文字列と、
「KQZMPWFXRT」
という文字列を見れば、後者のほうが乱雑に見えるかもしれません。
しかし、情報理論では見た目だけからエントロピーを決めることはできません。
どの文字がどの確率で発生する情報源なのか、どのような確率モデルを考えているのかが必要です。
熱力学についても同様です。
エントロピーは状態量であり、統計力学では可能な微視的状態やその確率分布と関係します。単純な「見た目の散らかり具合」ではありません。
そのため初心者の方は、
「乱雑さ」はイメージを助ける言葉ではあるけれど、エントロピーそのものの厳密な定義ではない
と覚えておくと安心です。
情報エントロピーについては「不確実性」、熱力学エントロピーについては「物理系の状態量」という言葉を基本にしたほうが、後から学びを深めても混乱しにくいでしょう。
情報と物理をまったく同じものとして扱わないことが大切
情報エントロピーと熱力学エントロピーの式がよく似ていると、
「情報も物理的なエントロピーも結局は同じなのでは？」
と思うかもしれません。
しかし、ここでは「数学的に似ていること」と「物理的に同じものであること」を分けて考える必要があります。
情報理論で使われるシャノンエントロピーは、確率変数の不確実性を数量化したものです。通信・符号化・データ圧縮などを考える際の基本的な情報尺度になります。MITやStanfordの情報理論教材でも、エントロピーは情報尺度や符号化の基本概念として扱われています。
一方、熱力学エントロピーは物理系について定義される状態量で、熱力学第二法則や平衡状態などを考えるうえで重要な役割を持っています。
そのため、
| 考え方 | 注意点 |
|---|---|
| 「2つのエントロピーは無関係」 | 数学的・統計的な共通点があるため適切ではない |
| 「2つのエントロピーは完全に同じ」 | 扱う対象・単位・物理的意味が異なるため適切ではない |
| 「対象は違うが、確率論的・数学的な共通点がある」 | 最も理解しやすい整理 |
というように整理するとよいでしょう。
さらに深い物理学では、「情報と熱力学にはどのような関係があるのか」という問題そのものが重要な研究テーマになっています。情報処理と熱力学的エントロピーの関係は、単なる言葉遊びではなく、物理学や情報理論で詳しく研究されてきたテーマです。
ただし、この記事でまず押さえたいのは、もっと基本的な部分です。
情報エントロピーは確率分布の不確実性を表し、熱力学エントロピーは物理系の状態量として使われる。一方、統計力学まで見ると、確率分布と対数という共通の数学的構造が現れる。
この3点を理解できれば、「情報エントロピーと熱力学のエントロピーは同じなのか？」という疑問はかなり整理できます。
次は、熱力学で特によく耳にする「エントロピー増大の法則」について見ていきましょう。「エントロピーは必ず増える」とは正確にはどういう意味なのか、気体や熱の移動を例にすると理解しやすくなります。
エントロピー増大の法則とは？熱力学第二法則を簡単に理解
熱力学のエントロピーについて調べていると、よく目にするのが「エントロピー増大の法則」です。
名前だけを見ると「世の中のエントロピーは何でも増え続けるの？」と思ってしまうかもしれません。しかし、正しく理解するにはどこまでを「系」として考えるのかが大切です。
熱力学第二法則では、孤立系のエントロピーは自然に起こる変化によって減少しないと考えます。身近な現象に置き換えながら、その意味を見ていきましょう。
エントロピーが増大するとはどういう意味？
エントロピー増大の法則を簡単に表すと、孤立系について、
ΔS ≥ 0
となります。
ここでΔSは、変化の前後におけるエントロピーの差です。
ただし、「エントロピーは必ず増える」とだけ覚えると少し不正確です。
孤立系では、不可逆な自然過程でエントロピーが増加し、理想的な可逆過程ではエントロピーは一定です。
そのため、「減らない」と表現するとより正確でしょう。
では、なぜ自然界には変化の方向があるのでしょうか。
たとえば、熱いコーヒーを室内に置いておくと、時間とともに冷めていきます。
ところが、冷めたコーヒーが何もしないのに周囲から熱を集め、突然熱々になる様子を見ることはありません。
物理学の基本法則には時間を逆向きにしても成り立つものが多い一方、私たちが日常で見る巨視的な熱現象には明確な方向性があります。
熱力学第二法則とエントロピーは、こうした自然に起こる巨視的な変化の方向を理解するために重要です。
「時間がたてば何でも散らかる」という意味ではありません。
孤立した物理系全体について、自然な不可逆過程ではエントロピーが増加すると理解しておきましょう。
気体が広がる例からエントロピー増大を考える
エントロピー増大をイメージしやすい例の一つが、気体の自由膨張です。
真ん中に仕切りのある箱を想像してください。
最初は左半分だけに気体が入っていて、右半分は真空になっているとします。
| 変化前 | 変化後 |
|---|---|
| 気体が箱の片側に集まっている | 気体が箱全体へ広がっている |
| 利用できる空間が小さい | 利用できる空間が大きい |
| 対応する微視的状態が比較的少ない | 対応する微視的状態が多い |
ここで仕切りを外すと、気体は自然に箱全体へ広がっていきます。
反対に、箱全体へ広がった大量の気体分子が自然に左半分だけへ集まり、その状態を保つ現象は、巨視的な世界ではまず観察されません。
統計力学の視点では、この違いを微視的状態の数から考えることができます。
気体が箱全体を利用できる状態には、分子の位置や運動について非常に多くの微視的な組み合わせがあります。
一方、すべての分子が箱の左側に集まるという条件を付けると、可能な組み合わせはずっと限られます。
ボルツマンの関係、
S = kB ln Ω
では、微視的状態の数Ωが多いほどエントロピーも大きくなります。
そのため、気体が利用できる体積を広げる自由膨張は、エントロピー増大を理解する代表的な例になります。
ここでも「広がったから乱雑になった」とだけ考えるより、
「巨視的な状態を実現できる微視的な状態の数が大きくなった」
と考えるほうが、エントロピーの意味をより正確につかめます。
熱が高温から低温へ移動する例で考える
もう一つ身近なのが、温度の異なる2つの物体を接触させる例です。
高温の物体Aと低温の物体Bを接触させると、熱は自然に高温側から低温側へ移動し、やがて温度差が小さくなります。
なぜこの向きに進むのでしょうか。
簡単な例として、高温側から低温側へ小さな熱量Qが移動すると考えます。
高温側の絶対温度をTH、低温側をTCとすると、
TH ＞ TC
です。
高温側は熱を失うため、そのエントロピー変化は、
ΔSH = −Q / TH
低温側は熱を受け取るため、
ΔSC = Q / TC
と考えられます。
全体では、
ΔStotal = Q(1/TC − 1/TH)
です。
TH ＞ TCなので、
1/TC ＞ 1/TH
となり、全体のエントロピー変化は正になります。
つまり、
ΔStotal ＞ 0
です。
ここで注目したいのは、高温側だけを見るとエントロピーが減少していることです。
しかし低温側では、それを上回るエントロピーの増加があります。
その結果、2つを合わせた全体のエントロピーは増加します。
この例を見ると、エントロピー増大の法則を理解するときに、一部分だけではなく、対象とする系全体を見ることが重要だとわかります。
エントロピーが減少することもある？系と周囲を分けて考える
「エントロピーは増大するなら、エントロピーが減ることは絶対にないの？」
という疑問を持つ方もいるでしょう。
結論からいうと、ある部分だけを見ればエントロピーが減少することはあります。
身近な例として冷蔵庫を考えてみましょう。
冷蔵庫は庫内から熱を取り除いて外へ運びます。そのため、庫内だけに注目すればエントロピーを減少させることができます。
しかし、冷蔵庫は何もしなくても動くわけではありません。
コンセントから電気エネルギーを受け取り、冷却装置を動かし、庫内から取り出した熱に加えて仕事に伴うエネルギーも周囲へ放出します。
したがって第二法則を確認するときには、
冷蔵庫の中だけ
ではなく、
冷蔵庫＋周囲
まで含めて考える必要があります。
一般的には、
ΔS全体 = ΔS系 + ΔS周囲 ≥ 0
と考えます。
| 見る範囲 | エントロピーは減少できる？ |
|---|---|
| 系の一部分 | 減少する場合がある |
| 系と周囲を含めた全体 | 自然な不可逆過程では全体として増加する |
| 孤立系 | 減少しない |
この考え方は、生物について考えるときにも役立ちます。
生物は高度に組織化された構造を作ったり維持したりするため、「生命はエントロピー増大の法則に反しているのでは？」と思われることがあります。
しかし、生物は周囲とエネルギーや物質を交換する開放系です。
食物や光などからエネルギーを取り入れ、熱や物質を外部へ放出しています。そのため、生物の一部分だけを見て第二法則に反していると判断することはできません。
エントロピー増大の法則で最も大切なのは、
「エントロピーはどんな場所でも必ず増える」と覚えるのではなく、「どこまでを系として考えているのか」を確認すること
です。
情報エントロピーとの違いについても、ここが重要なポイントになります。
熱力学における「エントロピー増大」は、実際の物理系が従う熱力学第二法則に関係しています。
一方、シャノンの情報エントロピーについては、時間がたてば必ず増大するという一般法則があるわけではありません。
情報エントロピーは確率分布によって決まる量だからです。
この違いまで押さえておくと、「情報エントロピー」と「熱力学のエントロピー」を同じ感覚で扱うことによる混乱を避けやすくなるでしょう。
次の章では情報理論へ戻り、情報エントロピーが実際にどのような場面で使われているのかを、データ圧縮・通信・AIなどの身近な例から紹介します。
情報エントロピーは何に使われている？身近な応用例
ここまで情報エントロピーの意味や公式を見てきましたが、「実際には何に使われているの？」と疑問に思う方もいるでしょう。
情報エントロピーは、単なる数学上の考え方ではありません。データ圧縮や通信を考えるための情報理論の基本概念であり、さらに機械学習やデータ分析などでも関連する考え方が利用されています。
スマートフォンで写真を見る、インターネットでデータを送る、AIを利用するといった私たちの日常の裏側にも、情報理論につながる技術があります。
ここでは、情報エントロピーがどのように役立っているのかを身近な例から見ていきましょう。
データ圧縮と情報エントロピーの関係
情報エントロピーの代表的な応用分野の一つがデータ圧縮です。
データ圧縮とは、必要な情報をできるだけ保ちながら、データを効率よく表現することです。
ここでは、まず元の情報を失わず復元できる「可逆圧縮」をイメージしてみましょう。
たとえば、
AAAAAAAAAAB
のように「A」が非常によく登場し、「B」がめったに登場しない情報源があるとします。
AとBに同じ長さの符号を割り当てる方法もありますが、実際のデータ圧縮では、出現確率の偏りを利用して効率的に表現できる場合があります。
より多くの種類の記号がある場合には、よく現れる記号には短い符号、あまり現れない記号には長い符号を割り当てる方法が考えられます。
代表例がハフマン符号です。
そして情報エントロピーは、その情報源を可逆的に符号化するとき、平均してどの程度まで効率化できるのかを考えるための基本的な基準になります。
ただし、
「エントロピーがH bitなら、どんな短いデータでも必ずぴったりH bitまで圧縮できる」
という意味ではありません。
シャノンの情報源符号化の考え方では、多数の記号を扱う長い系列について、適切な符号化を行ったときの平均符号長とエントロピーの関係を考えます。
また、実際のファイル圧縮では文字の単純な出現頻度だけでなく、文字列の繰り返しや前後関係など、データが持つさまざまな規則性も利用されます。
そのため情報エントロピーは、「データをどこまで効率よく表現できるのか」を考える理論的な土台として理解するとよいでしょう。
通信で情報を効率よく送るために利用される
情報エントロピーは、もともと通信の問題と深く関わって発展した考え方です。
私たちはスマートフォンやインターネットを使って、文章、画像、音声などのデータを毎日のように送受信しています。
しかし通信には、「限られた通信資源の中で情報を効率よく送りたい」「途中でノイズが入っても正しく情報を届けたい」という課題があります。
シャノンの情報理論では、こうした問題を数学的に考えます。
情報源から生まれるデータの不確実性を表すエントロピーは、効率的な符号化を考えるうえで重要です。
さらに通信路には、情報をどの程度まで信頼して伝えられるのかを考える通信路容量（チャネル容量）という概念があります。
ここで少し注意したいのは、
「情報エントロピー＝通信速度」ではない
ということです。
エントロピーは情報源の確率的な性質を表す量です。一方、通信路容量は通信路側の性質に関係します。
シャノンの理論では、情報源・符号化・通信路・ノイズなどを数学的に扱うことで、「どの程度まで効率的かつ信頼性の高い通信が可能なのか」を考えられるようになりました。
私たちが普段意識することは少ないものの、デジタル通信を理論的に理解するうえで、エントロピーは基本となる考え方の一つなのです。
機械学習・AI・データ分析でも使われるエントロピー
情報エントロピーの考え方は、機械学習やデータ分析にも登場します。
わかりやすい例が「決定木」です。
決定木とは、条件によってデータを枝分かれさせながら分類や予測を行う機械学習の手法です。
たとえば、果物を「りんご」と「みかん」に分類したいとしましょう。
あるグループの中に、
・りんご50％
・みかん50％
が混ざっていれば、どちらなのか不確実性が高い状態です。
一方、
・りんご100％
・みかん0％
なら、そのグループの中身ははっきりしています。
決定木の学習では、こうしたクラスの混ざり具合を評価する指標としてエントロピーを使い、分割によってどれだけ不確実性が減ったのかを「情報利得」として評価する方法があります。
さらに機械学習では、クロスエントロピーという言葉もよく登場します。
画像分類などで、モデルが予測した確率分布と正解側の分布との違いを評価する損失関数として使われる代表的な考え方です。
ただし、ここでも用語を区別しておきましょう。
シャノンエントロピーとクロスエントロピーは関連していますが、まったく同じ量ではありません。
シャノンエントロピーは1つの確率分布が持つ不確実性を表します。一方、クロスエントロピーは2つの確率分布を使って定義されます。
AIについて学んでいると「エントロピー」という言葉が何度も出てくるのは、予測や分類を確率として扱う場面が多いためなのです。
画像・文章などの情報量を考えるときにも役立つ
情報エントロピーは、画像や文章などのデータについて考えるときにも役立ちます。
たとえば、同じ色だけで塗られた単純な画像と、さまざまな画素値が現れる画像を比べてみましょう。
画素値がほぼ決まっている単純な画像なら、その画素についての不確実性は小さくなります。
反対に、さまざまな値が同程度の確率で現れるなら、単純な確率モデルではエントロピーが大きくなることがあります。
文章についても同じです。
ある文字の次にどの文字が現れやすいのか、単語がどのような確率で現れるのかなど、言語にはさまざまな統計的な規則性があります。
こうした規則性を利用できれば、データをより効率よく表現できる可能性があります。
ただし、ここで重要な注意点があります。
「ファイルサイズが大きい＝情報エントロピーが高い」「文章が長い＝情報エントロピーが高い」とは限りません。
また、人間にとって「内容が濃い」「役に立つ」「感動する」といった意味での情報量と、シャノンの情報量も同じではありません。
たとえば、
AAAAAAAAAAAAAAAAAAAAAAAA
という長い文字列があったとしても、Aばかりが続くことがわかっていれば、強い規則性があります。
一方、次にどの記号が来るのか予測しにくい情報源では、不確実性が大きくなります。
さらに実際の画像や文章では、1文字・1画素ずつ独立に発生するとは限りません。前後の文字や周囲の画素との相関や規則性があります。
そのため、何を1つの結果として扱い、どのような確率モデルを仮定するかによって、計算するエントロピーの意味も変わります。
情報エントロピーを画像や文章へ応用するときには、
「見た目の複雑さや文章の価値を直接測るのではなく、確率モデルにもとづいた予測のしにくさを数量化している」
と理解しておくことが大切です。
この考え方がわかると、データ圧縮、通信、AIなど一見まったく違う技術に「エントロピー」という言葉が登場する理由も見えてきます。
情報エントロピーは、予測しにくさを数学的に表し、情報をどのように表現・伝達・分析するかを考えるための基本的な道具なのです。
情報エントロピーについてよくある疑問
情報エントロピーは、意味や公式を理解しても、「高いとはどういうこと？」「0になることはある？」「エンタルピーとは違うの？」など、細かな疑問が残りやすいテーマです。
ここでは、情報エントロピーについて初心者の方が特に疑問に感じやすいポイントを、できるだけ簡単に整理します。
情報エントロピーが高いとはどういう意味？
情報エントロピーが高いとは、簡単にいうと「結果を事前に予測しにくい状態」です。
たとえば、表と裏がそれぞれ50％で出る公平なコインを考えてみましょう。
投げる前には、どちらが出るのかわかりません。2つの結果が同じ確率で起こるため、不確実性が大きい状態です。
この場合、情報エントロピーは1 bitになります。
一方、
・表が99％
・裏が1％
なら、多くの場合は「表が出そう」と予測できます。
そのため、50％対50％の場合よりも情報エントロピーは小さくなります。
つまり、
情報エントロピーが高い＝結果の候補が確率的に均等に近く、どれになるか予測しにくい
と考えるとわかりやすいでしょう。
ただし、情報エントロピーが高いことは「良い」「悪い」「価値のある情報が多い」という意味ではありません。
あくまで確率分布が持つ不確実性が大きいという意味です。
また、取りうる結果の数によって、最大になる情報エントロピーも変わります。
2通りの等確率な結果なら最大1 bitですが、4通りがすべて等確率なら最大2 bit、8通りなら最大3 bitになります。
そのため、「エントロピーが高いか低いか」は、どのような確率分布を比べているのかも合わせて見ることが大切です。
情報エントロピーが0になるのはどんな場合？
情報エントロピーが0になるのは、結果が完全に確定していて、不確実性がまったくない場合です。
たとえば袋の中に白いボールしか入っていないとしましょう。
1個取り出す前から、
「白が出る」
とわかっています。
この場合、白が出る確率は100％です。
情報エントロピーの公式に当てはめると、
H = −1 × log₂1 = 0
となります。
つまり、結果が完全にわかっているので、情報エントロピーは0です。
コインで考えるなら、
・表100％
・裏0％
という状態もエントロピー0になります。
ここで注意したいのが、公式に「0×log0」のような形が現れる場合です。
数学的にはlog0そのものは定義されませんが、情報理論では、
p log p → 0（p → 0）
という極限を使って、確率0の項は0として扱います。
初心者の方は細かな極限計算まで覚えなくても構いません。
「起こらない結果はエントロピーへの寄与がなく、必ず起こる結果しかないなら全体のエントロピーは0」
と理解しておけば十分です。
情報エントロピーが大きいほど情報量も多い？
ここは特に混同しやすいポイントです。
結論からいうと、「情報エントロピーが大きい＝文章やデータの中身が豊富」「重要な情報が多い」という意味ではありません。
情報理論では、「情報量」という言葉を日常とは少し違う意味で使います。
ある1つの出来事については、起こりにくい出来事ほど自己情報量が大きくなります。
式では、
I(x) = −log₂p(x)
です。
一方、情報エントロピーは、その自己情報量を確率に応じて平均したものです。
つまり、
自己情報量 → 1つの出来事についての情報量
情報エントロピー → その情報源全体の平均的な情報量・不確実性
という違いがあります。
たとえば、「大ニュースだから情報量が大きい」「長文だからエントロピーが高い」とは限りません。
シャノンの情報理論では、文章の意味、重要性、正しさ、感動の大きさなどは直接評価しません。
あくまでどの結果がどの確率で現れるのかをもとに情報量を考えます。
そのため、「情報エントロピーが大きいほど情報が多い」と覚えるより、
「情報エントロピーが大きいほど、結果を知る前の平均的な不確実性が大きい」
と理解するほうが正確です。
エントロピーは「乱雑さ」と覚えても大丈夫？
「エントロピー＝乱雑さ」という説明は、とてもよく使われます。
結論としては、最初のイメージとして使うのはかまいませんが、それだけで覚えるのはおすすめしません。
理由は、「乱雑」という言葉が人間の感覚に左右されるからです。
たとえば、
AAAAAAAAAAAA
という文字列と、
QXMPZKRTWYGH
という文字列を見た場合、後者のほうが乱雑に感じるかもしれません。
しかし、情報エントロピーは見た目だけでは決まりません。
重要なのは、その文字列を生み出す確率分布がどうなっているかです。
もし後者の文字列が毎回まったく同じ順番で必ず出てくる仕組みなら、その仕組みを知っている立場では結果は完全に予測できます。
反対に、一見規則的な文字列でも、生成過程について大きな不確実性がある場合も考えられます。
熱力学のエントロピーについても、「散らかっているほど大きい」とだけ説明すると正確さを欠きます。
熱力学ではエントロピーは状態量であり、統計力学では微視的状態の数や確率分布と関係します。
そのため、
情報エントロピー → 不確実性・予測しにくさ
熱力学エントロピー → 物理系の状態量
と覚えたうえで、「乱雑さ」は補助的なイメージとして使うのがよいでしょう。
情報エントロピーとエンタルピーは関係ある？
「エントロピー」と「エンタルピー」は名前がよく似ているため、混同されやすい言葉です。
しかし、エントロピーとエンタルピーは別の物理量です。
さらに、「情報エントロピー」と「エンタルピー」は基本的に別の概念として考えてください。
熱力学におけるエンタルピーは、一般に、
H = U + pV
と定義されます。
ここで、
- H：エンタルピー
- U：内部エネルギー
- p：圧力
- V：体積
です。
エンタルピーは、化学反応や相変化、一定圧力での熱のやり取りなどを考えるときによく使われます。
一方、熱力学エントロピーはSで表され、可逆過程では、
dS = δQrev/T
という関係があります。
そして情報エントロピーは、
H(X) = −Σp(x)log p(x)
です。
ここで少し紛らわしいのが、情報エントロピーとエンタルピーの両方で記号Hが使われることがある点です。
ただし、同じHでも意味はまったく違います。
| 用語 | 主な記号 | 分野 | 主な意味 |
|---|---|---|---|
| 情報エントロピー | H(X) | 情報理論 | 確率分布の平均的な不確実性 |
| 熱力学エントロピー | S | 熱力学・統計力学 | 物理系の状態量 |
| エンタルピー | H | 熱力学 | U＋pVで定義される状態量 |
つまり、
「エントロピー」と「エンタルピー」は名前が似ているだけで、定義も役割も異なる
と覚えておきましょう。
特に検索していると「H」という記号だけが目に入って混乱することがありますが、式の前後を見て、情報理論のHなのか、熱力学のエンタルピーHなのかを確認することが大切です。
ここまでのFAQを押さえておけば、情報エントロピーについてよくある基本的な疑問はかなり整理できます。
最後に、この記事全体の内容を振り返りながら、情報エントロピーと熱力学エントロピーの違いをもう一度わかりやすくまとめていきましょう。
情報エントロピーと熱力学エントロピーの違いまとめ
ここまで、情報エントロピーの意味や計算方法、熱力学エントロピーとの違い、さらに2つに共通する数学的な考え方について見てきました。
「エントロピー」という言葉は難しく感じられますが、最初からすべての数式を覚える必要はありません。
まずは、情報エントロピーは確率分布の不確実性を表す量、熱力学エントロピーは物理系の状態を表す状態量という違いを押さえることが大切です。
そのうえで確率や統計力学まで見ていくと、なぜ2つのエントロピーに似た数式が登場するのかも理解しやすくなります。
情報エントロピーは「どれだけ結果を予測しにくいか」を表す
情報エントロピーを初心者向けに一言で表すなら、「結果が出る前に、どれだけ結果を予測しにくいかを表す量」です。
たとえば、表と裏がそれぞれ50％の確率で出る公平なコインでは、投げる前にどちらが出るのか予測できません。
この場合の情報エントロピーは、
1 bit
です。
一方、必ず表が出るとわかっているコインなら、結果についての不確実性はありません。
そのため情報エントロピーは、
0 bit
になります。
つまり、取りうる結果の数が同じなら、確率が一つの結果に偏るほど予測しやすくなり、情報エントロピーは小さくなります。反対に、それぞれの結果が同じくらい起こりそうな場合には予測しにくくなり、情報エントロピーは大きくなります。
代表的な公式は、
H(X) = −Σp(x)log p(x)
です。
対数の底を2にすれば、単位はbitになります。
この情報エントロピーの考え方は、通信やデータ圧縮をはじめ、機械学習やデータ分析などにもつながっています。
ただし、情報エントロピーが高いからといって、「内容が重要」「知識が豊富」「文章に価値がある」という意味ではありません。
シャノンの情報理論では、情報の意味や価値そのものではなく、確率にもとづく不確実性を扱います。
迷ったときには、
情報エントロピー ＝ 確率分布についての平均的な不確実性
と考えるとよいでしょう。
熱力学エントロピーは物理系の状態や変化を考えるための量
一方、熱力学のエントロピーは、物質や熱を扱う物理系の状態を表す状態量です。
記号には一般にSが使われ、SI単位はJ/K（ジュール毎ケルビン）です。
可逆過程では、
dS = δQrev/T
という関係で熱と温度に結びつきます。
さらに統計力学まで視点を広げると、エントロピーは微視的状態と関係づけて考えることができます。
代表的なのがボルツマンの式、
S = kBlnΩ
です。
Ωは、ある巨視的状態に対応する微視的状態の数を表します。
この考え方によって、私たちが目で見る温度・圧力・体積といった巨視的な世界と、原子や分子の微視的な世界をつなげることができます。
また、熱力学第二法則では、孤立系のエントロピーは自然な変化によって減少しないことが重要です。
不可逆過程ではエントロピーが増加し、理想的な可逆過程では一定となります。
ここでも「エントロピー＝乱雑さ」とだけ覚えるのはおすすめできません。
「乱雑さ」は気体が広がるような現象をイメージするときには便利ですが、人間が見た「散らかり具合」を物理量として測っているわけではないからです。
まずは、
熱力学エントロピー ＝ 物理系の状態を表し、熱力学第二法則とも深く関係する状態量
と理解するとよいでしょう。
2つの違いと共通点を理解するとエントロピーがわかりやすくなる
最後に、情報エントロピーと熱力学エントロピーの違いをもう一度まとめてみましょう。
| 比較項目 | 情報エントロピー | 熱力学エントロピー |
|---|---|---|
| 主な分野 | 情報理論 | 熱力学・統計力学 |
| 扱う対象 | 確率変数・情報源など | 物質や熱を含む物理系 |
| 基本的な意味 | 確率分布の平均的な不確実性 | 物理系の状態を表す状態量 |
| 代表的な式 | H = −Σpilog pi | dS = δQrev/T、S = kBlnΩ など |
| 代表的な単位 | bit、natなど | J/K |
| 確率との関係 | 確率分布から直接求める | 統計力学では微視的状態の確率と深く関係する |
| 増大則 | 一般に「時間とともに必ず増える」という法則はない | 孤立系ではエントロピーは減少しない |
このように、2つは扱う対象・意味・単位が異なるため、そのまま同じものとして扱うことはできません。
しかし、まったく無関係でもありません。
情報エントロピーには、
H = −Σpilog pi
という形が現れます。
統計力学でも確率分布を使うと、
S = −kBΣpiln pi
というよく似た形でエントロピーを表すことができます。
すべての微視的状態が等確率の場合には、
S = kBlnΩ
というボルツマンの式につながります。
つまり、
「情報エントロピーと熱力学エントロピーは完全に同じ」でも、「名前が同じだけで無関係」でもありません。
扱っている対象と役割は異なりますが、確率分布や対数という数学的な考え方を通して、深いつながりがあります。
最後に、この記事で覚えておきたいポイントを整理します。
- 情報エントロピーは、確率分布が持つ平均的な不確実性を表す
- 結果が完全に決まっていれば、情報エントロピーは0になる
- 決まった数の結果では、各結果が等確率のとき情報エントロピーが最大になる
- 熱力学エントロピーは、物理系の状態を表す状態量である
- 孤立系では、自然な不可逆過程によって熱力学エントロピーが増加する
- 統計力学では、熱力学エントロピーと微視的状態の数・確率分布を結びつけて考えられる
- 「エントロピー＝乱雑さ」は便利なイメージだが、厳密な定義ではない
- 2つのエントロピーは意味や単位が異なる一方、数学的には共通する構造を持つ
「エントロピー」という難しそうな言葉を見たときには、まず「何についてのエントロピーなのか」を確認してみてください。
情報理論なら確率分布の不確実性、熱力学なら物理系の状態というように分野を分けて考えるだけでも、混乱しにくくなります。
そして統計力学まで少し視野を広げると、2つのエントロピーが確率や対数を通してつながっていることが見えてきます。
「違いを分けて理解してから、共通点を見る」ことが、情報エントロピーと熱力学エントロピーを理解する近道です。
コメント