EMANの物理学 過去ログ No.6128 〜

 ● エントロピー、ボルツマン、ギブス

  投稿者:nomercy - 2008/12/13(Sat) 14:14  No.6128 
かなりのペースで記事ができていたんですね。
お疲れ様です。

>ボルツマンは初め、除外したものをエントロピーだと考えたようである。  後にギブスが、それらを含めようと除外しようと数としては大差ないというので、 全ての状態数を として計上するやり方を採用して普及させたらしい。

へえ、初めて聞きました。
この経緯は何かのテキストに書いてあるんですか?

ところで、ボルツマンは“平衡状態”から「遠い」「近い」というのをどのように区別したのかなあ?

  投稿者:EMAN - 2008/12/14(Sun) 17:08  No.6136 
> この経緯は何かのテキストに書いてあるんですか?

 あちこちのテキストの断片から推測して書いてますけど、この件で決定的だったのは、裳華房「統計力学(改訂版)」市村浩 著にある記述ですね。
 p.72の下の方にこうあります。

「(16.2)の形はあとからGibbsによって導かれたもので、Nが十分大きい数であるわれわれの場合には、これら(16.2)、(16.4)の差は無視できる。」

 (16.2)というのは $ S = k \log W $ で、(16.4)というのは $ S = k \log W^{\ast} $ となってます。
  $ W^{\ast} $ っていうのは、その場では具体的な説明があまりなくて、先へ進まないとその説明が出てきませんが、(そういう点が不親切なんだよなぁ)、その場では、Wを幾つかに類別したときの極大を与える状態数だとかいう内容のことが書いてあります。



 もう1つのエントロピーの定義 $ S = -k \sum P_i \log P_i $ についても、教科書によっては「Gibbsのエントロピーと呼ぶ」と書いてあるものがありますが、この教科書ではp.90に次のように書いてあります。
「(18.2)の形のエントロピーの定義は気体運動論からの発展として、Boltzmannにより初めて導入されたものであって・・・」

 これについても、「のちにGibbsにより整理された形で・・・」みたいなことを書いてある教科書が他にありますので、オリジナルはやはりボルツマンが導いていたんだろうな、と信じることが出来そうです。


 本当は原典にあたって科学史を調べれるといいんですが、そこまでする余力はありませんからね。 難解なお堅い教科書ほど、こういうときには信用度が高いです。(笑

  投稿者:EMAN - 2008/12/15(Mon) 10:43  No.6140 
> 本当は原典にあたって科学史を調べれるといいんですが、

 正直に言えば、科学史を調べるのはほどほどにしておきたいと思うことがよくあります。 知れば知るほど、複雑な経緯があったりして、それについて何かを「分かりやすく言い切る」勇気が失せてしまいますので。

 例えば、情報エントロピーですが、正確には統計力学をヒントにして出てきたものではないようですね。 それについてはすでに私が書いた表現を書き直すつもりですが。

 始めにシャノンが理論を作って、それを何と呼ぼうかとノイマンに相談したところ、統計力学がこれと同じような体系になっているから「エントロピー」と呼んでおけば後々受け入れられ易いだろう、と助言したとか。

 しかしそれより20年も前に、シラードが、情報とエントロピーに関わる論文を発表していたりします。(有名なマクスウェルの悪魔の話)

 しかしその後、情報理論はジェインズによって、統計力学をヒントにした形でまとめられていたりと、どうも一言では言い表せません。

 今、シャノンが、情報量を $ I = -\log_2 P_i $ と定義したそもそもの理由を知りたくて苦労しているところです。 そこら辺の解説書ではこれを疑いもなく前提にしてしまっているのでだめですね。 背景にはちょっと複雑な思考過程が隠されているように思えます。 単なるサイコロからの類推や、 $P_i$ を有理数だと仮定して等確率事象に分割するたとえ話では納得がいきません。

  投稿者:phoebus - 2008/12/15(Mon) 22:06  No.6148 
>EMANさん

もう読んでいるかもしれませんがネット上にShannonの"A Mathematical Theory of Communication"と言う文章が公開されています。
http://cm.bell-labs.com/cm/ms/what/shannonday/shannon1948.pdf
これによると情報量としてlogを使おうと最初に言ったのは言ったのはNyquistとHartleyらしいです。

また、wikiのShannonのページ
http://en.wikipedia.org/wiki/Claude_Shannon
の最後も文献がたくさん上げられています。

参考までにどうぞ。

  投稿者:EMAN - 2008/12/16(Tue) 13:10  No.6152 
> ネット上にShannonの"A Mathematical Theory of Communication"と言う文章が公開されています。

 ありがとうございます。 やはり具体的な事例からの類推というより、数学的な条件を満たすように導いているようですね。 もう少しで謎が解けそうです。


> 情報量としてlogを使おうと最初に言ったのは言ったのはNyquistとHartleyらしいです。

 そういう流れでシャノンが登場ってわけですか。 彼らの定義は確率を考慮しないのでとても単純に見えます。