【天才】情報理論の歴史。クロード・シャノンの偉業とは何か。エントロピーの基礎。

チャンネル登録者数 12.2万人

13,601回視聴 2026/10/03 #情報理論 #シャノン

AnthropicのClaudeの名前の由来はクロード・シャノンです！ 1948年、ベル研究所のクロード・シャノンが「通信の数学的理論」を発表しました。帯域幅と雑音の大きさが決まると、通信の速さには誰にも超えられない上限ができます。このシャノン限界の近くまで届く符号ができるまで、50年かかりました。話は1794年、フランスの腕木通信から始まります。モールス電信の符号の長さ、ハートレーの対数、ナイキストの帯域幅、21歳のシャノンが書いた修士論文をたどり、情報を驚きの平均で測るエントロピーに行き着きます。後半は圧縮と伝送の限界を決めた2つの定理と、自宅のガレージで一輪車を30台以上作ったシャノン本人の話です。現在チャンネル登録者が12.1万人。先日公開した「ネットワーク入門」でさらに伸びました。改めてありがとうございます。しかしまだ未登録の方が77%おられます。ぜひチャンネル登録をお願い致します！登録者は増えているのですがそれを上回って未登録の新規流入が多いので毎回77%前後になっています。メンバーシップの登録はこちら。

/ @naoya-tech-sub ==== 目次 ==== 0:00 イントロ 1:12 第1章遠くへ送る 5:10 第2章情報を数える 7:52 第3章スイッチと論理 9:37 第4章通信のモデル 11:32 第5章エントロピー 13:59 第6章圧縮の限界 16:52 第7章雑音との戦い 19:58 第8章シャノン限界 21:44 第9章シャノンという人 23:04 第10章英語を測る 25:42 まとめ【PR】ITエンジニア特化の転職エージェント「テックゴー」 https://h.accesstrade.net/sp/cc?rk=01... ==== note ==== 海外ソフトウェアエンジニアリング事例を発信 https://note.com/naoya_tech ==== SNS ==== ●X https://x.com/naoyashiga ●Instagram

/ naoya_tech ●Threads https://www.threads.com/@naoya_tech ●直也テック TikTok

/ coding_youtuber ==== おすすめ書籍 ==== シャノンの情報理論入門 (ブルーバックス 1795) https://link.amazon/B0fk995O6 ==== 低レイヤー自作を行う学習教材 ==== バックエンドや要素技術を自作して学びたい方はCodeCraftersがおすすめです。 👇このリンクから登録すると40%OFFになります。 https://app.codecrafters.io/join?via=... ------------ ●お仕事のご依頼はこちらから https://www.naoya-tech.com ●BGM素材 BGMer http://bgmer.net #情報理論 #シャノン

【天才】情報理論の歴史。クロード・シャノンの偉業とは何か。エントロピーの基礎。

直也テック

チャンネル登録者数 12.2万人メンバーになる

230

13,601回視聴 2026/10/03 #情報理論 #シャノン

AnthropicのClaudeの名前の由来はクロード・シャノンです！

1948年、ベル研究所のクロード・シャノンが「通信の数学的理論」を発表しました。帯域幅と雑音の大きさが決まると、通信の速さには誰にも超えられない上限ができます。このシャノン限界の近くまで届く符号ができるまで、50年かかりました。

話は1794年、フランスの腕木通信から始まります。モールス電信の符号の長さ、ハートレーの対数、ナイキストの帯域幅、21歳のシャノンが書いた修士論文をたどり、情報を驚きの平均で測るエントロピーに行き着きます。後半は圧縮と伝送の限界を決めた2つの定理と、自宅のガレージで一輪車を30台以上作ったシャノン本人の話です。

現在チャンネル登録者が12.1万人。先日公開した「ネットワーク入門」でさらに伸びました。改めてありがとうございます。しかしまだ未登録の方が77%おられます。ぜひチャンネル登録をお願い致します！登録者は増えているのですがそれを上回って未登録の新規流入が多いので毎回77%前後になっています。

メンバーシップの登録はこちら。 / @naoya-tech-sub

====

====0:00 イントロ1:12 第1章遠くへ送る5:10 第2章情報を数える7:52 第3章スイッチと論理9:37 第4章通信のモデル11:32 第5章エントロピー13:59 第6章圧縮の限界16:52 第7章雑音との戦い19:58 第8章シャノン限界21:44 第9章シャノンという人23:04 第10章英語を測る25:42 まとめ

【PR】ITエンジニア特化の転職エージェント「テックゴー」https://h.accesstrade.net/sp/cc?rk=01...

====

note

====

海外ソフトウェアエンジニアリング事例を発信https://note.com/naoya_tech

====

SNS

====

●Xhttps://x.com/naoyashiga

●Instagram / naoya_tech

●Threadshttps://www.threads.com/@naoya_tech

●直也テック TikTok / coding_youtuber

====

おすすめ書籍

====

シャノンの情報理論入門 (ブルーバックス 1795)https://link.amazon/B0fk995O6

====

低レイヤー自作を行う学習教材

====

バックエンドや要素技術を自作して学びたい方はCodeCraftersがおすすめです。

👇このリンクから登録すると40%OFFになります。https://app.codecrafters.io/join?via=...

------------

●お仕事のご依頼はこちらからhttps://www.naoya-tech.com

●BGM素材

BGMerhttp://bgmer.net#情報理論 #シャノン

　　　　　　　　ーーーーー　　　　　この動画について、雑学や業界話を交えながら、解説してください、

YouTubeチャンネル「直也テック」の動画『【天才】情報理論の歴史。クロード・シャノンの偉業とは何か。エントロピーの基礎』の構成に沿って、背景にある雑学や業界の裏話を交えながら解説します。

1. 動画の全体像：なぜ今シャノンなのか？

動画冒頭でも触れられている通り、AIモデル Claude (Anthropic) の名前の由来はクロード・シャノン（Claude Shannon）です。昨今の生成AIや大言語モデル（LLM）で使われる「トークンの確率分布」や「クロスエントロピー誤差（Loss関数）」の根幹には、すべてシャノンが1948年に打ち立てた情報理論が存在しています。

2. 章ごとの解説と業界雑学

第1章〜第3章：通信の黎明期から「論理回路」の発明へ

フランスの腕木通信（シャップ・ティグラフ）やモールス電信、ハートレーの対数尺度（ $\log N$ ）といった歴史を追いながら、21歳のシャノンが書いた「史上最も重要な修士論文」へとつながります。

業界雑学：スイッチで「論理」を計算する発想 シャノンがMITの修士論文（1937年）で証明したのは、「スイッチ（リレー回路）のON/OFFは、ブール代数の真（1）と偽（0）に完全に1対1対応する」ということでした。それまで電話交換機の配線は経験則や試行錯誤で作られていましたが、シャノンの論文により**「数学的に回路を設計・最適化できる」**ようになり、現代のデジタルコンピュータ基板設計の基礎が完成しました。

第4章〜第5章：情報量とエントロピーの正体

シャノンは「情報」の意味（内容）を完全に削ぎ落とし、「どれだけ不確実性が減ったか」という確率論的アプローチで情報を定義しました。これが「情報量（Bit）」です。

あいまいさ（不確実性）が大きいイベントほど、生じたときの情報量が大きい
- 例：「明日太陽が昇る」＝確率ほぼ100% $\rightarrow$ 情報量はほぼ0
- 例：「明日のサイコロで1が出る」＝確率 $1/6$ $\rightarrow$ 一定の情報量を持つ

この平均情報量を表す式が エントロピー $H = -\sum p_i \log_2 p_i$ です。

業界裏話：なぜ「エントロピー」と名付けられたのか？ シャノンがこの量の名称に悩んでいた際、物理学者フォン・ノイマン（John von Neumann）から次のような助言を受けたと言われています。

「これを『エントロピー』と呼びなさい。理由は2つある。第一に、この式は熱力学のエントロピーと全く同じ数学的形態をしているから。第二に、そしてこちらの方が重要だが、『エントロピー』が本当は何なのかを理解している人間は誰もいないので、討論で常に優位に立てるからだ」

第6章〜第8章：2つの定理と「シャノン限界」50年のドラマ

1948年の論文『通信の数学的理論（A Mathematical Theory of Communication）』において、シャノンは通信における2大定理を打ち立てました。

可逆圧縮の限界（情報源符号化定理）：データを可逆圧縮できる限界値はエントロピー $H$ で決まる。
通信容量の限界（通信路符号化定理 / シャノン限界）：ノイズがある通信路でも、帯域幅 $W$ と $S/N$ 比（信号対雑音比）で決まる上限 $C = W \log_2(1 + S/N)$ 以下であれば、誤り率をいくらでもゼロに近づける符号化が存在する。

業界雑学：50年かかった「シャノン限界」への到達 シャノンは「誤りなしで通信できる限界が存在する（存在定理）」ことを証明しましたが、「どういう符号を使えばその限界に達するのか」具体例を示しませんでした。その後、何世代もの研究者が挑戦し続け、1990年代に登場した**ターボ符号（Turbo Codes）やLDPC符号（低密度パリティ検査符号）**の実用化によって、ようやくシャノン限界のすぐ手前まで到達しました。これが現代の5G/6G通信やWi-Fi、SSDのデータ読み出しエラー訂正のバックボーンとなっています。

第9章：変人天才シャノンとガレージの実験室

シャノンは「天才的な数学者」であると同時に、筋金入りのおもちゃ作りマニア・手品師・ジャグラーでもありました。

ベル研究所の廊下を一輪車で走る：ジャグリングをしながらベル研究所の長い廊下を一輪車で走り抜ける姿が名物でした。
迷路を解くネズミロボット「Theseus（テセウス）」：世界最初期の機械学習／リレー回路ロボットを自作。
カジノを攻略するウェアラブルコンピュータ：MITの同僚エドワード・ソープと共に、ルーレットの出目を物理計算で予測する世界初のウェアラブルデバイスを開発・密かに装着してラスベガスで勝利を収めました。
ガレージの30台の一輪車：自宅のガレージには自作の一輪車（極小サイズや2人乗りなど）や、チェスを指す機械の手などが溢れていました。

第10章〜まとめ：英語を測る・現代AIへの架け橋

シャノンは情報理論の応用として「英語の文字の統計的接続確率（N-gramモデル）」を計算し、英語の冗長性を測定しました。これは、現在のLLM（大言語モデル）が次に来る単語を予測する「言語モデル」の原点そのものです。

情報理論やシャノンについてさらに深く探求したい場合はこちら：

シャノンエントロピーの導出

1. なぜ対数（log）を使うのか？

シャノン情報理論では、ある事象 $x$ の情報量を

I(x)

I (x)

と表します。

要求1: 独立な事象の情報量は足し算になる

独立な事象 $A,B$ について、

P(A \cap B) = P(A)P(B)

P (A \cap B) = P (A) P (B)

です。しかし情報量は直感的に

I(A \cap B) = I(A)+I(B)

I (A \cap B) = I (A) + I (B)

であってほしい。つまり、

I(P_1P_2) = I(P_1)+I(P_2)

I (P_{1} P_{2}) = I (P_{1}) + I (P_{2})

を満たす関数が必要です。この条件を満たす連続関数は

I(p)=C\log p

I (p) = C log p

しかありません。対数の基本性質

\log(ab) = \log a+\log b

log (ab) = log a + log b

がちょうど必要な性質だからです。

要求2: 珍しい事象ほど情報量が大きい

確率が小さいほど驚きは大きくなります。そこで情報量を

I(p) = -\log p

I (p) = - log p

と定義します。

例

確率1の事象：

I(1) = -\log_2(1) = 0

I (1) = - log_{2} (1) = 0

確率1/2：

I\!\left(\frac12\right) = -\log_2\!\left(\frac12\right) = 1 \ \text{bit}

I (21) = - log_{2} (21) = 1 bit

確率1/8：

I\!\left(\frac18\right) = -\log_2\!\left(\frac18\right) = 3 \ \text{bit}

I (81) = - log_{2} (81) = 3 bit

2. 自己情報量からエントロピーへ

各事象 $x_i$ の発生確率を

p_i

p_{i}

とする。対応する自己情報量は

I(x_i) = -\log_2 p_i

I (x_{i}) = - log_{2} p_{i}

である。

エントロピーとは、

得られる情報量の平均値

である。期待値の定義

E[X] = \sum_i p_i X_i

E [X] = i \sum p_{i} X_{i}

を用いると、

H = \sum_i p_i I(x_i)

H = i \sum p_{i} I (x_{i})

なので、

H = \sum_i p_i \left( -\log_2 p_i \right)

H = i \sum p_{i} (- log_{2} p_{i})

となる。したがって

\boxed{ H = -\sum_i p_i \log_2 p_i }

H = - i \sum p^{i} log^{2} p^{i}

これがシャノンの情報エントロピーである。

3. シャノンの公理からの導出

シャノンはエントロピーが満たすべき自然な条件を置いた。

公理1: 連続性

確率が少し変化すると、

H(p_1,\dots,p_n)

H (p_{1}, \dots, p_{n})

も連続的に変化する。

公理2: 等確率の場合の単調性

すべて等確率

p_i=\frac1n

p_{i} = n 1

なら

H = H\!\left( \frac1n,\dots,\frac1n \right)

H = H (n 1, \dots, n 1)

は選択肢数 $n$ が増えるほど大きくなる。すなわち

n<m \quad\Rightarrow\quad H(n)<H(m)

n < m \Rightarrow H (n) < H (m)

公理3: 分枝性（Grouping Rule）

選択を段階的に行った場合、全体の不確実性は

段階ごとの不確実性の和

として表せる。

Step 1: 等確率の場合を求める

等確率の場合のエントロピーを

f(n) = H\!\left( \frac1n,\dots,\frac1n \right)

f (n) = H (n 1, \dots, n 1)

とおく。

分割を考える

$nm$ 個の等確率な選択肢があるとする。まず

$n$ 個のグループ

を選び、その後

各グループ内で $m$ 個

を選ぶ。公理3より

f(nm) = f(n)+f(m)

f (nm) = f (n) + f (m)

が成り立つ。

これは

f(xy) = f(x)+f(y)

f (x y) = f (x) + f (y)

という関数方程式であり、連続性を仮定すると解は

f(n) = C\log n

f (n) = C log n

しかない。したがって等確率の場合

H = C\log n

H = C log n

となる。情報理論では通常

C=1, \qquad \log=\log_2

C = 1, log = log_{2}

を採用する。したがって

H=\log_2 n

H = log_{2} n

である。

Step 2: 一般の確率分布へ拡張

確率が

p_i = \frac{n_i}{N}

p_{i} = N n ^{i}

と表せるとする。ここで

N = \sum_{i=1}^{n} n_i

N = i = 1 \sum n n_{i}

である。

全体には

N

N

個の等確率事象がある。そのエントロピーは

\log_2 N

log_{2} N

である。

これらを

n

n

個のグループに分ける。各グループのサイズを

n_i

n_{i}

とする。すると公理3より

\log_2 N = H(p_1,\dots,p_n) + \sum_{i=1}^{n} p_i\log_2 n_i

log_{2} N = H (p_{1}, \dots, p_{n}) + i = 1 \sum n p_{i} log_{2} n_{i}

となる。

ここで

n_i = Np_i

n_{i} = N p_{i}

だから

\log_2 n_i = \log_2 N + \log_2 p_i

log_{2} n_{i} = log_{2} N + log_{2} p_{i}

である。代入すると

\log_2 N = H + \sum_i p_i \left( \log_2 N + \log_2 p_i \right)

log_{2} N = H + i \sum p_{i} (log_{2} N + log_{2} p_{i})

整理すると

\log_2 N = H + \log_2 N \sum_i p_i + \sum_i p_i\log_2 p_i

log_{2} N = H + log_{2} N i \sum p_{i} + i \sum p_{i} log_{2} p_{i}

確率の総和

\sum_i p_i = 1

i \sum p_{i} = 1

なので

\log_2 N = H + \log_2 N + \sum_i p_i\log_2 p_i

log_{2} N = H + log_{2} N + i \sum p_{i} log_{2} p_{i}

となる。したがって

\boxed{ H = -\sum_i p_i\log_2 p_i }

H = - i \sum p^{i} log^{2} p^{i}

を得る。

Step 3: 実数確率への拡張

上の導出は

p_i=\frac{n_i}{N}

p_{i} = N n ^{i}

という有理数の確率について行った。しかし有理数は実数全体に稠密であり、さらに公理1（連続性）によって

H(p_1,\dots,p_n) = -\sum_i p_i\log_2 p_i

H (p_{1}, \dots, p_{n}) = - i \sum p_{i} log_{2} p_{i}

は任意の実数確率に対して成立する。

結論

シャノンエントロピー

\boxed{ H = -\sum_{i=1}^n p_i\log_2 p_i }

H = - i = 1 \sum n p^{i} log^{2} p^{i}

は、

独立事象の情報量が加法的である
珍しい事象ほど情報量が大きい
不確実性は階層分解できる
連続的に変化する

という自然な要請から、ほぼ一意的に導かれる。そして 対数が現れる本質的理由は

\boxed{ \log(ab)=\log a+\log b }

log (ab) = log a + log b

によって

「確率の掛け算」を「情報量の足し算」に変換できる唯一の連続関数だから

です。これがシャノンエントロピーの核心です。

現在と未来の何処か、惑星、宇宙

2026年10月4日日曜日