情報幾何の紹介と統計物理への応用

情報幾何

情報幾何というのは文字通り情報理論を幾何(微分幾何)と結びつけることで確率分布の構造を幾何的に捉えることができるというものです。今回は情報幾何が統計物理に応用されている場面を紹介できたらいいなと思います。微分幾何の話は補足に回すことにしました。

双対アファイン座標系

各点の周りで計量 $g$ について

g (\frac{\partial}{\partial θ^{i}}, \frac{\partial}{\partial η_{j}}) = δ_{i}^{j}

を満たす局所 $\nabla$ -アファイン座標系 $(θ^{i})$ と局所 $\nabla^{*}$ -アファイン座標系 $(η_{j})$ の組をとることができるような多様体 $M$ を考えましょう。局所 $\nabla$ -アファイン座標系を簡単に言うと、各点周りにあるベクトルのみによる空間の座標系という意味です。(原点が存在しないのでベクトル空間ではない) $\nabla^{*}$ は $\nabla$ と性質は同じだけど、それぞれを区別するための便宜上、片方に $*$ が加えられていると考えてください。以上の式は双対平坦な多様体において成り立つ性質となっています。このような２つの座標系の組 ${(θ^{i}), (η_{j})}$ を双対アファイン座標系とよび、それぞれを $θ$ -座標系, $η$ -座標系ということにします。ここで省略記法を導入します。対応するベクトル場を

\partial_{i} := \frac{\partial}{\partial θ^{i}}, \partial^{j} := \frac{\partial}{\partial θ_{j}}

と書くことにします。

次のような関係式が成り立ちます。

双対アファイン座標系 ${(θ^{i}), (η_{i})}$ に関する計量 $g$ の成分を

g_{i j} := g (\partial_{i}, \partial_{j}), g^{i j} := g (\partial^{i}, \partial^{j})

とおくと、

g_{i j} = \partial_{i} η_{j} = \partial_{j} η_{i}, g^{i j} = \partial^{i} θ^{j} = \partial^{j} θ^{i}, g_{i j} g^{j k} = δ_{i}^{k}

これらはヤコビ行列の関係を使って証明することが出来ます。

ポテンシャルとダイバージェンス

先ほど定義した双対アファイン座標系から以下の定理を証明することでポテンシャル関数というものを定義することが出来ます。

ある $C^{\infty}$ 級関数の組 ${ψ (θ^{1}, . . . θ^{n}), φ (η_{1}, . . . η_{n})}$ が存在して

η_{i} = \partial_{i} ψ, θ^{i} = \partial^{i} φ, ψ (θ^{1}, . . . θ^{n}) + φ (η_{1}, . . ., η_{n}) - θ^{i} η_{i} = 0

が成り立つ。

証明 $\partial_{i} η_{j} = \partial_{j} η_{i}$ であるので可積分条件より $η_{i} = \partial_{i} ψ$ となるポテンシャル関数 $ψ$ の存在をいうことが出来ます。簡単に「可積分条件より」と書いたのですがこの部分は細かく話すと脱線気味になるので今回はスルーしようと思います。ポテンシャル関数 $φ$ の存在も同様にいうことが出来ます。そして関数 $ψ + φ - θ^{i} η_{i}$ を全微分すると

\begin{aligned} d (ψ + φ - θ^{i} η_{i}) & = d ψ + d φ - (d θ^{i}) η_{i} - θ^{i} (d η_{i}) \\ = (\partial_{i} ψ) d θ^{i} + (\partial^{i} φ) d η_{i} - η_{i} d θ^{i} - θ^{i} d η_{i} \\ = 0 \end{aligned}

が成り立つので関数 $ψ + φ - θ^{i} η_{i}$ は定数関数であることがわかります。そこでポテンシャル関数に登場する積分定数をうまく選ぶことで常に

ψ + φ - θ^{i} η_{i} = 0

となるように出来ます。

よって、 $g_{i j} = \partial_{i} \partial_{j} ψ$ , $g^{i j} = \partial^{i} \partial^{j} φ$ と書け、 $g_{i j}$ も $g^{i j}$ も共に正定値対称行列なので $ψ$ も $φ$ も共に狭義凸関数となります。この性質を使ってルジャンドル変換により $φ$ と $ψ$ を関連付けることが出来ます。

定理

点 $p \in M$ の $θ$ -座標と $η$ -座標をそれぞれ

θ (p) = (θ^{1} (p), . . ., θ^{n} (p)), η (p) = (η_{1} (p), . . ., η_{n} (p))

と表すことにするとポテンシャル関数の組 ${ψ (θ^{1}, . . ., θ^{n}), φ (η_{1}, . . ., η_{n})}$ は互いにルジャンドル変換

\begin{array}{r} φ (η (p)) = max_{q \in M} {θ^{i} (q) η_{i} (p) - ψ (θ (q))} \\ ψ (θ (p)) = max_{q \in M} {η_{i} (q) θ^{i} (p) - φ (η (q))} \end{array}

で関連づけられる。

証明

点 $p$ を固定し、関数 $q \mapsto θ^{i} (q) η_{i} (p) - ψ (θ (q))$ を微分してみると、

\begin{aligned} d (θ^{i} (q) η_{i} (p) - ψ (θ (q))) & = (η_{i} (p) - \partial_{i} ψ (θ (q))) d θ^{i} (q) \\ = (η_{i} (p) - η_{i} (q)) d θ^{i} (q) \end{aligned}

よって右辺の最大はすべての $i$ で\eta_i(p)=\eta_i(q),つまり $p = q$ の時のみで達成されてその最大値は、ポテンシャルの存在することを示している式を使って

θ^{i} (p) η_{i} (p) - ψ (θ (p)) = φ (η (p))

となります。

もう片方の式も同様です。

以上の準備を経て、ダイバージェンスを定義します。

2点 $p, q \in M$ に対して定まる量

D (p | | q) := ψ (θ (p)) + ψ (η (q)) - θ^{i} (p) η_{i} (q)

を $\nabla$ ダイバージェンスとよびます。先ほどの証明より $D (p | | q) \geq 0$ でかつ $p = q \Leftrightarrow D (p | | q) = 0$ が成り立ちます。幾何的なイメージとしては $D (p | | q)$ は $p$ から見たときの $q$ までの遠さを表します。またここで双対として $\nabla^{*}$ -ダイバージェンス $D^{*} (p | | q)$ も考えることができて、この場合 $θ$ と $η$ , $ψ$ と $φ$ が入れ替わるので $D^{*} (p | | q) = D (q | | p)$ となります。

ダイバージェンスを使って「一般化されたピタゴラスの定理」を構成することが出来ます。

$M$ 上に3点 $p, q, r$ をとります。もし $p$ と $q$ を結ぶ $θ$ -座標系の直線の式と $q$ と $r$ を結ぶ直線の式が $q$ において計量 $g$ に関して直交しているなら

D (p | | q) + D (q | | r) = D (p | | r)

が成り立ちます。証明は今回は省きますがそこまで難しくはないです。またこの定理を使ってダイバージェンスの非負性を使って $D (q | | r) \geq 0$ であることを考えると以下のことも言えます

曲面 $S$ が与えられたとき、 $q$ から $S$ へのダイバージェンスを

D (q | | S) = min_{r \in S} D (q | | r)

と定義すると、これを最小にする点は $p_{S}^{*}$ において $p_{s}^{*}$ と $q$ を結ぶ直線は $S$ と直交する。

確率分布空間

話は変わって確率分布の話をしようと思います。

有限事象系 $Ω_{n} = {1, . . ., n}$ を使って $Ω_{n}$ 上の確率分布全体の集合を $n$ 次元開単体として

S_{n - 1} := {p : Ω_{n} \to R_{+}; \sum_{ω \in Ω} p (ω) = 1}

と表します。これだけの話だと $S_{n}$ はただの $n - 1$ 次元多様体だと思われるかもしれませんが、この分布が確率分布であるという事実を用いて以下のような要請を課します。

$n \leq l$ とする。このとき、 $S_{n - 1}$ の確率分布の構造は $S_{l - 1}$ の確率分布の構造を $S_{l - 1}$ の部分多様体 $M$ に制限することにより $M$ に誘導される確率分布の構造と一致するべきである

今回はこの要請とそれから導かれる定理などについては詳しく述べませんが、要請がかなり強いために、結論から言うと $\nabla^{*}$ -ダイバージェンスを具体的に計算できて、

D^{*} (p | | q) = \sum_{ω = 1}^{n} p (ω) l o g \frac{p (ω)}{q (ω)}

となります。この量はKL-ダイバージェンスと呼ばれています。

指数型分布族

$Ω$ 上の関数 $C (ω), F_{1} (ω), . . ., F_{k} (ω)$ , および $R^{k}$ の領域 $Θ$ 上を動くk次元パラメータ $θ = (θ^{1}, . . . θ^{k}) \in Θ$ を用いて

p_{θ} (ω) = e x p (C (ω) + \sum_{i = 1}^{k} θ^{i} F_{i} (ω) - ψ (θ))

と表される確率分布族 $M = {p_{θ}; θ \in Θ}$ を指数型分布族と呼びます. ここで $ψ (θ)$ は $p_{θ}$ が確率分布となるように調整する規格化因子とします。

みなさんがよく知っている代表的な確率分布は大抵は指数型分布族に属しています. 例えば正規分布や多項分布なども指数型分布族に属しています。

ここで次の定理を紹介します。

指数型分布族 $M$ に対し、

η_{i} := E_{p_{θ}} [F_{i}] = \sum_{ω \in Ω} p_{θ} (ω) F_{i} (ω)

とおけば、 $η = (η_{1}, . . ., η_{k})$ は $M$ の局所座標系を与える。そして ${(θ^{i}), (η_{i})}$ は双対アファイン座標系をなす。

証明は今回は省くことにします。

ここで $η = (η_{1}, . . ., η_{k})$ を固定した時に定まる確率分布族

Γ_{η} := {q (ω) \in S; E_{q} [F_{i}] = η_{i} (i = 1, . . ., k)}

を考えてみます。このとき以下の定理が成り立ちます。これも証明を省きます。

$M$ と $Γ_{n}$ と共有点を持つならば、その点において $M$ と $Γ_{n}$ は直交する。

最大エントロピー原理

最後に物理の話をしようと思います。

指数型分布族の定義において、 $k = 1$ とし、 $F_{1} (ω) = - H (ω)$ とおきます。そして、 $θ = 0$ で一様分布 $u = (\frac{1}{n}, . . ., \frac{1}{n})$ を通るという条件を加えた一次元の指数型分布族

p_{θ} (ω) = e^{- θ H (ω) - ψ (θ)}

を考えます。ここで先ほどの定理より、各 $η \in R$ に対し、

Γ_{η} = {q \in S; E_{q} [- H] = η}

と $p_{θ} (ω)$ は共有点 $p_{θ_{*}}$ で直交します。このことから先ほど紹介した一般化されたピタゴラスの定理より

\begin{aligned} p_{θ_{*}} & = \underset{q \in Γ_{η}}{\arg \min} D (u | | q) \\ = \underset{q \in Γ_{η}}{\arg \min} D^{*} (q | | u) \\ = \underset{q \in Γ_{η}}{\arg \min} \sum_{ω \in Ω} q (ω) l o g \frac{q (ω)}{u (ω)} \\ = \underset{q \in Γ_{η}}{\arg \min} {l o g n - S (q)} \\ = \underset{q \in Γ_{η}}{\arg \max} S (q) \end{aligned}

を得ます。以上の式変形は今まで準備してきた内容を総動員しました。ここで

S (q) := - \sum_{ω \in Ω} q (ω) l o g q (ω)

は確率 $q$ のシャノンエントロピーです。上記の事実は確率変数 $F_{1} (ω) = - H (ω)$ の期待値が一定という拘束条件のもとでシャノンエントロピー $S (p)$ を最大にする確率分布 $q$ は $p_{θ_{*}}$ であることを言っています。ここで

l o g Z (θ) := ψ (θ), β := θ

と書き直すと

\underset{q : E_{q} [H] = c o n s t}{\arg \min} S (q) = p_{β} (ω) = e^{- β H (ω) - ψ (β)} = \frac{1}{Z (β)} e^{- β H (ω)}

となり"ハミルトニアン"Hの期待値が一定という条件のもとでエントロピーが最大となる確率分布はカノ二カル分布であることがわかります。

終わりに

今回は情報幾何の一端を紹介したのですが、情報幾何の考え方は機械学習や統計物理などに広く活かされています。ぜひ興味があったらぜひ調べてみてください。

補足

双対アファイン接続を定義します。最初に情報幾何学は情報理論を幾何(微分幾何)と結びつけるという書き方をしましたが、厳密にいうと双対アファイン接続における微分幾何学のことを情報幾何学と言います。

アファイン接続 $\nabla$ を持つRiemann多様体 $(M, g)$ において $X, Y, Z$ を $C^{\infty}$ 級ベクトル場とします。このとき

X g (Y, Z) = g (\nabla_{X} Y, Z) + g (Y, \nabla_{X}^{*} Z)

で定義されるアファイン接続 $\nabla^{*}$ を計量 $g$ に関する $\nabla$ の双対アファイン接続と呼びます。また以上のようなアファイン接続のペア $(\nabla, \nabla^{*})$ が与えられたとき、3つ組 $(g, \nabla, \nabla^{*})$ を $M$ の双対構造といいます。さらに $\nabla$ と $\nabla^{*}$ の両方に関して曲率も捩率も共に0の時、 $M$ は双対平坦であるといいます。

参考文献

情報幾何学の基礎(本記事はほとんどこの本の内容を扱ってます)

情報幾何学の新展開