1.1 線形代数の基礎 - Osaka...

「多変量解析 2012」資料

1.1 線形代数の基礎

この節では本講義で必要とする行列の性質を簡単にまとめる．成分がす

べて実数である実行列のみを扱う．簡単のため p× q 行列を p× q，また，

p × 1 ベクトルを p × 1 または p-ベクトルと略して書くことがある．分

割行列の計算に慣れておく:

q1 q2 r1 r2

p1p2

"A11 A12A21 A22

#×"B11 B12B21 B22

#q1q2

=

"A11B11 + A12B21 A11B12 + A12B22A21B11 + A22B21 A21B12 + A22B22

#

Def. 1.1 A: p × q. i) A の行ベクトルと列ベクトルを入れ換えた q × p行列を A の転置行列 (transposed matrix) といい，AT (= A0 = tA) と表

す．ii) AT = A のとき，A は対称 (symmetric) であるという．このとき，

p = q．

Def. 1.2 A: p × q. i) A の１次独立な行ベクトル (列ベクトル) の数

を A の階数 (rank) といい，rank(A) と表す．ii) rank(A) = q のとき，

full-column rank，rank(A) = p のとき，full-row rankという．iii) A :

p× p. rank(A) = p のとき A は正則 (nonsingular) であるという．注意:

A : 正則 ⇐⇒ ∃A−1 ⇐⇒ |A| 6= 0. ここで，|A| は A の行列式である．

Def. 1.3 A : p×p. Av = λv を満たすスカラー λと p-ベクトル v ( 6= 0)をそれぞれ A の固有値，固有ベクトルという．

注意１：λ は固有方程式 |A− λIp| = 0 の解．

注意２：p×p行列 Aの固有値を λ1(A), · · · ,λp(A)と書くことがある．

注意３：|A| =pYk=1

λk(A), tr(A) =

pXk=1

λk(A) (→ Prop.1.4)．

Prop. 1.1 　

i) A : p× q, B : q × r.· rank(AB) ≤ minrank(A), rank(B)· B: q × q 正則 =⇒ rank(AB) = rank(A)

· rank(A) = rank(AT ) = rank(ATA) = rank(AAT )ii) A : p× p (実)対称行列．A の固有値は実数で，固有ベクトルは互い

に直交する．

1

Def. 1.4 i) V : p× p. V TV = V V T = Ip が成り立つとき，V を直交行

列 (orthogonal matrix) という．p × p 直交行列全体を O(p) で表す．ii)

V : p× q. V TV = Iq が成り立つとき，V を列直交行列という．p× q 列直交行列全体を O(p× q) で表す．注意: O(p× p) = O(p).

Prop. 1.2 A : p× p 対称行列．∃V = [v1, · · · , vp] ∈ O(p),

∃Λ =

⎡⎢⎣λ1 . . .

λp

⎤⎥⎦ : p× p 対角行列 st. A = V ΛV T =Pp

k=1 λkvkvTk

これをAのスペクトル分解 (spectral decomposition)という．また，V TAV =

Λを行列Aの対角化 (diagonalization)という．

Prop. 1.3 A : p× q, rank(A) = r.i) ∃B : p× r, ∃C : q × r s.t. A = BCT . これを A の階数分解 (rank

factorization) という．

ii) ∃U ∈ O(p×r), ∃V ∈ O(q×r), ∃ρ : 対角成分がすべて正の r次対角行列

s.t. A = UρV T . これを A の特異値分解 (singular value decomposition)

という．[Gram行列が非負定値であることを認めて証明する→Prop.1.5]

Def. 1.5 A = [aij] : p × p. tr(A) =Pp

k=1 akk を A のトレース (trace)

という．

Prop. 1.4 A, B : 行列，c, d : スカラー.

i) tr(AT ) = tr(A), tr(cA+ dB) = c tr(A) + d tr(B)

ii) tr(AB) = tr(BA)

iii) tr(A) =P

k λk(A), ただし λk(A) は A の固有値．

Def. 1.6 A, B : p×p対称行列．i) xTAx ≥ 0 for ∀x ∈ Rp のとき，Aは

非負定値行列 (nonnegative definite (n.n.d.) matrix)といわれ，A ≥ 0 と書く．xTAx > 0 for ∀x ∈ Rp, x 6= 0 のとき，A は正定値行列 (positive

definite (p.d.) matrix) といわれ，A > 0 と書く．ii) A− B ≥ 0 のとき，

A ≥ B，また，A− B > 0 のとき，A > B と表す．

Prop. 1.5 A: p× p 対称行列．

i) A > 0 ⇐⇒ λk(A) > 0 (k = 1, · · · , p)⇐⇒ A ≥ 0 & |A| 6= 0

ii) A ≥ 0 ⇐⇒ λk(A) ≥ 0 (k = 1, · · · , p)⇐⇒ ∃B : p× r, r = rank(A) s.t. A = BBT

⇐⇒ ∃C : p× p対称行列 s.t. A = C2

行列 C を A の平方根といい，しばしば A12 で表す．

2

Prop. 1.6 A = (aij), B = (bij), C = (cij) : p× p 対称行列．

i) A ≥ 0 (or A > 0) =⇒ aii ≥ 0 (or aii > 0) (i = 1, · · · , p)A ≥ 0, aii = 0 =⇒ aik = aki = 0 (k = 1, · · · , p)A = [Aij] ≥ 0 (or A > 0) =⇒ Aii ≥ 0 (or Aii > 0)

ii) A ≥ 0, B ≥ 0 =⇒ A+ B ≥ 0; A > 0, B ≥ 0 =⇒ A+ B > 0

iii) A ≥ B, B ≥ C =⇒ A ≥ C; A > B, B ≥ C =⇒ A > C

iv) A ≥ B > 0 =⇒ B−1 ≥ A−1 > 0A > B > 0 =⇒ B−1 > A−1 > 0

v) G : p× rのとき

A ≥ 0 =⇒ GTAG ≥ 0A > 0, G : full-column rank =⇒ GTAG > 0

vi) G : p× p正則のとき

A > 0 ⇐⇒ GAGT > 0

注意：v)を示してから iv)を証明する．

(iv)のヒント：B−1−A−1 = (B−1−A−1)B(B−1−A−1)+A−1(A−B)A−1

Def. 1.7 P : p×p. P 2 = P のとき，P は巾等 (idempotent) or射影行列

(projective matrix) という．対称な巾等行列を直交射影行列 (orthogonal

projective matrix)とよぶ．

問題　W を Rp の (線形)部分空間，W の直交補空間をW⊥ と書く．任意の

x ∈ Rp は「x = y + z, y ∈W, z ∈W⊥」と一意的に表現できる．

(i) xから yを対応させる写像は線形であることを示せ．(この写像を部分空

間W への直交射影子という)

(ii) (i)の線形写像を表す行列 P は直交射影行列であることを示せ．

(iii) Aを p × q 行列とする．Aの縦ベクトルの張る線形空間への直交射影行

列を PA と書くことにする．A = [B,C]をAの分割とする (B: p× r, C:p× s, q = r + s)．PB, PC なども同様に定義する．このとき

PA = PB + P(Ip−PB)C

を証明せよ．(Ip: p次の単位行列)

Prop. 1.7 A : p× p.i) A : 巾等行列 =⇒ A の固有値は 0 or 1, rank(A) = tr(A).

ii) A : 巾等行列 ⇐⇒ rank(A) + rank(Ip − A) = p.iii) A : 巾等行列 =⇒ 正則行列によって対角化可能．

iv) A が直交射影行列ならば，∃V ∈ O(p × r) s.t. A = V V T . ここで，

r = rank(A).

3

Prop. 1.8 Ai (i = 1, · · · , n): p× p．Pn

i=1Ai = Ipとする．

A2i = Ai (i = 1, . . . , n) ⇐⇒nXi=1

rank(Ai) = p

このとき

AiAj = O (i 6= j)

が成立する．

伝統的な証明 (十分性)：階数の劣加法性を用いて rank(Ai)+ rank(Ip−Ai) = pを示す．

分割行列の計算

正方行列 Aの分割をA =

"A11 A12A21 A22

#とする．ここで A11 とA22 は

正方行列である．A−1 =

"A11 A12

A21 A22

#と書く．ここで登場する逆行列は

すべてその存在を仮定する．

Prop. 1.9 以下必要な逆行列の存在を仮定する．A11, A22 : 正方行列．

A11.2 = A11 − A12A−122 A21, A22.1 = A22 − A21A−111 A12 とおく．

i)

¯¯A11 A12A21 A22

¯¯ = |A22||A11.2| = |A11||A22.1|

ii)

(A11)−1A12 = −A12A−122 , A21(A11)−1 = −A−122 A21A12(A22)−1 = −A−111 A12, (A22)−1A21 = −A21A−111

iii) "A11 A12A21 A22

#−1=

"A−111.2 −A−111.2A12A−122

−A−122 A21A−111.2 A−122 + A−122 A21A

−111.2A12A

−122

#

=

"O O

O A−122

#+

"−I

A−122 A21

#A−111.2

h−I A12A

−122

i

=

"A−111 + A

−111 A12A

−122.1A21A

−111 −A−111 A12A−122.1

−A−122.1A21A−111 A−122.1

#

=

"A−111 O

O O

#+

"A−111 A12−I

#A−122.1

hA21A

−111 −I

i4

iv) A > 0のとき，A11.2 > 0, A22.1 > 0, A11 ≥ A−111 .

Proof 次の等式を使う．"I −A12A−122O I

#"A11 A12A21 A22

#"I O

−A−122 A21 I

#=

"A11.2 O

O A22

#

Prop. 1.10 (Woodbury’s identities) 分割行列

"A11 A12A21 A22

#において

次の公式が成り立つ．(一般に A12, A21は長方行列である)

(A11 + A12A−122 A21)

−1 = A−111 − A−111 A12(A22 + A21A−111 A12)−1A21A−111(A11 + A12A

−122 A21)

−1A12 = A−111 A12(A22 + A21A−111 A12)

−1A22

A21(A11 + A12A−122 A21)

−1 = A22(A22 + A21A−111 A12)−1A21A−111

A21(A11 + A12A−122 A21)

−1A12 = A22 − A22(A22 + A21A−111 A12)−1A22[A21(A11 + A12A

−122 A21)

−1A12]−1 = (A21A−111 A12)−1 + A−122

補足：Prop. 1.6 iv)の証明にも応用できる．

演習問題 a + b = 1, a 6= 0, Σ > 0とする．

ÃaΣ−1 + b

"O O

O Σ−122

#!−1を

計算せよ．

Prop. 1.11 (Khatri’s lemma) [A,B] を正則行列，ATB = O, M > 0

とする．このとき次式が成立する．

MA(ATMA)−1ATM + B(BTM−1B)−1BT =M注意：射影との関連を理解する．

特殊な行列の演算

Def. 1.8 A = (aij) : p× q, B = (bij) : m× n. pm× qn 行列 A⊗ B を

次で定義し，Kronecker 積という．

A⊗ B =

⎡⎢⎢⎢⎢⎢⎢⎣a11B · · · a1`B · · · a1qB... · · · ... · · · ...

aj1B · · · aj`B · · · ajqB... · · · ... · · · ...

ap1B · · · ap`B · · · apqB

⎤⎥⎥⎥⎥⎥⎥⎦A⊗ B の (ij, k`) 要素は (A⊗ B)ij,k` = aj`bik で与えられる．

Prop. 1.12 次式が成立する．

5

i) (a1A1 + a2A2)⊗ (b1B1 + b2B2)= a1b1(A1⊗B1)+a1b2(A1⊗B2)+a2b1(A2⊗B1)+a2b2(A2⊗B2)

ここで ai, bi はスカラーである．

ii) (A⊗ B)T = AT ⊗ BTiii) (A1A2)⊗ (B1B2) = (A1 ⊗ B1)(A2 ⊗ B2)iv) (A⊗ B)−1 = A−1 ⊗ B−1v) tr(A⊗ B) = tr(A)× tr(B), rank(A⊗ B) = rank(A)× rank(B)vi) A ≥ 0, B ≥ 0 =⇒ (A⊗B) ≥ 0; A > 0, B > 0 =⇒ (A⊗B) > 0

Def. 1.9 i) A = [a1, · · · ,aq] : p× q. pq × 1 ベクトル vec(A) を

vec(A) =

⎡⎢⎣a1...aq

⎤⎥⎦で定義する．pq × pq 行列 Kpq を次式で定義する．

Kpqvec(A) = vec(AT ) for any A ∈ Mat(p× q)

Kpq を commutation matrix とよぶ．しばしば次の記号を用いる．

Np =1

2(Ip2 +Kpp)

ii) A = (aij) : p× p. p∗ = p(p+ 1)/2. p∗-ベクトル v(A) を

v(A) = [a11, · · · , ap1, a22, · · · , ap2, · · · , app]T

で定義する．v(·) を vech(·) と書くことがある．

vec(·) と v(·) を vec-operator ということがある．

Prop. 1.13 A, B, C, D : 行列. a, b, c, d: ベクトル．

i) vec(aT ) = vec(a) = a, vec(abT ) = b⊗ aii) (abT )⊗ (cdT ) = vec(caT )vec(dbT )Tiii) vec(A)Tvec(B) = tr(ATB)

iv) vec(ABC) = (CT ⊗ A)vec(B)v) tr(ABCD) = vec(DT )T (CT ⊗A)vec(B) = vec(D)T (A⊗CT )vec(BT )vi) [(A⊗B)+α·vec(A)vec(B)T ]−1 = (A−1⊗B−1)−a·vec(B−1)vec(A−1)T

6

ここで，A, B は p× p 正則対称行列，a = α/(1 + αp).

Proof. iv) B = [b1, · · · , bq], Iq = [e1, · · · ,eq] とすると

vec(ABC) =vecA(Xk

bkeTk )C =

Xk

vecAbk(CTek)T

=Xk

(CTek)⊗ (Abk) = (CT ⊗ A)Xk

(ek ⊗ bk)

=(CT ⊗ A)Xk

vec(bkeTk ) = (C

T ⊗ A)vec(B)

Prop. 1.14 A: p× q, B: m× n, b: m× 1.i) Kpq ∈ O(pq)，Kpq =

Pp

i=1

Pq

j=1Eij ⊗ EijTここで，Eij : p× q は (i, j) 成分のみが 1 でその他の成分は 0 なる行列．

ii) KTpq = K

−1pq = Kqp, Kp1 = K1p = Ip, K

2pp = Ip2 , Kpp は対称行列

iii) Kmp(A⊗ B) = (B ⊗ A)Knq, Kmp(A⊗ B)Kqn = (B ⊗ A)iv) Kmp(A⊗ b) = b⊗ A, Kpm(b⊗ A) = A⊗ b

Proof. iii) X を任意の n× q 行列とすると，

Kmp(A⊗ B)vec(X) = Kmpvec(BXAT ) = vec(AXTBT )

= (B ⊗ A)vec(XT ) = (B ⊗ A)Knqvec(X)

Prop. 1.15 A: p× q.i) Np = N

Tp = N

2p , rank(Np) = tr(Np) =

12p(p+ 1)

ii) NpKpp = Np = KppNp

iii) Np(A⊗ A) = (A⊗ A)Nq = Np(A⊗ A)Nq

Def. 1.10 A : p × p 対称行列．p∗ = p(p + 1)/2. p2 × p∗ 行列 Dp を次

で定義する．

vec(A) = Dpv(A) for any A (A = AT )

さらに，D+p = (D

TpDp)

−1DTp を定義する．容易に，

v(A) = D+p vec(A) for any A (A = AT )

が確かめられる．これらの行列を duplication matrix ということがある．

7

Prop. 1.16 A : p× p, b : p× 1.i) KppDp = Dp, NpDp = Dp, D+

p Np = D+p , DpD

+p = Np

ii) Np(b⊗ A) = 12(b⊗ A+ A⊗ b)

iii) [D+p (A⊗ A)Dp]−1 = D+

p (A−1 ⊗ A−1)Dp

iv) [DTp (A⊗ A)Dp]−1 = D+

p (A−1 ⊗ A−1)(D+

p )T

Proof. i) 行列 A の縦ベクトルの張る線形空間を M(A) と書く

と，NpDpD+p = DpD

+p は，M(DpD

+p ) ⊂M(Np) を意味するが，一方，

rank(Np) =12p(p+1) = rank(DpD

+p )だから，結局M(DpD

+p ) =M(Np)

となる．DpD+p , Np ともに，巾等かつ対称であるから，同じ空間への直

交射影を表す行列である．従って，DpD+p = Np.

Def. 1.11 i) A = (aij), B = (bij) : p× q. p× q 行列 A ∗ B を次で定義

し，Hadamard 積 (elementwise 積) という．

(A ∗ B)ij = aijbij

ii) Ip = [e1, · · · ,ep]とかく．p2 × p 行列 Hp を

Hp = [e1 ⊗ e1, · · · , ep ⊗ ep]

と定義する．

iii) A = (aij) : p× p.

diag(a11, · · · , app) =

⎡⎢⎢⎢⎢⎣a11 0 · · · 0

0 a22. . .

......

. . .. . . 0

0 · · · 0 app

⎤⎥⎥⎥⎥⎦Diag(A) = diag(a11, · · · , app)vecdiag(A) = [a11, · · · , app]T

Prop. 1.17 A, B : p× p.i) A ∗ B = HT

p (A⊗ B)Hp, rank(A ∗ B) ≤ rank(A) · rank(B)ii-a) A ≥ 0, B ≥ 0 =⇒ (A ∗ B) ≥ 0ii-b) A > 0, B > 0 =⇒ (A ∗B) > 0iii) vecdiag(A) = HT

p vec(A)

8

本節の参考文献

• 佐武一郎 (1974). 線型代数学．裳華房．

• 竹内啓 (1974)．線形数学．培風館．

• D.A.ハーヴィル (2007). 統計のための行列代数上・下．伊理正夫

(監訳) シュプリンガー・ジャパン．

• Magnus, Jan R. and Neudecker, Heinz (1999). Matrix DefferentialCalculas (2nd edition) Wiley.

• Rao, C. R. (1976). Linear Statistical Inference and its Applications(2nd edition) Wiley.

9

1.2 分布論の基礎

本講義の基礎となる確率分布の性質を簡単にまとめる．

Def. 2.12 i) 確率変数 Xij を (i, j) 要素とする行列 X = (Xij) を確率

行列 (random matrix) という．Xij の期待値 E(Xij) を (i, j) 要素とする

行列を E(X) で表し X の期待値（行列）という．

ii)確率変数 X1, · · · , Xp を要素とする p×1ベクトルX = [X1, · · · , Xp]T

を p次元確率ベクトル (random vector, r.v.) という．E(X) を X の平

均ベクトル (mean vector; p×1)といい，しばしば μで表す．Var(X) :=

E[(X −E(X))(X −E(X))T ] を X の分散行列 (variance matrix; p× p)といい，しばしば Σ で表す．すなわち，

μ = E(X) =

⎡⎢⎣E(X1)...

E(Xp)

⎤⎥⎦

Σ = Var(X) =

⎡⎢⎢⎢⎢⎣Var(X1) Cov(X1, X2) · · · Cov(X1, Xp)

Cov(X2, X1) Var(X2). . .

......

. . .. . . Cov(Xp−1, Xp)

Cov(Xp, X1) · · · Cov(Xp, Xp−1) Var(Xp)

⎤⎥⎥⎥⎥⎦=[Cov(Xi, Xj)]

Var(X) は共分散行列 (covariance matrix) or 分散共分散行列 (variance-

covariance matrix) とよばれることもある．２つの確率ベクトル X, Y

の共分散行列を Cov(X,Y ) = E[(X − E(X))(Y − E(Y ))T ] で定義す

る．特に，Cov(X ,X) = Var(X).

Prop. 2.18 X , Y : r.v.

· E(aX + bY ) = aE(X) + bE(Y ), E(AX + b) = AE(X) + b

· Cov(AX + b, CY + d) = ACov(X,Y )CT

· Var(AX + b) = AVar(X)AT

· Var(X) ≥ 0· Var(X) = O ⇐⇒ X = E(X) (w.p.1.)

Def. 2.13 i) X: p次元 r.v. ∀B ⊂ Rp に対して

Pr(X ∈ B) =Z· · ·ZB

f(x)dx

が成立するとき，f(x)をXの (分布の)確率密度関数 (probability density

function, pdf) という．(厳密には B は Rp の Borel 集合)

10

ii) X : p次元 r.v., Y : q次元 r.v. ∀B1 ⊂ Rp, ∀B2 ⊂ Rq に対して

Pr(X ∈ B1, Y ∈ B2) = Pr(X ∈ B1) Pr(Y ∈ B2)

が成立するとき，X と Y は互いに独立である（or 独立に分布する）と

いい，X ||– Y で表す．(X,Y ), X , Y の分布がそれぞれ pdf h(x,y),

f(x), g(y) をもつとき，

X ||– Y ⇐⇒ h(x,y) = f(x) · g(y)

また，α(·), β(·) を任意の有界（可測）関数とするとき

X ||– Y ⇐⇒ E[α(X)β(Y )] = E[α(X)]E[β(Y )]

Prop. 2.19 f(x) を p次元 r.v. X の pdf とする．

i) y = g(x) =

⎡⎢⎣g1(x)...gp(x)

⎤⎥⎦ を Rpのある領域から Rp への可微分な 1:1 変換

とする．

Y = g(X) の pdf は

f(g−1(y))|J |, J = det

∙∂x

∂yT

¸Ã= det

∙∂y

∂xT

¸−1!

によって与えられる．ここで，g−1(y) は g の逆変換で，J は変換 g−1

の Jacobian である．特に，線形変換 g(x) = Ax のとき，Y = AX の

pdf は f(A−1y)|det(A)|−1 となる．

ii) X = [XT1 ,X

T2 ]T , f(x) = f(x1,x2)とする．X1 とX2 の pdf はそ

れぞれ f1(x1) :=Rf(x1,x2)dx2 で，f2(x2) :=

Rf(x1,x2)dx1 によっ

て与えられる．X2 = x2 を与えた下でのX1 の条件付き分布の pdfは

f(x1|x2) := f(x1,x2)

f2(x2)である．

Def. 2.14 X1, · · · , Xpi.i.d.∼ N(0, 1)とする．X = [X1, · · · , Xp]T の分布

をp次元 (or p変量)標準正規分布 (p-variate standard normal distribution)

といいNp(0, Ip)で表す．p次元標準正規分布の確率密度関数は

nYi=1

1

(2π)1/2exp

½−12x2i

¾=

1

(2π)p/2exp

(−12

pXi=1

x2i

)=

1

(2π)p/2exp

¡−xTx/2¢ (x = [x1, · · ·xp]T )

で与えられる．X ∼ Np(0, Ip) のとき E(X) = 0, Var(X) = Ip

11

Prop. 2.20 X ∼ Np(0, Ip), V ∈ O(p) =⇒ Y = VX ∼ Np(0, Ip)

Lemma A, B: p× q

AAT = BBT ⇐⇒ A = BR for some R ∈ O(q)

Def. 2.15 μ ∈ Rp, Σ ≥ 0 (p× p), rank(Σ) = r, Σ = BBT , B (p× r)とする．Z ∼ Nr(0, Ir)とする．このときX := μ+BZ の分布を平均ベ

クトルμ，分散行列Σをもつ p次元 (or p変量，多変量)正規分布といい

Np(μ,Σ)で表す．Σが正則であるとき，確率密度関数 (pdf)が存在し

1

(2π)p/2|Σ|1/2 exp½−12(x− μ)TΣ−1(x− μ)

¾で与えられる．

Prop. 2.21 X ∼ Np(μ, Σ).i) E(X) = μ, Var(X) = Σ, MX(t) := E(e

tTX) = eμT t+ 1

2tTΣt

ii) A : p× q, b : q-ベクトル．このとき，

AX + b ∼ Nq(Aμ+ b, AΣAT )

Prop. 2.22 X ∼ Np(μ, Σ).X =

"X1

X2

#p1

p2

, μ =

"μ1μ2

#, Σ =

"Σ11 Σ12

Σ21 Σ22

#と書くと

· Cov(X1,X2) = Σ12

·X1 ∼ Np1(μ1, Σ11), X2 ∼ Np2(μ2, Σ22)·X1

||– X2 ⇐⇒ Σ12 = O

· A1, A2 :定数行列． A1X ||– A2X ⇐⇒ A1ΣAT2 = O

Prop. 2.23 X ∼ Np(μ, Σ). Σ > 0とする．前 Propと同様に分割す

る．X1|X2 = x2 の pdfは以下で与えられる．

1

(2π)p1/2|Σ11.2|1/2 expn− 12

¡x11 − μ1 − Σ12Σ−122 (x22 − μ2)

¢T× Σ−111.2

¡x11 − μ1 − Σ12Σ−122 (x22 − μ2)

¢oすなわちX1|X2 = x2 ∼ Np1

¡μ1 + Σ12Σ

−122 (x2 − μ2),Σ11.2

¢．

証明は Appendix にある．

12

Prop. 2.24 X ∼ Np(μ, Σ).· E[(Xi − μi)(Xj − μj)(Xk − μk)(X` − μ`)] = σikσj` + σi`σjk + σijσk`

· Cov[(Xi − μi)(Xj − μj), (Xk − μk)(X` − μ`)] = σikσj` + σi`σjk

· Var[vec((X − μ)(X − μ)T )] = 2Np(Σ⊗ Σ) = 2Np(Σ⊗ Σ)Np = 2(Σ⊗ Σ)Np· Var[v((X − μ)(X − μ)T )] = 2D+

p (Σ⊗ Σ)D+Tp

Exercise X1, · · · ,Xni.i.d.∼ Np(μ,Σ). X = 1

n

Pn

i=1X i.

S = 1n

Pn

i=1(X i − X)(X i − X)T . 次式を示せ．

limn→∞

nVar[vec(S)] = 2Np(Σ⊗ Σ)

Def. 2.16 X1, · · · , Xni.i.d.∼ N(0, 1) とする．

Pn

i=1 X2i の分布を自由度

n のカイ２乗分布 (chi-square distribution) といい χ2n で表す．χ2n の pdf

と積率母関数は，それぞれ，以下のようになる．

fχ2n(x) =1

2n/2Γ(n/2)xn/2−1e−x/2 (x > 0)

Mχ2n(x) = E[etχ

2n] = (1− 2t)−n/2 (t < 1/2)

Def. 2.17 X1, · · · ,Xni.i.d.∼ Np(0,Σ)とする．X =

Pn

i=1X iXTi の分

布をWishart分布といい，Wp(n,Σ)で表す．Σ > 0, n ≥ pのときWp(n,Σ)

の確率密度関数 (pdf)が存在し，次式で与えられる．

c−1np |Σ|−n2 |X| 12 (n−p−1) exp

µ−12tr[Σ−1X ]

¶(X > 0)

ここで cnpは正規化定数で，2np/2πp(p−1)/4Πpi=1Γ[12(n+ 1− i)]である．

Prop. 2.25 X ∼ Np(0, Σ). A : p× p 対称.

XTAX ∼ χ2q ⇐⇒ ΣAΣAΣ = ΣAΣ, q = tr[AΣ]

上記の必要十分条件は，Σが正則のとき AΣA = A, Σ = Ipのとき A2 = A

となる．

Prop. 2.26 (Cochran’s Theorem) Ai: p× p 対称，Ip =Pn

i=1Ai,

X ∼ Np(0, Ip), Qi :=XTAiX (i = 1, . . . , n) とする．

Qi ∼ χ2 (i = 1, . . . , n) ⇐⇒nXi=1

rank(Ai) = p

このとき，Qi (i = 1, . . . , n)は互いに独立である．

13

Def. 2.18nXn = [X

(n)1 , · · · , X(n)

p ]To: p次元 r.v. の列．

i) a ∈ Rp. ∀² > 0 に対して

limn→∞

PrkXn − ak < ² = 1

が成り立つとき，Xn は a に確率収束 (convergence in probability) する

といい，XnP−→ a (n→∞) と表す．ここで，kXk =

√XTX.

ii) X = [X1, · · · , Xp]T : p次元 r.v.

limn→∞

PrX(n)1 ≤ x1, · · · , X(n)

p ≤ xp = PrX1 ≤ x1, · · · , Xp ≤ xp

が成り立つとき，Xn は X に分布収束 (convergence in distribution, or

法則収束 convergence in law) するといい，Xnd−→ X (n → ∞) と表

す．ここで，xk は PrXk = xk = 0 (k = 1, · · · , p) なる任意の実数．

注意: 以後 (n→∞) を略すことがある．

Prop. 2.27 X1, · · · ,Xn : 独立同一分布をもつ p次元 r.v. E(X i) =

μ, Var(X i) = Σ. Xn =1n

Pn

i=1X i とおく．

i) E(Xn) = μ, Var(Xn) =1nΣ

ii) (大数の法則) XnP−→ μ (n→∞)

iii) (中心極限定理)

√n(Xn − μ) d−→ Np(0,Σ) (n→∞) (1.2)

Proof. ii) Y ≥ 0 なる確率変数と K > 0 に対して Pr(Y ≥ K) ≤ E(Y )K

が成り立つ (Markov’s inequality). よって，

Pr(kXn − μk2 ≥ ²2) ≤ E(kXn − μk2)²2

一方，

E[kXn − μk2] = tr£E(Xn − μ)(Xn − μ)T

¤= tr[Var(Xn)] =

1

ntr(Σ)→ 0 (n→∞)

注意: (1.2)を Xn ∼ Np(μ, 1nΣ) (n→∞)のように書くことがある．同

様に Ynd−→ χ2q (n→∞) などと書く．

14

Prop. 2.28 Xn : p次元 r.v. の列．X : p次元 r.v. a ∈ Rp. g :Rp → Rq: 連続．

i) XnP−→ a =⇒ g(Xn)

P−→ g(a) (確率収束の保存)

ii) Xnd−→X =⇒ g(Xn)

d−→ g(X) (法則収束の保存)

Proof. i) g(x) の連続性より明．ii) 特性関数 φn(θ) = E(eiθT g(Xn)) の

収束を示す．

Prop. 2.29 (Slutsky’s Theorem) Yn : 確率変数．X , Xn, Y n : 確

率ベクトル，Zn : 確率行列．

i) Xn = [X(n)1 , · · · , X(n)

p ]T , a = [a1, · · · , ap]T とすると，

· XnP−→ a ⇐⇒ X

(n)k

P−→ ak (k = 1, · · · , p)· Xn

d−→ a ⇐⇒ X(n)k

d−→ ak (k = 1, · · · , p)· Xn

d−→ a ⇐⇒ XnP−→ a

ii) Xnd−→X, Yn

P−→ 0 =⇒ XnYnP−→ 0

iii) Xnd−→X , Xn − Y n

P−→ 0 =⇒ Y nd−→X

iii)0 Xnd−→X, Y n

P−→ 0 =⇒ Xn + Y nd−→X

iv) Xnd−→X, Y n

P−→ b, ZnP−→ A =⇒ ZnXn+Y n

d−→ AX+b

注意: Xnd−→ X , Y n

d−→ Y =⇒ Xn + Y nd−→ X + Y は成立し

ない．

Def. 2.19 (Mann-Waldの記号) Xn : p次元 r.v. an : 実数列．

i) Xn/anP−→ 0 のとき Xn = op(an) とかく．つまり

Xn = op(an) ⇐⇒ limn→∞

Pr[kXn/ank < ²] = 1 for ∀² > 0

特に，an = 1 のとき, Xn = op(1)³⇐⇒ Xn

P−→ 0´

ii) ∀² > 0, ∃M > 0 s.t. Pr[kXn/ank ≤ M ] > 1 − ² for ∀n のと

き，Xn = Op(an) とかく．特に，an = 1 のとき，Pr[kXnk ≤ M ] >

1− ²³⇐⇒ Xn = Op(1)

´. このとき，Xn は確率有界 (bounded in

probability) といわれる．

Prop. 2.30 Xn, Y n : r.v.

i) Xn = op(1) =⇒ Xn = Op(1)

ii) Xnd−→X =⇒ Xn = Op(1)

15

iii) Xn = Op(1), Y n = Op(1) =⇒ Xn + Y n = Op(1)

Xn = op(1), Y n = op(1) =⇒ Xn + Y n = op(1)

iv) Xn = Op(1), Y n = Op(1) =⇒ XnYTn = Op(1)

Xn = op(1), Y n = Op(1) =⇒ XnYTn = op(1)

Prop. 2.31 (Delta theorem)√n(Xn − μ) d−→ Np(0,Σ).

g(x) =

⎡⎢⎣g1(x)...gq(x)

⎤⎥⎦ : Rp −→ Rq は連続で，x = μ において全微分可能．

このとき，

√n(g(Xn)− g(μ)) d−→ Nq

Ã0,

µ∂g(μ)

∂xT

¶Σ

µ∂g(μ)

∂xT

¶T!

ここで，

µ∂g(μ)

∂xT

¶ij

=∂gi(x)

∂xj

¯x=μ

Example．分割表適合度検定のカイ２乗性（コクラン定理の応用）

本節の参考文献

• Billingsley, P. (1995). Probability and Measure (3rd edition). (Wi-ley Series in Probability and Statistics).

• Chung, Kai Lai (2001). A Course in Probability Theory (3rd ed.)Academic Press.

• Lehmann, E. L. (1998). Elements of Large-Sample Theory (SpringerTexts in Statistics).

• Rao, C. R. (1976). Linear Statistical Inference and its Applications(2nd edition) Wiley.

• 稲垣宣生 (2003). 数理統計学（改訂版）裳華房．

• 園信太郎 (2007). 統計学入門における分布の収束のある取り扱い

について．経済学研究，57(1), 47-49.

• 西尾真喜子 (1978). 確率論．実教出版

• 吉田朋広 (2006). 数理統計学．朝倉書店．

16

Appendix A

Prop 2.23の証明

X1|X2 = x2 ∼ Np1¡μ1 + Σ12Σ

−122 (x2 − μ2),Σ11.2

¢次の関係式に注意する．∙Σ11 Σ12Σ21 Σ22

¸−1=

∙0 0

0 Σ−122

¸+

∙ −IΣ−122 Σ21

¸Σ−111.2

£−I, Σ12Σ−122

¤[Prop.1.9 i)]

|Σ| = |Σ22||Σ11.2| [Prop.1.9 iii)]

上式を用いると

Np(x|μ,Σ)

=1

(2π)p/2|Σ|1/2 exp½−12(x− μ)TΣ−1(x− μ)

¾=

1

(2π)p/2(|Σ22||Σ11.2|)1/2exp

(−12

∙x1 − μ1x2 − μ2

¸T ∙Σ11 Σ12Σ21 Σ22

¸−1 ∙x1 − μ1x2 − μ2

¸)

=1

(2π1)p/2|Σ22|1/2exp

½−12(x2 − μ2)TΣ−122 (x2 − μ2)

¾× 1

(2π2)p/2|Σ11.2|1/2

× exp(−12

∙x1 − μ1x2 − μ2

¸T ∙I

−Σ−122 Σ21

¸Σ−111.2

£I, −Σ12Σ−122

¤ ∙x1 − μ1x2 − μ2

¸)

=1

(2π1)p/2|Σ22|1/2exp

½−12(x2 − μ2)TΣ−122 (x2 − μ2)

¾× 1

(2π2)p/2|Σ11.2|1/2exp

"− 12

n(x1 − μ1)T − (x2 − μ2)TΣ−122 Σ21

o× Σ−111.2

n(x1 − μ1)− Σ12Σ−122 (x2 − μ2)

o#

=1

(2π1)p/2|Σ22|1/2exp

½−12(x2 − μ2)TΣ−122 (x2 − μ2)

¾× 1

(2π2)p/2|Σ11.2|1/2exp

"− 12

n(x1 − μ1)− Σ12Σ−122 (x2 − μ2)

oT× Σ−111.2

n(x1 − μ1)− Σ12Σ−122 (x2 − μ2)

o#=Np1(x2|μ2,Σ22)×Np2(x1|μ1 + Σ12Σ−122 (x2 − μ2),Σ11.2)

を得る．すなわち，

Np(x|μ,Σ)Np1(x2|μ2,Σ22)

= Np2(x1|μ1 + Σ12Σ−122 (x2 − μ2),Σ11.2)

が成立する．

17

Prop 2.29 iii)’の証明 (1次元)

Xnd−→ X, Yn

P−→ 0 =⇒ Xn + Ynd−→ X

CX をX の分布関数 P (X ≤ t)の連続点の集合とする．CX は R上稠密

(dense)である．

t ∈ CX とすると，∀²1 > 0, ∃δ1 > 0 st.|P (X ≤ t± δ1)− P (X ≤ t) | < ²1 (1)

以下の議論のため，δ1は t± δ1 ∈ CX となるように取っておく．

YP−→ 0より，∀²2 > 0, ∀δ2 (= δ1) > 0,

∃n1 ∈ N st.P (|Yn| > δ1) < ²2 for ∀n ≥ n1 (2)

Xnd−→ Xより，t± δ1 ∈ CX であるから，∀²3 > 0, ∃n2 ∈ N st.

|P (Xn ≤ t± δ1)− P (X ≤ t± δ1)| < ²3 for ∀n ≥ n2 (3)

以上より，t, t+ δ1 ∈ CX に注意して，次式の成立が確認される．

P (Xn + Yn ≤ t) =P (Xn + Yn ≤ t, |Yn| ≤ δ1) + P (Xn + Yn ≤ t, |Yn| > δ1)

≤P (Xn ≤ t+ δ1) + P (|Yn| > δ1) (4)

<P (X ≤ t+ δ1) + ²3 + ²2 (by (3) and (2))

<P (X ≤ t) + ²1 + ²3 + ²2 (by (1))

∴P (Xn + Yn ≤ t)− P (X ≤ t) < ² for n ≥ maxn1, n2 (5)

ここで，² = ²1 + ²3 + ²2．

(4)と同様にして

P (Xn + Yn ≤ t) ≥ P (Xn ≤ t− δ)− P (|Yn| > δ) (6)

であり，また

P (Xn + Yn ≤ t)− P (X ≤ t) > −² for n ≥ maxn1, n2 (7)

を得る．(5)と (7)から目的の結果が証明される． Q.E.D.

HW (6)と (7)に証明をつけよ．

18

Delta theorem (univariate case of Prop 2.31)の証明√n(Xn−μ) d−→ N(0, σ2). g(x)をR上で定義された可測関数でx = μ

において微分可能とする．このとき次式が成立する．√n³g(Xn)− g(μ)

´d−→ N

³0,σ2g0(μ)2

´(n→∞)

r(x)を次式で定義する．

g(x)− g(μ) = g0(μ)(x− μ) + r(x)

容易に√n³g(Xn)− g(μ)

´= g0(μ)

√n(Xn − μ) +

√nr(Xn)

√nr(Xn) = op(1)が示されれば，確率収束の保存と Slutsky定理を用い

て目的の結果が証明される．

可微分性より

limx→μ

r(x)

x− μ= 0

H(x)を次式で定義する．

H(x) =

⎧⎨⎩r(x)

x− μ(x 6= μ)

0 (x = μ)

H(x)→ 0 (as x→ μ) より，H(x)は x = μで連続．√n(Xn − μ) = Op(1)だから，Xn

P−→ μ．確率収束の保存より

H(Xn)P−→ H(μ) = 0 (n→∞)

また，次式は Xn = μを含めて常に成立する√nr(Xn) =

√n(Xn − μ)H(Xn)

= Op(1)× op(1)= op(1)

19

相関係数の漸近分布の導出√n(r − ρ)

d−→ N³0, (1− ρ2)2

´(n→∞)

正規母集団からの標本：X1, . . . ,Xni.i.d.∼ Np(μ,Σ) with Σ = (σij)

標本共分散行列：S = (sij) =1

n

nXα=1

(Xα − Xn)(Xα − Xn)T

母相関係数：ρij =σij√σiiσjj

，標本相関係数：rij =sij√siisjj

中心極限定理：√n

"1

n

nXα=1

v((Xα − μ)(Xα − μ)T ))− v(Σ)#

d−→ Np∗(0,ΓN )

with ΓN = 2D+p (Σ⊗ Σ)D+T

p = Var£v((Xα − μ)(Xα − μ)T ))

¤(ΓN)ij,kl = σikσjl + σilσjk

Sの漸近分布：

S =1

n

nXα=1

(Xα − Xn)(Xα − Xn)T

=1

n

nXα=1

(Xα − μ)(Xα − μ)T + (Xn − μ)(Xn − μ)T

√n(v(S)− v(Σ)) =√n

"1

n

nXα=1

v((Xα − μ)(Xα − μ)T )− v(Σ)#

+ v£√n(Xn − μ)(Xn − μ)T

¤d−→Np∗(0,ΓN )

by Slutsky’s Theorem

Delta theorem:

g(S): q-vector valued function of S continuously differentiable around

S = Σ. G :=∂h(S)

∂v(S)T

¯S=Σ

√n(g(S)− g(Σ)) d−→ Nq(0, GΓNG

T )

p = 2とする．r21 = r, ρ21 = ρと書く．一般性を失うことなく σ11 =

σ22 = 1とする．g(S) = s21√s11s22

である．

20

このとき，

ΓN =Var

⎡⎢⎣ (X1 − μ1)2

(X2 − μ2)(X1 − μ1)

(X2 − μ2)2

⎤⎥⎦ =⎡⎢⎣ 2σ211 2σ21σ11 2σ2212σ21σ11 σ11σ22 + σ221 2σ22σ212σ221 2σ22σ21 2σ222

⎤⎥⎦

=

⎡⎢⎣ 2 2σ21 2σ2212σ21 1 + σ221 2σ212σ221 2σ21 2σ222

⎤⎥⎦ =⎡⎢⎣ 2 2ρ 2ρ2

2ρ 1 + ρ2 2ρ

2ρ2 2ρ 2

⎤⎥⎦一階微分G:

∂r

∂s11

¯S=Σ

= − 1

2s11× s21√

s11s22

¯S=Σ

=−ρ2

∂r

∂s21

¯S=Σ

=1√s11s22

¯S=Σ

= 1

∂r

∂s22

¯S=Σ

= − 1

2s22× s21√

s11s22

¯S=Σ

=−ρ2

∴ G =h−ρ2, 1, −ρ

2

i漸近分散

GΓNGT =

h−ρ2, 1, −ρ

2

i⎡⎢⎣ 2 2ρ 2ρ2

2ρ 1 + ρ2 2ρ

2ρ2 2ρ 2

⎤⎥⎦⎡⎢⎣−ρ2

1−ρ2

⎤⎥⎦ = (1− ρ2)2

以上より以下を得る．

標本相関係数 rの漸近分布:√n(r − ρ)

d−→ N³0, (1− ρ2)2

´(n→∞)

Fisherの z-変換:

g(x) =1

2log

1 + x

1− x として，Delta theoremを適用すると

√n³g(r)− g(ρ)

´d−→ N(0, 1) (n→∞)

なぜなら

g0(ρ)2(1− ρ2)2 =

∙1

2

µ1

1 + ρ+

1

1− ρ

¶¸2(1− ρ2)2 = 1

21

Appendix B: 測度論の補遺と条件付き確率・期待値

(Ω,A,μ)を測度空間 (measure space)とする．ここでΩは台集合 (抽象集合)，AはΩ上の σ-集合体 (σ-field or σ-algebra)，μは可測空間 (Ω,A)上の測度 (mea-

sure)である．Ωに距離 ρが定義されているとき，ρに基づく開集合を含む最小

の σ-集合体を特に Borel集合体といい Bと書く．(Ω,B)を Borel可測空間とい

う．特に，Rn の Borel可測空間を (Rn,Bn)と書く．

μ(Ω) < ∞ のとき μ を有限測度という．適当な An(∈ A)が存在して Ω =

∪∞n=1An, μ(An) < ∞とできるとき，μを σ-有限測度という．特に，μ(Ω) = 1

のとき μを確率測度 (probability measure)といい，このとき，(Ω,A,μ)を確率

空間 (probability space)という．

Def. 3.1 (可測と誘導測度) (i) (Ω,A)と (Ω0,A0)を可測空間とする．ΩからΩ0

への写像 f : (Ω,A)→ (Ω0,A0) がA0 ∈ A0 =⇒ f−1(A0) ∈ A

を満たすとき，f はA/A0-可測 (measurable)であるという1．また，(Ω0,A0)が(Rp,Bp)であるとき，f をA-可測関数 (measurable function)という．特に，確

率論では，可測関数を確率変数 (random variable)，もしくは，確率ベクトル

(random vector)と呼ぶ． (ii) μを (Ω,A)上の測度とするとき，(Ω0,A0)上の

測度を μf−1(A0)によって定義することができる．これを f によって (Ω0,A0)に誘導された測度 (induced measure)といい2，μf で表す． ¤

Def. 3.2 (積分と可積) (Ω,A,μ)を測度空間とする．f をΩ上で定義された非

負のA-可測関数，fnを fの単関数 (simple function)近似とし fn % f (n→∞)とする．このとき，f の積分は

Zf(ω)μ(dω) := lim

n→∞

Zfn(ω)μ(dω)によって定

義される．この値が有限のとき，f は μ-可積 (μ-integrable)，または単に可積分

といわれる．fn として最もよく用いられるのは

fn(ω) =

n2nXi=1

an,i1An,i(ω) with

(an,i =

i−12n

An,i =©ω ∈ Ω ¯ i−12n ≤ f(ω) < i

22

ªである．

f が非負でないときは f(ω) = f+(ω)− f−(ω)とする．ここで，

f+(ω) =

(f(ω) if f(ω) > 0

0 if f(ω) ≤ 0 , f−(ω) =

(−f(ω) if f(ω) < 0

0 if f(ω) ≥ 0である．f+ ≥ 0と f− ≥ 0の両者が μ-可積であるとき，f が μ-可積であると定

義する．これは，非負関数 |f |が μ-可積であることと同値である． ¤

Prop. 3.1 (変数変換) Def. 3.1 の記号を引き継ぐ．可測写像 f : (Ω,A) →(Ω0,A0)と g : (Ω0,A0) → (R1,B1)について，g(f(ω))は μ-可積であるとする．

1単に，A-可測，可測ということもある．2像測度 (image measure)ともいう．f の (確率)分布 (probability distribution)とい

うこともある．

22

このとき ZΩg(f(ω))μ(dω) =

ZΩ0g(ω0)μf (dω0) (3.1)

が成立する3．たとえば，(Ω0,A0) = (R2,B2)，f(ω) = [f1(ω), f2(ω)]のときZΩg(f1(ω), f2(ω))μ(dω) =

ZR2g(x, y)μf (dxdy) (3.2)

である． ¤

Prop. 3.2 (Radon-Nikodym Theorem) μ, ν を (Ω,A)上の σ-有限測度と

し

ν ¿ μ³i.e., μ(A) = 0, A∈ A =⇒ ν(A) = 0

´とする (絶対連続, absolutely continuous)4．このとき，Ω上で定義されたA-可測で μ-可積なる実数値関数 f が存在して

ν(A) =

ZA

f(ω)μ(dω) (∀A ∈ A)が成立する．f は μについてほとんど至る所 (almost everywhere; μ-a.e. ω) 一

意である5． ¤

上記の f を Radon-Nikodym 微分といい，f =dν

dμと書くことがある．Ω上

で定義されたA-可測関数 hが ν-可積であるとき，Zh(ω)ν(dω) =

Zh(ω)f(ω)μ(dω) (3.3)

が成立する6．

Def. 3.3 (事象の条件付き確率) (Ω,A, P )を確率空間，G (⊂ A)をAの部分 σ-

集合体とする．A (∈ A)を与えて

Q(G) := P (A ∩G) (∀G ∈ G)は (Ω,G)上の確率測度であり，Q¿ P on Gは自明である．Prop. 3.2より，Ω

上で定義された G-可測・P -可積関数 fA が存在し，

Q(G) = P (A ∩G) =ZG

fA(ω)P (dω) (∀G ∈ G) (3.4)

が成立する．fAを Gを与えた下での事象Aの条件付き確率 (conditional proba-

bility)といい，P (A|G)または P (A|G)(ω)によって表す．(3.4)においてG = Ω

とすれば，P (A) = E[P (A|G)]であることが容易にわかる． ¤

例 3.1 Def. 3.3において G = φ,Ω, G,Gc (G 6= φ,Ω)とする．P (G) > 0,

P (Gc) > 0とする．fA(ω)は G-可測であるからGとGc の上でそれぞれ一定値

3証明は単関数近似による．4ν はより一般に符号付き σ-有限測度 (加法的集合関数)としてもよい．5A-可測関数 fiが

RAf1(ω)μ(dω) =

RAf2(ω)μ(dω) (∀A ∈ A)を満たすとき，A12 =

ω ∈ Ω|f1(ω) 6= f2(ω)とおくと μA12 = 0が成立する．6証明は単関数近似による．

23

をとる．すなわち

fA(ω) =

(a, on G

b, on Gc

である．したがって，

P (A ∩G) =ZG

fA(ω)P (dω) = aP (G),

P (A ∩Gc) =ZGcfA(ω)P (dω) = bP (G

c)

それゆえ

fA(ω) =

⎧⎪⎪⎪⎨⎪⎪⎪⎩P (A ∩G)P (G)

, on G

P (A ∩Gc)P (Gc)

, on Gc

となる．

演習 1. 例 1を有限集合へ拡張する．→ HW

演習 2. 例 1を可算集合へ拡張する．→ HW

Def. 3.4 (E(Y |G)の定義) (Ω,A, P )を確率空間，Y = Y (ω)を Ω上の A-可測関数で P -可積，G (⊂ A)をAの部分 σ-集合体とする．

Q(G) :=

ZG

Y (ω)P (dω) (∀G ∈ G)は (Ω,G)上の (符号付き)σ-有限測度であり，Q¿ P on Gは自明である．Prop. 3.2

より

Q(G) =

ZG

Y (ω)P (dω) =

ZG

fY (ω)P (dω) (∀G ∈ G) (3.5)

を満たす，Ω上のG-可測・P -可積関数 fY が存在する．fY をGを与えた下でのY

の条件付き期待値 (conditional expectation)といい，E(Y |G)またはE(Y |G)(ω)によって表す．(3.5)においてG = Ωとすれば E(Y ) = E[E(Y |G)]を得る．す

なわち，(3.5)の条件はE(Y ) = E[E(Y |G)]を強めたものである． ¤

例 3.2 Def. 3.4において，特に，A ∈ Aに対して

Y (ω) =

(1, if ω ∈ A0, if ω ∈ Ac (3.6)

を定義すると Y (ω)は Ω上で定義されたA-可測かつ P -可積関数である．この

Y (ω)の Gを与えた下での条件付き期待値 fY (ω)は

Q(G) =

ZG

Y (ω)P (dω) = P (A ∩G) =ZG

fY (ω)P (dω) (∀G ∈ G)によって定義され，Def. 3.3から fY (ω)は条件付き確率 P (A|G)(ω)と一致する

(P -a.e. ω)． ¤

例 3.3 Def. 3.4において，ある G (∈ G)の上で fY (ω)が一定値をとり，かつ，

24

P (G) > 0とする．このとき

fY (ω) =

RGY (ω)P (dω)

P (G)(ω ∈ G)

Def. 3.5 (E(Y |X = x)の定義) Def. 3.4の記号を引き継ぐ．X = X(ω)を

Ω 上で定義された A-可測関数とする．(R1,B1) 上の (符号付き) 測度として，RX−1(B) Y (ω)P (dω)は

RX−1(B) P (dω) =

RBPX(dx)に対して絶対連続である．

したがって，Prop. 3.2から，R1 上で定義された B-可測関数 gY(x)が存在してZ

X−1(B)Y (ω)P (dω) =

ZB

gY(x)PX(dx) (∀B ∈ B1) (3.7)

が成立する．gY(x)を可測関数X = xが与えられた下での Y の条件付き期待値

といい，E(Y |X = x)によって表す．gY(X) = E(Y |X = x)

¯x=X

をE(Y |X)と書くことがある．(3.7)において B = R1 とれば E(Y ) = EX [E(Y |X)]を得る．

すなわち，(3.7)の条件はE(Y ) = EX [E(Y |X)]を強めたものである． ¤

例 3.4 Def. 3.5において，あるB (∈ B1)の上で gY(x)が一定値をとり，かつ，

PX(B) > 0とする．このとき

gY(x) =

RX−1(B) Y (ω)P (dω)

PX(B)=

RΩ 1B(X(ω))Y (ω)P (dω)

PX(B)(x ∈ B)

Prop. 3.3 Def. 3.4とDef. 3.5の記号を引き継ぐ．σ(X)をX(ω)によって誘導

された Ω上の σ-加法族とする7．このとき

E(Y |σ(X))(ω) = fY (ω) = gY (X(ω)) = E(Y |X = x)¯x=X(ω)

P -a.e. ω

が成立する． ¤

Prop. 3.3は，σ-加法族 σ(X)を与えた下での Y の条件付き期待値は Ω上の

σ(X)-可測関数で，R1上の B1-可測関数である g(x) = E(Y |X = x)にX(ω)を

代入したもの (σ(X)-可測関数)とほとんど至る所等しいことを示す．

Proof of Prop. 3.3. G ∈ σ(X)に対してG = X−1(B)なるB ∈ B1 が存在す

る．Def. 3.4より，条件付き期待値 fY (ω) = E(Y |σ(X))(ω)はZX−1(B)

Y (ω)P (dω) =

ZX−1(B)

fY (ω)P (dω) (X−1(B) ∈ σ(X)) (3.8)

を満たす．また，Def. 3.5より，条件付き期待値 gY(x) = E(Y |X = x)はZ

X−1(B)Y (ω)P (dω) =

ZB

gY(x)PX(dx) (B ∈ B1) (3.9)

を満たす．よって (3.8)と (3.9)の右辺どうしは等しく，変数変換の公式 (3.1)に

7σ(X) = X−1(B)|B ∈ B1 ⊂ Aである．

25

より，(3.9)の右辺はZB

gY(x)PX(dx) =

ZR11B(x)gY (x)P

X(dx)

=

ZΩ1B(X(ω))g(X(ω))P (dω) =

ZX−1(B)

gY(X(ω))P (dω) (3.10)

となる．以上からZX−1(B)

fY (ω)P (dω) =

ZX−1(B)

gY(X(ω))P (dω) (∀B ∈ B1)

が成立する．上式の被積分関数は σ(X)-可測であるから fY (ω) = gY(X(ω))

P -a.e. ω を得る．証明終

例 3.5 (Ω,A, P )を確率空間，Y = Y (ω)をΩ上のA-可測関数でP -可積，X =

X(ω)をΩ上で定義されたA-可測関数とする．P (X,Y )とPX をそれぞれ (X,Y )

とXによって (R2,B2)と (R1,B1)へ誘導された確率測度とし，これらはLebesque

測度に関して絶対連続であるとする．すなわち，dP (X,Y )

dxdy= p

X,Y(x, y)，dPX

dx=

pX(x)が存在する．次式を定義する．

gY(x) :=

⎧⎨⎩ZR1ypX,Y(x, y)

pX(x)

dy, if pX(x) > 0

0, if pX(x) = 0

(3.11)

この gY(x)は初等確率論で登場する条件付き期待値であり，ここでは g

Y(x)が

Def. 3.5の条件 (3.7)を満たすことを示す．

(3.11)から容易にZB

½ZR1yp

X,Y(x, y)dy

¾dx =

ZB

gY(x)p

X(x)dx (∀B ∈ B1) (3.12)

が導かれる．上式においてB = R1 とすると，よく知られた公式

E(Y ) = E(gY(X))

³= EX [E(Y |X)]

´を得る8．(3.12)を満たす g

Y(x)が条件 (3.7)を満たすことを示そう．(3.7)と

(3.12)の右辺どうしが等しいことは (3.3)より明らかである．また，ZB

ZR1yp

X,Y(x, y)dxdy =

ZR1

ZR11B(x)ypX,Y (x, y)dxdy

=

ZR21B(x)yP

(X,Y )(dxdy) (by (3.3))

=

ZΩ1B(X(ω))Y (ω)P (dω) (by (3.2))

=

ZX−1(B)

Y (ω)P (dω)

である．したがって，(3.11)で定義された gY(x)は (3.7)を満たし，E(Y |X = x)

と等価であることが示された． ¤

Prop. 3.4 (条件付き期待値の性質) (Ω,A, P )を確率空間，Y (ω), Yi(ω) (i =

8条件 (3.12)はこの公式の一般形（より強い条件）と言える．

26

く．このとき

0 ≤ZG−Y (ω)P (dω) =

ZG−E(Y |G)(ω)P (dω) =

ZG−−f−Y (ω)P (dω) ≤ 0

を得，それゆえ ZG−f−Y (ω)P (dω) = 0

となる．f−Y (ω) ≥ 0に注意すれば f−Y (ω) = 0 on G−，それゆえ，f−Y (ω) = 0 on G

が得られる．

(v) Y = Y +−Y −, Z = Z+−Z−とすると, (iv)より E(Y +|G) ≥ 0, E(Y −|G) ≥0である．(iv)での線形性から各々非負の４つの項の相等性を示せばよい．すな

わち，Y ≥ 0, Z ≥ 0, E(Y |G) ≥ 0としてよい．

Z(ω)の単関数近似をPni=1 gn,i1Gn,i(ω) % Z(ω)とする．ここで gn,i ∈ R1,

Gn,i ∈ Gである．単調収束定理よりZG

Z(ω)E(Y |G)(ω)P (dω) = limn→∞

nXi=1

gn,i

ZG

1Gn,i(ω)E(Y |G)(ω)P (dω)

= limn→∞

nXi=1

gn,i

ZG∩Gn,i

E(Y |G)(ω)P (dω)

= limn→∞

nXi=1

gn,i

ZG∩Gn,i

Y (ω)P (dω)¡E(Y |G)(ω)の定義

¢= limn→∞

nXi=1

gn,i

ZG

1Gn,iY (ω)P (dω)

=

ZG

Z(ω)Y (ω)P (dω) (∀G ∈ G)Z(ω)E(Y |G)(ω)は G-可測であるから，Radon-Nikodym微分の一意性より

E(ZY |G)(ω) = Z(ω)E(Y |G)(ω) (P -a.e. ω)

を得る．証明終

参考文献

• Billingsley, P. (1995). Probability and Measure (3rd edition). (WileySeries in Probability and Statistics).

• Chung, Kai Lai (2001). A Course in Probability Theory (3rd ed.) Aca-demic Press.

• 西尾真喜子 (1978). 確率論．実教出版

• 吉田朋広 (2006). 数理統計学．朝倉書店．

28

多変量解析中間試験 2009

講義担当者：狩野裕

1 Aを p次の正方行列で A2 = Aを満たすとする．このとき，Aは正則行

列によって対角化できることを示せ．(Aは対称行列とは限らない)

2 A, B は p 次の実対称行列で A > B > 0 をみたすとする．このとき，

B−1 > A−1 > 0が成立することは講義で証明したとおりである．この結

果についてWoodbury’s identity(Prop.1.10)を用いた別証明を与えよ．

3 Dp, D+p を Duplication Matrix, Kpq を Commutation Matrix, Np =

12(Ip2 + Kpp)とする．講義では DpD

+p = Np が成立することをやや抽

象的な方法で証明した (Prop.1.16)．以下に従って，別証明を与えよ．た

だし，Aを任意の p次正方行列とする．

(a) D+p Np = D+p の証明を復習せよ．

(b) DpD+p vec(A) = Npvec(A)を示せ．

4 Yij (i = 1, · · · , p; j = 1, · · · , n)を独立同一にN(0, 1)に従う確率変数と

する．Y.. =1pn

Ppi=1

Pnj=1 Yij , Yi. =

1n

Pnj=1 Yij とおく．

(a) 次の等式を示せ．pXi=1

nXj=1

Y 2ij =

pXi=1

nXj=1

(Yij − Yi.)2 +pXi=1

nXj=1

(Yi. − Y..)2 +pXi=1

nXj=1

Y 2..

(b) 上式右辺の３つの平方和が独立にカイ２乗分布に従うことを証明せ

よ (Prop.2.25を使う)．

5 確率変数の列 Xnがある確率変数X に分布収束するとき，Xn は確率

有界であることを ²− δ論法をもちいて正確に証明せよ．

6 Delta Theoremの多変数版 (Prop.2.30) に証明をつけよ．ただし，全微

分可能性の仮定がどのように使われているかに焦点を当てよ．

以上

多変量解析中間試験 2010


数理関係の受講生は 1 と 2 を必答とする．

本試験においては行列・ベクトルの要素はすべて実数であるとする．

1 次の命題について以下の問いに答えよ．

A, B を p× qの行列とする．

AAT = BBT =⇒ ∃R ∈ O(q) st. A = BR

(a) 上記命題の幾何的な解釈を述べよ．

(b) rank(A) = qのとき，上記命題を証明せよ．

(c) rank(A) < qのとき，以下の手順に従って上記命題を証明せよ．

i. 特異値分解 A = PAρAQTA, B = PBρBQ

TB において，

PA = PB, ρA = ρB とできることを示す．

ii. QTA = QTBRとなる q次直交行列Rが存在することを示す．

2 2次元確率ベクトルの列©[Xn, Yn]

Tªが次式を満たすとする．

an

µ∙XnYn

¸−∙μxμy

¸¶L−→ N2

µ∙0

0

¸,

∙1 0

0 1

¸¶(n→∞)

ただし，Xn (n = 1, 2, . . . )は連続型分布で，anは無限大に発散する正

数列である．

(a) 二つの確率変数X, Y が互いに独立にN(0, 1)に従うとき，Z = Y/X

の確率密度関数を導け．

(b) μx 6= 0のとき Yn/Xn の漸近分布を導出せよ．

(c) μx = 0, μy 6= 0のとき Yn/Xn の漸近分布を導出せよ．

(d) μx = 0, μy = 0のとき Yn/Xn の漸近分布を導出せよ．

注：ここでは，確率変数の列 Wnに対して，適当な実数列 bnと定数

c が存在し，bn(Wn − c)がある非退化な分布 F に分布収束するとき，F

をWn の漸近分布ということにする．

3 Xn, Ynを確率変数の列，Xを確率変数，aを実数とする．次の命題を

²− δ論法をもちいて正確に証明せよ．（Prop.2.29 iii)’の証明の様にする）

Xnd−→ X, Yn

P−→ a =⇒ XnYnd−→ aX

4 階数が qである p×q行列Aを A = [A1, A2]と分割する．ただし，A1, A2のサイズはそれぞれ p× q1, p× q2 である．(q = q1 + q2)

p次の対称行列Bi を次式で定める．

B1 = A1(AT1A1)

−1AT1 ,

B2 = A(ATA)−1AT −A1(AT1A1)−1AT1 ,

B3 = Ip −A(ATA)−1ATX を p次元の標準正規分布に従う確率ベクトルとし，

Qi =XTBiX (i = 1, 2, 3)

と定める．このとき，Q1, Q2, Q3は互いに独立にカイ 2乗分布に従うこ

とを証明せよ．また，Qi の自由度を求めよ．

5 T を二項分布B(n, p)に従う確率変数としXn = T/nとおく．

(a) E(Xn)とVar(Xn)を求めよ（答えだけでよい）．

(b)√n(Xn−p)は n→∞のときどのような分布に分布収束するか．理

由もあわせて述べよ．

(c) 関数 g(x)は [0, 1]上で定義され x = pで微分可能とする．g(Xn)の

漸近分布を求め，漸近分布の分散が pに依存しない変換 g(x)を求め

よ．（漸近分布については 2 の注を参照のこと）

6 以下の囲み記事は非常に有名でモンティ・ホールの問題と呼ばれている．

この問題がある中学校の数学教科書に（発展）問題として掲載されてい

たとする．家庭教師をしているあなたが生徒からこの問題を質問された

ならば，あなたはどのように説明するか．

あなたはテレビのクイズ番組に参加している．番組の中で３つのド

アがあり，そのうち 1つのドアの後ろには新車が，２つのドアの後ろ

にはヤギがいる．あなたからは，ドアの向こうが何かわからないが，

新車の隠れているドアを開けると新車がもらえる．

　あなたが 1つのドアを選んだ後，ドアの後ろに何があるかを知って

いる司会者 (モンティ・ホール)が残りの 2つのドアのうちヤギがい

る方のドアを開けた．そして，今あなたは自分が選んだドアと，残っ

ている開けられていないドアを交換してもよいと言われる．あなたは

交換すべきか．

以上

多変量解析中間レポート 2011


6/13(月)の講義時に紙ベースのレポートを提出

数理以外の受講生

1. 中間試験 2010 4

2. 中間試験 2010 6

数理の受講生

1. 中間試験 2010 3

2. 中間試験 2010 5

3. Prop 2.31(多変量版Delta Theorem)を証明せよ．

6/13の講義資料

http://www.sigmath.es.osaka-u.ac.jp/~kano/lecture/MA/2RA intro.pdf

6/13の参考資料

http://www.sigmath.es.osaka-u.ac.jp/~kano/lecture/MA/regression.pdf

1. 確率変数の列 Wn に対して，適当な実数列 bn と定数 c が存在し，

bn(Wn − c)がある非退化な分布 F に分布収束するとき，F をWnの漸近

分布という．

2. 確率変数の列 Wn に対して，適当な実数列 bn と定数 c が存在し，

bn(Wn− c)がある非退化な分布 F に分布収束するとき，F を bn(Wn− c)の漸近分布という．

3.√n(θ − θ) d−→ N(0,σ2)のとき，θの漸近分布はN(0,σ2)である．

4.√n(θ − θ) d−→ N(0,σ2)のとき，θの漸近分布はN(θ,σ2/n)である．

5.√n(θ−θ) d−→ N(0,σ2)のとき，

√n(θ−θ)の漸近分布はN(0,σ2)である．

1. 母相関係数を ρとする．正規性の仮定の下，Pearsonの標本相関係数 rに

ついて次式が成立することが分かっている．ただし，nは標本の大きさで

ある．√n(r − ρ) d−→ N(0, (1− ρ2)2) (n→∞)

g(x)を x = ρで微分可能な関数としたとき g(r)の漸近分布を求め，漸近

分布の分散が ρに依存しない変換 g(x)を求めよ．

2. T を二項分布B(n, p)に従う確率変数としXn = T/nとおく．

(a) E(Xn)とVar(Xn)を求めよ（答えだけでよい）．

(b)√n(Xn−p)は n→∞のときどのような分布に分布収束するか．理

由もあわせて述べよ．

(c) g(x)を x = pで微分可能な関数としたとき g(Xn)の漸近分布を求

め，漸近分布の分散が pに依存しない変換 g(x)を求めよ．

1.1 線形代数の基礎 - Osaka...

Documents

Transcript of 1.1 線形代数の基礎 - Osaka...