Wahrscheinlichkeitstheorie II 001

Wahrscheinlichkeitstheorie II Prof. Dr. H.R. Lerche

Abteilung für Mathematische Stochastik Universität Freiburg

Februar 2006

Inhaltsverzeichnis 1 Das Gesetz der groÿen Zahlen

1

1.1

Schwache und starke Versionen . . . . . . . . . . . . . . . . . . . . . . . . . . .

1

1.2

Die Waldsche Identität . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

5

1.3

Eine Anwendung der Waldschen Identität . . . . . . . . . . . . . . . . . . . . .

9

2 Bedingte Erwartungen und Wahrscheinlichkeiten (Teil I) 2.1

Einführung . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 11 2.1.1

2.2

11

Ein Beispiel für bedingte Wahrscheinlichkeiten bei Maÿ 0 . . . . . . . . 12

Bedingte Wahrscheinlichkeiten und Erwartungen . . . . . . . . . . . . . . . . . 13

3 Maÿtheoretische Überlegungen

17

3.1

Der Satz von Radon-Nikodym . . . . . . . . . . . . . . . . . . . . . . . . . . . . 17

3.2

Existenz und Eindeutigkeit der bedingten Erwartung . . . . . . . . . . . . . . . 20

3.3

Die Lebesgue-Zerlegung . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 21

3.4

Der Zusammenhang zwischen Integralen und Maÿen . . . . . . . . . . . . . . . 23 3.4.1

Der Rieszsche Darstellungssatz . . . . . . . . . . . . . . . . . . . . . . . 23

3.4.2

Der Darstellungssatz von Daniell-Stone . . . . . . . . . . . . . . . . . . . 23

4 Bedingte Erwartungen (Teil II)

25

4.1

Eigenschaften bedingter Erwartungen . . . . . . . . . . . . . . . . . . . . . . . . 25

4.2

Buons Nadelproblem . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 28

4.3

Reguläre bedingte Verteilungen . . . . . . . . . . . . . . . . . . . . . . . . . . . 29

5 Martingale

33

5.1

Denitionen und Eigenschaften . . . . . . . . . . . . . . . . . . . . . . . . . . . 33

5.2

Beispiele für Martingale . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 34 5.2.1

Summen unabhängiger Zufallsvariablen

5.2.2

Produkte unabhängiger Zufallsvariablen . . . . . . . . . . . . . . . . . . 34

5.2.3

Von integrierbaren Zufallsvariablen erzeugte Martingale . . . . . . . . . 35

5.2.4

Stochastische Exponentiale . . . . . . . . . . . . . . . . . . . . . . . . . 35

5.2.5

Dichteprozesse . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 35 i

. . . . . . . . . . . . . . . . . . 34

ii

INHALTSVERZEICHNIS 5.2.6

Ein rückläuges Martingal . . . . . . . . . . . . . . . . . . . . . . . . . . 35

5.3

Weitere Eigenschaften . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 36

5.4

Martingale als faire Spiele . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 37 5.4.1

Interpretation und Beispiele für Spielsysteme . . . . . . . . . . . . . . . 37

5.5

Nichtexistenz günstiger Spielsysteme . . . . . . . . . . . . . . . . . . . . . . . . 38

5.6

Das Optional Sampling Theorem . . . . . . . . . . . . . . . . . . . . . . . . . . 40

5.7

Einige Anwendungen des Optional Sampling Theorems . . . . . . . . . . . . . . 43

6 Martingalkonvergenzsätze

49

6.1

Die Upcrossing Ungleichung . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 49

6.2

Konvergenzsätze . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 50

6.3

Gleichgradige Integrierbarkeit . . . . . . . . . . . . . . . . . . . . . . . . . . . . 53

6.4

Weitere Beispiele zu den Martingalkonvergenzsätzen . . . . . . . . . . . . . . . 59

6.5

6.4.1

Der Satz von Radon-Nikodym . . . . . . . . . . . . . . . . . . . . . . . 59

6.4.2

Ein Beispiel aus der Analysis . . . . . . . . . . . . . . . . . . . . . . . . 60

Die Doobsche Ungleichung . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 62

7 Grundlagen der mathematischen Statistik

65

7.1

Kakutanis Alternative . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 65

7.2

Fast sichere Konsistenz von Bayes-Schätzern . . . . . . . . . . . . . . . . . . . . 69

8 Charakteristische Funktionen und schwache Konvergenz

73

8.1

Denitionen und Eigenschaften . . . . . . . . . . . . . . . . . . . . . . . . . . . 73

8.2

Beispiele . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 75 8.2.1

Die charakteristische Funktion der Normalverteilung . . . . . . . . . . . 75

8.2.2

Die charakteristische Funktion der Binomialverteilung . . . . . . . . . . 76

8.2.3

Ein Grenzwertproblem . . . . . . . . . . . . . . . . . . . . . . . . . . . . 76

8.2.4

Die charakteristische Funktion der Poissonverteilung . . . . . . . . . . . 77

8.3

Der Eindeutigkeitssatz für charakteristische Funktionen . . . . . . . . . . . . . 77

8.4

Die Umkehrformel . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 79

8.5

Die Taylorentwicklung einer charakteristischen Funktion . . . . . . . . . . . . . 81

8.6

Schwache Konvergenz

8.7

Der Stetigkeitssatz . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 85

9 Zentrale Grenzwertsätze

. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 83

91

9.1

Der zentrale Grenzwertsatz für identisch verteilte Zufallsvariablen . . . . . . . . 91

9.2

Grenzwertsätze für Folgen unabhängiger Zufallsvariablen . . . . . . . . . . . . . 92

9.3

Gleichverteilung auf stetigen Funktionen (ein Ausblick) . . . . . . . . . . . . . . 97

INHALTSVERZEICHNIS

10 Unendlich teilbare Verteilungen

iii

99

10.1 Einführung . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 99 10.2 Beispiele für unendlich teilbare Verteilungen . . . . . . . . . . . . . . . . . . . . 99 10.3 Eine Charakterisierung unendlich teilbarer Verteilungen . . . . . . . . . . . . . 100 10.4 Die LévyKhinchin Formel . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 101 10.5 Stabile Verteilungen . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 101 10.6 Beispiele für stabile Verteilungen . . . . . . . . . . . . . . . . . . . . . . . . . . 101 10.7 Die LévyKhinchin Formel für stabile Verteilungen . . . . . . . . . . . . . . . . 102

Kapitel 1

Das Gesetz der groÿen Zahlen 1.1 Schwache und starke Versionen Sei (Ω, A, P ) ein Wahrscheinlichkeitsraum und sei (Xn )n∈IN eine stochastisch unabhängige P Folge reeller, identisch verteilter Zufallsvariablen auf Ω. Darüber hinaus sei Sn := ni=1 Xi und X n := Sn /n. Die folgenden beiden Sätze, das Gesetz groÿer Zahlen und das 01 Gesetz von Kolmogorov, sind schon aus früheren Vorlesungen bekannt, wobei das schwache Gesetz nur unter der starken Annahme EX12 < ∞ bewiesen wurde. Wir werden zeigen, dass schon die Voraussetzung E|X1 | < ∞ hinreichend für dessen Gültigkeit ist.

Satz 1.1 Sei E|X1 | < ∞. 1) Für alle ε > 0 gilt lim P (| X n − EX1 | > ε) = 0 (schwaches Gesetz) n→∞

2) P

³

´ lim X n = EX1 = 1 (starkes Gesetz)

n→∞

Satz 1.2 (01 Gesetz) Sei

 T :=

\

σ

n≥1

 [

σ(Xi )

i≥n

die σ -Algebra der terminalen Ereignisse. Dann ist P (A) ∈ {0, 1} für alle A ∈ T . In Kapitel 6 werden wir mit Hilfe von Martingalen zwei kurze Beweise für diese Sätze angeben.

Bemerkung 1.3 n 1) Für c ∈ IR sei Ac := lim

Sn n→∞ n

o = c . Dann ist Ac ∈ T . Mit Satz 1.2 folgt, dass P (Ac ) ∈

{0, 1} ist. Mit Satz 1.1 ergibt sich P (AEX1 ) = 1. Satz 1.1 ist also, für das spezielle Ereignis Ac , eine Verschärfung von Satz 1.2.

2) Das folgende Lemma ist schon aus Wahrscheinlichkeitstheorie I bekannt. 1

2

Kapitel 1: Das Gesetz der groÿen Zahlen

Lemma 1.4 (Borel-Cantelli) Sei {Ai }i∈IN ein abzählbares System unabhängiger Mengen. Dann gilt für

\

A := lim sup An = n→∞

dass P (A) = 1 ist, genau dann, wenn

[

Am ,

n≥1 m≥n

P∞

n=1 P (An )

= ∞ ist.

3) Gilt für ein c ∈ IR, dass limn→∞ Snn = c P -fast sicher ist, so ist E|X1 | < ∞. Das bedeutet, dass E|X1 | genau dann endlich ist, wenn ein c ∈ IR existiert mit limn→∞ sicher. Es gilt dann c = EX1 .

Beweis: Es ist Wegen limn→∞

= c P -fast

Xn Sn Sn−1 Sn Sn−1 n − 1 = − = − . n n n n n−1 n Sn n

µ P

Sn n

= c P -fast sicher ist limn→∞

|Xn | > 1 für unendlich viele n n

Xn n

¶

= 0 P -fast sicher. Damit erhält man

µ ½ ¾¶ |Xn | = P lim >1 = 0. n

n o Die Mengen |Xnn | > 1 sind stochastisch unabhängig. Mit Lemma 1.4 folgt deshalb, dass n∈IN ³ ´ P |Xn | n≥1 P n > 1 < ∞ ist. Wir erhalten Z E|X1 | = ≤

Z |X1 |dP =

X

∪k≥1 {k−1<|X1 |≤k}

|X1 |dP

k P (k − 1 < |X1 | ≤ k)

k≥1

=

k X X

P (k − 1 < |X1 | ≤ k)

k≥1 n=1

=

∞ X X

P (k − 1 < |X1 | ≤ k)

n≥1 k=n

=

X

P (|X1 | > n − 1)

n≥1

≤1+

∞ X

P (|X1 | > n) < ∞.

2

n=1

Wir werden nun das schwache Gesetz der groÿen Zahlen für den Fall E|X1 | < ∞ beweisen. Dies geschieht mit Hilfe von Trunkierung.

Beweis: Für n ∈ IN, k = 1, . . . , n und δ > 0 sei Uk,n := Xk 1l{|Xk |≤δn} und Vk,n := Xk 1l{|Xk |>δn} . Dann gilt für alle k und n, dass Xk = Uk,n + Vk,n . Für k = 1, . . . , n sei µn := EUk,n = E(Xk 1l{|Xk |≤δn} ).

1.1. Schwache und starke Versionen

3

Nach Voraussetzung ist E|Xk | < ∞, deshalb folgt mit dem Satz von der majorisierten Konvergenz, dass lim µn = EXk = EX1 . n→∞

Darüber hinaus gilt 2 Var(Uk,n ) ≤ E(Uk,n ) ≤ δnE(|Xk |1l{|Xk |≤δn} ) ≤ δnE|X1 |.

Zusammen mit der Tschebycheschen-Ungleichung liefert dies für alle ε > 0 ¯ µ¯ ¶ ¯ U1,n + · · · + Un,n ¯ Var(U1,n ) δE|X1 | ¯ ¯ P ¯ ≤ . − µn ¯ > ε ≤ 2 n nε ε2 Wegen lim µn = EX1 ergibt sich für hinreichend groÿe n n→∞

¯ ´ ³¯ U + · · · + U ¯ 1,n ¯ n,n P ¯ − EX1 ¯ > 2ε n ¯ ³n¯ U + · · · + U o ´ ¯ 1,n ¯ n,n ≤P ¯ − µn ¯ > ε ∪ {|µn − EX1 | > ε} n ¯ µ¯ ¶ ¯ U1,n + · · · + Un,n ¯ ¯ ¯ =P ¯ − µn ¯ > ε n δE|X1 | ≤ . ε2 Nun ist Sn = (U1,n + · · · + Un,n ) + (V1,n + · · · + Vn,n ). Damit erhalten wir für beliebiges ε > 0

¯ ¯ ´ ³¯ U + · · · + U ´ ³¯ S ¯ ¯ 1,n ¯ ¯ n n,n − EX1 ¯ > 2ε ≤ P ¯ − EX1 ¯ > 2ε, V1,n + · · · + Vn,n = 0 P ¯ n n ¯ ³¯ S ´ ¯ n ¯ +P ¯ − EX1 ¯ > 2ε, V1,n + · · · + Vn,n 6= 0 n ¯ ³¯ U + · · · + U ´ ¯ 1,n ¯ n,n ≤P ¯ − EX1 ¯ > 2ε + P (V1,n + · · · + Vn,n 6= 0) n δE|X1 | ≤ + P (V1,n + · · · + Vn,n 6= 0). ε2 Der zweite Summand der vorangegangenen Zeile lässt sich abschätzen durch à n ! n [ X P (V1,n + · · · + Vn,n 6= 0) ≤ P {Vk,n 6= 0} ≤ P (V1,n 6= 0) = nP (V1,n 6= 0) k=1

k=1

1 = nP (|X1 | > δn) ≤ E(|X1 |1l{|X1 |>δn} ). δ Da X1 nach Voraussetzung integrierbar ist, ist E(|X1 |1l{|X1 |>δn} ) ≤ δ 2 für hinreichend groÿe n. Dies impliziert P (V1,n + · · · + Vn,n 6= 0) ≤ δ. Insgesamt ergibt sich für hinreichend groÿe n ∈ IN

µ ¶ ¯ ³¯ S ´ δE|X1 | E|X1 | ¯ n ¯ P ¯ − EX1 ¯ > 2ε ≤ δ + =δ 1+ . n ε2 ε2

4

Kapitel 1: Das Gesetz der groÿen Zahlen

Da δ und ε beliebig gewählt waren, wird die rechte Seite bei geeigneter Wahl von n und δ beliebig klein. 2 Mit einer ähnlichen Beweismethode zeigen wir nun ein Gesetz der groÿen Zahlen bei unendlichem Erwartungswert. Dafür betrachten wir das folgende Spiel: Eine Münze wird geworfen bis erstmals Kopf erscheint. Ist dies im k -ten Versuch der Fall, erhält ein Spieler 2k Euro. Die Wahrscheinlichkeit für dieses Ereignis ist 2−k . Sei X die Zufallsvariable, die die Auszahlung an den Spieler beschreibt. Der Wertebereich von X ist {2k : k ∈ IN} und es gilt

EX =

∞ X

2k 2−k = ∞.

k=1

Sei nun (Xn )n∈IN eine Folge unabhängiger identisch verteilter Zufallsvariablen mit derselben P Verteilung wie X . Sei Sn := ni=1 Xi und en := n log2 n, wobei log2 den Logarithmus zur Basis 2 bezeichnet.

Satz 1.5 Für alle ε > 0 gilt

¯ µ¯ ¶ ¯ Sn ¯ ¯ ¯ lim P ¯ − 1¯ > ε = 0. n→∞ en

Beweis: Sei Uk,n := Xk 1l{Xk ≤n log2 n} und Vk,n := Xk 1l{Xk >n log2 n} . Dann ergibt sich wie im vorangegangenen Beweis ¯ µ¯ ¶ ¯ Sn ¯ ¯ ¯ P ¯ − 1¯ > ε ≤ P (|U1,n + · · · + Un,n − en | > εen ) + P (V1,n + · · · + Vn,n 6= 0). en Den letzten Summanden können wir wie folgt abschätzen

P (V1,n + · · · + Vn,n 6= 0) = nP (X1 > n log2 n) ≤

2n 2 = . n log2 n log2 n

Um die vorletzte Ungleichung einzusehen, wählen wir für t > 0 ein n0 ∈ IN mit 2n0 < t ≤ 2n0 +1 . Dann folgt ∞ X 2 2−k = 2−n0 ≤ . P (X1 > t) ≤ P (X1 ≥ 2n0 +1 ) = 2−(n0 +1) t k=0

Insbesondere gilt lim P (V1,n + · · · + Vn,n 6= 0) = 0. Es bleibt also zu zeigen, dass n→∞

lim P (|U1,n + · · · + Un,n − en | > εen ) = 0.

n→∞

Dazu sei r die gröÿte natürliche Zahl mit 2r ≤ n log2 n. Dann ist für n ≥ 2

EUk,n =

r X

2j 2−j = r ≤ log2 n + log2 log2 n

j=1

Analog erhält man 2 Var(Uk,n ) ≤ E(Uk,n )=

r X j=1

22j 2−j = 2r+1 − 2 < 2r+1 ≤ 2n log2 n.

1.2. Die Waldsche Identität

5

Nun hat U1,n + · · · + Un,n den Mittelwert nEU1,n und die Varianz n Var(U1,n ). Damit ergibt sich für n ≥ 4 mit Hilfe der Tschebycheschen-Ungleichung

n Var(U1,n ) 2n2 log2 n < ε2 n2 (EU1,n )2 ε2 n2 (log2 n)2 2 < 2 . ε log2 n

P (|U1,n + · · · + Un,n − nEU1,n | > εnEU1,n ) ≤

Die zweite Ungleichung gilt wegen EU1,n ≥ log2 n für n ≥ 4. Ersetzt man nEU1,n durch en , was möglich ist, da

en ≤ nEU1,n ≤ n log2 n + n log2 log2 n = en (1 + o(1)) (für n → ∞), so ergibt sich die Behauptung.

2

Bemerkung 1.6 Mit Hilfe dieses Satzes lässt sich ein fairer Spieleinsatz angeben, obwohl der Erwartungswert nicht existiert; nämlich bei n Spielen n log2 n. Für n = 16 ist dies 64, für n = 1024 bereits 10240.

1.2 Die Waldsche Identität In diesem Abschnitt soll die Waldsche Identität bewiesen werden. Diese macht eine Aussage über den Erwartungswert einer Summe unabhängiger und identisch verteilter Zufallsvariablen, wobei das Summationsintervall nicht wie bisher deterministisch ist, sondern zufallsabhängig. Wir führen deshalb zufällige Zeitpunkte ein, sogenannte Stoppzeiten.

Denition 1.7 Es sei Fn := σ(X1 , . . . , Xn ). Eine Abbildung N : (Ω, A) → (N ∪ {∞} , P(N ∪ {∞}) heiÿt Stoppzeit, falls {N = n} ∈ Fn für alle n ∈ IN.

S Wegen {N ≤ n} = nk=1 {N = k} ist die Bedingung {N = n} ∈ Fn für alle n ∈ IN äquivalent zu {N ≤ n} ∈ Fn für alle n ∈ IN.

Beispiel 1.8 1) Mit B sei die Borelsche σ -Algebra auf IR bezeichnet. Dann ist N := min{n ≥ 1 : Sn ∈ A} für A ∈ B eine Stoppzeit.

Beweis: Es ist {N = n} = {X1 ∈ Ac }∩{X1 +X2 ∈ Ac }∩· · ·∩{X1 +· · ·+Xn−1 ∈ Ac }∩{Sn ∈

A}. Die erste Menge liegt in F1 , die zweite in F2 , usw. Da für alle k ∈ IN Fk ⊂ Fk+1 ist, liegt der Durchschnitt in Fn . 2   Ω : m=n 2) N ≡ n ist eine Stoppzeit, denn {N = m} =  ∅ : m 6= n.

6

Kapitel 1: Das Gesetz der groÿen Zahlen

Bemerkung 1.9 Sind S und T Stoppzeiten, so sind max{S, T }, min{S, T } und S + T Stoppzeiten.

Beweis Wir zeigen nur, dass S + T eine Stoppzeit ist. Für n ∈ IN gilt {S + T = n} =

n−1 [

{S = k} ∩ {T = n − k} ∈ Fn .

2

k=1

Für Stoppzeiten N denieren wir

FN := {A ∈ A : A ∩ {N = n} ∈ Fn für alle n ∈ IN}.

Folgerung 1.10

1) Mit N ≡ n folgt FN = Fn .

2) FN ist eine σ -Algebra. 3) N ist FN -messbar.

Beweis: Wir beweisen nur 3). Es ist zu zeigen, dass {N ≤ k} ∈ FN für alle k ∈ IN. Sei n ∈ IN. Dann folgt

  {N ≤ k} ∩ {N = n} =

∅ für k < n

 {N = n} für k ≥ n.

Da {N = n} ∈ Fn gilt, ist {N ≤ k} ∈ FN .

2

Bemerkung 1.11 Für Stoppzeiten S und T mit S ≤ T gilt FS ⊂ FT . Beweis: Sei A ∈ FS . Nach Denition gilt A ∩ {S ≤ n} ∈ Fn für alle n ∈ IN . Wegen {T ≤ n} ⊂ {S ≤ n} folgt

A ∩ {T ≤ n} = A ∩ {T ≤ n} ∩ {S ≤ n} = A ∩ {S ≤ n} ∩ {T ≤ n} ∈ Fn und damit A ∈ FT .

2

Folgerung 1.12 Sei T eine Stoppzeit. Dann ist XT :=

P∞

n=1 Xn 1l{T =n}

FT -messbar.

Beweis: Sei n ∈ IN und A ∈ B. Wir müssen zeigen, dass {XT ∈ A} ∩ {T = n} ∈ Fn ist: {XT ∈ A} ∩ {T = n} = {Xn ∈ A} ∩ {T = n} ∈ Fn .

2

Für den Beweis der Waldschen Identität benötigen wir den folgenden

Satz 1.13 Sei (Xn )n∈IN eine Folge unabhängiger, identisch verteilter Zufallsvariablen und T eine Stoppzeit mit P (T < ∞) = 1. Dann gilt:

1.2. Die Waldsche Identität

7

1) Die σ -Algebren σ(XT +n , n ≥ 1) und FT sind unabhängig. 2) Die Folge (XT +n )n≥1 hat dieselbe Verteilung wie (Xn )n≥1 .

Beweis: Da aus der Unabhängigkeit von (σ(XT +n ))n≥1 und FT diejenige von

σ(XT +n , n ≥ 1) und FT folgt, reicht es zu zeigen, dass für A ∈ FT , k ∈ N und {Bj }1≤j≤k mit Bj ∈ B gilt: P (A ∩ {XT +j ∈ Bj , 1 ≤ j ≤ k}) = P (A)

k Y

P (XT +j ∈ Bj ) .

j=1

Das lässt sich aber wie folgt verizieren:

P (A ∩ {XT +j ∈ Bj , 1 ≤ j ≤ k}) ∞ X = P (A ∩ {T = n} ∩ {XT +j ∈ Bj , 1 ≤ j ≤ k}) = = =

n=1 ∞ X n=1 ∞ X n=1 ∞ X

P (A ∩ {T = n} ∩ {Xn+j ∈ Bj , 1 ≤ j ≤ k}) P (A ∩ {T = n}) P (Xn+j ∈ Bj , 1 ≤ j ≤ k) P (A ∩ {T = n}) P (Xj ∈ Bj , 1 ≤ j ≤ k)

n=1

= P (A)

k Y

P (Xj ∈ Bj ) = P (A)

j=1

k Y

P (XT +j ∈ Bj ) .

j=1

Die letzte Gleichung folgt aus folgender Überlegung:

P (XT +j ∈ Bj , 1 ≤ j ≤ k) ∞ X = P (T = n, XT +j ∈ Bj , 1 ≤ j ≤ k) =

n=1 ∞ X

P (T = n) P (Xn+j ∈ Bj , 1 ≤ j ≤ k)

n=1

= P (T < ∞) P (Xj ∈ Bj , 1 ≤ j ≤ k) = P (Xj ∈ Bj , 1 ≤ j ≤ k) =

k Y

P Xj (Bj ).

j=1

Die Behauptung 2) ergibt sich nun wegen der Eindeutigkeit des Produktmaÿes.

2

8

Kapitel 1: Das Gesetz der groÿen Zahlen

Korollar 1.14 Seien N1 und N2 stochastisch unabhängige und identisch verteilte Stoppzeiten.

Seien

SN1

:= X1 + X2 + · · · + XN1 ,

SN2

:= XN1 +1 + · · · + XN1 +N2 .

Dann sind SN1 und SN2 stochastisch unabhängig und identisch verteilt.

Beweis: Nach Folgerung 1.12 ist SN1 FN1 -messbar und SN2 FN2 -messbar. Nach Satz 1.13

ist (XN1 +i )i≥1 unabhängig von FN1 . Da nun SN2 als Summe von Elementen von (XN1 +i )i≥1 deniert ist, folgt die Unabhängigkeit von SN1 und SN2 . Es bleibt zu zeigen, dass SN1 und SN2 identisch verteilt sind. Nach Satz 1.13 sind (XN1 +n )n≥1 und (Xn )n≥1 identisch verteilt. Insbesondere sind also XN1 +1 +· · ·+XN1 +N2 und X1 +· · ·+XN2 identisch verteilt. X1 +· · ·+XN1 ist aber ebenso verteilt wie X1 + · · · + XN2 . Somit sind X1 + · · · + XN1 und XN1 +1 + · · · + XN2 +N1 identisch verteilt. 2

Satz 1.15 (Waldsche Identität)

Sei N eine Stoppzeit mit EN < ∞ und sei E |X1 | < ∞. Dann gilt ÃN ! X E Xi = E(X1 ) E(N ). i=1

Beweis: Seien N1 , N2 , . . . stochastisch unabhängige Stoppzeiten, die dieselbe Verteilung wie N haben. Wir denieren

S1 := X1 + · · · + XN1 , S2 := XN1 +1 + · · · + XN1 +N2 und allgemein Sk := XN1 +···+Nk−1 +1 + · · · + XN1 +···+Nk für k ∈ N. Nach Korollar 1.14 besteht die Folge (Si )i≥1 aus stochastisch unabhängigen und identisch verteilten Zufallsvariablen. Es gilt

X1 + · · · + XN1 + XN1 +1 + · · · + XN1 +···+Nk N1 + · · · + Nk S1 + · · · + Sk = . k N1 + · · · + Nk k

(1.1)

Nach Satz 1.1 konvergiert der erste Faktor auf der rechten Seite P -fast sicher gegen EX1 , während der zweite gegen EN strebt. Damit folgt

lim

k→∞

S1 + · · · + Sk = EX1 EN k

P -fast sicher.

Wegen Bemerkung 1.3 3) ergeben sich E|S1 | < ∞ und ES1 = EX1 EN .

2

Bemerkung 1.16 Analog groÿer Zahlen gilt die folgende Umkehrung der Wald¯ ¯ zum Gesetz ¯ ¯P schen Identität: Seien E ¯ N i=1 Xi ¯ < ∞ und E|X1 | < ∞ sowie EX1 6= 0. Dann ist EN < ∞.

Beweis: Nach Voraussetzung ist in (1.1) das starke Gesetz der groÿen Zahlen sowohl auf der

linken Seite als auch auf den ersten Faktor der rechten Seite anwendbar. Wegen EX1 6= 0 ist k fast sicher konvergent. Mit Bemerkung 1.3 3) folgt die Behauptung. 2 damit N1 +···+N k

1.3. Eine Anwendung der Waldschen Identität

9

1.3 Eine Anwendung der Waldschen Identität Sei (Xi )i∈IN eine stochastisch unabhängige Folge identisch verteilter Zufallsvariablen mit P (Xi = 1) = p = 1 − P (Xi = 0). Für b ∈ N sei die Stoppzeit Nb durch

Nb := inf{n ≥ 1 : Sn = b} deniert. Wie wir gleich sehen werden, ist ENb < ∞. Damit folgt aus Satz 1.15

b = ESNb = EX1 ENb = pENb , also ENb = b/p. Das bedeutet, dass im Mittel der Wert b zum Zeitpunkt b/p das erste Mal überschritten wird.

Lemma 1.17 Es ist ENb < ∞. Beweis: Wir machen die allgemeineren Annahmen, dass P (Xi ≥ 0) = 1 für alle i ∈ N ist

und 0 < EX1 < ∞ gilt. Dann folgt P (X1 > 0) > 0, denn sonst wäre X1 = 0 P -f.s. und damit EX1 = 0. Seien δ > 0 und k ∈ N so gewählt, dass P (X1 ≥ δ) = ε > 0 ist und kδ > b. Dann folgt

P (X1 + · · · + Xn ≥ kδ) ≥ P (Xi ≥ δ, 1 ≤ i ≤ k) =

k Y

P (Xi ≥ δ) = εk .

i=1

Wir erhalten P

³P

k i=1 Xi

´ < kδ ≤ 1 − εk . Darüberhinaus gilt (

{Nb > mk} = ⊂

Xi < b, 1 ≤ ` ≤ mk

i=1 ( mk X

  ⊂

)

` X

) Xi < kδ

(da die Xi ≥ 0 sind)

i=1

 

kj X

Xi < kδ, 1 ≤ j ≤ m



i=k(j−1)+1

=

 m  \ j=1



kj X

i=k(j−1)+1

  Xi < kδ



.



10

Kapitel 1: Das Gesetz der groÿen Zahlen

Damit folgt

P (Nb > mk) ≤

m Y

 P

j=1

=

m Y

à P

j=1



kj X

Xi < kδ 

i=k(j−1)+1 k X

Xi < kδ

! ( die Xi sind identisch verteilt )

i=1

≤ (1 − εk )m P P∞ k m Wir erhalten ∞ m=0 P (Nb > mk) ≤ m=0 (1−ε ) < ∞. Die rechte Seite ist eine konvergente geometrische Reihe. Deshalb gilt ENb < ∞ (man vergleiche mit Bemerkung 1.3 3)). 2

Bemerkung 1.18 Es gilt limb→∞ Nbb =

1 EX1

P -fast sicher

SNb −1 SN < Nbb ≤ Nbb . Da limb→∞ Nb = ∞ ist, folgt Nb SN −1 limb→∞ Nbb = EX1 P -fast sicher. Wir erhalten deshalb

Beweis: Wegen SNb ≥ b ergibt sich SN

mit Satz 1.1, dass limb→∞ Nbb = limb→∞ Nbb = EX1 P -fast sicher.

2

Kapitel 2

Bedingte Erwartungen und Wahrscheinlichkeiten (Teil I) Wie man leicht (durch Dierentiation) veriziert, gilt für reellwertige Zufallsvariablen X die Gleichung EX = arg min E(X − a)2 . a∈IR

Der Begri der bedingten Erwartung erweitert diese Approximation auf Funktionen, die bezüglich einer Unter-σ -Algebra des zugrundeliegenden Wahrscheinlichkeitsraumes messbar sind.

2.1 Einführung Um die nachfolgende Denition zu motivieren, stellen wir einige Betrachtungen voran. Sei (Ω, A, P ) ein Wahrscheinlichkeitsraum. Wir denieren für A, B ∈ A mit P (B) > 0 die elementare bedingte Wahrscheinlichkeit durch

P (A|B) :=

P (A ∩ B) . P (B)

Sei D := {Di , i ∈ IN} eine Partition von Ω mit Di ∈ A für alle i ∈ IN. Sei X eine A-messbare Zufallsvariable mit E|X| < ∞ und

E(X|Di ) := Wir denieren

P (A|D)(ω) :=

1 E (X1lDi ) . P (Di ) ∞ X

P (A|Di )1lDi (ω)

i=1

und

E(X|D)(ω) :=

∞ X i=1

E(X|Di )1lDi (ω),

S wobei ω ∈ Ω ist. Auÿerdem sei σ(D) := { i∈J Di : J ⊂ IN endlich} die von D erzeugte σ -Algebra. 11

12

Kapitel 2: Bedingte Erwartungen und Wahrscheinlichkeiten (Teil I)

Folgerung 2.1 : Für alle A ∈ σ(D) gilt Beweis Sei A =

R

A E(X|D)dP

=

R

A XdP .

S

∈ σ(D). Dann folgt: Z E(X|D)dP = 1lA E(X|D)dP A Z X = 1lSi≥0 Dji E(X|D` )1lD` dP i≥0 Dji

Z

=

Z X

`≥1

1lDji

i≥0

=

Z X

X

E(X|D` )1lD` dP

`≥1

E(X|Dji )1lDji dP

(die Di sind disjunkt)

i≥0

=

Z X

E(X1lDji )

i≥0

=

X

E(X1lDji )

1lDji P (Dji )

dP

(majorisierte Konvergenz)

i≥0

= EX1lA

(majorisierte Konvergenz)

Z =

XdP

2

A

Bemerkung 2.2 Mit A = Ω gilt insbesondere EE(X|D) = EX .

2.1.1 Ein Beispiel für bedingte Wahrscheinlichkeiten bei Maÿ 0 Sei Y eine gleichverteilte Zufallsvariable auf [0, 1], das heiÿt P Y = λ[0,1] , und sei y ∈ [0, 1]. Falls Y = y ist, macht man n unabhängige Bernoulli-Experimente mit Erfolgswahrscheinlichkeit y . Sei ν die Anzahl der Erfolge in n Versuchen. Wir stellen uns nun die Frage, was P (ν = k|Y = y) ist. Da P (Y = y) = 0 ist für alle y ∈ [0, 1], ist diese bedingte Wahrscheinlichkeit nicht im üblichen Sinne deniert. Intuitiv ist aber klar, ¡ ¢ dass P (ν = k|Y = y) = nk y k (1 − y)n−k sein sollte. Man wird also P (ν = k|Y ) so denieren, dass mit B ∈ B[0,1] gilt: Z ³ ´ n k P ({ν = k} ∩ {Y ∈ B}) = y (1 − y)n−k P Y (dy). k B Wir erhalten damit

Z ³ ´ n k P ({ν = k} ∩ {Y ∈ B}) = y (1 − y)n−k dP Y (y) B k Z =: P (ν = k|Y = y)dP Y (y) B Z = P (ν = k|Y )dP Y −1 (B)

für alle B ∈ B[0,1] .

2.2. Bedingte Wahrscheinlichkeiten und Erwartungen

13

2.2 Bedingte Wahrscheinlichkeiten und Erwartungen Sei nun Y eine Zufallsvariable auf einem Wahrscheinlichkeitsraum (Ω, A, P ). Sei σ(Y ) die von Y erzeugte σ -Algebra. Der letzte Abschnitt führt uns zu folgender Denition.

Denition 2.3 Sei A ∈ A und ZA eine σ(Y )-messbare ZufallsvariableR auf Ω. ZA heiÿt bedingte Wahrscheinlichkeit von A gegeben Y , falls P (A ∩ {Y ∈ B}) = alle B ∈ B .

Y −1 (B) ZA

dP ist für

Bemerkung 2.4 1) Jede σ(Y )-messbare Zufallsvariable Z läÿt sich schreiben als Z = ϕ ◦ Y , wobei ϕ eine Borel-messbare Funktion ist. Insbesondere gilt ZA = ϕA ◦ Y mit einer Borelmessbaren Funktion ϕA . Dann ist Z P (A ∩ {Y ∈ B}) = ϕA (y) P Y (dy). B

2) Wir können die Gleichung P (A∩{Y ∈ B}) = R

Y −1 (B) ZA

dP schreiben.

R

Y −1 (B) ZA

dP auch in der Form

R

Y −1 (B) 1lA

dP =

Sei F eine Unter-σ -Algebra von A, und sei PF := P |F die Einschränkung von P auf F . In Analogie zu Denition 2.3 denieren wir die bedingte Erwartung gegeben F .

Denition 2.5 Sei X eine A-messbare, nichtnegative oder integrierbare Zufallsvariable. Eine F -messbare Zufallsvariable Z heiÿt bedingte Erwartung von X gegeben F , falls gilt: Z Z ZdPF = XdP für alle A ∈ F (Radon-Nikodym Gleichung). A

A

Die Klasse aller F -messbaren Zufallsvariablen mit dieser Eigenschaft wird mit E(X|F) bezeichnet.

Bemerkung 2.6 1) Die Zufallsvariable Z ist PF -fast sicher eindeutig bestimmt (siehe Kapitel 3). Man nennt Z eine Version der bedingten Erwartung E(X|F). E(X|F) ist eine Äquivalenzklasse bezüglich der Relation  PF -fast sichere Gleichheit.

2) Wir werden im Folgenden nicht immer zwischen der Klasse E(X|F) und ihren Repräsentanten unterscheiden, wie dies zum Beispiel auch bei LP -Räumen üblich ist.

3) Ist D ∈ A, so setzen wir P (D|F) = E(1lD |F). Beispiel 2.7 1) Sei F = {Ø, Ω}. Dann ist E(X|F) = EX . Beweis: E(X|F) = EX ist F -messbar, denn für alle B ∈ B ist   Ø falls EX ∈ /B E(X|F)−1 (B) =  Ω falls EX ∈ B

14

Kapitel 2: Bedingte Erwartungen und Wahrscheinlichkeiten (Teil I)

und für alle A ∈ F gilt

R

R = A EXdP , da  Z  0 falls A = Ø EXdP =  EX falls A = Ω. A

A E(X|F)dP

2

2) Sei F := σ(Y ). Dann ist E(X|Y ) := E(X|σ(Y )) σ(Y )-messbar. Es existiert also eine

Borel-messbare Funktion ϕX mit E(X|Y ) = ϕX ◦ Y . Die Radon-Nikodym-Gleichung schreibt sich dann wie folgt: Z Z ϕX ◦ Y dPσ(Y ) = XdP für alle A ∈ σ(Y ). A

A

3) Seien X und Y A-messbare Zufallsvariablen. Die gemeinsame Verteilung von (X, Y ) habe die λ2 -Dichte f (x, y). Für A, B ∈ B gilt dann ¶ Z Z µZ f (x, y) dx dy = f (x, y)dy dx. P (X ∈ A, Y ∈ B) = Für A ∈ B ist P (X ∈ A) =

A

A×B

Z

f (x, y)dy , denn Z P (X ∈ A) = P (X ∈ A, Y ∈ R) = f (x, y)dxdy A×R ¶ Z µZ = f (x, y)dy dx. A

f1 (x)dx mit f1 (x) =

B

R

A

Analog erhält man für B ∈ B , dass

Z P (Y ∈ B) = ist mit f2 (y) = alle A, B ∈ B :

R

B

f2 (y)dy

f (x, y)dx. Für eine Version ϕA (Y ) von P (X ∈ A|Y ) gilt nach Denition für Z P (X ∈ A, Y ∈ B) = Y −1 (B)

ϕA ◦ Y dPσ(Y )

Z =

ZB = B

Andererseits ist

ϕA (y) dP Y (y) ϕA (y)f2 (y)dy.

Z P (X ∈ A, Y ∈ B) =

f (x, y)dxdy ¶ Z µZ = f (x, y)dx dy B A R ¶ Z µ A f (x, y)dx f2 (y) dy = f2 (y) B R µ ¶ Z A f (x, Y )dx = dPσ(Y ) . f2 (Y ) Y −1 (B) A×B

2.2. Bedingte Wahrscheinlichkeiten und Erwartungen Damit ist

Z P (X ∈ A|Y ) = A

und

f (x, Y )dx f2 (Y ) Z

P (X ∈ A|Y = y) = A

Auÿerdem ist

Pσ(Y ) -f.s.

f (x, y)dx f2 (y)

Z E(X|Y ) =

15

Z xP (dx|Y ) =

P Y -f.s.

xf (x, Y )dx . f2 (Y )

Im Folgenden betrachten wir zwei Anwendungen von Beispiel 2.7 3).

1. Anwendung Seien X und Y reelle Zufallsvariablen und P (X,Y ) die Gleichverteilung im Inneren des Ein1 2 heitskreises, das heiÿt P (X,Y ) = λ2 (K 1 ) λ |K1 ∩B 2 mit

© ª K1 := (x, y) ∈ R2 : x2 + y 2 ≤ 1 . Sei B ⊂ K1 messbar, dann ist

Z P ((X, Y ) ∈ B) = B

1 1 dx dy = λ2 (K1 ) π

Z dx dy. B

Damit ist nach Beispiel 2.7 3) für A ∈ B:

Z P (X ∈ A|Y = y) = A

mit f2 (y) =

R K1

f (x, y)dx und f (x, y) =

f (x, y)dx f2 (y)

1 1l (x, y) λ2 (K1 ) K1

= π1 1lK1 (x, y).

Sei Ay := A ∩ {x ∈ R : x2 + y 2 ≤ 1}. Dann folgt R f (x, y)dx P (X ∈ A|Y = y) = A f2 (y) R R 1 l (x, y)dx λ(Ay ) A dx K 1 = py = p . = AR √ 2 2 2 1−y 2 1 − y2 √1−y dx 2 −

1−y

2. Anwendung X und Y seien gemeinsam normalverteilt, das heiÿt, P (X,Y ) hat die Dichte ¶ µ ¶¶ µ µ 1 1 x − µ1 −1 x − µ1 f (x, y) = Σ − 1 exp 2 y − µ2 y − µ2 2π(det Σ) 2

16

Kapitel 2: Bedingte Erwartungen und Wahrscheinlichkeiten (Teil I)

mit der Kovarianzmatrix

P

=

Man rechnet leicht nach, dass Dabei ist

¡σ2 1

σ12

P−1

¢ . 2

σ12 σ2

=

¡ 2 ¢ 1P σ2 −σ12 det −σ12 σ12

ist und det

P

2 > 0 gilt . = σ12 σ22 − σ12

Z σ12

:=

σ22

:=

(x − µ1 )2 f (x, y)dx dy Z (y − µ2 )2 f (x, y)dx dy Z

σ12 :=

(x − µ1 )(y − µ2 )f (x, y)dx dy Z

µ1 :=

xf (x, y)dx dy Z

µ2 := % :=

yf (x, y)dx dy σ12 . σ1 σ2

Wir bestimmen nun die Dichte von P (X ∈ · |Y ).

Behauptung: P (X ∈ · |Y = y) hat die Dichte à µ ¶2 ! σ2 σ22 σ12 f (x|y) = exp − x − µ1 − 2 (y − µ2 ) , 2 det Σ σ2 (2π det Σ)1/2 µ ¶ σ12 det Σ das heiÿt P (X ∈ · |Y ) ist gleich der Normalverteilung N µ1 + 2 (Y − µ2 ), . σ2 σ22

Beweis: Nach Beispiel 2.7 3) ist f (x|y) =

f (x,y) f2 (y)

mit

µ ¶ (y − µ2 )2 1 f2 (y) = f (x, y)dx = exp − . 2σ22 (2πσ22 )1/2 IR Z

Daraus ergibt sich

f (x|y) = = =

à µ ¶ ! σ2 x − µ1 y − µ2 2 1 −% exp − 2(1 − %2 ) σ1 σ2 (2π det Σ)1/2 à µ ¶2 ! σ2 σ12 1 x − µ1 − 2 (y − µ2 ) exp − 2 2σ1 (1 − %2 ) σ2 (2π det Σ)1/2 à µ ¶2 ! σ12 σ22 σ2 x − µ1 − 2 (y − µ2 ) exp − . 2 det Σ σ2 (2π det Σ)1/2

2

Kapitel 3

Maÿtheoretische Überlegungen Dem aufmerksamen Leser ist sicher aufgefallen, dass bis jetzt nicht klar ist, ob die in Denition 2.5 denierte Klasse E(X | F) existiert und falls dies der Fall ist, ob sie eindeutig bestimmt ist. Dieses keineswegs triviale Problem wollen wir nun mit Hilfe eines Satzes aus der Maÿtheorie lösen.

3.1 Der Satz von Radon-Nikodym Sei (Ω, A) ein Messraum und µ, ν σ−endliche Maÿe auf diesem.

Denition 3.1 ν heiÿt absolut stetig bezüglich µ (Bezeichnung : ν ¿ µ), falls für jedes A ∈ A mit µ(A) = 0 gilt, dass ν(A) = 0 ist. Beispiel 3.2 Sei f A-messbar, nichtnegativ und µ−integrabel. Dann ist Z

ν(A) :=

f dµ,

A ∈ A,

A

absolut stetig bezüglich µ.

Beweis: Sei A ∈ A mit µ(A) = 0. Dann folgt 1lA = 0 µ-f.s. Deshalb ist f 1lA = 0 µ-f.s. Damit

gilt

Z 0=

f dµ = ν(A).

2

A

Lemma 3.3 Seien σ und τ endliche Maÿe auf einem Messraum (Ω, A) mit σ(Ω) < τ (Ω). Dann existiert eine Menge Ω0 ∈ A mit 1) σ(Ω0 ) < τ (Ω0 ), 2) σ(A) ≤ τ (A) für alle A ∈ Ω0 ∩ A.

Beweis: Setze δ := τ − σ . Dann gilt für alle A ∈ A, dass −σ(Ω) ≤ δ(A) ≤ τ (Ω) ist. Also ist δ beschränkt. Wir denieren nun induktiv Mengen (An )n≥0 und (Ωn )n≥0 . Sei A0 := Ø und Ω0 := Ω. Seien die Mengen A0 , . . . , An sowie Ω0 , . . . , Ωn bereits konstruiert. 17

18

Kapitel 3: Maÿtheoretische Überlegungen

Wir setzen αn := inf A∈Ωn ∩A δ(A) für n ∈ IN0 . Ist αn ≥ 0, so sei An+1 = Ø und Ωn+1 := Ωn . Ist αn < 0, so wählen wir ein An+1 ∈ Ωn ∩A aus, so dass δ(An+1 ) ≤ 12 αn ist (dieses An+1 existiert nach Denition des Inmums). Setze dann Ωn+1 := Ωn \ An+1 . Damit sind die Folgen (An )n≥0 und (Ωn )n≥0 deniert, wobei die Mengen (An )n≥0 paarweise disjunkt sind und für alle n ∈ IN0 P δ(An ) ≤ 0 und n≥0 |δ(An )| < ∞ ist. Die letzte Eigenschaft sieht man folgendermaÿen: Es ist X X |δ(An )| = |τ (An ) − σ(An )| n≥0

n≥0

≤

X

|τ (An )| +

n≥0

=τ

µ[

|σ(An )|

n≥0

¶ An

X

+σ

n≥0

µ[

¶ An

n≥0

≤ τ (Ω) + σ(Ω) < ∞. Damit ist (δ(An ))n≥0 eine Nullfolge. Deshalb ist wegen δ(An+1 ) ≤ 12 αn ≤ 0 für alle n ∈ IN0 auch (αn )n∈IN eine Nullfolge. Nach Denition ist die Folge (Ωn )n≥0 fallend. Wir denieren T Ω0 := n≥0 Ωn und erhalten mit dem Stetigkeitssatz für Maÿe 0

δ(Ω ) = τ

µ\

¶ Ωn

−σ

µ\

n≥0

¶ Ωn

n≥0

= lim τ (Ωn ) − lim σ(Ωn ) n→∞

n→∞

= lim (τ (Ωn ) − σ(Ωn )) n→∞

= lim δ(Ωn ). n→∞

Sei

  δ(Ω ) n δ(Ωn+1 ) =  δ(Ω ) − δ(A n

n+1 )

für αn = 0 für αn < 0.

Dann ist δ(Ωn+1 ) ≥ δ(Ωn ) für alle n ∈ IN , also δ(Ωn+1 ) ≥ δ(Ω0 ) = δ(Ω) > 0 (δ(Ω) ist nach Voraussetzung gröÿer als 0). Wir erhalten deshalb δ(Ω0 ) = limn→∞ δ(Ωn ) ≥ δ(Ω0 ) > 0. Auÿerdem gilt für A ∈ Ω0 ∩ A, dass A ∈ Ωn ∩ A ist für alle n ≥ 0. Also ist für alle n ≥ 0 und für alle A ∈ Ω0 ∩ A nach Deniton des Inmums δ(A) ≥ αn . Folglich ist δ(A) ≥ limn→∞ αn = 0 und damit τ (A) ≥ σ(A). 2 Mit dem Lemma können wir nun den folgenden Satz beweisen.

Satz 3.4 (Radon-Nikodym) Seien µ und ν endliche Maÿe auf (Ω, A). Dann ist ν genau

dann absolut stetig bezüglich µR, wenn eine nichtnegative, A-messbare, µ-integrierbare Funktion f existiert, so dass ν(A) = A f dµ für alle A ∈ A. Die Funktion f ist dann µ-fast sicher eindeutig bestimmt.

Beweis: Die eine Richtung folgt mit Beispiel 3.2.

3.1. Der Satz von Radon-Nikodym

19

RFür die umgekehrte Richtung sei G eine Klasse nichtnegativer A-meÿbarer Funktionen mit 6 Ø, denn g ≡ 0 liegt in G . A gdµ ≤ ν(A) für alle A ∈ A und alle g ∈ G . Dann ist G = Auÿerdem ist mit g, h ∈ G auch max{g, h} ∈ G . Denn für A ∈ A gilt Z Z Z max{g, h}dµ = gdµ + hdµ A

A∩{g≥h}

A∩{g
≤ ν(A ∩ {g ≥ h}) + ν(A ∩ {g < h}) = ν(A). R R Sei nun γ := supg∈G Ω gdµ. γ ist endlich, denn für alle g ∈ G ist gdµ ≤ ν(Ω) < ∞. Nach R Denition des Supremums existiert eine Folge (gn0 )n∈IN in G mit limn→∞ gn0 dµ = γ . Sei gn := max{g10 , .R. . , gn0 }. Dann ist (gn )n≥1 eine isotone Folge in G und gn0 ≤ gn für alle n ∈ IN. R R Es ist limn→∞ gn dµ = γ , denn γ ≥ limn→∞ gn dµ ≥ limn→∞ gn0 dµ = γ . Wir setzten f := supn∈IN gn und erhalten mit dem Satz von der monotonen Konvergenz Z Z Z γ = lim gn dµ = lim gn dµ = f dµ. n→∞

n→∞

Auÿerdem ist f ∈ G , denn für A ∈ A gilt: Z Z f dµ = lim gn dµ ≤ lim ν(A) = ν(A). m→∞ A

A

n→∞

Bis jetzt haben wir noch nicht ausgenutzt, dass ν absolut stetig bezüglich µ ist. Für A ∈ A R sei τ (A) := ν(A) − A f dµ. Dann ist τ ein endliches Maÿ und wegen ν ¿ µ ist τ ¿ µ. Wir müssen nun zeigen, dass τ ≡ 0 ist. Dazu nehmen wir an, dass τ (Ω) > 0 ist und führen diese Aussage zu einem Widerspruch. Wegen τ ¿ µ erhalten wir aus τ (Ω) > 0, dass µ(Ω) > 0 ist. Auÿerdem gilt für A ∈ A mit 1 τ (Ω) τ (A) > 0, dass µ(A) > 0 ist. Wir denieren β := . 2 µ(Ω) Mit Lemma 3.3 folgt die Existenz einer Menge Ω0 mit τ (Ω0 ) > βµ(Ω0 ) und τ (A) ≥ βµ(A) für alle A ∈ Ω0 ∩ A. Sei f0 := f + β1lΩ0 . Dann ist f0 A-meÿbar und in G enthalten, denn für alle A ∈ A ist Z Z f0 dµ = f dµ + βµ(A ∩ Ω0 ) A ZA Z ≤ f dµ + τ (A ∩ Ω0 ) ≤ f dµ + τ (A) = ν(A) A

A

Wir haben τ (Ω0 ) > βµ(Ω0 ) ≥ 0. Also folgt wegen τ ¿ µ, dass µ(Ω0 ) > 0 ist. Damit erhalten wir Z Z f0 dµ = f dµ + βµ(Ω0 ) = γ + βµ(Ω0 ) > γ, was im Widerspruch zur Wahl von γ steht. Deshalb ist τ ≡ 0 und damit ν(A) = alle A ∈ A.

R

A f dµ

für

Wir müssen nun noch die Eindeutigkeit zeigen. Dazu seien f und g nichtnegative, A-meÿbare Funktionen mit Z Z (∗) f dµ = µ(A) = gdµ A

A

20

Kapitel 3: Maÿtheoretische Überlegungen

für alle A ∈ A. Wir nehmen an, dass µ(f > g) > 0 ist und führen diese Aussage zu einem Widerspruch. Nach Annahme existiert also ein n0 ∈ IN, so dass µ(f > g + n1 ) > 0 für alle n ≥ n0 ist. Nun ist Z 1 1 (f − g)dµ ≥ µ(f > g + ) > 0, 1 n n {f >g+ } n

was ein Widerspruch zu (∗) ist. Analog führt man die Aussage µ(f < g) > 0 zum Widerspruch. Damit ist µ(f 6= g) = 0. 2

Bemerkung 3.5 1) Satz 3.4 gilt auch ohne die Voraussetzung, dass µ endlich ist. Es reicht

σ -Endlichkeit. Diese Eigenschaft kann im Allgemeinen nicht weggelassen werden, wie folgendes Beispiel zeigt:

2) Die Bedingung R ν ¿ µ ist notwendig für die Existenz einer nichtnegativen, A-meÿbaren

Funktion f mit A f dµ = ν(A) für A ∈ A. Sie ist aber nicht hinreichend. Um dies zu sehen, sei Ω eine überabzählbare Menge. Dann ist A := {A ⊂ Ω : A oder Ac ist abzählbar} eine σ -Algebra auf Ω. Wir denieren auf (Ω, A) wie folgt zwei Maÿe : Für A ∈ A sei ( ( 0 : falls A abzählbar | A | : falls A endlich ν(A) := und µ(A) := ∞ : sonst ∞: sonst Oensichtlich ist µ(A) genau dann Null, wenn A = Ø ist. Deshalb ist ν absolut stetig bezüglich µ. Wir nehmen nun an, dass eine nichtnegative A-meÿbare Funktion f existiert mit Z ν(A) = f dµ für alle A ∈ A. A

Dann folgt

Z 0 = ν({x}) =

f dµ = f (x)µ({x}) = f (x) {x}

für alle x ∈ Ω. Damit ist f ≡ 0, also ν ≡ 0, was ein Widerspruch zur Denition von ν ist.

3.2 Existenz und Eindeutigkeit der bedingten Erwartung Der Satz von Radon-Nikodym liefert uns die Existenz und Eindeutigkeit der bedingten Erwartung.

Satz 3.6 (Existenz und Eindeutigkeit der bedingten Erwartung)

Sei (Ω, A, P ) ein Wahrscheinlichkeitsraum und sei X eine A-meÿbare, nichtnegative oder P integrierbare Funktion sowie F ⊂ A eine Unter-σ -Algebra. Dann gilt: 1) E(X|F) existiert. 2) Je zwei Versionen von E(X|F) sind PF -fast sicher gleich.

3.3. Die Lebesgue-Zerlegung

21

Beweis: Wir nehmen zuerst an, dass X nichtnegativ ist. Wir denieren µ := P |F und ν :=

XP |F , das heiÿt

Z ν(B) =

XdP B

für alle B ∈ F . Damit ist ν auf F ein absolut stetiges Maÿ bezüglich µ Z. Mit Satz 3.4 folgt die Existenz einer nichtnegativen, F -meÿbaren Funktion Y mit ν(A) = Y dµ für alle A ∈ F . Also ist

Z

Z Y dµ =

A

A

A

Z Y dP |F = ν(A) =

XdP A

für A ∈ F . Die Funktion Y erfüllt somit die Bedingungen aus Denition 2.5 und ist deshalb eine Version von E(X|F). Auÿerdem ist Y als Radon-Nikodym Ableitung PF -fast sicher eindeutig bestimmt. Sei X nun P -integrierbar. Sei Y1 eine Version von E(X + | F) und Y2 eine Version von R R E(X − | F) (deren Existenz folgt mit 1)). Dann ist Y1 dPF = X + dPF < ∞, also ist Y1 PF fast sicher endlich. Ebenso ist Y2 PF -fast sicher endlich. Damit ist Y := Y1 − Y2 bis auf eine PF -Nullmenge wohl deniert und es gilt für alle B ∈ F Z Z Z Y dPF = Y1 dPF − Y2 dPF B B B Z Z Z = X + dP − X − dP = XdP B

B

B

Y erfüllt somit die Voraussetzungen von Denition 2.5. Es folgt die Existenz von RE(X | F). zu zeigen. Sei Z eine andere Lösung von B ZdP = RWir haben nun noch die Eindeutigkeit R R XdP für alle B ∈ F . Dann ist ZdP = B Y dP für alle B ∈ F und deshalb Z = Y PF B B fast sicher. 2

3.3 Die Lebesgue-Zerlegung Für endliche Maÿe, die nicht notwendig absolut stetig sind, gilt der folgende Zerlegungssatz.

Satz 3.7 (Lebesgue-Zerlegung) Seien µ und ν endliche Maÿe auf dem Messraum (Ω, A). Dann existiert eine messbare Funktion g und eine µ-Nullmenge N ∈ A mit Z ν(A) = g dµ + ν(A ∩ N ) A

für alle A ∈ A. Dabei ist g µ-fast sicher eindeutig bestimmt und 1N µ + ν -fast sicher.

Denition 3.8 Die endlichen Maÿe µ und ν heiÿen singulär zueinander, falls eine Menge M existiert mit µ(M ) = 0 und ν(M c ) = 0.

In der Lebesgue-Zerlegung heiÿt der erste Term der absolut stetige Anteil und der zweite Term der singuläre Anteil.

22

Kapitel 3: Maÿtheoretische Überlegungen

Wir werden nun Satz 3.7 beweisen.

Beweis: Wir zeigen zuerst die Existenz der Zerlegung. Da ν ¿ ν + µ, existiert R nach dem Satz von Radon-Nikodym eine messbare Abbildung h : Ω −→ [0, 1] mit ν(A) = A h d(ν + µ) für alle A ∈ A. Um die Eigenschaft h ∈ [0, 1] einzusehen, sei νe := ν + µ. Dann ist ν(A) ≤ νe(A) für alle A ∈ A. Damit ist νe({h > 1}) = 0, denn für alle ε > 0 gilt Z νe(h ≥ 1 + ε) ≥ ν(h ≥ 1 + ε) = h de ν ≥ (1 + ε)e ν (h ≥ 1 + ε). {h≥1+ε}

Wir erhalten νe(h ≥ 1 + ε) = 0 für alle ε > 0. Dann gilt weiter Z Z (1 − h) dν = h dµ für alle A ∈ A A

A

oder kurz: (1 − h)ν = hµ. Wir setzen nun N := {h = 1}. Dann ist Z Z µ(N ) = h dµ = (1 − h) dν = 0. N

N

h wohldeniert und wir erhalten mit g = 1−h Z Z Z 1 ν(A ∩ N c ) = dν = (1 − h) g dµ = g dµ. 1−h A∩N c A∩N c A R Damit ist ν(A) − ν(A ∩ N ) = A g dµ.

Auf

Nc

ist

1 1−h

R Wir zeigen nun die Eindeutigkeit der Zerlegung. Ist ν(A) = A g 0 dµ+ν(A∩N 0 ) mit µ(N 0 ) = 0, so ist für alle A ∈ A Z Z Z Z g 0 dµ = g 0 dµ = ν(A ∩ (N ∩ N 0 )c ) = g dµ = g dµ. A∩(N ∩N 0 )c

A

A∩(N ∩N 0 )c

A

Damit folgt g = g 0 µ-fast sicher. Wegen µ(N ) = 0 ist Z 0c ν(N ∩ N ) = g 0 dµ = 0. N

Ebenso ist

ν(N c

∩

N 0)

= 0. Wir erhalten ν(N 4 N 0 ) = 0, das heiÿt 1N = 1N 0 ν -fast sicher. 2

Bemerkung 3.9 AusR der Lebesgue-Zerlegung lässt sich der Satz von Radon-Nikodym ableiten. Denn ist ν(A) = A g dµ + ν(A ∩ N ) mit ν(N ) = 0 und ist ν absolut stetig bezüglich µ, so gilt ν(A ∩ N ) = 0 für alle A ∈ A, das heiÿt Z ν(A) = g dµ. A

Wegen der Eindeutigkeit der Radon-Nikodym Zerlegung gilt g = f mit f wie in Satz 3.4, f h oder h = 1+f µ-fast sicher mit h wie im Beweis der Lebesgue-Zerlegung. das heiÿt f = 1−h Symbolisch schreibt man dν

dν dµ = dν d(ν + µ) 1 + dµ

µ-fast sicher.

3.4. Der Zusammenhang zwischen Integralen und Maÿen

23

Bemerkung 3.10 Seien ν , µ und η endliche Maÿe mit ν ¿ µ ¿ η . Dann gilt dν dν dµ = · dη dµ dη

η -fast sicher.

3.4 Der Zusammenhang zwischen Integralen und Maÿen 3.4.1 Der Rieszsche Darstellungssatz Sei Ω ein kompakter metrischer Raum und C(Ω) der Raum der stetigen Funktionen über Ω. Sei I : C(Ω) −→ IR ein positives lineares Funktional. Dann existiert ein endliches Maÿ µ auf (Ω, B) mit Z

I(f ) =

f dµ für alle f ∈ C(Ω).

Dabei ist B die Borelsche σ -Algebra über Ω, das heiÿt die von den oenen Mengen erzeugte σ -Algebra. Weitergehender als der Rieszsche Darstellungssatz ist der folgende Satz.

3.4.2 Der Darstellungssatz von Daniell-Stone Sei E ein Vektorverband von reellen Funktionen deniert auf Ω, der die konstante Funktion 1 enthält. Sei I : E −→ IR ein positives lineares Funktional, das der folgenden Stetigkeitsbedingung genügt: Ist (fn )n∈IN eine monoton fallende Folge in E mit lim fn = 0, so gilt lim I(fn ) = 0. n→∞

n→∞

Sei A die kleinste σ -Algebra über Ω, so dass alle f ∈ E A-messbar sind. Dann existiert ein Maÿ µ auf (Ω, A) mit Z I(f ) = f dµ für alle f ∈ C(Ω).

Kapitel 4

Bedingte Erwartungen (Teil II) 4.1 Eigenschaften bedingter Erwartungen Satz 4.1 Sei (Ω, A, P ) ein Wahrscheinlichkeitsraum. Seien X , Y nichtnegative oder P -inte-

grierbare, A-messbare Zufallsvariablen sowie F1 , F2 ⊂ A Unter-σ -Algebren. Dann gilt: 1) E(X + Y | F1 ) = E(X | F1 ) + E(Y | F1 )

P -f.s.

2) Für alle c ∈ IR gilt E(cX | F1 ) = cE(X | F1 )

P -f.s.

3) Ist X P -fast sicher nichtnegativ, so ist auch E(X | F1 ) P -fast sicher nichtnegativ. 4) E(|X| | F1 ) ≥ |E(X | F1 )| P -f.s. 5) E(E(X | F1 )) = EX 6) E(X | A) = X

P -f.s.

P -f.s.

7) Ist F1 ⊂ F2 , dann folgt E(E(X | F2 ) | F1 ) = E(X | F1 ) P -f.s. 8) Ist XY P -integrierbar und X F1 -messbar, dann ist E(XY | F1 ) = XE(Y | F1 ). 9) Sei Y P -integrierbar und (Xn )n∈IN eine Folge A-messbarer Zufallsvariablen mit Xn ≥ Y für alle n ∈ IN, die P -fast sichPer isoton gegen X konvergiert. Dann gilt lim E(Xn | F1 ) = E(X | F1 )

n→∞

P -fast sicher.

10) Sei Y P -integrierbar und (Xn ) eine Folge A-messbarer Zufallsvariablen mit Xn ≥ Y für alle n ∈ IN, dann ist E(lim inf Xn | F1 ) ≤ lim inf E(Xn | F1 ). n→∞

n→∞

Ist Y ≥ Xn für alle n ∈ IN, so ist lim sup E(Xn | F1 ) ≤ E(lim sup Xn | F1 ). n→∞

n→∞

25

26

Kapitel 4: Bedingte Erwartungen (Teil II)

11) Sei Y P -integrierbar und (Xn )n∈IN eine Folge A-messbarer Zufallsvariablen, die P -fast sicher konvergiert. Sei |Xn | ≤ Y für alle n ∈ IN. Dann ist E( lim Xn | F1 ) = lim E(Xn | F1 ). n→∞

n→∞

Beweis: Die Eigenschaften 1) bis 6) folgen sofort aus der (den bedingten Erwartungswert denierenden) Radon-Nikodym-Gleichung.

Zu 7): Es sei F1 ⊂ F2 und B ∈ F1 . Dann ist Z Z E(E(X | F2 ) | F1 )dP = E(X | F2 )dP B B Z XdP (da F1 ⊂ F2 ist) = ZB = E(X | F1 )dP B

Somit ist E(E(X | F2 ) | F1 ) = E(X | F1 ) P -f.s. Zu 8): Wir benötigen den folgenden Satz:

Satz 4.2 Seien µ und ν σ -endliche MaÿeR mit ν ¿ R µ. Sei f nichtnegativ und messbar mit

ν = f µ und sei h ν -integrierbar. Dann ist

hdν =

hf dµ.

In unserem Fall ist ν = Y P, µ = P |F1 und f = E(Y | F1 ). Sei B ∈ F1 und Z := X1lB . Dann folgt Z Z Z Z E(XY | F1 )dP = XY dP = ZY dP = Zd(Y P ) B ZB Z = Zd(Y P )F1 = Zd(E(Y | F1 )P )F1 .

Zu 9): Aus der Isotonie der Xn folgt die Isotonie der E(Xn | F1 ). Wegen Xn ≥ Y für alle n ∈ IN ist E(Xn | F1 ) ≥ E(Y | F1 ) für alle n ∈ IN. Damit folgt mit dem Satz von der monotonen Konvergenz, dass für alle B ∈ F1 gilt Z Z Z Z E(X | F1 ) dP = X dP = lim Xn dP = lim Xn dP n→∞ B B B B n→∞ Z Z = lim E(Xn | F1 ) dP = lim E(Xn | F1 ) dP. n→∞ B

B n→∞

Die Eigenschaften 10) und 11) folgen analog zu 9).

Lemma 4.3 Seien X und Y unabhängige, A-messbare Zufallsvariablen. Dann folgt: 1) E(X | Y ) := E(X | σ(Y )) = EX

Pσ(Y ) -f.s.

2

4.1. Eigenschaften bedingter Erwartungen

27

für P Y -fast alle y ∈ IR.

2) E(X | Y = y) = EX

3) Ist A ⊂ IR2 Borelsch, so gilt E(1lA (X, Y ) | Y = y) = E1lA (X, y) für P Y -fast alle y ∈ IR.

Beweis: Zu 1): Aus der stochastischen Unabhängigkeit von X und Y folgt, dass X und 1lB

für alle B ∈ σ(Y ) unabhängig sind. Auÿerdem ist EX trivialerweise σ(Y )-meÿbar. Damit folgt für alle B ∈ σ(Y ) Z Z Z E(X | Y )dP = XdP = 1lB XdP B ZB Z = 1lB dP XdP Z Z = EX dP = EXdP. B

Also ist E(X | Y ) = EX

B

Pσ(Y ) -f.s.

Zu 2): Sei ϕ eine B-messbare Funktion, so dass ϕ ◦ Y eine Version von E(X|Y ) ist. Dann ist ϕ(y) eine Version von E(X|Y = y). Sei C ∈ σ(Y ) und sei B ∈ B mit C = Y −1 (B). Dann gilt wegen 1): Z Z Z Z XdP = EXdP = EXdP = EXdP Y . C

Damit ist

Y −1 (B)

C

Z

Z EX dP

B

Y

=

B

Z X dP =

Z ϕ(y)dP Y (y).

ϕ ◦ Y dP =

C

C

B

Zu 3): Sei C ∈ σ(Y ) und sei B ∈ B mit C = Y −1 (B). Dann folgt Z Z Z 1lA (X, Y )dP = E(1lA (X, Y ) | Y )dPσ(Y ) = E(1lA (X, Y ) | Y = y)dP Y (y). C

C

B

Andererseits folgt mit dem Satz von Fubini Z Z 1lA (X, Y )dP = 1lA (x, y)dP (X,Y ) (x, y) C B×IR ¶ Z µZ X = 1lA (x, y)dP (x) dP Y (y) IR ZB = E1lA (X, y)dP Y (y). Damit ist

R B

B

E(1lA (X, y) | Y = y)dP Y (y) =

R B

E1lA (X, y)dP Y (y) für alle B ∈ B .

2

Bemerkung 4.4 Die Aussage 1) von Lemma 4.3 gilt allgemeiner. Anstelle von σ(Y ) kann jede σ -Algebra F stehen, die von σ(X) unabhängig ist. Noch weitergehend gilt: Sind G und H σ -Algebren und ist σ(σ(X), G) von H unabhängig, so ist

E(X | σ(G, H)) = E(X | G).

28

Kapitel 4: Bedingte Erwartungen (Teil II)

Bemerkung 4.5 Im Falle quadratintegrierbarer Zufallsvariablen lässt sich die bedingte Erwartung anschaulich deuten: Ist L2 (Ω, A, P ) (bzw. L2 (Ω, F, P )) der Raum der quadratintegrierbaren, A-messbaren (bzw. F -messbaren mit F ⊂ A) Zufallsvariablen und L2 (Ω, A, P ) (bzw. L2 (Ω, F, P )) der zugehörende Raum der Äquivalenzklassen bezüglich der Relation ∼ mit f ∼ g genau dann, wenn f = g P -f.s., dann ist E( · | F ) die Orthogonalprojektion von L2 (Ω, A, P ) auf den abgeschlossenen, linearen Teilraum L2 (Ω, F, P ). Einfacher ausgedrückt heiÿt das: Für eine quadratintegrierbare Zufallsvariable X ist E( X | F ) die beste Approximation für X durch eine F -messbare Zufallsvariable bezüglich des quadratischen Fehlermaÿes E( X − Y )2 .

4.2 Buons Nadelproblem In diesem Abschnitt werden wir mit Hilfe von Bernoulli-Experimenten π berechnen. Dazu lassen wir auf eine Ebene, in der vertikale Geraden vom Abstand 1 verlaufen, wiederholt eine Nadel der Länge 1 fallen und wir notieren jeweils, ob die Nadel eine Vertikale getroen hat oder nicht. Diesen Vorgang beschreiben wir formal mit Hilfe einer Folge unabhängiger, identisch verteilter Bernoulli-Variablen (Zi )i∈IN mit

  1, falls die Nadel eine Linie trit Zi :=  0, sonst Mit X bezeichnen wir die Länge des Lotes vom Mittelpunkt der Nadel zur linken Vertikalen und Θ sei der Winkel, den die Nadel mit der Verlängerung des Lotes bildet. Wir wollen annehmen, dass unser Modell folgenden Voraussetzungen genügt: 1) X ist eine auf dem Intervall [0, 1] gleichverteilte Zufallsvariable. π 2) Θ ist eine auf dem Intervall [ −π 2 , 2 ] gleichverteilte Zufallsvariable.

3) X und Θ sind stochastisch unabhängig. Da wir bei der Nadel nicht zwischen Anfangs- und Endpunkt unterscheiden, wird ihre Lage π durch Θ ∈ [ −π 2 , 2 ] vollständig beschrieben. Im Folgenden werden wir zeigen, dass P ( Zi = 1 ) = 2/π ist, sodass wir mit dem starken P Gesetz der groÿen Zahlen lim n1 ni=1 Zi = 2/π P -f.s. erhalten und damit n→∞

π ∼ 2n/

n X

Zi .

i=1

Wir können also π näherungsweise bestimmen, indem wir die relative Häugkeit des Ereignisses Nadel trit Linie ermitteln. Zur Bestimmung von P ( Zi = 1 ) unterscheiden wir zwei Fälle:

1.Fall: Der Mittelpunkt der Nadel liegt zwischen zwei Vertikalen, von denen die linke getroen wird. Dann gilt X ≤

1 2

cos Θ.

4.3. Reguläre bedingte Verteilungen

29

2.Fall: Die rechte Vertikale wird getroen. Dann folgt 1 − X ≤ 12 cos Θ. Wegen A := { Zi = 1 } = { (x, θ) : 0 < x < 1, | θ | ≤ π2 , x ∈ [0, 21 cos θ] ∪ [1 −

1 2

cos θ, 1] } gilt:

P ( Zi = 1 ) = E[ 1lA (X, Θ) ] = E[ E( 1lA (X, Θ) | Θ ) ] Z = E( 1lA (X, Θ) | Θ ) dP Z π 2 = E( 1lA (X, Θ) | Θ = θ ) dP Θ (θ) −π 2

1 = π =

1 π

1 = π

Z

π 2

Z

−π 2 π 2

Z

−π 2 π 2

Z

=

1 π

=

2 . π

−π 2 π 2 −π 2

E( 1lA (X, Θ) | Θ = θ ) dθ E[ 1lA (X, θ) ] dθ P ( X ∈ [0,

1 1 cos θ] ∪ [1 − cos θ, 1] ) dθ 2 2

cos θ dθ

4.3 Reguläre bedingte Verteilungen Nun wollen wir uns die Frage stellen, unter welchen Bedingungen die bedingte Wahrscheinlichkeit P (A | F) ein Maÿ in A ist. Wie wir sehen werden, ist die Antwort auf diese Frage eng mit dem Begri des stochastischen Kerns verbunden.

e A) e Messräume. Eine Abbildung Q : Ω × Ae −→ [0, 1] heiÿt Denition 4.6 Seien (Ω, A), (Ω,

e A) e , falls folgende Eigenschaften stochastischer Kern (oder Markovkern) von (Ω, A) nach (Ω, gelten:

1) Q(ω, · ) : Ae −→ [0, 1] ist für jedes ω ∈ Ω ein Maÿ auf Ae. 2) Für alle A ∈ Ae ist die Abbildung ω 7→ Q(ω, A) A-messbar. Mit Denition 4.6 können wir den Begri der regulären bedingten Verteilung einführen.

Denition 4.7 Sei B die Borelsche σ -Algebra über IR und sei (Ω, A) ein Messraum sowie

F ⊂ A eine Unter σ -Algebra. Sei X eine A-messbare Zufallsvariable. Ein stochastischer Kern Q : Ω × B −→ [0, 1] heiÿt reguläre bedingte Verteilung von X gegeben F , falls

a) Q(ω, B) = P (X ∈ B | F)(ω) P -fast sicher für alle ω ∈ Ω und alle B ∈ B gilt, b) die Abbildung ω −→ Q(ω, B) F -messbar ist für alle B ∈ B.

30

Kapitel 4: Bedingte Erwartungen (Teil II)

Wir wollen unsere Ausgangsfrage folgendermaÿen umformulieren:

Existiert für eine Zufallsvariable X : (Ω, A) −→ (IR, B) eine reguläre bedingte Verteilung? Der folgende Satz beantwortet diese Frage positiv.

Satz 4.8 Zu jeder Zufallsvariablen X : (Ω, A) −→ (IR, B) existiert eine reguläre bedingte Verteilung Q.

Beweis: Für r ∈ Q und ω ∈ Ω sei Fr (ω) eine Version von P (X ≤ r | F)(ω). Auÿerdem sei { ri : i ∈ IN } eine Abzählung von Q. Wir werden zuerst zeigen, dass die Abbildung r 7→ Fr (ω) für PF -fast alle ω ∈ Ω eine Verteilungsfunktion auf Q ist. Anschlieÿend werden wir diese auf ganz IR fortsetzen. 1. Schritt: r 7→ Fr (ω) ist für PF -fast alle ω ∈ Ω eine Verteilungsfunktion auf Q. a) Monotonie: Ist ri < rj , so gilt P (X ≤ ri | F ) ≤ P (X ≤ rj | F) PF -fast sicher. Also ist Fri ≤ Frj PF -fast sicher. Man beachte, dass die Ausnahmenullmenge von der Wahl von ri und rj abhängt. Wir setzen deshalb Aij := { ω ∈ Ω : Fri (ω) > Frj (ω) }. Dann ist PF (Aij ) = 0. S Somit ist auch A := ri 0 } ∪ { ω ∈ Ω : limn→∞ Fn (ω) 6= 1 } eine PF -Nullmenge. Damit haben wir gezeigt, dass die Abbildung r 7→ Fr (ω) für alle ω 6∈ A ∪ B ∪ C eine Verteilungsfunktion auf Q ist.

2. Schritt: Die Fortsetzung von r 7→ Fr (ω) auf ganz IR. Für x ∈ IR und r ∈ Q denieren wir

F (ω, x) :=

 lim Fr (ω), ω 6∈ A ∪ B ∪ C r↓x

G(x),

sonst

wobei G eine fest gewählte Verteilungsfunktion ist. Wir zeigen nun: i) Die Abbildung x 7→ F (ω, x) ist für alle ω ∈ Ω eine Verteilungsfunktion. ii) Für alle x ∈ IR gilt F ( · , x) = P (X ≤ x | F) PF -fast sicher. Zu i): Monotonie und Normiertheit folgen direkt aus der Denition von F . Rechtssetige Stetigkeit: Sei (xn )n∈IN eine Folge in IR mit xn ↓ x ∈ IR und sei (rn )n∈IN eine Folge in Q mit xn ≤ rn ≤ xn + 1/n. Dann gilt rn ↓ x und wir erhalten für ω 6∈ A ∪ B ∪ C

F (ω, x) = lim Fr (ω) = lim F (ω, xn ). r↓x

xn ↓x

4.3. Reguläre bedingte Verteilungen

31

Zu ii): Für B ∈ F gilt:

Z P ({ X ≤ x } ∩ B) = lim P ({ X ≤ r } ∩ B) = lim r↓x r↓x Z = F (ω, x) dP (ω).

B

Fr (ω) dPF (ω)

B

Aus der so erhaltenen Verteilungsfunktion lässt sich nun leicht eine reguläre bedingte Verteilung konstruieren: Für ω ∈ Ω sei Q(ω, · ) das zu F (ω, · ) gehörige Wahrscheinlichkeitsmaÿ. Wir setzen D := { A ∈ B : Q( · , A) = P (X ∈ A | F) }. Dann ist D eine Monotone Klasse, die alle Intervalle der Form (a, b] mit a, b ∈ IR enthält. Es gilt deshalb D = B. 2

Folgerung 4.9 Seien X , Y reelle Zufallsvariablen auf dem Wahrscheinlichkeitsraum (Ω, A, P ). Dann existieren reguläre bedingte Verteilungen QX und QY , sodass für alle B, C ∈ B gilt, dass Z

Z Y

P (X ∈ B, Y ∈ C) = C

QX (y, B) dP (y) =

B

QY (x, C) dP X (x).

Beweis: Setzen wir F := σ( Y ), so existiert nach Satz 4.8 eine reguläre bedingte Verteilung Q von X unter F . Da diese bei festem B ∈ B σ( Y )-messbar ist, existiert ein stochastischer Kern QX von (IR, B) nach (IR, B) mit QX (Y (ω), B) = Q(ω, B). Deshalb folgt die Aussage aus der Denition der bedingten Erwartung sowie einer Anwendung der Transformationsformel. 2

Bemerkung 4.10 1) Sei F ⊂ A eine Unter σ -Algebra. Sei f ≥ 0 oder integrierbar und existiere eine reguläre bedingte Verteilung Q von (Ω, A) nach (Ω, F). Dann ist E(f | F) = R f dQ P -fast sicher.

2) Eine reguläre bedingte Verteilung existiert allgemeiner (als in Satz 4.8) unter der Annahme, dass das Bild von X ein polnischer Raum ist, das heiÿt metrisch, separabel und vollständig, versehen mit der Borelschen σ -Algebra.

Kapitel 5

Martingale Im Folgenden betrachten wir Martingale, Submartingale und Supermartingale. Das sind spezielle Folgen von Zufallsvariablen, die man als faire, günstige bzw. ungünstige Spiele interpretieren kann.

5.1 Denitionen und Eigenschaften Wir werden unseren Betrachtungen einen Wahrscheinlichkeitsraum (Ω, F, P ) und ein Intervall I von Z∪{−∞, ∞} zugrundelegen. Wird nichts anderes gesagt, so sind alle auftretenden Folgen von Zufallsvariablen auf (Ω, F, P ) deniert und auftretende σ -Algebren sind Unter σ -Algebren von F .

Denition 5.1 Sei (Xn )n∈I ein Folge von Zufallsvariablen und sei (Fn )n∈I eine Folge von Unter σ -Algebren von F .

1) (Fn )n∈I heiÿt Filtrierung, falls die Fn aufsteigend sind, d.h. Fn ⊂ Fn+1 für alle n ∈ I . 2) (Xn )n∈I heiÿt adaptiert bezüglich (Fn )n∈I , falls Xn Fn -messbar ist für alle n ∈ I .

Denition 5.2 Sei (Fn )n∈I eine Filtrierung und sei (Xn )n∈I eine Folge (Fn )n∈I -adaptierter Zufallsvariablen.

1) (Xn , Fn )n∈I heiÿt Submartingal, falls EXn+ für alle n ∈ I endlich ist und für alle m, n ∈ I mit m < n gilt, dass Xm ≤ E(Xn | Fm ). 2) (Xn , Fn )n∈I heiÿt Supermartingal, falls EXn− für alle n ∈ I endlich ist und (−Xn , Fn )n∈I ein Submartingal ist, also für alle m, n ∈ I mit m < n gilt, dass Xm ≥ E(Xn | Fm ). 3) Die Folge (Xn , Fn )n∈I heiÿt Martingal, falls sie sowohl ein Sub- als auch ein Supermartingal ist. Wenn klar ist, welche Filtration zugrundeliegt, schreiben wir anstatt (Xn , Fn )n∈I auch oft nur (Xn )n∈I oder noch kürzer einfach X . 33

34

Kapitel 5: Martingale

Bemerkung 5.3 R1) Es gilt genau dann E(Xn | Fm ) = Xm (bzw. ≤, bzw. ≥) für alle m < n, R wenn

A Xn dP

=

A Xm dP

(bzw. ≤, bzw. ≥) für alle m < n und alle A ∈ Fm .

2) Enthält I weder −∞ noch +∞, so gilt E(Xn | Fm ) = Xm (bzw. ≤, bzw. ≥) für alle m < n, genau dann wenn E(Xn+1 | Fn ) = Xn für alle n ∈ N.

Beweis: Zu 2): Für m < n gilt E(Xn | Fm ) = E(E(Xn | Fn−1 ) | Fm ) = E(Xn−1 | Fm ) = · · · = E(Xm | Fm ) = Xm . Die Aussagen mit ≤ und ≥ folgen analog.

2

5.2 Beispiele für Martingale 5.2.1 Summen unabhängiger Zufallsvariablen Sei (Yi )i∈IN eine Folge unabhängiger Zufallsvariablen mit E| Yk | < ∞ und EYk = 0 für alle P k ≥ 1. Sei X0 := 0, Xn := ni=1 Yi , F0 := {Ø, Ω} und Fn := σ(Y1 , . . . , Yn ) für n ≥ 1. Dann ist (Xn , Fn )n≥0 ein Martingal.

Beweis: E(Xn | Fn−1 ) = E(Xn−1 | Fn−1 ) + E(Yn | Fn−1 ) = Xn−1 + EYn = Xn−1 .

2

Man sieht, dass (Xn , Fn )n≥0 im Falle EYk > 0 ein Submartingal ist, während sich für EYk < 0 ein Supermartingal ergibt.

5.2.2 Produkte unabhängiger Zufallsvariablen Sei (Zi )i∈IN ein Folge nichtnegativer, unabhängiger Zufallsvariablen mit EZk = 1 für alle Q k ∈ IN. Sei Z0 := 1, F0 := {Ø, Ω} und Xn = nk=1 Zk sowie X0 := 1. Auÿerdem sei Fn := σ(Z1 , . . . , Zn ). Dann ist (Xn , Fn )n≥0 ein Martingal.

Beweis: Für alle n ∈ IN gilt E(Xn | Fn−1 ) = E(Xn−1 Zn | Fn−1 ) = Xn−1 E(Zn | Fn−1 ) = Xn−1 EZn = Xn−1 . Wie man sieht, ergibt sich für EZk < 1 ein Supermartingal.

2

5.2. Beispiele für Martingale

35

5.2.3 Von integrierbaren Zufallsvariablen erzeugte Martingale Sei Y eine Zufallsvariable mit E| Y | < ∞ und sei (Fn )n≥0 eine Filtrierung sowie Xn := E(Y | Fn ). Dann ist (Xn , Fn )n≥0 ein Martingal.

Beweis: Für alle n ∈ IN gilt E(Xn | Fn−1 ) = E(E(Y | Fn ) | Fn−1 ) = E(Y | Fn−1 ) = Xn−1 . 2

5.2.4 Stochastische Exponentiale Sei (Yi )i∈IN eine Folge unabhängiger, identisch verteilter Zufallsvariablen. Es existiere ein λ > 0, sodass φ(λ) := EeλY1 endlich ist. Sei n

Xn :=

eλ(Y1 +···+Yn ) Y eλYi = . φ(λ)n φ(λ) i=1

Sei F0 = {Ø, Ω}, Fn := σ(Y1 , . . . , Yn ) für n ≥ 1 und X0 := 1. Dann ist (Xn , Fn )n≥0 als Spezialfall von 2) ein Martingal.

5.2.5 Dichteprozesse Sei (Fn )n∈IN eine Filtrierung und seien Q1 und Q2 Wahrscheinlichkeitsmaÿe auf F . Seien Q1n := Q1 /Fn und Q2n := Q2 /Fn mit der Eigenschaft Q1n ¿ Q2n und sei Xn := dQ1n /dQ2n die Radon-Nikodym Ableitung von Q1n bezüglich Q2n , d.h., für alle A ∈ Fn gilt Q1n (A) = R 2 2 A Xn dQn . Dann ist (Xn , Fn )n≥1 ein Martingal bezüglich Q .

Beweis: Für alle m, n ≥ 1 mit m < n und für alle A ∈ Fm gilt: Z

Z

2

A

Xm dQ =

A

Xm dQ2m

=

Q1m (A)

Z

1

= Q (A) = A

Xn dQ2 .

2

5.2.6 Ein rückläuges Martingal Das folgende Beispiel werden wir später nutzen, um das starke Gesetz der groÿen Zahlen zu beweisen. Sei (Yi )i∈IN eine Folge unabhängiger, identisch verteilter Zufallsvariablen mit Pn E| Y1 | < ∞. Sei Sn := i=1 Yi , X−n := Sn /n und F−n := σ(Sm : m ≥ n). Dann gilt E(Y1 | F−n ) = Sn /n.

Beweis: Für alle n ≥ 1 und alle k ∈ {1, . . . , n} gilt E(Y1 | F−n ) = E(Yk | F−n ). Dies sieht

man wie folgt: Wegen Bemerkung 4.4 gilt

E(Yk | F−n ) = E(Yk | σ(Sn )) für k ∈ {1, . . . , n}. R R Da die Yi identisch verteilt sind, gilt {Sn ∈B} Yk dP = {Sn ∈B} Y1 dP für alle B ∈ B , das heiÿt E(Y1 | F−n ) = E(Y1 | σ(Sn )) = E(Yk | σ(Sn )) = E(Yk | F−n ) für k ∈ {1, . . . , n}. Damit folgt

nE(Y1 | F−n ) =

n X k=1

E(Yk | F−n ) = E

à n X k=1

! Yk | F−n

= E(Sn | F−n ) = Sn .

2

36

Kapitel 5: Martingale

5.3 Weitere Eigenschaften Als nächstes zeigen wir die Jensensche Ungleichung für bedingte Erwartungen.

Lemma 5.4 Sei φ : IR −→ IR eine konvexe Funktion und X eine Zufallsvariable mit Eφ(X) < ∞. Dann gilt

φ(E(X | G)) ≤ E(φ(X) | G)

P -fast sicher.

Beweis: Mit Hilfe der Jensenschen Ungleichung für Erwartungen folgt φ(EX) ≤ Eφ(X), also EX < ∞. Wegen der Konvexität von φ existiert zu x0 ∈ IR ein λ ∈ IR mit φ(x) ≥ φ(x0 ) + λ(x − x0 ) für alle x ∈ IR. Sei h eine Version von E(X | G). Dann ist φ(X) ≥ φ(h) + λh (X − h), wobei λh eine G -messbare Abbildung ist. Bildet man nun E( · | G), so ist E(φ(X) | G) ≥ E(φ(h) | G) + E(λh (X − h) | G) = φ(h) + λh (E(X | G) − h)0 = φ(h), da der zweite Term gleich Null ist.

2

Lemma 5.4 zeigt wie man aus gegebenen Submartingalen neue konstruieren kann.

Lemma 5.5 Sei (Xn , Fn )n∈I ein Submartingal und φ eine monoton wachsende, konvexe Funktion mit Eφ(Xn0 )+ < ∞ für ein n0 ∈ I . Dann ist (φ(Xn ), Fn )n∈I,n≥n0

ein Submartingal.

Beweis: Wende Lemma 5.4 an.

2

Bemerkung 5.6 Ist (Xn , Fn )n∈I in Lemma 5.5 ein Martingal, so reicht es aus, φ als konvex vorauszusetzen.

Beispiel 5.7 Sei (Xn , Fn )n∈I ein Martingal. Dann gelten die folgenden Eigenschaften: 1) (| Xn |, Fn )n∈I ist ein Submartingal, denn die Funktion x 7→ | x | ist konvex. 2) Ist EXn2 für alle n ∈ I endlich, so ist (Xn2 , Fn )n∈I ein Submartingal, da die Funktion x 7→ x2 konvex ist. 3) Sei (Xn , Fn )n∈I ein Submartingal. Dann ist auch (max{Xn , a}, Fn )n∈I ein Submartingal. Insbesondere ist (Xn+ , Fn )n∈I ein Submartingal.

Beweis: Zu 3): Für alle m, n ∈ I mit m < n gilt E(max{Xn , a} | Fm ) ≥ E(Xn | Fm ) ≥ Xm und

E(max{Xn , a} | Fm ) ≥ E(a | Fm ) = a.

2

5.4. Martingale als faire Spiele

37

5.4 Martingale als faire Spiele Im Folgenden werden wir sehen, dass sich Martingale (Submartingale bzw. Supermartingale) als faire (günstige bzw. ungünstige) Spiele interpretieren lassen.

Denition 5.8 Sei (Xn , Fn )n∈IN ein Martingal und (Vn , Fn )n∈IN vorhersehbar, d.h., Vn ist

Fn−1 -messbar für jedes n ∈ IN . Sei (V · X)0 := 0 und (V · X)n :=

n X

Vi (Xi − Xi−1 )

i=1

für n ∈ IN. Dann heiÿt ((V · X)n , Fn )n∈IN0 Martingaltransformierte von X bezüglich V . Für die Martingaltransformierte gibt es eine einfache anschauliche Deutung: Nehmen wir an, dass das Martingal ein Spiel beschreibt und dass Xn die Anzahl der gewonnen abzüglich der vorlerenen Spiele nach n Wiederholungen ist (Xn − Xn−1 ist dann der Ausgang des n-ten Spiels). Weiterhin sei Vn der Einsatz im n−ten Spiel (Vorhersehbarkeit ist hier eine natürliche Annahme, da der Einsatz vor dem Zeitpunkt n gemacht werden muss). Dann ist (V · X)n der Gesamtgewinn nach n Spielen.

Lemma 5.9 Ist (Vn )n∈IN durch ein k ∈ IR beschränkt, das heiÿt |Vn | ≤ k für alle k ∈ IN,

und vorhersehbar und ist (Xn , Fn )n∈IN ein Martingal, so ist auch ((V · X)n , Fn )n∈IN ein Martingal. Ist Vn zusätzlich für alle n ∈ IN nichtnegativ und ist (Xn , Fn )n∈IN ein Super- bzw. Submartingal, so ist auch ((V · X)n , Fn )n∈IN ein Super- bzw. Submartingal.

Beweis: Für alle n ∈ IN gilt: E((V · X)n | Fn−1 ) − (V · X)n−1 = E((V · X)n − (V · X)n−1 | Fn−1 ) = E(Vn (Xn − Xn−1 ) | Fn−1 ) = Vn E(Xn − Xn−1 | Fn−1 ). Wegen

   = 0 : falls (Xn , Fn )n∈IN ein Martingal E(Xn − Xn−1 | Fn−1 )

≥ 0 : falls (Xn , Fn )n∈IN ein Submartingal   ≤ 0 : falls (X , F ) n n n∈IN ein Supermartingal

folgt die Behauptung.

2

5.4.1 Interpretation und Beispiele für Spielsysteme Sei (Zn )n∈IN eine Folge von unabhängig, identisch verteilten Bernoulli-Variablen mit P (Zn = 1) = p und P (Zn = −1) = 1 − p =: q . Man interpretiert Zn = 1 als Gewinn im n-ten Spiel und entsprechend Zn = −1 als Verlust. Sei Fn := σ(Z1 , . . . , Zn ). Darüber hinaus sei Vn der Einsatz im n-ten Spiel, sodass wir annehmen dürfen, dass Vn vorhersehbar ist, denn der Einsatz wird vor dem n-ten Spiel nur unter Kenntnis der ersten n − 1 Spiele festgelegt. Sei Xn :=

38

Kapitel 5: Martingale

P P Z1 + · · · + Zn mit der Konvention X0 := 0 und sei Wn := ni=1 Vi Zi = ni=1 Vi (Xi − Xi−1 ) die Martingaltransformierte von X bezüglich V . Dies ist dann der Gesamtgewinn nach n Spielen. Dann gilt: E(Wn − Wn−1 | Fn−1 ) = Vn E(Xn − Xn−1 | Fn−1 ) = Vn E(Zn | Fn−1 ) = Vn EZn . Ist Vn strikt positiv, so folgt    > 0 falls p > q , d.h. (Xn , Fn )n∈IN ist Submartingal

Vn EZn

= 0 falls p = q , d.h. (Xn , Fn )n∈IN ist Martingal   < 0 falls p < q , d.h. (X , F ) n n n∈IN ist Supermartingal.

Man kann somit ein Martingal als faires Spiel, ein Submartingal als günstiges und ein Supermartingal als ungünstiges Spiel ansehen. Als Beispiel betrachten wir das Petersburger Paradoxon: Wir denieren V1 := 1 und ( 2n−1 falls Z1 = −1, . . . , Zn−1 = −1 Vn := 0 sonst Dies heiÿt, man verdoppelt stets seinen Ensatz, bis zum ersten Gewinn. Auÿerdem nehmen wir an, das Spiel sei fair, d.h. P (Zi = +1) = P (Zi = −1) = 1/2. Nun überlegt man sich leicht, dass Wn = 1 ist, wenn n der erste Zeitpunkt ist, zu dem man gewinnt. Wir haben also eine Spielstrategie gefunden, mit der wir immer gewinnen und das nach endlich vielen Spielen, wie wir jetzt sehen werden. Denieren wir nämlich T := min{ n ≥ 1 : Wn = 1 }, so gilt µ ¶k 1 P (T = k) = P ({ Z1 = −1 } ∩ · · · ∩ { Zk−1 = −1 } ∩ { Zk = 1 }) = . 2 P P∞ k Damit ist ET = ∞ k=1 kP (T = k) = k=1 k(1/2) < ∞. Das heiÿt, im Mittel tritt nach endlich vielen Spielen ein Gewinn ein. Weshalb ist es aber trotzdem nicht ratsam, diese Strategie zu verwenden? Das Problem ist, dass man, um zu gewinnen, ein unendlich groÿes Spielkapital benötigt, denn es gilt: µ ¶k X ∞ ∞ ∞ X X 1 k−1 1 2 = ∞. EVT = Vk P (T = k) = = 2 2 k=1

k=1

k=1

5.5 Nichtexistenz günstiger Spielsysteme Bis einschlieÿlich Beispiel 5.13 dient im Folgenden das Buch Probability with Martingales von D. Williams als Grundlage. Wir wollen uns nun folgendem Problem zuwenden:

Falls (Xn , Fn )n∈IN ein Martingal ist und T eine Stoppzeit, unter welchen Voraussetzungen gilt dann EXT = EX0 ? Dass Voraussetzungen nötig sind, zeigt schon das Beispiel des Petersburger Paradoxon, bei dem EWT = 1 6= 0 = EW0 gilt. Als weiteres Beispiel betrachten wir die symmetrische

5.5. Nichtexistenz günstiger Spielsysteme

39

Irrfahrt: Sei (Xn )n∈IN eine Folge von unabhängig, identisch verteilten Bernoulli-Variablen mit P P (Xi = 1) = P (Xi = −1) = 1/2 und sei X0 := 0. Auÿerdem sei Sn := ni=1 Xi , S0 := 0 und T := min{ n : Sn = 1 }. Dann ist EST = 1, aber ES0 = 0.

Satz 5.10 Sei (Xn , Fn )n∈IN ein Martingal und T eine Stoppzeit. Dann ist (XT ∧n − X0 , Fn )n∈IN

ein Martingal mit Erwartungswert 0. Insbesondere gilt EXT ∧n = EX0 für alle n ∈ IN.

Beweis: Sei Vn(T ) := 1l{ T ≥n } . Dann ist Vn(T ) Fn−1 -messbar, denn { Vn(T ) = 0 } = { T < n } = { T ≤ n − 1 } ∈ Fn−1 und

{ Vn(T ) = 1 } = { Vn(T ) = 0 }c ∈ Fn−1 . Nach Lemma 5.9 ist ((V (T ) · X)n , Fn )n∈IN ein Martingal. Wegen

(V

(T )

· X)n =

n X

(T ) Vi (Xi

i=1

− Xi−1 ) =

n X

1l{ T ≥i } (Xi − Xi−1 ) = XT ∧n − X0

i=1

folgt die Behauptung.

2

Satz 5.11 (Die Nichtexistenz eines günstigen Spielsystems) Sei X ein Martingal, dessen Zuwächse | Xn − Xn−1 | durch ein k1 ∈ IR beschränkt sind und sei V ein vorhersehbarer Prozess, der durch eine Konstante k2 ∈ IR beschränkt ist. Ferner sei T eine Stoppzeit mit ET < ∞. Dann ist E(V · X)T = 0.

Unter den Voraussetzungen aus Satz 5.11 kann man also den Gesamtgewinn eines Spiels durch Ändern des Spielsystems nicht verbessern. Wir werden später noch eine Verallgemeinerung diese Satzes kennenlernen.

Beweis: Nach Satz 5.10 wissen wir, dass ( ∗ ) E(V · X)T ∧n = E(V · X)0 = 0 gilt. Auÿerdem ist

¯ ¯ T ∧n T ¯ ¯X X ¯ ¯ | Xk − Xk−1 | ≤ k1 k2 T. Vk (Xk − Xk−1 ) ¯ ≤ k2 | (V · X)T ∧n | = ¯ ¯ ¯ k=1

k=1

Da limn→∞ (V · X)T ∧n = (V · X)T , folgt mit dem Satz von der majorisierten Konvergenz, da ET < ∞ ist, dass limn→∞ E(V · X)T ∧n = E(V · X)T . Die Behauptung ergibt sich nun mit ( ∗ ). 2

Bemerkung 5.12 Satz 5.11 wird auch als Optional Stopping Theorem bezeichnet.

40

Kapitel 5: Martingale

Beispiel 5.13 (Die ABRACADABRA-Aufgabe)

Jede Sekunde tippe ein Ae einen von 26 möglichen Buchstaben. Wie lange braucht der Ae im Mittel bis er das Wort ABRACADABRA ' getippt hat? Sei T die Zeit (in Sekunden), die der Ae benötigt. Wir werden sehen, dass ET = 26+264 +2611 gilt. Für den Beweis werden wir das Optional Stopping Theorem (nach D. Williams) verwenden. Dazu betrachten wir das Problem als ein faires Spiel: Zu den Zeitpunkten n ∈ IN setzt ein Spieler einen Euro darauf, dass der Ae als ersten Buchstaben ein A schreibt. Wenn er gewinnt, erhält er 26 Euro und setzt diese im zweiten Spiel darauf, dass der Ae B tippt. Gewinnt er, so bekommt er 262 Euro ausgezahlt, usw. Verliert der Spieler, so ist das Spiel für ihn beendet. Das Spiel ist insgesamt beendet, wenn erstmals das Wort ABRACADABRA erscheint. Wir kommen nun zum zugehörenden Formalismus: Für n ∈ IN sei ( 1l{i-ter Buchstabe vom n-ten Spieler richtig getippt} , Yn,i := 1/26,

falls i ≤ 11 falls i ≥ 12

Wir nehmen an, dass die Yn,i unabhängig sind. Der Gewinn des n-ten Spielers nach l Buchstaben ist gegeben durch ( l Y 26l , falls die ersten l Buchstaben richtig sind Zn,l := (26Yn,i ) = 0, falls einer der ersten l Buchstaben falsch ist i=1 Nach Beispiel 5.2.2 ist Zn,l in l ein Martingal bezüglich σ(Yn,1 , . . . , Yn,l ). Sei Wn die Auszahlung P nach der n-ten Spielrunde. Dann ist Wn = n−1 l=0 Zn−l,l+1 . Die Folge (Wn −n)n∈IN ist bezüglich Fn := σ(Yk,i : k + i ≤ n + 1) ein Martingal. Sei T := min{n ∈ IN : Wn ≥ 2611 } der erste Zeitpunkt, zu dem das Wort ABRACADABRA erscheint. Wie man sich leicht überlegt, ist ZT,1 = 26, ZT −3,4 = 264 und ZT −10,11 = 2611 . Alle anderen ZT −i,i+1 sind identisch null. Es ergibt sich WT = 26 + 264 + 2611 . Darüber hinaus folgt mit dem Optional Stopping Theorem E(WT − T ) = 0. Damit gilt

ET = EWT = 26 + 264 + 2611 .

5.6 Das Optional Sampling Theorem Wir wollen nun die recht starken Voraussetzungen von Satz 5.11 abschwächen. Es ist klar, dass man für die Gültigkeit von EXT = EX0 fordern muss, dass E| XT | < ∞ ist. Allerdings ist diese Bedingung nicht ausreichend, wie das Beispiel der symmetrischen Irrfahrt zeigt. Der folgende, zentrale Satz gibt uns eine zweite Bedingung, die zusammen mit E| XT | < ∞ hinreichend ist.

Satz 5.14 (Optional Sampling Theorem) Sei (Ti )i∈IN eine wachsende Folge von Stop-

pzeiten, d.h. Ti ≤ Ti+1 für alle i ∈ IN, und sei (Xn , Fn )n∈IN ein Submartingal mit E| Xn | < ∞ für alle n ∈ IN. Es gelte: 1) E| XTk | < ∞ für alle k ∈ IN.

5.6. Das Optional Sampling Theorem

2) lim inf N →∞

R

41

| dP = 0 für alle k ∈ IN.

{ Tk >N } | XN

Dann ist (XTk , FTk )k∈IN ein Submartingal.

Beweis: Für eine Stoppzeit T denieren wir: FT = { A ∈ F : A ∩ { T = k } ∈ Fk für k ∈ IN }. en := XTn und Fen := FTn . Sei A ∈ Fen . Wir müssen Dann ist XT FT -messbar. Wir setzen X zeigen, dass Z Z e en+1 dP für alle n ∈ IN gilt. (∗) Xn dP ≤ X A

A

Sei Dj := A ∩ { Tn = j } ∈ Fj . Dann ist A = und beliebiges j ∈ IN zu zeigen, denn

Z en dP = X

A

Es gilt:

Z

S

j∈IN Dj .

∞ Z X Dj

j=1

en dP. X

Z

Dj

en dP = X

Also ist es ausreichend, (∗) für Dj

Z

A∩{ Tn =j }

en dP = X

A∩{ Tn =j }

Xj dP

und

Z en+1 dP X

Dj

Z

Z

= Dj ∩{ Tn+1 ≤N }

=

N Z X Dj ∩{ Tn+1 =i }

i=j

=

en+1 dP + X

N Z X Dj ∩{ Tn+1 =i }

i=j

|

|

Dj ∩{ Tn+1 >N }

en+1 dP X

Z en+1 dP + X

Dj ∩{ Tn+1 >N }

en+1 dP X

Z en+1 dP + X {z

Dj ∩{ Tn+1 >N }

(∗∗)

Z −

Dj ∩{ Tn+1 >N }

en+1 ) dP . (XN − X {z

}

(2)

Wir zeigen nun: R a) (∗∗) ≥ Dj Xj dP und b) (2) → 0 für eine geeignete Teilfolge. R R en+1 dP ≥ Dann folgt Dj X Dj Xj dP , also die Behauptung.

XN dP }

42

Kapitel 5: Martingale

Zu a): Es gilt:

(∗∗) =

N −1 Z X i=j

=

Dj ∩{ Tn+1 =i }

Dj ∩{ Tn+1 =N }

Dj ∩{ Tn+1 >N }

XN dP

en+1 dP + X

Dj ∩{ Tn+1 ≥N }

XN dP

Z

Dj ∩{ Tn+1 =i }

N −1 Z X i=j

Z XN dP +

Z

N −1 Z X i=j

≥

Dj ∩{ Tn+1 =i }

N −1 Z X i=j

=

Z en+1 dP + X

en+1 dP + X

Dj ∩{ Tn+1 >N −1 }

XN dP

Z

Dj ∩{ Tn+1 =i }

en+1 dP + X

Dj ∩{ Tn+1 >N −1 }

XN −1 dP

(wegen der Submartingaleigenschaft der Xn )

≥

N −2 Z X i=j

Z

Dj ∩{ Tn+1 =i }

en+1 dP + X

Dj ∩{ Tn+1 >N −2 }

XN −2 dP

(Wiederholung der ersten Schritte mit N − 1 statt N )

Z

Z

≥ Dj ∩{ Tn+1 =j }

Xj dP +

Z =

Dj ∩{ Tn+1 ≥j }

Dj ∩{ Tn+1 >j }

Xj dP

Xj dP

Z =

Dj

Xj dP

(da { Tn+1 ≥ j } ⊃ { Tn ≥ j }).

Zu b): Es gilt

Z (2) = Dj ∩{ Tn+1 >N }

Z XN dP −

Für den ersten Summanden ergibt sich ¯Z ¯ ¯ X dP ¯ ¯ Dj ∩{ Tn+1 >N } N

Dj ∩{ Tn+1 >N }

en+1 dP. X

¯ Z ¯ ¯ | XN | dP → 0 ¯≤ ¯ { Tn+1 >N }

nach Voraussetzung 2) für eine geeignete Teilfolge. Der zweite Summand konvergiert auch gegen 0: Tn+1 ist eine Stoppzeit, also folgt { Tn+1 > N } ↓N Ø. Nach Voraussetzung 1) ist

en+1 1l{ T >N } | ≤ E| X en+1 | < ∞ für alle N ∈ IN. E| X n+1

5.7. Einige Anwendungen des Optional Sampling Theorems

43

Wir erhalten deshalb mit dem Satz von der majorisierten Konvergenz, dass ¯Z ¯ Z ¯ ¯ ¯ en+1 dP ¯¯ ≤ en+1 | dP → 0 für N → ∞. X |X ¯ ¯ Dj ∩{ Tn+1 >N } ¯ { Tn+1 >N } Damit ist auch b) gezeigt.

2

Bemerkung 5.15 Im Beispiel der symmetrischen Irrfahrt (Seite 35) ist Voraussetzung 2) aus Satz 5.14 verletzt.

Beweis: Mit den Bezeichnungen aus dem Beispiel der symmetrischen Irrfahrt auf Seite 35 und

Abschnitt 5.2.1 folgt: (Sn )n∈IN ist ein Martingal, also ist (| Sn |)n∈IN ein Submartingal (siehe Beispiel 5.7 1)). Sei AN −1 := { S1 = −1, S2 6= 0, . . . , SN −1 6= 0 }. Dann ist AN −1 ein Element von FN −1 und es gilt AN −1 ⊂ { T > N }. Damit erhalten wir:

Z

Z

Z

{ T >N }

| SN | dP ≥

AN −1

| SN | dP ≥

Z ≥

AN −2

AN −1

| SN −1 | dP

Z

| SN −1 | dP ≥

Z ≥

{ S1 =−1 }

AN −2

| SN −2 | dP

| S1 | dP = P (S1 = −1)

1 = . 2 Somit ist lim inf n→∞

R

{ T >N } | SN

| dP ≥ 1/2.

2

Korollar 5.16 (Optional Stopping Theorem) Sei T eine Stoppzeit und sei (Xn , Fn )n∈IN

ein Submartingal (bzw. Martingal) mit E|Xn | < ∞ für alle n ∈ IN, sodass T die Voraussetzungen 1) und 2) aus Satz 5.14 erfüllt. Dann gilt EXT ≥ EX1 (bzw. EXT = EX1 ).

Beweis: Setze T1 := 1, Tk := T für k ≥ 2 und wende das Optional Sampling Theorem an. 2

5.7 Einige Anwendungen des Optional Sampling Theorems Beispiel 5.17 (Ruin-Problem)

Sei (Xi )i∈IN eine Folge unabhängiger, identisch verteilter Zufallsvariablen mit P (Xi = 1) = P p = 1 − P (Xi = −1). Sei Sn := S0 + ni=1 Xi , S0 := k für ein 0 < k < N , F0 := { Ø, Ω } und Fn := σ(X1 , . . . , Xn ). Darüberhinaus bezeichnen wir mit T die Stoppzeit T := min{ n ≥ 1 : Sn ∈ {0, N } }. pk sei durch pk := P (ST = 0) deniert (pk ist dann die Wahrscheinlichkeit, sich bei dem durch (Xi )i∈IN denierten Spiel zu ruinieren, wenn man das Kapital k einsetzt). ³ ´Sn wird ein Martingal deniert, Wir wollen pk berechnen. Sei q := 1 − p. Durch Yn := pq denn es gilt:

44

Kapitel 5: Martingale

õ ¶ ! µ ¶ µ ¶Xn+1 q Sn +Xn+1 ¯¯ q Sn q E(Yn+1 | Fn ) = E E ¯ Fn = p p p µ ¶ ! µ ¶Sn µ ¶Sn õ ¶−1 q q q q q+ p = = p p p p = Yn . Damit erhalten wir EYn = EY0 = Wegen

³ ´k q p

und EYT = EY0 (Optional Stopping Theorem).

µ ¶N µ ¶N q q EYT = P (ST = 0) + P (ST = N ) = pk + (1 − pk ) p p

folgt

³ ´k pk =

q p

1−

³ ´N − pq ³ ´N q p

für p 6= q.

Beispiel 5.18 (Waldsche Identität)

Sei (ξn )n∈IN eine Folge unbhängiger, identisch verteilter Zufallsvariablen mit E| ξ1 | < ∞. Seien Fn := σ(ξ1 , . . . , ξn ), T eine Stoppzeit bezüglich (Fn )n∈IN mit ET < ∞ und ST := PT i=1 ξi (zufällig gestoppte Summe). Man kann sich vorstellen, dass (ξn )n∈IN eine Folge von Schadensfällen (z.B. Unwetterschäden) beschreibt, wobei ξn die Höhe des n-ten Schadens angibt und dass T die Anzahl dieser Schadensfälle (innerhalb eines Jahres) ist. Dann ist EST der mittlere Gesamtschaden. Es gilt EST = Eξ1 ET .

Beweis: Wir wollen Korollar 5.16 anwenden. Dazu denieren wir uns Xn := Sn − nEξ1

als ein geeignetes Martingal. Dann ist E| Xn | < ∞ für alle n ∈ IN. Es genügt somit, die Voraussetzungen 1) und 2) aus Satz 5.14 für T nachzuprüfen.

P Zu 1): Yn := ni=1 | ξi |−nE| ξ1 | deniert ein Martingal. Also folgt mit Satz 5.11, dass EYT ∧n = P ∧n 0 und damit E Ti=1 | ξi | = E(T ∧ n)E| ξ1 | gilt. Es ist E

T ∧n X

| ξi | = E

i=1

T X

| ξi |1l{ T ≤n } + E

i=1

n X

| ξi |1l{ T >n } ≥ E

i=1

T X

| ξi |1l{ T ≤n }

i=1

und deshalb folgt:

ET E| ξ1 | ≥ E(T ∧ n)E| ξ1 | ≥ E

T X

| ξi |1l{ T ≤n }

i=1

−→ E

T X i=1

| ξi | für n → ∞ (Satz von der monotonen Konvergenz).

5.7. Einige Anwendungen des Optional Sampling Theorems

45

Damit ist

¯ ¯ T T ¯X ¯ X ¯ ¯ E| XT | = E| ST − T Eξ1 | ≤ E ¯ ξi ¯ + ET E| ξ1 | ≤ E | ξi | + ET E| ξ1 | ¯ ¯ i=1

i=1

≤ 2ET E| ξ1 | < ∞. Also folgt 1). Zu 2): Es gilt

E( | Xn+1 − Xn | | Fn ) = E( | ξn+1 − Eξn | | Fn ) = E| ξn+1 − Eξn | ≤ 2E| ξ1 | < ∞. Also ist E| Xn+1 − Xn | = EE( | Xn+1 − Xn | | Fn ) < ∞. Damit folgt E| Xn | ≤ 4E| ξ1 | für alle n ∈ IN. Wir erhalten deshalb mit dem Satz von der majorisierten Konvergenz, dass R limN →∞ { T >N } | XN | dP = 0. Somit ist auch 2) gezeigt. Wir erhalten nun mit Hilfe von Korollar 5.16, dass EXT = EX1 = 0 ist und damit EST − ET Eξ1 = 0. 2

Beispiel 5.19 (Die Stoppverteilung der symmetrischen Irrfahrt)

Die Folge von Zufallsvariablen (Xi )i∈IN und die σ -Algebren Fn seien wie in Beispiel 5.17 P deniert. Sei Sn := ni=1 Xi und Tb := min{n ∈ IN : Sn ≥ b} für b ∈ IN. Wir setzen q := 1 − p. Dann gilt für alle p ∈ (0, 1): Ã !b p 1 − 1 − 4pqs2 Tb Es = für s ∈ (0, 1]. 2qs

Beweis: Für z > 0 ist {z Sn /φ(z)n , Fn ; n ∈ IN} ein Martingal, wobei φ(z) = Ez X1 = pz+qz −1

ist. Wir werden zeigen, dass das Martingal und die Soppzeit Tb die zweite Voraussetzung von Satz 5.14 erfüllen (die erste gilt oensichtlich). Dazu seien s ∈ (0, 1) und z so gewählt, dass φ(z) = s−1 ist. Dann gilt ¶ µ Sn z 1l ≤ z b sn P (Tb > n) ≤ z b sn . E φ(z)n {Tb >n} Da s ∈ (0, 1) ist, konvergiert die rechte Seite für n → ∞ gegen 0. Damit sind alle Voraussetzungen des Optional Sampling Theorems erfüllt und folglich gilt

1=E

z STb = z b EsTb , φ(z)Tb

d.h. EsTb = z −b (∗). Nun gilt s−1 = φ(z) = pz + qz −1 . Mit w = z −1 ergibt sich daraus 1 = spw−1 + sqw oder äquivalent w = sp + sqw2 . Die einzig sinnvolle Lösung ist à ! p 2 1 − 1 − 4pqs z −1 = w = . 2qs

46

Kapitel 5: Martingale

Setzt man dies in (∗) ein, so folgt die Behauptung.

2

Man sieht nun leicht, dass sich die Formel durch Limesbildung auf s = 1 ausdehnen lässt. Für s = 1 ist aber E1Tb = P (Tb < ∞). Unter Beachtung der Tatsache, dass (1− 2p)2 = (2q − 1)2 = 1 − 4pq ist, erhält man

P (Tb < ∞) = 1 für p ≥ q und

P (Tb < ∞) = Schlieÿlich ergibt sich

³ p ´b

für p < q.

q

d b EsTb = ETb = ds p−q

lim s↑1

für p > q.

Dies ist auch direkt aus der Waldschen Identität (Beispiel 5.18) herleitbar, ebenso wie

Var(Tb ) =

σ2b (p − q)3

mit σ 2 = 1 − (p − q)2 .

Als eine weitere Anwendung des Optional Sampling Theorems zeigen wir eine Verallgemeinerung der Kolmogorov-Ungleichung.

Satz 5.20 (Maximalungleichung) Sei (Xn , Fn )1≤n≤k ein Submartingal. Dann gilt für jedes b>0 P ( max Xn > b) ≤ 1≤n≤k

Beweis: Setze

( T1 :=

E| Xk | . b

min{ j ≤ k : Xj ≥ b } k, falls min{ j ≤ k : Xj ≥ b } = Ø

und T2 := k . Da T1 und T2 beschränkt sind, sind die Voraussetzungen aus Satz 5.14 trivialerweise erfüllt. Wegen { XT1 > b } ∈ FT1 und der Submartingaleigenschaft der Folge (Xn , Fn )1≤n≤k erhalten wir

P ( max Xn > b) = P ({ XT1 > b }) ≤ 1≤n≤k

=

1 b

Z { XT1 >b }

1 = E| Xk |. b

1 b

Z

Xk dP ≤

{ XT1 >b }

1 b

XT1 dP ≤

Z

1 b

Z { XT1 >b }

XT2 dP

| Xk | dP

2

5.7. Einige Anwendungen des Optional Sampling Theorems

47

Beispiel 5.21 (Ein sequentieller Alarmplan)

Das im Folgenden beschriebene Verfahren ist eine idealisierte Version eines sequentiellen Versuchsplanes, um Nebenwirkungen bei medizinischen oder pharmazeutischen Behandlungen zu entdecken. Gegeben seien unabhängige identisch verteilte Zufallsvariablen (Xn )n∈IN mit unbekannter Dichte f bezüglich eines Maÿes µ. Für die Wahl von f seien die beiden Alternativen p und q möglich. Ziel ist es, ein Verfahren anzugeben, das aufgrund der Beobachtungen (Xn )n∈IN signalisiert, dass f = q eingetreten ist. Dazu nehmen wir zunächst an, dass f = p vorliegt. Falls der Dichtequotient q(X1 ) · · · q(Xn ) Yn = p(X1 ) · · · p(Xn ) aber zu groÿ wird, entscheiden wir f = q . Formal heiÿt dies, für a > 0 sei ( min{n ≥ 1 : Yn > a} Ta := ∞, falls {n ≥ 1 : Yn > a} = Ø Falls Ta < ∞ ist, schlieÿt man auf f = q . Die Stoppzeit Ta ist ein sogenanntes sequentielles Entscheidungsverfahren. Diese haben die besondere Eigenschaft, dass die Zahl der für eine Entscheidung notwendigen Beobachtungen nicht vorab festgelegt ist. Ob das Verfahren beendet wird oder nicht, wird zu jedem Zeitpunkt aufgrund der bis dahin gewonnenen Daten erneut entschieden. Wir werden nun sehen, dass sich durch die Wahl von a die Wahrscheinlichkeit falschen Alarms, d.h. die Wahrscheinlichkeit sich für f = q zu entscheiden, obwohl f = p vorliegt, beschränken lässt. Dazu sei P := pµ und Fn := σ(X1 , . . . , Xn ). Nach Beispiel 5.2.5 ist (Yn )n∈IN bezüglich der Filtrierung (Fn )n∈IN ein Martingal unter dem Maÿ P . Deshalb folgt mit Satz 5.20 für alle N ∈ IN EYN 1 E|YN | = = . P (Ta ≤ N ) = P ( max Yn > a) ≤ 1≤n≤N a a a Damit gilt für die Wahrscheinlichkeit eines falschen Alarms

P (Ta < ∞) = lim P (Ta ≤ N ) ≤ N →∞

1 . a

Kapitel 6

Martingalkonvergenzsätze 6.1 Die Upcrossing Ungleichung Nehmen wir an, dass wir die Werteentwicklung einer Aktie zu den Zeitpunkten n ∈ IN verfolgen und dass wir die Aktie kaufen wollen, sobald sie einen bestimmten Wert r unterschreitet und sie wieder verkaufen, wenn ein Wert s mit s > r überschritten wird. Dann wird unser Gewinn zum Zeitpunkt n gröÿer sein als s − r multipliziert mit der Anzahl der Überschreitungen der Grenzen r und s (jeweils beginnend mit r und endend mit s). Wir fassen diese Betrachtungen in einen formalen Rahmen: Sei (Xn )n∈IN eine Folge reeller Zufallsvariablen und [r, s] ein reelles Intervall. Dann denieren wir die Stoppzeiten T1 und T2 durch T1 := inf{ i > 0 : Xi ≤ r } und T2 := inf{ i > T1 : Xi ≥ s } und nennen das Intervall (T1 , T2 ] ein Upcrossing. Für k ≥ 2 denieren wir dann induktiv T2k−1 := inf{ i > T2k−2 : Xi ≤ r }, T2k := inf{ i > T2k−1 : Xi ≥ s } sowie Tk := ∞, falls eine der Mengen leer ist, sodass

βn (r, s) :=

( 0

falls T2 > n

max{ m ∈ IN : T2m ≤ n } sonst

gerade die Anzahl der Upcrossings von [r, s] durch die Folge X1 , . . . , Xn ist. Ferner ist β(r, s) := limn→∞ βn (r, s) die Anzahl der Upcrossings von [r, s] durch die Folge (Xn )n∈IN . Ersetzen wir die Folge von Zufallsvariablen (Xn )n∈IN durch eine Folge (an )n∈IN reeller Zahlen, so gilt:

Lemma 6.1 Ist β(r, s) < ∞ für alle r, s ∈ Q mit r < s, so existiert lim an , wobei +∞ und n→∞

−∞ als Limiten zugelassen sind.

Beweis: Sei a := lim inf n→∞ an und a := lim supn→∞ an . Wir nehmen an, dass a < a. Dann

existieren r, s ∈ Q mit a < r < s < a. Aus den Eigenschaften von lim inf und lim sup folgt, dass an ≤ r für unendlich viele n und am ≥ s für unendlich viele m gilt. Damit existieren unendlich viele Upcrossings von [r, s] durch (an )n∈IN . Deshalb ist β(r, s) = ∞, was aber im Widerspruch zur vorausgesetzten Endlichkeit steht. Also ist a = a. 2

49

50

Kapitel 6: Martingalkonvergenzsätze

Satz 6.2 (Upcrossing Ungleichung) Sei X = (Xi , Fi )1≤i≤n ein Submartingal. Dann gilt Eβn (r, s) ≤

E(Xn − r)+ 1 ≤ (EXn+ + | r |). s−r s−r

Beweis: Die Anzahl der Upcrossings von [r, s] durch (Xi )1≤i≤n ist gleich der Anzahl der Up-

crossings von [0, s − r] durch das Submartingal (Xi − r)+ 1≤i≤n (für die Submartingaleigenschaft siehe Beispiel 5.7 3)). Wir können deshalb ohne Einschränkung annehmen, dass r = 0 und Xi ≥ 0 ist für alle i ∈ { 1, . . . , n }. Sei X0 := 0, F0 := { Ø, Ω } und

( φi :=

1 : ∃m ∈ 2IN0 + 1 : Tm < i ≤ Tm+1 0 : ∃m ∈ 2IN : Tm < i ≤ Tm+1

d.h., φi ist genau dann 1, wenn der Index i in einem Upcrossing-Zyklus liegt. Also gilt P βn (0, s) ≤ ni=1 φi (Xi − Xi−1 ). Wegen

[

{ φi = 1 } =

({ Tm < i } \ { Tm+1 < i }) ∈ Fi−1

m∈2IN0 +1

gilt

sEβn (0, s) ≤ E

n X

φi (Xi − Xi−1 ) =

i=1

= ≤ =

n Z X i=1

n Z X

i=1 { φi =1 } n Z X

{ φi =1 }

(E(Xi | Fi−1 ) − Xi−1 ) dP

(E(Xi | Fi−1 ) − Xi−1 ) dP

i=1 n Z X

(Xi − Xi−1 ) dP (da { φi = 1 } ∈ Fi−1 )

(Submartingaleigenschaft)

(Xi − Xi−1 ) dP = EXn − EX0

i=1

= EXn . Die zweite Ungleichung des Satzes ist oensichtlich.

2

6.2 Konvergenzsätze Bisher konnten wir nur unter der Annahme der stochastischen Unabhängigkeit einer Folge von Zufallsvariablen Aussagen über fast sichere Konvergenz machen (starkes Gesetz der groÿen Zahlen). Nun werden wir sehen, dass man auf Unabhängigkeit verzichten kann, wenn man stattdessen die Submartingaleigenschaft annimmt.

6.2. Konvergenzsätze

51

Satz 6.3 (Konvergenzsatz von Doob) Sei (Xn , Fn )n∈IN ein Submartingal mit

supn∈IN EXn+ < ∞. Dann existiert X∞ := lim Xn fast sicher. Falls EXn0 > −∞ für ein n→∞ n0 ∈ IN, so ist X∞ integrierbar.

Beweis: Ziel ist es, in geeigneter Weise die Upcrossing Ungleichung anzuwenden, wobei wir

wie im Beweis zu Lemma 6.1 vorgehen werden. Sei X ∗ := lim supn→∞ Xn und X∗ := lim inf n→∞ Xn . Wir nehmen an, dass P (X∗ < X ∗ ) > 0 ist und führen diese Aussage zu einem Widerspruch. Seien r, s ∈ Q mit r < s und B(r, s) := { X∗ < r < s < X ∗ }. Dann ist { X∗ < X ∗ } = S ∗ r,s∈Q B(r, s). Wegen P (X∗ < X ) > 0 existieren somit r, s ∈ Q mit r < s und P (B(r, s)) > 0. Mit Lemma 6.1 folgt, dass limn→∞ βn (r, s) = ∞ auf B(r, s) gilt. Damit ist limn→∞ Eβn (r, s) ≥ limn→∞ E(βn (r, s)1lB(r,s) ) = ∞. Andererseits folgt mit Satz 6.2, dass

E(Xn − r)+ < ∞. s−r n∈IN

sup Eβn (r, s) ≤ sup

n∈IN

Das ist aber ein Widerspruch zu limn→∞ Eβn (r, s) = ∞. Somit existiert X∞ fast sicher. Beweisen wir nun die zweite Aussage des Satzes: Sei n0 ∈ IN mit EXn0 > −∞. Aus der Submartingaleigenschaft folgt EXn0 ≤ EXn für alle n ≥ n0 . Damit folgt:

E| X∞ | = E lim | Xn | ≤ lim inf E| Xn | (Lemma von Fatou) n→∞

n→∞

≤ sup E| Xn | = sup (2EXn+ − EXn ) ≤ 2 sup EXn+ − EXn0 n≥n0

n≥n0

n≥n0

< ∞.

2

Korollar 6.4 Sei (Xn , Fn )n∈IN ein nichtnegatives Supermartingal. Dann existiert limn→∞ Xn fast sicher. Ist limn→∞ EXn = 0, so gilt limn→∞ Xn = 0 fast sicher. Beweis: (−Xn , Fn )n∈IN ist ein Submartingal mit supn≥n0 E(−Xn+ ) < ∞. Mit Satz 6.3 folgt

die fast sichere Existenz von X∞ := limn→∞ Xn . Sei nun limn→∞ EXn = 0. Dann gilt: F atou

0 ≤ EX∞ = E lim Xn ≤ lim inf EXn = lim EXn = 0. n→∞

n→∞

n→∞

Also ist EX∞ = 0 und somit X∞ fast sicher null.

2

Beispiel 6.5 1) Ein Submartingal, das fast sicher aber nicht in L1 konvergiert. Sei (Ω, F, P ) := ([0, 1], B ∩ [0, 1], λ[0,1] ), X1 ≡ 1,

( Xn (ω) :=

2n−1 : 0 ≤ ω ≤ 0:

sonst

1 2n−1

52

Kapitel 6: Martingalkonvergenzsätze

F1 := { Ø, Ω } und Fn := σ(X1 , . . . , Xn ). Dann ist (Xn , Fn )n∈IN ein Submartingal. R

R ≥ A Xn dP für alle A ∈ Fn . Man 1 beachte: Das einzige Intervall in Fn auf dem Xn+1 , Xn 6= 0 gilt, ist [0, 2n−1 ]. Es gilt: Z 1 Z 1n Z 1 2 2n−1 2n−1 n Xn+1 dP = 2 dP = 1 = Xn dP. 2

Beweis: Sei n ∈ IN. Es ist zu zeigen, dass

0

A Xn+1 dP

0

0

Also ist (Xn , Fn )n∈IN sogar ein Martingal mit EXn+ = EXn = 1 für alle n ∈ IN. Damit ist supn∈IN EXn+ = 1 und mit Satz 6.3 folgt, dass limn→∞ Xn fast sicher existiert. Oensichtlich gilt X∞ := limn→∞ Xn = 0 fast sicher, also EX∞ = 0, weshalb die Folge (Xn )n∈IN nicht in L1 gegen X∞ konvergieren kann.

2) Ein statistisches Testproblem Sei (Xn )n∈IN eine Folge unabhängiger, identisch verteilter Zufallsvariablen, deren Bildverteilung die Dichte f bezüglich eines Wahrscheinlichkeitsmaÿes µ besitzt. Es soll gelten, dass f = p oder f = q . Ziel ist es, zu entscheiden, ob p oder q vorliegt. Sei a ∈ IR+ . Dann denieren q(X1 )···q(Xn ) wir Yn := p(X und T := inf{ n ≥ 1 : Yn ≥ a }. Falls T < ∞ entscheiden wir, dass p 1 )···p(Xn ) nicht vorliegt. Dass dies sinnvoll ist, zeigen die folgenden Betrachtungen. Wir werden sehen, dass T unter der Annahme, dass p vorliegt, klein ist.

Behauptung: Sei Fn := σ(X1 , . . . , Xn ). Dann ist (Yn , Fn )n∈IN ein Martingal unter P = pµ. Beweis: Mit EP bezeichnen wir den Erwartungswert bezüglich P . Es gilt µ

EP (Yn+1 | Fn ) = EP

q(Xn+1 ) ¯¯ Yn ¯ Fn p(Xn+1 )

¶

µ

= Yn EP

q(Xn+1 ) ¯¯ ¯ Fn p(Xn+1 )

¶ = Yn Eµ q 2

= Yn . q(X1 ) = 1. Insbesondere ist EYn = EY1 = EP p(X 1)

Behauptung: Es gilt P (T < ∞) ≤ 1/a. Beweis: Es gilt:

5.20

P (T ≤ N ) = P ( max Xk ≥ a) ≤ 1≤K≤N

1 EYN = . a a

Also folgt P (T < ∞) = limn→∞ P (T ≤ N ) ≤ 1/a. Nach dem Konvergenzsatz von Doob existiert Y∞ := limn→∞ Yn fast sicher.

Behauptung: Es gilt Y∞ = 0 Beweis: Es gilt n

1 1X q(Xi ) 1.1 q(X1 ) log Yn = lim log = EP log n→∞ n n→∞ n p(Xi ) p(X1 ) lim

i=1

< 0,

2

6.3. Gleichgradige Integrierbarkeit

53

q(X1 ) q(X1 ) denn nach der Jensenschen Ungleichung gilt EP log p(X < log EP p(X = 0. Also ist 1) 1)

lim log Yn = −∞

n→∞

fast sicher und damit limn→∞ Yn = 0 fast sicher.

2

6.3 Gleichgradige Integrierbarkeit In Beispiel (6.5 1) haben wir gesehen, das ein Submartingal, das fast sicher konvergiert, im Allgemeinen nicht in L1 konvergiert. Ziel dieses Abschnitts ist es, eine Bedingung anzugeben, die sowohl fast sichere als auch L1 -Konvergenz impliziert. Ein Beispiel für eine solche Bedingung liefert der Satz von der majorisierten Konvergenz: Ist (Xn )n∈IN eine fast sicher konvergente Folge von Zufallsvariablen, die eine integrierbare Majorante besitzt, so konvergiert sie in L1 . Wir wollen die Vorraussetzung der Majorisierbarkeit abschwächen.

Lemma 6.6 Sei X eine integrierbare Zufallsvariable. Dann existiert zu jedem ε > 0 ein δ > 0, R sodass für alle F ∈ F mit P (F ) < δ gilt:

F

| X | dP < ε.

Beweis: Wir nehmen an, dass die Aussage falschR ist. Dann existiert ein ε0 > 0, sodass es zu jedem δ > 0 ein F ∈ F gibt mit P (F ) < δ und F | X | dP ≥ ε0 . Wir können also zu n ∈ IN R P Elemente δn und Fn so wählen, dass n∈IN δn < ∞, P (Fn ) < δn und Fn | Xn | dP ≥ ε0 gilt. Dann folgt mit dem Lemma von Borel-Cantelli, dass P (H) = 0 mit H := lim supn→∞ Fn . Nach dem Lemma von Fatou gilt Z Z | X | dP ≥ lim sup | X | dP ≥ ε0 . n→∞

H

Fn

R

Andererseits ist aber H | X | dP = 0 wegen P (H) = 0 und der Integrierbarkeit von X . Damit haben wir einen Widerspruch erhalten. 2 + RKorollar 6.7 Ist ε > 0 und X eine integrierbare Zufallsvariable, so existiert ein k ∈ IR mit { | X |>k } | X | dP < ε.

Beweis: Zu ε > 0 sei δ > 0 wie in Lemma 6.6 gewählt. Auÿerdem wählt man k so groÿ, dass E| X | k

< δ ist. Dann folgt mit der Tschebycheschen-Ungleichung P (| X | > k) ≤

Nach Wahl von δ ist somit

R

{ | X |>k } | X

E| X | < δ. k

| dP < ε.

2

Wir denieren nun den entscheidenden Begri.

Denition 6.8 Ein Klasse C von RZufallsvariablen heiÿt gleichgradig integrierbar, falls zu je-

dem ε > 0 ein kε existiert, sodass

{ | X |>kε } | X

| dP < ε für alle X ∈ C gilt.

54

Kapitel 6: Martingalkonvergenzsätze

Bemerkung 6.9 1) Nach Korollar 6.7 sind einelementige Klassen von Zufallsvariablen gleichgradig integrierbar.

2) Ist C gleichgradig integrierbar, so gilt supX∈C E| X | < ∞. Insbesondere sind nach Satz 6.3 gleichgradig integrierbare Submartingale fast sicher konvergent.

Beweis: Für alle X ∈ C gilt E| X | = E| X |1l{ | X |>k1 } + E| X |1l{ | X |≤k1 } ≤ 1 + k1 .

2

Satz 6.10 Sei C eine Klasse von Zufallsvariablen, für die eine integrierbare Majorante existiert (d.h., es existiert eine integrierbare Zufallsvariable Y mit | X | ≤ Y für alle X ∈ C ). Dann ist C gleichgradig integrierbar. Beweis: Wir müssen zeigen, dass limc→∞ supX∈C

R

| dP = 0. Nach Voraussetzung ist supX∈C | X | integrierbar. Darüberhinaus gilt für alle X ∈ C : Z Z Z Y dP ≥ sup | X | dP ≥ | X | dP. { | Y |>c }

{ | X |>c } | X

{ sup | X |>c } X∈C

{ | X |>c }

X∈C

R R Deshalb folgt supX∈C { | X |>c } | X | dP ≤ { sup supX∈C | X | dP . Wegen der InteX∈C | X |>c } grierbarkeit von supX∈C | X | geht der rechte Ausdruck für c → ∞ gegen null. 2

Beispiel 6.11 (Eine Klasse, die nicht gleichgradig integrierbar ist)

Sei Xn := n1l[0, 1 ] und P := λ[0,1] . Dann ist E| Xn | = EXn = 1 für alle n ∈ IN und n ¡£ ¤¢ E| Xn |1l{ | Xn |>k } = nP 0, n1 = 1 für n > k .

Lemma 6.12 Sei C eine Klasse von Zufallsvariablen. Dann ist C genau dann gleichgradig integrierbar, wenn

1) supX∈C E| X | < ∞. 2) Zu jedem ε > 0 existiert ein δ > 0 mit supX∈C P (A) < δ .

R

A|X

| dP < ε für alle A ∈ F mit

Beweis:  ⇒: Nach Bemerkung 6.9 2) gilt 1). Es reicht also aus, 2) zu zeigen. Für jede fast

sicher positive Zufallsvariable X , a > 0 und A ∈ F gilt: Z Z Z Z X dP = X dP + X dP ≤ aP (A) + A

A∩{ X≤a }

A∩{ X>a }

X dP.

{ X>a }

R R Damit folgt: supX∈C A | X | dP ≤ aP (A)+supX∈C { | X |>a } | X | dP . Ist a hinreichend groÿ, so wird der zweite Summand der rechten Seite wegen der gleichgradigen Integrierbarkeit beliebig R ε , klein. Also gilt supX∈C A | X | dP ≤ 2aP (A) für a hinreichend groÿ. Wählt man nun δ := 2a so folgt 2).

6.3. Gleichgradige Integrierbarkeit

55

 ⇐: Nach der Tschebycheschen-Ungleichung gilt für a > 0:

1 sup E| X |. a X∈C

sup P (| X | > a) ≤ X∈C

Man wählt deshalb a so groÿ, dass die rechte Seite kleiner oder gleich δ ist, denn dann folgt R mit 2), dass { | X |>a } | X | dP < ε für alle X ∈ C . 2 Satz 6.10 zeigt, dass der folgende Satz eine Verallgemeinerung des Satz von der majorisierten Konvergenz ist.

Satz 6.13 Sei (Xn )n∈IN eine Folge integrierbarer Zufallsvariablen. Dann existiert genau dann eine Zufallsvariable X , sodass (Xn )n∈IN in L1 gegen X konvergiert, wenn 1) (Xn )n∈IN stochastisch gegen X konvergiert, 2) (Xn )n∈IN gleichgradig integrierbar ist.

Beweis:  ⇐: Wir zeigen zuerst, dass X integrierbar ist. Wegen 1) existiert eine Teilfolge

(Xnj )j∈IN von (Xn )n∈IN , die fast sicher gegen X konvergiert. Deshalb erhalten wir aus 2), Lemma 6.12 und dem Lemma von Fatou, dass E| X | ≤ lim inf E| Xnj | ≤ sup E| Xn | < ∞. j→∞

n∈IN

Als nächstes zeigen wir die L1 -Konvergenz. Für ε > 0 gilt: Z Z Z | Xn − X | dP = | Xn − X | dP + | Xn − X | dP { | Xn −X |≤ε } { | Xn −X |>ε } Z Z ≤ε+ | Xn | dP + | X | dP. { | Xn −X |>ε }

{ | Xn −X |>ε }

Nach 1) gilt limn→∞ P (| Xn − X | > ε) = 0. Deshalb folgt aus Lemma 6.12, dass Z | Xn | dP < ε { | Xn −X |>ε }

für genügend groÿe n. Nach Lemma 6.6 gilt auch n. Also folgt die L1 -Konvergenz.

R

{ | Xn −X |>ε } | X

| dP < ε für genügend groÿe

 ⇒: 1) folgt mit Hilfe der Tschebycheschen Ungleichung. Es reicht also aus, 2) zu zeigen. Dazu sei ein beliebiges ε > 0 vorgegeben. Zu diesem existiert ein n0 ∈ IN, sodass E| Xn −X | < Pn0 ε für alle n ≥ n0 . Damit gilt sup E| X | ≤ n n∈IN i=0 E| Xi | + ε, wobei wir X0 := X gesetzt R haben. Für A ∈ F sei µn (A) := A | Xn | dP . Dann ist µn ein Maÿ, dass absolut stetig bezüglich P ist. Mit der ε-δ -Formulierung der Dominiertheit folgt, dass ein δn > 0 existiert, sodass für A ∈ F mit P (A) < δn gilt, dass µn (A) < ε ist. Wir setzen δ := min{ δn : n ≤ n0 }. Dann gilt für A ∈ F mit P (A) < δ und n ≥ n0 : Z Z Z Z | Xn | dP ≤ | Xn − Xn0 | dP + | Xn0 | dP ≤ E| Xn − Xn0 | + | Xn0 | dP ≤ 3ε. A

A

A

A

56

Kapitel 6: Martingalkonvergenzsätze

R Für n ≤ n0 gilt nach Denition von δ , dass A | Xn | dP ≤ ε. Damit folgt aus Lemma 6.12 die gleichgradige Integrierbarkeit der Folge (Xn )n∈IN . 2 Das nächste Lemma wird vor allem im Fall p = 2 häug verwendet werden.

Lemma 6.14 Sei C eine Klasse von Zufallsvariablen. Existiert ein p > 1, sodass E| X |p < A < ∞ für alle X ∈ C , so ist C gleichgradig integrierbar.

Beweis: Ist 0 < k < y , so ist y < k1−p y p für p > 1. Deshalb gilt für k > 0 und X ∈ C : Z

Z

| X | dP ≤ k { | X |>k }

Wegen limk→∞

1 A kp−1

1−p

| X |p dP ≤ { | X |>k }

1 k p−1

A.

= 0 folgt die Behauptung.

2

Der folgende Satz enthält die für unsere Zwecke wichtigste gleichgradig integrierbare Klasse von Zufallsvariablen.

Satz 6.15 Sei X eine integrierbare Zufallsvariable. Dann ist die Klasse { E(X | G) : G ⊂ F Unter σ -Algebra }

gleichgradig integrierbar.

Beweis: Sei ε > 0. Nach Korollar 6.7 existiert ein δ > 0, sodass

mit P (F ) < δ . Sei YG eine Version von E(X | G). Dann gilt

R F

| X | dP < ε für alle F ∈ F

| YG | = | E(X | G) | ≤ E(| X | | G) fast sicher, also E| YG | ≤ E| X | und deshalb supG E| YG | ≤ E| X | < ∞. Sei nun k ∈ IN so groÿ, dass 1 k E| X | < δ . Dann folgt mit Hilfe der Tschebycheschen-Ungleichung, dass

kP (| YG | > k) ≤ E| YG | ≤ E| X | < kδ. Damit erhalten wir P (| YG > k) < δ , wobei die Ungleichung nicht von der Wahl von G abhängt. Wegen { | YG | > k } ∈ G folgt:

E(| YG |1l{ | YG |>k } ) = E(| E(X | G) |1l{ | YG |>k } ) ≤ EE(| X |1l{ | YG |>k } | G) = E(| X |1l{ | YG |>k } ) < ε. Also gilt supG E(| YG |1l{ | YG |>k } ) < ε.

2

Wir werden jetzt den Doobschen Konvergenzsatz (Satz 6.3) mit der gleichgradigen Integrierbarkeit kombinieren und charakterisieren so Martingale (und Submartingale), die sowohl fast sicher als auch in L1 konvergieren. Wir werden sehen, dass das Martingal in diesem Fall schon (fast sicher) eindeutig durch das Limeselement festgelegt ist, mit der Konsequenz, dass der Raum der gleichgradig integrierbaren Martingale mit demjenigen der integrierbaren Zufallsvariablen identizierbar ist, wodurch man auf dem Raum der gleichgradig integrierbaren

6.3. Gleichgradige Integrierbarkeit

57

Martingale eine Banachraum-Struktur erhält. Auÿerdem werden wir aus den folgenden Sätzen schon bekannte folgern können, wie z.B. das 0-1 Gesetz von Kolmogorov, das starke Gesetz der groÿen Zahlen oder den Satz von Radon-Nikodym. Aus dem folgenden Konvergenzsatz lässt sich das starke Gesetz der groÿen Zahlen (Satz 1.1) folgern. T Satz 6.16 Sei (Xn , Fn )n≤0 ein Martingal und sei F−∞ := n≥0 F−n . Dann existiert X−∞ := limn→−∞ Xn fast sicher und in L1 . Auÿerdem ist (Xn , Fn )−∞≤n≤0 ein Martingal.

Beweis: Mit Beispiel 5.7 1) folgt, dass (| Xn |, Fn )n≤0 ein Submartingal ist. Damit folgt

E| Xn | ≤ E| X0 | < ∞ für alle n ≤ 0. Also gilt supn≤0 E| Xn | ≤ E| X0 |. Die fast sichere Konvergenz zeigt man nun wie im Konvergenzsatz von Doob (Satz 6.3) mit Hilfe der UpcrossingUngleichung (Satz 6.2). Damit existiert X−∞ := limn→−∞ Xn fast sicher. Als nächstes zeigen wir die L1 -Konvergenz. Dazu werden wir mit Hilfe von Satz 6.15 folgern, dass die Folge (Xn )n≤0 gleichgradig integrierbar ist und anschlieÿend Satz 6.13 anwenden. Um Satz 6.15 anwenden zu können, zeigen wir, dass Xn = E(X0 | Fn ) für alle n ≤ 0. Für A ∈ Fn gilt wegen der Martingaleigenschaft: Z Z Z Xn dP = X0 dP = E(X0 | Fn ) dP. A

A

A

Damit gilt Xn = E(X0 | Fn ) fast sicher, also ist (Xn )n≤0 gleichgradig integrierbar. Es bleibt zu zeigen, dass (Xn , Fn )−∞≤n≤0 ein Martingal ist. Wegen der L1 -Konvergenz ist X−∞ integrierbar. Wir werden zeigen, dass Xn = E(X0 | Fn ) für alle −∞ ≤ n ≤ 0 gilt. Die Martingaleigenschaft folgt dann mit Beispiel 5.4(3). Da wir schon wissen, dass Xn = E(X0 | Fn ) für alle −∞ < n ≤ 0, reicht es aus zu zeigen, dass X−∞ = E(X0 | F−∞ ). Oensichtlich ist R 1 RX−∞ F−∞ -messbar. Wegen der L -Konvergenz gilt für alle A ∈ F , dass limn→∞ A Xn dP = A X−∞ dP ist.R Da F−∞ ⊂RFn für alle −∞ ≤ n ≤ 0, folgt mit der Martingaleigenschaft für alle A ∈ F−∞ : A Xn dP = A X0 dP . Deshalb erhalten wir Z Z Z Z X−∞ = lim Xn dP = X0 dP = E(X0 | F−∞ ) dP. A

n→−∞ A

A

A

Es gilt also X−∞ = E(X0 | F−∞ ).

2

Korollar 6.17 (Das starke Gesetz der groÿen Zahlen) Sei (Yn )n∈IN P eine Folge unabhän-

giger, identisch verteilter Zufallsvariablen mit E| Y1 | < ∞ und sei Sn := limn→∞ Snn = EY1 fast sicher.

n i=1 Yi .

Dann gilt

Beweis: Wir setzen Xn := Sn /n und F−n := σ(Sk : k ≥ n). Nach Abschnitt 5.2.6 ist dann (Xn , Fn )n≤−1 ein Martingal und es gilt E(Y1 | F−n ) = Sn /n. Also folgt mit Satz 6.16, dass Sn n→∞ n

X−∞ = lim X−n = lim n→∞

fast sicher und in L1 existiert und dass (Xn , Fn )−∞≤n≤−1 ein Martingal ist. Damit erhalten wir Sn EX−∞ = EX−n = E = EY1 . n

58

Kapitel 6: Martingalkonvergenzsätze

Nach dem 0-1 Gesetz von Kolmogorov gilt X−∞ = EX−∞ fast sicher (X−∞ ist F−∞ -messbar; F−∞ ist aber gerade die σ -Algebra der terminalen Ereignisse). Damit ist das Korollar bewiesen. 2

Satz 6.18 Sei (Xn , Fn )n∈IN ein gleichgradig integrierbares Submartingal (bzw. gleichgradig integrierbares Martingal). Dann existiert X∞ := limn→∞ Xn fast sicher und in L1 . DarüberS hinaus ist (Xn , Fn )1≤n≤∞ , mit F∞ := σ( n∈IN Fn ), ein Submartingal (bzw. Martingal).

Beweis: Die Konvergenzen folgen mit Hilfe der Sätze 6.3 und 6.13. Es ist also nur noch

die Abschlusseigenschaft zu zeigen. Dies zeigen wir wie in Satz 6.16. Oensichtlich ist X∞ R F -messbar. Auÿerdem gilt wegen der L1 -Konvergenz für alle A ∈ F : limn→∞ A Xn dP = ∞ R R RA X∞ dP . Aus der Submartingaleigenschaft folgt R für alle AR∈ Fn und m ≥ n, dass A Xn dP ≤ RA Xm dP . Also R ist die Konvergenz limn→∞ A Xn dP = A X∞ dP isoton und wir erhalten X dP ≤ A n A X∞ dP für alle A ∈ Fn . Damit ist Xn ≤ E(X∞ | Fn ) für alle n ∈ IN und deshalb ist (Xn , Fn )1≤n≤∞ ein Submartingal. Im Falle eines Martingals ersetze man oben die Ungleichungen durch Gleichungen. 2 Der folgende Martingalkonvergenzsatz von P. Levy ist eine Umkehrung von Satz 6.18.

Satz 6.19 Sei Y eine integrierbare Zufallsvariable und sei (Fn )n∈IN eine Filtrierung. Auÿerdem sei Xn := E(Y | Fn ) und F∞ wie in Satz 6.18 deniert. Dann konvergiert die Folge (Xn )n∈IN fast sicher und in L1 gegen E(Y | F∞ ). Beweis: Abschnitt 5.2.3 und Satz 6.15 zeigen, dass (Xn , Fn )n∈IN ein gleichgradig integrierba-

res Martingal ist. Die Konvergenzen folgen dann mit Satz 6.18. Nennen wir den Limes X∞ , R R so bleibt zu zeigen, dass X∞ = E(Y | F∞ ) ist. Nach Satz 6.18 gilt A Xn dP = A X∞ dP für alle A ∈ Fn . Wegen Fn ⊂ F∞ für alle n ∈ IN und der Denition von Xn folgt: Z Z Z Z X∞ dP = Xn dP = Y dP = E(Y | F∞ ) dP.

R

A

R

A

A

S

A

Also gilt A X∞ dP = A E(Y | F∞ ) dP für alle A ∈ n∈IN Fn . Mit dem Eindeutigkeitssatz für Maÿe erhalten wir dann die Gleichheit auf F∞ und somit X∞ = E(Y | F∞ ) (da X∞ F∞ messbar ist). 2

Korollar 6.20 (0-1 Gesetz von Kolmogorov) Sei (Xn )n∈IN eine Folge unabhängiger ZuT

fallsvariablen und sei T := n∈IN Tn , mit Tn := σ(Xk : k ≥ n), die σ -Algebra der terminalen Ereignisse. Dann gilt für alle A ∈ T , dass P (A) ∈ { 0, 1 }.

Beweis: Sei Fn := σ(X1 , . . . , Xn ) und A ∈ T . Dann gilt wegen T ⊂ F∞ : 6.19

1lA = E(1lA | F∞ ) = lim E(1lA | Fn ). n→∞

Nun ist A ein terminales Ereignis und damit für jedes n ∈ IN unabhängig von Fn . Es gilt deshalb E(1lA | Fn ) = E1lA = P (A) für alle n ∈ IN. Also folgt P (A) = 1lA , was aber P (A) ∈ { 0, 1 } impliziert. 2

6.4. Weitere Beispiele zu den Martingalkonvergenzsätzen

59

Korollar 6.21 Sei (Xn , Fn )n∈IN ein Martingal. Es gelte supn∈IN E| Xn |p < ∞ für ein p > 1. Dann existiert X∞ := limn→∞ Xn fast sicher und in L1 und schlieÿt das Martingal ab.

Beweis: Die Folge (Xn )n∈IN ist nach Lemma 6.14 gleichgradig integrierbar. Deshalb folgen die Aussagen des Satzes aus Satz 6.18.

2

6.4 Weitere Beispiele zu den Martingalkonvergenzsätzen 6.4.1

Der Satz von Radon-Nikodym

Wir werden folgenden Spezialfall betrachten:

Satz 6.22 (Radon-Nikodym) Sei F eine abzählbar erzeugte σ -Algebra und P sowie Q end-

liche Maÿe auf F , sodass Q absolut stetig bezüglich P ist. Dann R existiert eine fast sicher eindeutig bestimmte nichtnegative Zufallsvariable X mit Q(A) = A X dP für alle A ∈ F . Zur Erinnerung sei bemerkt, dass eine σ -Algebra abzählbar erzeugt heiÿt, wenn eine abzählbare Folge (An )n∈IN von Teilmengen von Ω existiert, sodass F = σ(An : n ∈ IN). Ein Beispiel hierfür ist die Borelsche σ -Algebra auf IRn , denn sie wird von dem System { (−∞, q] : q ∈ Qn } erzeugt. Allgemeiner ist die Borelsche σ -Algebra eines polnischen Raumes abzählbar erzeugt, denn Separabilität ist äquivalent zur Existenz einer abzählbar erzeugten Basis der Topologie des Raumes. Wir wenden uns nun dem Beweis des Satzes von Radon-Nikodym zu.

Beweis: Die Beweisidee besteht darin, sich in geeigneter Weise ein gleichgradig integrierbares

Martingal zu denieren, dessen Abschlusselement gerade eine Dichte von Q bezüglich P ist. ³ ¯ ´ ¯ dQ ¯ dQ ¯ Dabei verwenden wir, dass dP G = E dP ¯ G für jede Unter σ -Algebra G von F gilt.

Sei (An )n∈IN ein abzählbares Erzeugendensystem ¡S für F .¢ Wir setzen Fn := σ(A1 , . . . , An ), S sodass also n∈IN Fn eine Algebra ist mit F = σ n∈IN Fn . Wir müssen Fn noch etwas anders darstellen. Dazu sei {©An,k : k ≤ kn } diejenige Partition von Ω, die von { A1 , . . . , An } erzeugt ª S wird. Dann ist Fn = k∈J An,k : J ⊂ { 1, . . . , kn } . Damit können wir eine Abbildung Xn : Ω −→ [0, ∞) denieren durch ( Q(A ) n,k P (An,k ) : ω ∈ An,k und P (An,k ) > 0 Xn (ω) := 0: ω ∈ An,k und P (An,k ) = 0 Es gilt nun, dass das so denierte Xn Fn -messbar sowie P -integrierbar ist. Als erstes stellen wir fest, dass Xn nur endlich viele Werte annimmt, da die Partition endlich ist. Deswegen ist Xn messbar. Nun gilt: Z kn Z X X Q(An,k ) Xn dP = Xn dP = P (An,k ) P (An,k ) An,k k=1

=

X { k:P (An,k )>0 }

{ k:P (An,k )>0 } Q¿P

Q(An,k ) = Q(Ω) < ∞.

60

Kapitel 6: Martingalkonvergenzsätze

Somit ist auch die Integrierbarkeit gezeigt. Wir zeigen nun, dass (Xn , Fn )n∈IN ein gleichgradig integrierbares Martingal ist. R 1) Zur Martingaleigenschaft: Wie oben zeigt man, dass Q(A) = A Xn dP für alle A ∈ Fn . ¯ R ¯ Somit ist Xn = dQ sicher. Für m ≤ n ist Fm ⊂ Fn , sodass Q(A) = A Xn dP für dP Fn fast R R alle A ∈ Fm . Damit folgt A Xm dP = A Xn dP für alle A ∈ Fm . Also ist (Xn , Fn )n∈IN ein Martingal. 2) Zur gleichgradigen Integrierbarkeit: Sei ε > 0. Wir wenden die ε-δ -Formulierung der Dominiertheit an. Diese besagt: Es existiert ein δ > 0, sodass Q(A) < ε für alle A ∈ F mit P (A) < δ . Wählen wir also ein k ∈ IR+ mit Q(Ω) k < δ , so folgt mit der Tschebycheschen-Ungleichung:

P (Xn > k) ≤

EXn Q(Ω) = < δ. k k

R Wir erhalten deshalb { Xn >k } Xn dP = Q(Xn > k) < ε für alle n ∈ IN, womit die gleichgradige Integrierbarkeit gezeigt ist. Nach Satz 6.18 existiert somit X∞ := limn→∞ Xn fast sicher und in L1 und es gilt für alle R R A ∈ Fn : A Xn dP = A X∞ dP . Ist nun n0 ∈ IN fest und A ∈ Fn0 sowie n ≥ n0 , so folgt: Z Q(A) = Xn dP (Martingaleigenschaft). A

R S Eindeutigkeitssatz für Maÿe Damit ist Q(A) = A X∞ dP für alle A ∈ n∈IN¡ Fn . Mit dem ¢ R S folgt, dass Q(A) = A X∞ dP für alle A ∈ F = σ . 2 F n∈IN n

6.4.2 Ein Beispiel aus der Analysis Im Folgenden werden wir den Hauptsatz der Dierential- und Integralrechnung für Lipschitzfunktionen beweisen. Dabei heiÿt eine Abbildung f : [0, 1] −→ IR Lipschitzfunktion, falls ein L ∈ IR+ existiert mit | f (x) − f (y) | ≤ L| x − y | für alle x, y ∈ [0, 1]. Wie man sieht, sind Lipschitzfunktionen insbesondere gleichmäÿig stetig.

Satz 6.23 Ist f : [0, 1] −→ IR eine Lipschitzfunktion, so existiert eine Lebesgue-integrierbare Funktion g mit

Z f (x) − f (0) =

x

g(y) dy 0

für alle x ∈ [0, 1].

Man beachte die enge Verwandschaft des folgenden Beweises mit dem von Satz 6.22.

Beweis: Wie im Beweis zum Satz von Radon-Nikodym, konstruieren wir uns wiederum ein geeignetes gleichgradig integrierbares Martingal. Dazu sei (Ω, F, P ) := ([0, 1], B[0,1] , λ[0,1] ) P2n k−1 und ξn (x) := k=1 2n 1l{ k−1 ≤x< 2kn } eine Treppenfunktion auf [0, 1] mit Werten in [0, 1]. 2n Die ξn sind monoton wachsend in n. Im Schritt von n nach n + 1 werden alle Intervalle k { k−1 2n ≤ x < 2n } halbiert. Also stimmt Fn := σ(ξ1 , . . . , ξn ) mit σ(ξn ) überein. Wir setzen nun

Xn :=

f (ξn (x) + 2−n ) − f (ξn (x)) 2−n

6.4. Weitere Beispiele zu den Martingalkonvergenzsätzen

61

und zeigen, dass (Xn , Fn )n∈IN ein gleichgradig integrierbares Martingal ist. 1) Gleichgradige Integrierbarkeit: Wegen der Lipschitzeigenschaft von f existiert eine positive Konstante L mit | f (x) − f (y) | ≤ L| x − y | für alle x, y ∈ [0, 1]. Also ist | Xn | ≤ L für alle n ∈ IN und deshalb ist die Klasse { Xn : n ∈ IN } gleichgradig integrierbar. 2) Die Martingaleigenschaft: Wir wollen E(Xn+1 | Fn ) ausrechnen. Es gilt: Z E(Xn+1 | Fn ) = Xn+1 P (dx | ξn ) Z n+1 =2 [ f (ξn+1 (x) + 2−(n+1) ) − f (ξn+1 (x)) ] P (dx | ξn ) Z n+1 =2 [ f (x + 2−(n+1) ) − f (x) ] P ξn+1 (dx | ξn ), wobei P ξn+1 (A | ξn ) := P (ξn+1 ∈ A | ξn ) für alle A ∈ B[0,1] . Nun sind folgende zwei Fälle möglich: (a) ξn+1 (x) = ξn (x) oder (b) ξn+1 (x) = ξn (x) + 2−(n+1) . Sei A ∈ σ(ξn ). Dann ist A eine disjunkte Vereinigung von Intervallen der Länge 1/2n . Wegen

h { ξn+1 = ξn } = 0,

1 ´ 2n+1

∪

h 2 h 2n+1 − 2 2n+1 − 1 ´ 3 ´ , ∪ · · · ∪ , 2n+1 2n+1 2n+1 2n+1

ist dann A∩{ ξn+1 = ξn } die Vereinigung der ersten Hälften der Intervalle aus A. Da P = λ[0,1] , folgt P (A∩{ ξn+1 = ξn }) = 12 P (A). Deshalb ergibt sich mit { ξn+1 = ξn +2−(n+1) } = { ξn+1 = ξn }c , dass 1 P (ξn+1 = ξn | ξn ) = P (ξn+1 = ξn + 2−(n+1) | ξn ) = . 2 Damit gilt Z n+1 E(Xn+1 | Fn ) = 2 [ f (x + 2−(n+1) ) − f (x) ] P ξn+1 (dx | ξn ) h1 = 2n+1 (f (ξn + 2−(n+1) ) − f (ξn )) 2 i 1 + (f (ξn + 2−(n+1) + 2−(n+1) ) − f (ξn + 2−(n+1) )) 2 = 2n (f (ξn + 2−n ) − f (ξn ))

= Xn . Somit ist (Xn , Fn )n∈IN ein Martingal. Mit dem Martingalkonvergenzsatz 6.18 folgt, dass X∞ := limn→∞ Xn fast sicher und in L1 existiert, also insbesondere integrierbar ist. Wir setzen g := X∞ . Aus der Abschlusseigenschaft folgt E(g | Fn ) = Xn für alle n ∈ IN. Es gilt:

Z 0

k 2n

Xn dλ = =

k−1 Z X

(i+1)2−n

−n i=0 i2 k−1 X

f (ξn + 2−n ) − f (ξn ) dλ 2−n

(f ((i + 1)2−n ) − f (i2−n )) = f (k2−n ) − f (0).

i=0

62

Kapitel 6: Martingalkonvergenzsätze

Andererseits gilt:

Z

k 2n

0

Z Xn dλ =

k 2n

0

Z

k 2n

=

E(g | Fn ) dλ (Martingaleigenschaft) ³ g(y) dy

0

h k´ ´ da 0, n ∈ Fn . 2

R Also folgt f (k2−n ) − f (0) = 0 g(y) dy . Die dyadisch rationalen Zahlen 2kn , 1 ≤ k ≤ 2n + 1, n ∈ IN, liegen dicht in [0, 1]. Zu x ∈ [0, 1] existiert also eine Folge (an )n∈IN dyadisch rationaler Zahlen mit x = limn→∞ an . Damit erhalten wir: k 2n

f (x) − f (0) = lim (f (an ) − f (0)) (Stetigkeit von f ) n→∞ Z an = lim g(y) dy n→∞ 0 Z x = g(y) dy (majorisierte Konvergenz).

2

0

6.5 Die Doobsche Ungleichung Der nächste Satz macht eine Aussage über die Vertauschbarkeit von Erwartungswert und Supremum bei Submartingalen.

Satz 6.24 (Doobsche Ungleichung) Sei (Xn )n∈IN ein nichtnegatives Submartingal mit supn∈IN EXn2 < ∞. Dann gilt

E sup Xn2 ≤ 4 sup EXn2 . n∈IN

n∈IN

Beweis: Mit der Cauchy-Schwarzschen Ungleichung folgt EXn ≤ (EXn2 )1/2 (E12 )1/2 = (EXn2 )1/2 . Zusammen mit der Voraussetzung supn∈IN EXn2 < ∞ ergibt sich also supn∈IN EXn < ∞. Wir können deshalb den Doobschen Konvergenzsatz 6.3 anwenden und erhalten, dass X∞ := limn→∞ Xn fast sicher existiert und dass EX∞ < ∞ gilt. Seien nun T eine Stoppzeit mit P (T < N ) = 1 für ein N ∈ IN, A ∈ FT (d.h. A∩{ T = j } ∈ Fj für alle j ∈ IN) und n ≤ N . Dann folgt Z Z Xn dP ≤ XN dP (Submartingaleigenschaft). A∩{ T =n }

A∩{ T =n }

Andererseits gilt

Z A

XT dP =

N Z X n=1 A∩{ T =n }

XT dP =

N Z X n=1 A∩{ T =n }

Xn dP.

R R Somit erhalten wir A XT dP ≤ A XN dP . Wählen wir speziell T := min{ 1 ≤ n ≤ N : Xn ≥ λ } mit λ ∈ IR+ und der Konvention T = N , falls die Menge über die das Minimum gebildet

6.5. Die Doobsche Ungleichung

63

wird leer ist. Dann ist XT FT -messbar und damit gilt { XT > a } ∈ FT für alle a ∈ IR+ . R R Deshalb erhalten wir { XT >λ } XT dP ≤ { XT >λ } XN dP . Da { XT > λ } = { max1≤n≤N Xn > λ }, ergibt sich Z Z λP ( max Xn > λ) = λP (XT > λ) ≤ XT dP ≤ XN dP 1≤n≤N { XT >λ } { XT >λ } Z ≤ X∞ dP (Submartingaleigenschaft) { XT >λ } Z = X∞ dP. { max Xn >λ } 1≤n≤N

Setzen wir Yn := maxk≤n Xk und X := X∞ , dann gilt (∗) λP (Yn > λ) ≤

R

{ Yn >λ } X

dP .

Wir werden nun EYn2 als Lebesgue-Stieltjes Integral schreiben. Dazu sei F (λ) := P (Yn > λ). Dann folgt: Z ∞ Z ∞ 2 2 EYn = − λ F (dλ) = F (λ) dλ2 − lim [λ2 F (λ)]u0 (Produktregel) u→∞ 0 0 ÃZ ! Z ∞ Z ∞ (∗) 1 ≤ F (λ) dλ2 ≤ X dP dλ2 λ 0 0 { Yn >λ } ¶ µZ Yn Z 1 2 dλ dP (Fubini) = X λ 0 µZ Yn ¶ Z 1 = X 2λ dλ dP (Rechenregel für Stieltjes-Integrale) λ 0 Z = 2 XYn dP. Somit erhalten wir mit Hilfe der Hölderschen Ungleichung: Z 2 2 k Yn kL2 (P ) = EYn ≤ 2 XYn dP ≤ 2k X kL2 (P ) k Yn kL2 (P ) . Wir können ohne Einschränkung annehmen, dass k Yn kL2 (P ) > 0 gilt für hinreichend groÿe n, da andernfalls supn∈IN Xn fast sicher null ist und damit die Behauptung trivial. Darüberhinaus ist k Yn kL2 (P ) < ∞, da

k Yn kL2 (P ) ≤

n X

k Xk kL2 (P ) ≤ nk Xn kL2 (P ) < ∞.

k=1

Es folgt deshalb

k Yn kL2 (P ) = k sup Xk kL2 (P ) ≤ 2k X∞ kL2 (P ) k≤n

≤ 2 lim inf k Xn kL2 (P ) n→∞

≤ 2 sup k Xn kL2 (P ) . n∈IN

(Lemma von Fatou)

64

Kapitel 6: Martingalkonvergenzsätze

Mit dem Satz von der monotonen Konvergenz ergibt sich

E sup Xn2 ≤ E( sup Xn )2 = k Y k2L2 (P ) = lim k Yn k2L2 (P ) ≤ 4( sup k Xn kL2 (P ) )2 n∈IN

n→∞

n∈IN

= =

4( sup (EXn2 )1/2 )2 n∈IN 4 sup EXn2 . n∈IN

≤ 4(( sup n∈IN

n∈IN

EXn2 )1/2 )2 2

Bemerkung 6.25 1) Satz 6.24 ist ein Spezialfall folgender Aussage: Seien p, q ∈ (1, ∞) mit 1 p

+ 1q = 1 und sei (Xn )n∈IN ein nichtnegatives Submartingal mit supn∈IN k Xn kLp (P ) < ∞. Dann gilt q k sup Xn kLq (P ) ≤ sup k Xn kLp (P ) . q − 1 n∈IN n∈IN

2) Ist (Xn )n∈IN ein Martingal mit supn∈IN EXn2 < ∞, dann konvergiert (Xn )n∈IN fast sicher und in L2 .

Beweis: Mit Lemma 6.14 folgt, dass (Xn )n∈IN gleichgradig integrierbar ist. Also existiert

X∞ := limn→∞ Xn nach Satz 6.18 fast sicher und in L1 . Damit ist nur noch die L2 -Konvergenz 2 := lim 2 2 zu zeigen. Oensichtlich gilt X∞ n→∞ Xn fast sicher und nach Satz 6.24 ist supn∈IN Xn integrierbar (der Satz ist anwendbar, da (| Xn |)n∈IN ein nichtnegatives Submartingal ist). Deshalb erhalten wir mit dem Satz von der majorisierten Konvergenz 2 2 E| Xn − X∞ |2 = E(X∞ + Xn2 ) − 2E(Xn X∞ ) = E(X∞ − Xn2 ) −→ 0 für n → ∞.

Die zweite Gleichung folgt wegen der Martingaleigenschaft.

2

Kapitel 7

Grundlagen der mathematischen Statistik 7.1 Kakutanis Alternative In diesem Abschnitt werden wir uns mit der Frage beschäftigen, wie man zwei gegebenen Produkt-Maÿen P und Q ansehen kann, ob eines absolut stetig bezüglich dem anderen ist oder ob sie singulär sind. Dabei betrachten wir nur den einfachsten Fall, wo P und Q von der ∞ Form P = ⊗∞ i=1 Pi und Q = ⊗i=1 Qi sind. Kakutanis Alternative besagt dann, dass P und Q entweder äquivalent oder singulär sind. Um diesen Satz beweisen zu können, benötigen wir einige Aussagen über Produktmartingale. Sei (Yn )n∈IN eine Folge unabhängiger, nichtnegativer Zufallsvariablen mit EYn = 1 für alle Q n ∈ IN. Seien M0 := 1, Mn := ni=1 Yi , F0 := { Ø, Ω } und Fn := σ(Y1 , . . . , Yn ). Dann ist 1/2 (Mn , Fn )n≥0 nach Abschnitt 5.2.2 ein Martingal. Wir setzen an := EYn .

Satz 7.1 Das Martingal (Mn , Fn )n≥0 ist genau dann gleichgradig integrierbar, wenn Y

an > 0

n∈IN

ist. Wir stellen dem Beweis von Satz 7.1 noch eine Bemerkung über konvergente Produkte voran. Sei (cn )n∈IN eine Folge nichtnegativer reeller Zahlen. Dann nennen wir das unendliche ProQ Q dukt n∈IN cn konvergent, wenn die Folge (Pn )n∈IN der Partialprodukte mit Pn := nk=1 ck Q konvergiert. In diesem Fall setzen wir n∈IN cn := limn→∞ Pn . Wir beweisen nun Satz 7.1.

Beweis: µ Sei¶ Qn

i=1

1/2 Yi ai

Q

n∈IN an

> 0. Dann ist an > 0 für alle n ∈ IN. Wir können deshalb Wn :=

denieren. Oensichtlich ist (Wn , Fn )n≥0 ein Produktmartingal mit Erwartungs-

wert 1. Deshalb folgt mit Korollar 6.4, dass W∞ := limn→∞ Wn fast sicher existiert. 65

66

Kapitel 7: Grundlagen der mathematischen Statistik

 ⇐: Wir zeigen mit Hilfe von Satz 6.24, dass supn∈IN | Mn | integrierbar ist, was zusammen mit Satz 6.10 die gleichgradige Integrierbarkeit der Folge (Mn , Fn )n≥0 beweist. Es gilt:

EWn2

=E

n Y

Ã

i=1

1/2

Yi ai

!2 (∗)

=

n Y EYi i=1

a2i

=

n Y 1 (∗∗) 1 ≤ µ ¶2 < ∞. 2 ∞ a Q i=1 i ai i=1

In (∗) wurde die stochastische Unabhängigkeit der Yn benutzt, während in (∗∗) die Jensensche 1/2 2 Ungleichung verwendet wurde: ai = EYi ≤ (EYi )1/2 = 1. Wir erhalten ´ supn∈IN EWn < ³ also Q ∞. Nach Satz 6.24 ist supn∈IN Wn2 somit integrierbar. Da Wn2 = ni=1 aY2i ≥ Mn ist, folgt i

E sup Mn ≤ E sup Wn2 < ∞. n∈IN

n∈IN

Q Q  ⇒: Wir nehmen an,µ dass¶ n∈IN an = 0 ist. Dann konvergiert die Folge ( ni=1 ai )n∈IN gegen 1/2 Q Yi fast sicher konvergiert und der Limes fast sicher endlich ist (W∞ null. Da Wn = ni=1 ai Q ist integrierbar), muss Mn = ni=1 Yi fast sicher gegen null konvergieren. Wäre nun (Mn )n∈IN gleichgradig integrierbar, so hätte M∞ aufgrund von Satz 6.18 die Erwartung 1. Das wäre aber ein Widerspruch zu M∞ = 0 fast sicher. 2 Wir betrachten jetzt den Fall, dass Mn als Dichtequotient zweier Maÿe P und Q darstellbar ist. Wir erhalten dann eine einfache Interpretation der gleichgradigen Integrierbarkeit der Folge (Mn )n∈IN . Diese ist nämlich gerade äquivalent zur Absolutstetigkeit von Q bezüglich P . Nun zur genauen Formulierung. Für i ∈ IN seien fi und gi positive Dichten auf IR bezüglich des Lebesguemaÿes λ. Sei Xi die i-te Projektion von Ω := IRIN auf IR, d.h. Xi (ω1 , ω2 , . . .) = ωi . Auÿerdem sei F := σ(Xi : i ∈ IN) sowie Fn := σ(X1 , . . . , Xn ). Mit Hilfe des Konsistenzsatzes von Kolmogorov erhalten wir die Existenz und Eindeutigkeit der Produktmaÿe P und Q auf (Ω, F), unter denen die Xi stochastisch unabhängig sind und die Verteilungen P Xi = fi λ bzw. QXi = gi λ besitzen. ¯ Q Wir denieren Mn := n gi (Xi ) . Dann gilt, dass Mn = dQ ¯ , denn für A ∈ Fn und i=1 fi (Xi )

dP Fn

Qn := Q|Fn sowie P n := P |Fn ergibt sich: n

Q (A) = = =

Z Y n A i=1 Z Y n

gi (ωi ) dω1 · · · dωn

(Fubini)

n

A i=1

gi (ωi ) Y fi (ωi ) dω1 · · · dωn = fi (ωi )

A i=1

fi (ωi )

Z Y n gi (ωi ) Z

= A

Mn dPn .

i=1

dP n (ω1 , . . . , ωn )

Z Y n gi (ωi ) A i=1

fi (ωi )

dP (X1 ,...,Xn ) (ω1 , . . . , ωn )

7.1. Kakutanis Alternative

67

Wie wir schon in Abschnitt 5.2.2 gesehen haben, ist (Mn , Fn )n∈IN ein Martingal. Wir setzen i) Yi := fgii (X (Xi ) . Dann ist (Yn )n∈IN eine stochastisch unabhängige Folge nichtnegativer Zufallsvariablen mit EP Yi = 1, wobei EP den Erwartungsoperator bezüglich P bezeichnet. Darüber 1/2 hinaus sei ai := EP Yi . Dann gilt:

Z s ai =

gi (Xi ) dP = fi (Xi )

Z s

gi (ωi ) fi (ωi ) dωi = fi (ωi )

Z p gi (ωi )fi (ωi ) dωi .

Satz 7.2 Folgende Aussagen sind äquivalent: 1) Es gilt Q ¿ P auf F . 2) (Mn , Fn )n∈IN ist ein gleichgradig integrierbares Martingal. 3) Es gilt

Q∞

i=1 ai

> 0.

Beweis: Wegen Satz 7.1 wissen wir schon, dass die Aussagen 2) und 3) äquivalent sind. Es reicht also zu zeigen, dass das auch für 1) und 2) gilt.

1) ⇒ 2): Sei Q auf F absolutstetig bezüglich P . Dann existiert ¯ nach dem Satz von Radon¯ Nikodym eine nichtnegative, F -messbare Funktion ξ mit ξ = dQ dP F . Deshalb gilt für alle n ∈ IN und alle A ∈ Fn , dass Z Z Z Mn dP = Q(A) = ξ dP = E(ξ | Fn ) dP A

A

A

ist. Damit folgt Mn = E(ξ | Fn ). Also ist (Mn )n∈IN nach Satz 6.15 ein gleichgradig integrierbares Martingal.

2) ⇒ 1): Sei (Mn )n∈IN ein gleichgradig integrierbares Martingal. Dann folgt mit Hilfe von Satz 6.18, dass M∞ := limn→∞ Mn fast sicher und in L1 existiert. Aus der Abschlusseigenschaft ergibt sich E(M∞ | Fn ) = Mn für alle n ∈ IN. Deshalb gilt für alle n ∈ IN und alle A ∈ Fn , dass Z Z Z Q(A) = A

Mn dP =

A

E(M∞ | Fn ) dP =

A

M∞ dP.

R S Damit erhalten wir Q(A)¡ = A M∞¢ dP für alle A ∈ n∈IN Fn . Aus dem Eindeutigkeitssatz R S ergibt sich wegen F = σ n∈IN Fn , dass Q(A) = A M∞ dP für alle A ∈ F . Also ist Q auf F absolut stetig bezüglich P . 2

Denition 7.3 Zwei σ -endliche Maÿe µ und ν auf einem Messraum (Ω, F) heiÿen äquivalent, wenn µ ¿ ν und ν ¿ µ. Wir schreiben dann kurz µ ∼ ν . µ und ν heiÿen singulär, wenn ein A ∈ F existiert, sodass µ(A) = µ(Ω) und ν(A) = 0. In diesem Fall verwenden wir die Kurzschreibweise µ ⊥ ν .

Korollar 7.4 Die Produktmaÿe P und Q (wie sie nach Satz 7.1 deniert wurden) sind genau Q

dann äquivalent, wenn

n∈IN an

> 0 ist.

68

Kapitel 7: Grundlagen der mathematischen Statistik

Beweis: Nach Satz 7.2 ist Q ¿ P äquivalent zu Q zeigen, dass auch P ¿ Q äquivalent ist zu Q ist das äquivalent zu n∈IN a0n > 0 mit

> 0. Wir müssen also nur noch n∈IN an > 0. Sei deshalb P ¿ Q. Nach Satz 7.2

Z s a0n = Aber

Q

0 n∈IN an

=

Q

da Z s

Q

n∈IN an

fn (Xn ) dQ. gn (Xn )

n∈IN an ,

a0n

=

fn (Xn ) dQ = gn (Xn )

Z p fn (x)gn (x) dx = an .

2

Satz 7.5 (Kakutanis Alternative) Die Produktmaÿe P und Q (wie in Korollar 7.4) sind entweder äquivalent oder singulär.

Beweis: Wir unterscheiden zwei Fälle. Q 1. Fall: Es gilt n∈IN an = 0. Wie wir im Beweis zu Satz 7.1 gesehen haben, folgt unter dieser Annahme, dass die Folge der Dichtequotienten (Mn )n∈IN P -fast sicher gegen null konvergiert. Darüber hinaus folgt aus dem Beweis zu Korollar 7.4, dass die Folge (Mn0 )n∈IN deniert durch Mn0 := 1/Mn Q-fast sicher gegen null konvergiert. Also konvergiert die Folge (Mn )n∈IN Q-fast sicher gegen unendlich. Wir denieren A := { limn→∞ Mn = 0 }. Dann folgt P (A) = 1 und Q(A) = 0. Damit sind P und Q singulär.

2. Fall: Es gilt

Q

> 0. Unter dieser Voraussetzung folgt aus Korollar 7.4, dass P und Q äquivalent sind. n∈IN an

2

∞ Korollar 7.6 Produktmaÿe P := ⊗∞ n=1 P1 und Q := ⊗n=1 Q1 von identischen Kopien P1 bzw.

Q1 mit Dichten bezüglich des Lebesguemaÿes sind nur dann äquivalent, wenn P1 = Q1 gilt.

Beweis: Seien f1 bzw. g1 die Lebesguedichten von P1 bzw. Q1 . Ist P1 6= Q1 , so gilt mit

positiver Wahrscheinlichkeit bezüglich P1 , dass q EP1 fg11 < 1 ist. Dann folgt

lim

n→∞

n Y i=1

g1 f1

6= 1 ist. Wir werden zeigen, dass ai :=

ai = lim an1 = 0 n→∞

und somit nach Satz 7.5 die Singularität der Maÿe P und Q. q Wir nehmen an, dass EP1 fg11 = 1 ist und führen diese Aussage zu einem Widerspruch.

Es gilt:

r EP1

Z r

Z p g1 dP1 = f1 g1 dλ f1 µZ ¶1/2 µZ ¶1/2 ≤ g1 dλ f1 dλ = 1 (Cauchy-Schwarzsche Ungleichung).

g1 = f1

7.2. Fast sichere Konsistenz von Bayes-Schätzern

69

Gleichheit gilt genau dann, wenn f1 und g1 P1 -fast sicher linear abhängig sind. Also existiert ein a ∈ IR mit g1 = af1 P1 -fast sicher. Wegen Z Z 1 = g1 dλ = a f1 dλ = a erhalten wir f1 = g1 P1 -fast sicher. Das ist aber ein Widerspruch zur Voraussetzung P1 (f1 = 6 g1 ) > 0. 2

7.2 Fast sichere Konsistenz von Bayes-Schätzern Seien Θ und Ω1 Borel-messbare Teilmengen von IR und seien B und F1 die Borelschen σ Algebren auf Θ bzw. Ω1 . Mit jedem θ ∈ Θ sei ein Wahrscheinlichkeitsmaÿ Pθ auf (Ω1 , F1 ) Q assoziiert. Wir denieren Ωn := ni=1 Ωn1 , Fn := ⊗ni=1 F1 und Pθn := ⊗ni=1 Pθ für θ ∈ Θ. Damit erhalten wir Wahrscheinlichkeitsräume (Ω1 , F1 , Pθ , θ ∈ Θ), (Ωn , Fn , Pθn , θ ∈ Θ) und (Ω∞ , F∞ , Pθ∞ , θ ∈ Θ), mit einer durch Θ induzierten Schar von Wahrscheinlichkeitsmaÿen. Wir machen folgende Annahmen: 1) µ sei ein Maÿ auf (Θ, B) mit

R

| θ | µ(dθ) < ∞. Wir nennen µ ein a priori Maÿ.

2) Für A ∈ F1 sei die Abbildung θ 7→ Pθ (A) B-messbar. 3) Die Parametermenge Θ sei identizierbar, d.h., für verschiedene θ1 , θ2 ∈ Θ existiert eine Menge A ∈ F1 mit Pθ1 (A) 6= Pθ2 (A). Für n ∈ IN betrachten wir (Ωn , Fn , Pθn , θ ∈ Θ) als eingebettet in (Ω∞ , F∞ , Pθ∞ , θ ∈ Θ). Wir R denieren Wahrscheinlichkeitsmaÿe Qn auf (Ωn × Θ, Fn ⊗ B) durch Qn (C) := Θ Pθn (Cθ ) µ(dθ) für C ∈ Fn ⊗ B , wobei Cθ := { ω ∈ Ωn : (ω, θ) ∈ C } der θ-Schnitt von C ist. Schlieÿlich sei noch ϑ die Projektion von Ω∞ × Θ auf Θ. Wir können nun den Satz von Doob über die fast sichere Konvergenz von Bayes-Schätzern formulieren.

Satz 7.7 Sei Gn := Fn × Θ die bedingte Erwartung gegeben Gn unter Qn . Dann gilt unter den Annahmen 1)3), dass

lim E(ϑ | Gn ) = θ

n→∞

Pθ∞ -fast sicher für µ-fast alle θ ∈ Θ ist.

Zum Beweis von Satz 7.7 benötigen wir einen Hilfssatz.

Lemma 7.8 Sind die Annahmen 1)3) erfüllt, so existiert eine F∞ -messbare Abbildung f : Ω∞ −→ Θ mit Pθ∞ (f = θ) = 1 für alle θ ∈ Θ. Beweis: Wir werden den Beweis von Lemma 7.8 nur skizzieren.

Da F1 die Borelsche σ -Algebra eines polnischen Raumes ist, besitzt sie ein schnittstabiles,

70

Kapitel 7: Grundlagen der mathematischen Statistik

abzählbares Erzeugendensystem (An )n∈IN . Wegen der dritten Annahme existiert zu verschiedenen θ1 , θ2 ∈ Θ ein Index i ∈ IN, sodass Pθ1 (Ai ) 6= Pθ2 (Ai ). Deshalb ist die Abbildung φ : Θ −→ [0, 1]IN deniert durch φ(θ) := (Pθ (An ))n∈IN injektiv und nach Annahme 2) messbar. P −i Auÿerdem ist [0, 1]IN versehen mit der Metrik d(x, y) := ∞ i=1 2 | xi −yi | ein polnischer Raum. Damit können wir den folgenden Satz anwenden, den wir nicht beweisen werden.

Satz (Kuratowski) Für i = 1, 2 sei Θi eine Borel-messbare Teilmenge eines polnischen Raumes Ei . Dann gilt für jede bijektive und messbare Abbildung ψ : Θ1 −→ Θ2 , dass auch ψ −1 messbar ist.

Wir erhalten also mit dem Satz von Kuratowski die Messbarkeit der Umkehrabbildung der oben denierten Abbildung φ. Wir setzen für ω∞ ∈ Ω∞ :   n X 1 . ψ(ω∞ ) :=  lim 1lAi (ωj ) n→∞ n j=1

i∈IN

Nach dem starken Gesetz der groÿen Zahlen ist ψ(ω∞ ) = (Pθ (Ai ))i∈IN Pθ∞ -fast sicher. Denieren wir nun f := φ−1 ◦ ψ , so ist f messbar und nach Konstruktion gilt Pθ (f = θ) = 1 für alle θ ∈ Θ. 2 Wir können jetzt Satz 7.7 beweisen.

Beweis: Nach Satz 6.15 ist (E(ϑ | Gn ))n∈IN bezüglich Q∞ ein gleichgradig integrierbares Mar-

tingal. Deshalb folgt mit Satz 6.19, dass limn→∞ E(ϑ | Gn ) = E(ϑ | G∞ ) Q∞ -fast sicher und in L1 gilt. Wir zeigen nun, dass E(ϑ | G∞ ) = ϑ Q∞ -fast sicher ist. Nach Lemma 7.8 existiert eine F∞ -messbare Abbildung f mit ϑ( · , θ) = f Pθ∞ -fast sicher für R R alle θ ∈ Θ. Also gilt für A ∈ F∞ , dass A f dPθ∞ = A ϑ dPθ∞ für alle θ ∈ Θ. Sei C ∈ F∞ ⊗ B und sei Cθ der θ-Schnitt von C . Dann folgt mit dem Satz von Fubini: ¶ ¶ Z Z µZ Z µZ ∞ ∞ ∞ f dQ = f dPθ µ(dθ) = ϑ dPθ µ(dθ) C Θ CΘ Θ CΘ Z = ϑ dQ∞ . C

Q∞ -fast

Also gilt f = ϑ sicher. Damit ist ϑ Q∞ -fast sicher gleich einer F∞ -messbaren Abbil∞ dung. Wegen G∞ = (π )−1 (F∞ ) können wir F∞ mit G∞ identizieren. Deshalb ist ϑ Q∞ -fast sicher gleich einer G∞ -messbaren Abbildung. Somit ist ϑ eine Version von E(ϑ | G∞ ), d.h. ϑ = E(ϑ | G∞ ) Q∞ -fast sicher. Für C ∈ F∞ ⊗ B gilt genau dann Q∞ (C) = 1, wenn Pθ∞ (Cθ ) = 1 ist für µ-fast alle θ ∈ Θ. Wegen ³n o´ Q∞ (ω∞ , θ) ∈ Ω∞ × Θ : lim E(ϑ | Gn )(ω∞ , θ) = ϑ(ω∞ , θ) = θ =1 n→∞

folgt dann ³n o´ Pθ∞ ω∞ ∈ Ω∞ : lim E(ϑ | Gn )(ω∞ , θ) = ϑ(ω∞ , θ) = θ = 1 für µ-fast alle θ ∈ Θ. 2 n→∞

7.2. Fast sichere Konsistenz von Bayes-Schätzern

71

Beispiel 7.9 Seien Θ := [0, 1], Ω1 := { 0, 1 }, Ωn := { (ε1 , . . . , εn ) : εi ∈ { 0, 1 } }, Pθ die

Bernoulli-Verteilung zum Parameter θ ∈ Θ und Pθn := ⊗ni=1 Pθ sowie Pθ∞ das unendliche R Produkt. Darüber hinaus sei µ ein Wahrscheinlichkeitsmaÿ auf (Θ, B[0,1] ) mit Θ | θ | µ(dθ) < ∞. Ein Beispiel für µ ist die Beta-Verteilung, die durch Z Γ(a + b) a−1 µ(A) := θ (1 − θ)b−1 dθ für A ∈ B[0,1] A Γ(a)Γ(b) deniert ist.

Behauptung: Es gilt Z

1

n

E(ϑ | π = (ε1 , . . . , εn )) = mit N (ε1 , . . . , εn ) :=

Pnn

n n θ P

0

R1¡ 0

µ

i=1 εi

¢ θ

i=1 Pn

εi

i=1 εi

n n P ¶ P εi n− εi i=1 i=1 θ (1 − θ)

Pn

(1 − θ)n−

i=1 εi

Beweis: Der Bayes-Schätzer ist gegeben durch

Z

n

E(ϑ | π = (ε1 , . . . , εn )) =

0

P a + ni=1 εi µ(dθ) = N (ε1 , . . . , εn ) a+b+n

µ(dθ).

1

θ Gε (dθ),

wobei Gε die a posteriori Verteilung von ϑ und µ gegeben die ersten n Beobachtungen ε = (ε1 , . . . , εn ) ist. Sie ist durch µ ¶ n X n k 1 n−k θ (1 − θ) µ(dθ) mit k := εi Gε (dθ) = N (ε) k i=1

gegeben. Mit der Formel für das Beta-Integral Z 1 Γ(a)Γ(b) θa−1 (1 − θ)b−1 = Γ(a + b) 0 erhalten wir dann n

E(ϑ | π = (ε1 , . . . , εn )) = = = = =

Z 1 µ ¶ 1 n k θ θ (1 − θ)n−k µ(dθ) N (ε) 0 k Z µ ¶ 1 Γ(a + b) 1 n (a+k+1)−1 θ (1 − θ)(n+b−k)−1 dθ N (ε) Γ(a)Γ(b) 0 k 1 Γ(a + b) Γ(a + k + 1)Γ(n + b − k) N (ε) Γ(a)Γ(b) Γ(n + b + a + 1) Γ(n + b + a) Γ(a + k + 1)Γ(n + b − k) Γ(a + k)Γ(n + b − k) Γ(n + b + a + 1) Pn a + i=1 εi a+k = . a+b+n a+b+n

Nach Satz 7.7 gilt nun n n P ¶ P Z 1 µ εi n− εi n µ(dθ) n lim θ P θ i=1 (1 − θ) i=1 = θ0 n→∞ 0 N (ε εi 1 , . . . , εn ) i=1

Pθ0 -fast sicher.

2

Kapitel 8

Charakteristische Funktionen und schwache Konvergenz Im Folgenden werden wir uns mit Grenzwertproblemen beschäftigen, d.h. mit schwach konvergenten Folgen von Zufallsvariablen. Es wird sich zeigen, dass charakteristische Funktionen das geeignete Mittel zur Beschreibung von schwacher Konvergenz darstellen (Stetigkeitssatz für charakteristische Funktionen).

8.1 Denitionen und Eigenschaften Falls im weiteren Verlauf nichts anderes gesagt wird, ist X eine reelle Zufallsvariable auf einem Wahrscheinlichkeitsraum (Ω, F, P ) mit Verteilung Q und zugehörender Verteilungsfunktion F .

Denition 8.1 Die charakteristische Funktion ψ : IR −→ C von X (bzw. Q, bzw. F ) ist durch Z itX

ψ(t) = Ee

=

Z e

itx

Q(dx) =

eitx F (dx) = E cos(tX) + iE sin(tX)

gegeben. Hat Q eine Dichte f bezüglich des Lebesguemaÿes, so ist die charakteristische Funktion von Q gerade die Fouriertransformierte von f . Es ist bekannt, dass diese folgende Eigenschaft hat: Die Fouriertransformierte einer Faltung ist gleich dem Produkt der Fouriertransformierten der Elemente der Faltung. Damit lässt sich das (schwierige) Problem der Berechnung einer Faltung auf das (einfache) Ausrechnen eines Produktes zurückführen.

Bemerkung 8.2 Sei f := f1 + if2 : Ω −→ C eine komplexwertige Funktion. Dann gilt: 1) f ist genau dann messbar, wenn f1 und f2 dies sind. 2) f ist genau dann ein Element von L1C (P ), wenn f1 , f2 ∈ L1 (P ). Man deniert dann das Integral von f bezüglich P in naheliegender Weise durch Z Z Z Ef := f dP := f1 dP + i f2 dP. 73

74

Kapitel 8: Charakteristische Funktionen und schwache Konvergenz

Wir stellen einige Eigenschaften komplexer Integrale zusammen.

Lemma 8.3

1 (P ) und es gilt 1) Ist f ∈ L1C (P ), so ist f := f1 − if2 ∈ LC

R

f dP =

R

f dP .

2) Die komplexwertige Funktion f sei messbar. Dann ist f genau dann ein Element von p 1 LC (P ), wenn | f | := f f ∈ L1 (P ) ist. ¯R ¯ R 3) Für f ∈ L1C (P ) gilt die Ungleichung ¯ f dP ¯ ≤ | f | dP .

Beweis: 1) folgt direkt aus der Denition der Integrierbarkeit komplexwertiger Funktionen. Zu 2): Sei z := a + ib ∈ C. Dann existieren ein r ∈ IR und ein ϑ ∈ [0, 2π) mit z = reiϑ . Wegen p | Rez | = | a | ≤ r = | z | = a2 + b2 ≤ | a | + | b | folgt für eine komplexwertige Funktion f := f1 + if2 : a) | f | ≤ | f1 | + | f2 | und b) | fi | ≤ | f | für i = 1, 2. Ist nun f ∈ L1C (P ), so folgt mit a), dass | f | ∈ L1 (P ) ist. Ist umgekehrt | f | ∈ L1 (P ), so erhalten wir mit b), dass f ∈ L1C (P ). R Zu 3): Es ist Ef = f dP = reiϑ mit r = | Ef | und ϑ = arg(Ef ). Wegen ¯ ³ ´ ¯ ¯ ¯ Re e−iϑ f ≤ ¯ e−iϑ f ¯ = | f | erhalten wir

³ ´ | Ef | = r = Ee−iϑ f = E Re e−iϑ f ≤ E| f |.

2

Im Folgenden bezeichnen wir mit M 1 (IR, B) die Menge der Wahrscheinlichkeitsmaÿe auf (IR, B).

Proposition 8.4 Seien P, Pi ∈ M 1 (IR, B) für i ∈ { 1, 2 }. Dann gilt: 1) Sind a, b ∈ IR mit a 6= 0 und ist T (x) := ax+b für x ∈ IR, so gilt für die charakteristische Funktion ψP T von P T , dass ψP T (t) = eitb ψP (at). 2) Es ist ψP1 ∗P2 (t) = ψP1 (t)ψP2 (t).

Beweis: Zu 1): Für alle t ∈ IR gilt: Z

ψP T (t) =

e

itx

T

P (dx) =

Z

Z e

it(ax+b)

P (dx) = e

itb

eitax P (dx)

= eitb ψP (at). R Zu 2): Es ist ψP1 ∗P2 (t) = eitx P1 ∗ P2 (dx). Deshalb folgt mit der Faltungsformel Z Z Z Z it(y+z) ψP1 ∗P2 (t) = e P1 (dy) P2 (dz) = eity eitz P1 (dy) P2 (dz) = ψP1 (t)ψP2 (t).

2

8.2. Beispiele

75

Für die nächste Eigenschaft müssen wir in geeigneter Weise charakteristische Funktionen für Wahrscheinlichkeitsmaÿe auf Bk mit k ≥ 1 denieren. Dazu sei h · , · i das euklidische SkalarP produkt auf IRk , d.h. hx, yi = ki=1 xi yi für alle x = (x1 , . . . , xk ), y = (y1 , . . . , yk ) ∈ IRk . Dann ist die charakteristische Funktion ψQ : IRk −→ C von Q ∈ M 1 (IRk , Bk ) mit k ≥ 1 durch Z ψQ (t) := eiht,xi Q(dx) gegeben.

Proposition 8.5 Seien P ∈ M 1 (IRk , Bk ) und Q ∈ M 1 (IRp , Bp ) mit k, p ≥ 1. Dann gilt für

s ∈ IRk und t ∈ IRp , dass ψP ⊗Q (s, t) = ψP (s)ψQ (t) ist. Insbesondere sind reellwertige Zufallsvariablen X1 , . . . , Xn genau dann stochastisch unabhängig, wenn ψP (X1 ,...,Xn ) (t1 , . . . , tn ) = Qn n i=1 ψP Xi (ti ) ist für alle (t1 , . . . , tn ) ∈ IR .

Beweis: Es gilt:

Z eih(s,t),(u,v)i dP ⊗ Q(u, v) Z Z = eihs,ui eiht,vi P (du) Q(dv) (Satz von Fubini)

ψP ⊗Q (s, t) =

= ψP (s)ψQ (t). Die zweite Aussage folgt aus Satz 8.7.

2

8.2 Beispiele 8.2.1 Die charakteristische Funktion der Normalverteilung Ist X eine zu den Parametern µ ∈ IR und σ 2 > 0 normalverteilte Zufallsvariable, so ist auch Y := X−µ normalverteilt und zwar zu den Parametern 0 und 1. Nach Proposition 8.4 1) ist σ itµ ψX (t) = e ψY (σt). t2

Wir zeigen jetzt, dass ψY (t) = e− 2 ist. Es gilt

ψY (t) = Ee

itY

=E

∞ X (itY )n n=0

n!

Für die Momente der Normalverteilung gilt ( 0 n EY = ¡¡ n ¢ ¢−1 n! n/2 2 ! 2

=

∞ X (it)n n=0

EY n .

n!

falls n ungerade falls n gerade

Damit erhalten wir

ψY (t) =

∞ X (it)2n n=0 t2

(2n)!

EY

= e− 2 . ³ ´ 2 2 Somit ist ψX (t) = exp itµ − t 2σ .

2n

=

∞ X (it)2n (2n)! n=0

(2n)! 2n n!

=

∞ X

³ 2 ´n (−1)

n=0

n

t 2

n!

76

Kapitel 8: Charakteristische Funktionen und schwache Konvergenz

8.2.2 Die charakteristische Funktion der Binomialverteilung Sei X eine Bernoullivariable mit P (X = 1) = p und P (X = 0) = 1 − p =: q . Dann ist ψX (t) = EeitX = q + peit . Pn Sind X1 , . . . , Xn unabhängige Bernoullivariablen zum Parameter p und ist S := n i=1 Xi , so ¡ ¢n it . ist (nach Proposition 8.4 2)) ψSn (t) = q + pe

8.2.3 Ein Grenzwertproblem Wir werden nun sehen, wie sich Grenzwertprobleme mit Hilfe von charakteristischen Funktionen lösen lassen. −np . Der Satz von deMoivre-Laplace besagt, dass Sn∗ Sei Sn wie oben deniert. Sei Sn∗ := S√nnpq schwach gegen eine N (0, 1)-verteilte Zufallsvariable konvergiert (das heiÿt, die zugehörenden Verteilungsfunktionen konvergieren). Wir bestimmen die charakteristische Funktion von Sn∗ : Nach Proposition 8.4 1) gilt µ r ¶ µ ¶ t np ψSn∗ (t) = exp −it ψSn √ q npq µ ¶¶n µ r ¶µ t np q + p exp i √ = exp −it q npq µ µ r ¶ µ r ¶¶n p q = q exp −it + p exp it . nq np 2

Wir entwickeln die Exponentialfunktion in eine Potenzreihe. Es ist ez = 1 + z + z2 + · · · und damit µ r ¶ µ r ¶ p q + p exp it q exp −it nq np µ ¶ it t2 t2 √ it √ = p + pq √ − q + · · · + q + pq − √ − p + ··· 2n n 2n n µ ¶ t2 1 =1− +o . 2n n ³ ¡ 1 ¢´n t2 t2 ∗ Also ist ψSn (t) = 1 − 2n + o n und deshalb gilt limn→∞ ψSn∗ (t) = e− 2 . Wie wir in Abschnitt 9.2.1 gesehen haben, ist die rechte Seite gerade die charakteristische Funktion einer N (0, 1)-verteilten Zufallsvariable. Es stellen sich nun zwei Fragen: t2

1) Ist die Zuordnung P 7→ ψP eindeutig? Das heiÿt, können wir schlieÿen, dass e− 2 genau die charakteristische Funktion einer N (0, 1)-verteilten Zufallsvariable ist? 2) Folgt aus der Konvergenz der charakteristischen Funktionen limn→∞ ψXn (t) = ψX (t) die schwache Konvergenz von Xn gegen X ? Wir werden sehen, dass sich beide Fragen positiv beantworten lassen. Damit haben wir oben den Satz von deMoivre-Laplace aufs neue bewiesen.

8.3. Der Eindeutigkeitssatz für charakteristische Funktionen

77

8.2.4 Die charakteristische Funktion der Poissonverteilung Sei X eine zum Parameter λ > 0 poissonverteilte Zufallsvariable, d.h. P (X = k) = alle k ∈ IN0 . Dann gilt für alle t ∈ IR:

ψX (t) = Ee

itX

∞ X

=

e

k itk λ −λ

k=0

k!

e

=e

−λ

λk −λ k! e

für

∞ ¡ it ¢k X ¡ ¡ ¢¢ e λ it = e−λ ee λ = exp λ eit − 1 . k! k=0

8.3 Der Eindeutigkeitssatz für charakteristische Funktionen Für den Beweis des Eindeutigkeitssatzes für charakteristische Funktionen benötigen wir einen berühmten Hilfssatz.

Lemma 8.6 (Parsevalsche Relation) Seien F und G Verteilungsfunktionen mit den charakteristischen Funktionen ψ und γ . Dann gilt: Z ∞ Z (PR) e−itx ψ(t) G(dt) = −∞

Beweis: Es ist e−itx ψ(t) =

R∞

−∞ e

∞

γ(y − x) F (dy).

−∞

it(y−x) F (dy).

Integriert man über G und wendet den Satz

von Fubini an, so erhält man Z ∞ Z ∞Z ∞ −itx eit(y−x) F (dy) G(dt) e ψ(t) G(dt) = −∞ −∞ −∞ ¶ Z ∞ µZ ∞ it(y−x) = e G(dt) F (dy) −∞ −∞ Z ∞ = γ(y − x) F (dy). −∞

2

Sei nun speziell G die Verteilungsfunktion von N (0, a−2 ) mit a ∈ IR+ . Dann ist γ(x) = √ ¡ ¢ y2 2πφ xa mit φ(y) := √12π e− 2 . Die Parsevalsche Relation schreibt sich deshalb in der Form

Z

∞

e−itx ψ(t) a φ(at) dt =

−∞

√ Z 2π

µ

∞

φ

−∞

y−x a

¶ F (dy)

oder äquivalent ∗

(PR)

1 2π

Z

∞

e −∞

−itx

µ ¶ µ ¶ Z 1 2 2 1 ∞ y−x ψ(t) exp − a t dt = φ F (dy). 2 a −∞ a

Diese Identität verwenden wir nun zum Beweis des nächsten Satzes.

Satz 8.7 (Eindeutigkeitssatz für charakteristische Funktionen) Sind F und G Ver-

teilungsfunktionen mit derselben charakteristischen Funktion, so ist F = G.

Beweis: Sei a ∈ IR+ . Für x ∈ IR setzen wir fa (x) := 1 a

R∞

−∞ φ

¡ y−x ¢ a

1 a

R∞

¡ y−x ¢

F (dy) und ga (x) := G(dy), wobei φ wie in (PR) deniert ist. Nach Voraussetzung ist ψF = ψG . ∗

−∞ φ

a

78

Kapitel 8: Charakteristische Funktionen und schwache Konvergenz

Deshalb folgt mit (PR)∗ , dass fa = ga ist. Sei Φ die Verteilungsfunktion von N (0, 1) und sei z ∈ IR. Dann gilt: µ ¶ ¶ Z z Z z µZ ∞ y−x 1 fa (x) dx = φ F (dy) dx a −∞ −∞ −∞ a µ ¶ ¶ Z ∞µ Z z 1 y−x = φ dx F (dy) a −∞ a −∞ ¶ Z ∞ µ z−y = Φ F (dy). a −∞ ¡ ¢ Nun ist lima→0 Φ z−y = 1l(−∞,z) (y) + 12 δz (y). Deshalb folgt mit dem Satz von der majoria sierten Konvergenz ¶ ¶ Z ∞ µ Z ∞µ z−y 1 lim Φ F (dy) = 1l(−∞,z) (y) + δz (y) F (dy) a→0 −∞ a 2 −∞ 1 = F (z−) + (F (z) − F (z−)), 2 wobei F (z−) := limr↑z F (r) der linksseitige Limes ist. Sei C(F ) die Menge der StetigkeitsRz stellen von F . Für z ∈ C(F ) gilt lima→0 −∞ fa (x) dx = F (z). Damit ist F (z) = G(z) für alle z ∈ C(F ) ∩ C(G). Die Menge (C(F ) ∩ C(G))c ist abzählbar. Wir erhalten deshalb B = σ ({ (−∞, x] : x ∈ C(F ) ∩ C(G) }). Wenden wir den Eindeutigkeitssatz für Maÿe an, so ergibt sich F (z) = G(z) für alle z ∈ IR. 2

Satz 8.8 Sei ψ die charakteristische Funktion der Verteilungsfunktion F . Dann gilt: 1) | ψ(t) | ≤ ψ(0) = 1 für alle t ∈ IR. 2) ψ ist gleichmäÿig stetig. 3) Für alle t ∈ IR ist ψ(t) = ψ(−t). 4) ψ ist genau dann reellwertig, wenn F symmetrisch ist (d.h. F (x) = 1 − F (−x) für alle x ≥ 0).

Beweis: Zu 1): Für alle t ∈ IR gilt

¯Z ¯ Z ¯ ¯ ¯ ¯ itx ¯ | ψ(t) | = ¯ e F (dx) ¯¯ ≤ ¯ eitx ¯ F (dx) = 1 = ψ(0).

Zu 2): Für t, h ∈ IR ist

¯ ¯ ¯Z ¯Z Z ³ ´ ¯ ¯ ¯ ¯ itx ihx i(t+h)x itx ¯ ¯ ¯ e − 1 F (dx) ¯¯ F (dx) − e F (dx) ¯ = ¯ e | ψ(t + h) − ψ(t) | = ¯ e Z ¯ ¯ ¯ ¯ ≤ ¯ eihx − 1 ¯ F (dx).

Nun ist ¯ ¯2 ¯ ihx ¯ ¯ e − 1 ¯ = | cos hx + i sin hx − 1 |2 = (cos hx − 1)2 + (sin hx)2 = 2(1 − cos hx).

8.4. Die Umkehrformel

79

¡ ¢ hx 2 Aus den Additionstheoremen für Sinus und Kosinus erhält man 2(1 − cos hx) = 4 sin . 2 ¯ ihx ¯ ¯ ¯ Wegen | sin ν | ≤ | ν | für alle ν ∈ IR ergibt sich e − 1 ≤ | hx | ∧ 2. Also folgt | ψ(t + h) − R ψ(t) | ≤ (| hx | ∧ 2) F (dx). Damit ist limh→0 | ψ(t + h) − ψ(t) | = 0 und die Konvergenz ist unabhängig von t. ψ ist deshalb gleichmäÿig stetig. Zu 3): Für t ∈ IR gilt Z Z Z ψ(−t) = e−itx F (dx) = eitx F (dx) = eitx F (dx) = ψ(t). R Zu 4):  ⇐: Ist F symmetrisch, so ist sin tx F (dx) = 0 für alle t ∈ IR. Somit ist ψ(t) = R cos tx F (dx) und damit reell.  ⇒: Sei X eine nach F verteilte Zufallsvariable. Ist ψX reellwertig, so ist ψ X = ψX . Deshalb folgt mit 3), dass ψX = ψ−X ist. Nach dem Eindeutigkeitssatz 8.7 sind somit die Verteilungen von X und −X identisch, also ist F symmetrisch. 2

8.4 Die Umkehrformel Wegen Satz 8.7 wissen wir, dass Verteilungen eindeutig durch ihre charakteristischen Funktionen bestimmt sind. Es stellt sich deshalb die Frage, wie man bei gegebener charakteristischer Funktion die zugehörende Verteilung bestimmt.

Satz 8.9 R (Umkehrformel) Sei ψ die charakteristische Funktion einer Verteilungsfunktion F mit

| ψ(x) | dx < ∞. Dann hat F eine beschränkte Dichte f und es gilt Z ∞ 1 f (x) = e−itx ψ(t) dt. 2π −∞ R ∞ ¡ y−x ¢ φ a F (dy) und wenden die Beweis: Wie im Beweis zu Satz 8.7 setzen wir fa (x) := a1 −∞ ∗ Parsevalsche Relation (PR) an. Wir erhalten µ ¶ Z ∞ 1 1 2 2 −itx fa (x) = e ψ(t) exp − a t dt. 2π −∞ 2 Seien x1 , x2 ∈ IR mit x1 < x2 . Wegen der Integrierbarkeit von ψ und ¯ ¶¯ µ ¯ −itx 1 2 2 ¯¯ ¯e ψ(t) exp − a t ¯ ≤ | ψ(t) | für alle a ∈ IR ¯ 2 erhalten wir mit dem Satz von der majorisierten Konvergenz ¶ Z x2 Z x2 µ Z ∞ 1 −itx lim fa (x) dx = e ψ(t) dt dx. a→0 x 2π −∞ x1 1 Andererseits folgt mit dem Satz von Fubini ¶ ¶ Z x2 Z x2 µ Z ∞ µ y−x 1 φ F (dy) dx fa (x) dx = a −∞ a x1 x1 µ ¶ ¶ Z ∞ µZ x2 1 y−x = ( φ dx F (dy) a −∞ x1 a ¶ µ ¶¶ Z ∞µ µ x2 − y x1 − y = Φ −Φ F (dy), a a −∞

80

Kapitel 8: Charakteristische Funktionen und schwache Konvergenz

wobei Φ die Verteilungsfunktion der Standardnormalverteilung ist. ¢ ¡ ¢¢ ¡ ¡ Nun ist lima→0 Φ x2a−y − Φ x1a−y = 1l(x1 ,x2 ) (y) + 12 (δx2 (y) − δx1 (y)). Damit ergibt sich ¶ Z x2 Z ∞µ 1 lim fa (x) dx = 1l(x1 ,x2 ) (y) + (δx2 (y) − δx1 (y)) F (dy) a→0 x 2 −∞ 1 1 1 = F (x2 −) − F (x1 ) + (F (x2 ) − F (x2 −)) − (F (x1 ) − F (x1 −)). 2 2 R x2 Somit erhalten wir für alle x1 , x2 ∈ C(F ) mit x1 < x2 , dass lima→0 x1 fa (x) = F (x2 ) − F (x1 ) ´ R x ³ 1 R ∞ −itx e ψ(t) dt dx. ist, also F (x2 ) − F (x1 ) = x12 2π −∞ Wir zeigen jetzt, dass kein x ∈ IR existiert mit F (x) − F (x−) > 0. Sei x0 ∈ C(F )c . Dann existiert eine Folge (εn )n∈IN mit εn ↓ 0, sodass x0 − εn , x0 + εn ∈ C(F ) für alle n ∈ IN. Deshalb gilt ¶ Z x0 +εn µ Z ∞ 1 −itx F (x0 + εn ) − F (x0 − εn ) = e ψ(t) dt dx. 2π −∞ x0 −εn Mit dem Satz von der majorisierten Konvergenz folgt F (x0 )−F (x0 −) ´ = limεn →0 (F (x0 +εn )− R u ³ 1 R ∞ −itx F (x0 − εn )) = 0. Also ist F (u) − F (v) = v 2π −∞ e ψ(t) dt dx für alle u, v ∈ IR mit R ∞ −itx 1 v < u. Damit ist f (x) := 2π −∞ e ψ(t) dt eine Dichte von F . Sie ist beschränkt, denn ¯ ¯ Z ∞ Z ∞ ¯ 1 ¯ 1 −itx ¯ ¯ | f (x) | = ¯ e ψ(t) dt ¯ ≤ | ψ(t) | dt < ∞ 2π −∞ 2π −∞ für alle x ∈ IR.

2

Korollar 8.10 Sei ψ die charakteristische Funktion einer Verteilungsfunktion F . Ist ψ reell-

wertig und nichtnegativ, so ist ψ genau dann integrierbar, wenn F eine beschränkte Dichte hat.

Beweis:  ⇒: Ist ψ integrierbar, so besitzt F nach Satz 8.9 eine beschränkte Dichte.

 ⇐: F habe eine Dichte f mit 0 ≤ f ≤ M . Dann ergibt die Parsevalsche Relation (PR)∗ für x = 0: µ ¶ Z ∞ Z 1 2 2 1 ∞ ³y ´ 1 ψ(t) exp − a t dt = φ f (y) dy 0≤ 2π −∞ 2 a −∞ a Z ∞ 1 ³y ´ φ ≤M dy a −∞ a

= M. Wäre ψ nicht integrierbar, so wäre lima→0 gleichung widerspricht.

1 2π

R∞

−∞ ψ(t) exp

¡ 1 2 2¢ − 2 a t dt = ∞, was obiger Un2

Den folgenden Satz werden wir nicht beweisen.

Satz 8.11 Sei F eine Verteilungsfunktion und ψ die zugehörende charakteristische Funktion. Dann gilt für alle a, b ∈ C(F ) mit a < b Z ∞ −ita 1 e − e−itb F (b) − F (a) = ψ(t) dt. 2π −∞ it

8.5. Die Taylorentwicklung einer charakteristischen Funktion

81

Satz 8.12 (Plancherelsche Identität) Sei F eine Verteilungsfunktion mit Dichte f und

charakteristischer Funktion ψ . Dann ist | ψ |2 genau dann integrierbar, wenn f 2 integrierbar ist. Es gilt dann Z ∞ Z ∞ 1 2 f (y) dy = | ψ |2 dt. 2π −∞ −∞

Beweis:  ⇒: Seien X1 und X2 unabhängige nach F verteilte Zufallsvariablen. Dann ist | ψ |2 = | ψX1 |2 die charakteristische Funktion der Verteilung von X1 − X2 , denn | ψX1 |2 = ψX1 ψX1 = ψX1 ψ−X1 = ψX1 ψ−X2 = ψX1 −X2 . Die letzte Gleichung gilt nach Proposition 8.4 2). Mit Hilfe der Faltungsformel erhält man die R∞ Dichte f 0 von X1 − X2 . Es ist f 0 (x) = −∞ f (y + x)f (y) dy . Nach Voraussetzung ist | ψ |2 integrierbar. Wir können deshalb Satz 8.9 anwenden und erhalten R ∞ −itx 1 f 0 (x) = 2π | ψ(t) |2 dt. Für x = 0 folgt dann −∞ e Z ∞ Z ∞ 1 | ψ(t) |2 dt. f (y)2 dy = f 0 (0) = 2π −∞ −∞ Damit ist f 2 integrierbar und es gilt die Plancherelsche Identität.  ⇐: Ist f 2 integrierbar, so gilt: ¶1/2 ¶1/2 µZ ∞ µZ ∞ Z ∞ 2 2 0 f (y) dy = k f k2L2 (P ) . f (y + x) dy f (x) = f (y + x)f (y) dy ≤ −∞

−∞

−∞

f0

| ψ |2

Also ist beschränkt und erfüllt somit die Voraussetzungen von Korollar 8.10. Aus diesem folgt die Integrierbarkeit von | ψ |2 . 2

8.5 Die Taylorentwicklung einer charakteristischen Funktion Der nächste Satz zeigt, dass man eine charakteristische Funktion in eine Taylorreihe entwickeln kann, falls die Momente der zugehörenden Verteilung existieren.

Satz 8.13 Sei ψ die charakteristische Funktion einer Verteilungsfunktion F und sei X eine nach F verteilte Zufallsvariable. Dann gilt:

1) Ist E| X |n < ∞ für ein n ∈ IN, so existiert die r-te Ableitung ψ (r) von ψ für jedes r ≤ n R (r) und es ist ψ (r) (t) = (ix)r eitx F (dx) sowie EX r = ψ ir(0) . Die Taylorreihe von ψ um 0 ist dann durch n X (it)r (it)n ψ(t) = EX r + εn (t) r! n! r=0 gegeben mit | εn (t) | ≤ 3E| X |n und limt→0 εn (t) = 0. 2) Ist E| X |n < ∞ für alle n ∈ IN und gilt lim supn→∞ ψ(t) =

∞ X (it)n n=0

n!

EX n

(E| X |n )1/n n

für | t | <

R . e

=

1 R

< ∞, so ist

82

Kapitel 8: Charakteristische Funktionen und schwache Konvergenz

Beweis: Zu 1): k X kLr (P ) ist wachsend in r, deshalb ist E| X |r < ∞ für alle r ≤ n.

R Wir zeigen nun: ψ 0 existiert und ψ 0 (t) = i xeitx F (dx). Dazu betrachten wir den Dierenzenquotienten µ ihX ¶ ψ(t + h) − ψ(t) e −1 itX = Ee . h h ¯ ¯ ¯ itx eihx −1 ¯ eihx −1 Es ist limh→0 h = ix und ¯ e ¯ ≤ | x |. Der Satz von der majorisierten Konvergenz h liefert dann die Existenz von ψ 0 und es gilt:

ψ(t + h) − ψ(t) ψ 0 (t) = lim = E lim eitX h→0 h→0 h Z = i xeitx F (dx).

µ

eihX − 1 h

¶ = EiXeitX

Eine Iteration des Arguments führt zu ψ (r) (t) = ir EX r eitX . Wir bestimmen jetzt das Restglied in der Taylorentwicklung. Für y ∈ IR ist

eiy =

n−1 X k=0

(iy)k (iy)n + (cos θ1 y + i sin θ2 y) k! n!

mit | θi | ≤ 1 für i = 1, 2. Damit ist

eitX =

n−1 X k=0

(itX)k (itX)n + (cos (θ1 tX) + i sin (θ2 tX)) k! n!

und deshalb n−1 X

ψ(t) = EeitX =

k=0

=

n X k=0

(it)k k!

(it)k (it)n EX k + (EX n + εn (t)) k! n!

EX k +

(it)n εn (t) n!

mit εn (t) = EX n (cos (θ1 tX) + i sin (θ2 tX) − 1). Also ist | εn (t) | ≤ 3E| X |n und mit dem Satz von der majorisierten Konvergenz folgt limt→0 εn (t) = 0. n 1/n

Zu 2): Sei t0 ∈ IR mit 0 < t0 < Re . Dann ist lim supn→∞ (E| Xn| ) = R1 < t01e und somit 1/n (E| X |n tn0 ) lim sup < 1e . Nach der Stirlingschen Formel ist (n!)1/n asymptotisch gleich n→∞ √ 1/n −1 n zu n( 2π) e und damit auch zu ne−1 . Also ist

1 > lim sup (E| X n→∞

|n tn0 )1/n

e = lim sup n n→∞

µ

E| X |n tn0 n!

¶1/n .

³ ´1/n E| X |n tn 0 Damit existiert ein a > 0 mit lim supn→∞ < a < 1. Aus bekannten Eigenschafn! ´1/n ³ n n E| X | t0 < a ist für fast alle n ∈ IN. Deshalb ist ten des Limes Superior folgt, dass n!

8.6. Schwache Konvergenz

P∞

83

P < ∞. Nach dem Majorantenkriterium für Reihen existiert ∞ n=0 P r r + R (t) mit | t | < | t0 |. Nach 1. ist ψ(t) = nr=0 (it) EX n r! ¯ n ¯ ¯t ¯ | t |n | Rn (t) | = ¯¯ εn (t) ¯¯ ≤ 3 E| X |n ≤ 3an für | t | < | t0 |. n! n! n=0

E| X |n tn 0 n!

(it)n n n! EX

für

Damit ist limn→∞ | Rn (t) | = 0 gleichmäÿig in t für | t | < | t0 |. Da t0 ∈ IR mit 0 < t0 < Re beliebig gewählt war, folgt die Behauptung. 2

8.6 Schwache Konvergenz Wir kommen nun zur Denition der schwachen Konvergenz. Dazu sei E ein metrischer Raum und E die Borelsche σ -Algebra auf E .

Denition 8.14 Seien (Pn )n∈IN und P Wahrscheinlichkeitsmaÿe auf dem Raum (E, E). Die w

Folge (Pn )n∈IN konvergiert schwach gegen P (Bezeichnung: PnR −→ P ), falls für alle stetigen R und beschränkten Funktionen f auf E gilt: limn→∞ f dPn = f dP . Wir stellen einige zu Denition 8.14 äquivalente Eigenschaften zusammen.

Satz 8.15 Seien (Pn )n∈IN und P Wahrscheinlichkeitsmaÿe auf (E, E). Dann sind die folgenden Aussagen äquivalent: w

1) Pn −→ P . 2) Für jede abgeschlossene Menge A ⊂ E gilt lim supn→∞ Pn (A) ≤ P (A). 3) Für jede oene Menge B ⊂ E gilt lim inf n→∞ Pn (B) ≥ P (B). 4) Für Mengen A ∈ E mit P (∂A) = 0 gilt limn→∞ Pn (A) = P (A).

Beweis: 1) ⇒ 2): Sei p eine Metrik auf E und A ⊂ E abgeschlossen. Dann denieren wir für x ∈ E : p(x, A) := inf y∈A p(x, y). Für z ∈ IR+ sei ( 1 − z falls 0 ≤ z < 1 g(z) := 0 falls z ≥ 1

¢ ¡ Wir setzen fε (x) := g 1ε p(x, A) und Aε := { x ∈ E : p(x, A) < ε } für ε > 0. Wegen der Abgeschlossenheit von A gilt Aε ↓ A für ε → 0. Für alle ε > 0 ist 1lA ≤ fε ≤ 1lAε R R und fε ist eine stetige, beschränkte Funktion. Damit ist limn→∞ fε dPn = fε dP für alle ε > 0. Wir erhalten deshalb für alle ε > 0: Z Z Z Z lim sup Pn (A) = lim sup 1lA dPn ≤ lim sup fε dPn = fε dP ≤ 1lAε dP n→∞

n→∞

n→∞

= P (Aε ). Also folgt mit dem Stetigkeitssatz für Maÿe lim supn→∞ Pn (A) ≤ limε→0 P (Aε ) = P (A).

84

Kapitel 8: Charakteristische Funktionen und schwache Konvergenz

2) ⇔ 3): Dies erhält man durch Komplementbildung (eine Menge ist genau dann oen, wenn ihr Komplement abgeschlossen ist). 2) und 3) ⇒ 4): Sei A ∈ E mit P (∂A) = 0 gegeben. Sei B := A \ ∂A das Innere von A und A der Abschluss von A. Wegen P (∂A) = 0 ist P (B) = P (A) = P (A). Mit 2) und 3) folgt 2)

3)

lim sup Pn (A) ≤ lim sup Pn (A) ≤ P (A) = P (A) = P (Å) ≤ lim inf Pn (Å) n→∞

n→∞

n→∞

≤ lim inf Pn (A). n→∞

Damit ist limn→∞ Pn (A) = P (A).

4) ⇒ 1): Sei f eine stetige und beschränkte Funktion. Dann existiert ein M ∈ IR+ mit supx∈E | f (x) | ≤ M . Wir approximieren f durch Treppenfunktionen. Dazu sei ε > 0 und D := { t ∈ IR : P (f = t) > 0 }. Wir wählen t0 , . . . , tk+1 ∈ IR mit folgenden Eigenschaften: i) −M = t0 < · · · < tk+1 = M , ii) ti 6∈ D für i = 0, . . . , k + 1, iii) ti+1 − ti < ε für i = 0, . . . , k . Weil f stetig ist, ist Bi := f −1 ((ti , ti+1 )) oen. Auÿerdem ist ∂Bi eine Teilmenge von

f −1 ({ ti }) ∪ f −1 ({ ti+1 }). Pk+1 f := Wegen ii) ist P (∂B ) = 0 . Wir setzen i i=0 ti 1lBi . Aus der Denition der Bi und aus iii) ° ° Pk+1 ° ° folgt dann ° f − i=0 ti 1lBi ° < ε. Mit 4) erhalten wir nun ∞

Z lim

n→∞

f dPn = lim

Somit ergibt sich ¯Z Z ¯ ¯ f dPn − f dP ¯

n→∞

k+1 X i=0

ti Pn (Bi ) =

k+1 X

Z ti P (Bi ) =

f dP.

i=0

¯ ¯Z ¯ ¯Z Z Z ¯ ¯ ¯ ¯ ¯ ≤ ¯ f dPn − f dPn ¯ + ¯ f dPn − f dP ¯ ¯ ¯ ¯ ¯Z ¯ Z ¯ ¯ + ¯¯ f dP − f dP ¯¯

¯ ¯ ¯ ¯

≤ 2 max (ti+1 − ti ) + ε (für alle n hinreichend groÿ) 0≤i≤k

≤ 3ε.

2

Beispiel 8.16 Man kann sich die Aussagen 2)4) aus Satz 8.15 leicht veranschaulichen: Seien s, t ∈ IR mit s < t. Setze A := (s, t), P := δt und Pn := δtn mit tn ∈ (s, t) und limn→∞ tn = t. Dann ist lim inf n→∞ Pn (A) = 1 ≥ 0 = P (A).

Der folgende Satz zeigt, dass auf (IR, B) die schwache Konvergenz mit der Konvergenz der Verteilungsfunktionen in den Stetigkeitsstellen übereinstimmt.

Ist Å korrekt?

8.7. Der Stetigkeitssatz

85

Satz 8.17 Seien (Pn )n∈IN und P Wahrscheinlichkeitsmaÿe auf (IR, B) und seien (Fn )n∈IN und

F die zugehörigen Verteilungsfunktionen. Dann sind die folgenden Aussagen äquivalent: w

1) Pn −→ P . 2) limn→∞ Fn (x) = F (x) für alle x ∈ C(F ).

Beweis: 1) ⇒ 2): Sei x ∈ C(F ). Dann ist P ({ x }) = F (x) − F (x−) = 0. Damit ist P (∂(−∞, x]) = 0. Deshalb folgt mit Satz 8.15 4):

lim Fn (x) = lim Pn ((−∞, x]) = P ((−∞, x]) = F (x).

n→∞

n→∞

2) ⇒ 1): Wir werden zeigen, dass Satz 8.15 3) gilt. Dazu sei A ⊂ IR oen. Nach einem Satz S aus der Topologie existiert eine Folge disjunkter, oener Intervalle (Ij )j∈IN mit A = j∈IN Ij . Sei ε > 0 und seien aj , bj ∈ C(F ) mit Ij0 := (aj , bj ] ⊂ Ij und P (Ij ) ≤ P (Ij0 ) + ε2−j für alle j ∈ IN. Dann folgt: lim inf Pn (A) = lim inf n→∞

n→∞

= = =

∞ X j=1 ∞ X j=1 ∞ X

∞ X

Pn (Ij )

j=1

∞ (F atou) X

≥

j=1

lim inf Pn (Ij ) ≥ n→∞

∞ X j=1

lim inf Pn (Ij0 ) n→∞

lim inf (Fn (bj ) − Fn (aj )) n→∞

(F (bj ) − F (aj )) (nach Voraussetzung) P (Ij0 ) ≥

j=1

∞ ∞ ³ X ε´ X P (Ij ) − ε P (Ij ) − j = 2 j=1

j=1

= P (A) − ε. Da ε > 0 beliebig gewählt war, ist P (A) ≤ lim inf n→∞ Pn (A). Damit ist Satz 8.15 3) erfüllt. 2

8.7 Der Stetigkeitssatz Im weiteren Verlauf werden wir den Stetigkeitssatz für charakteristische Funktionen beweisen, also die Aussage, dass aus der Konvergenz von charakteristischen Funktionen gegen eine charakteristische Funktion die schwache Konvergenz der zugehörenden Verteilungsfunktionen folgt. Wir benötigen einige Denitionen und Hilfssätze.

Denition 8.18 Eine Familie P von Wahrscheinlichkeitsmaÿen auf (E, E) heiÿt schwach

relativ-kompakt, falls jede unendliche Folge aus P eine Teilfolge besitzt, die schwach gegen ein Wahrscheinlichkeitsmaÿ konvergiert.

86

Kapitel 8: Charakteristische Funktionen und schwache Konvergenz

Bemerkung 8.19 Eine Folge (Pn )n∈IN von Wahrscheinlichkeitsmaÿen konvergiert im Allgemeinen nicht gegen ein Wahrscheinlichkeismaÿ, selbst wenn im Falle (E, E) = (IR, B) die zugehörenden Verteilungsfunktionen punktweise konvergieren. Als Beispiel betrachte man Pn := δn . Dann gilt für die zugehörenden Verteilungsfunktionen:

lim Fn (x) = lim Pn ((−∞, x]) = 0 für alle x ∈ IR.

n→∞

n→∞

Also ist limn→∞ Fn ≡ 0 und damit keine Verteilungsfunktion. Der Grund dafür liegt darin, dass die Masse der Pn nach unendlich abwandert. Um solche Fälle auszuschlieÿen, denieren wir den Begri der Straheit.

Denition 8.20 Eine Familie P von Wahrscheinlichkeitsmaÿen auf (E, E) heiÿt stra, falls zu jedem ε > 0 eine kompakte Menge K ⊂ E existiert mit supP ∈P P (K c ) < ε.

Für jedes ε > 0 konzentriert sich also die Masse aller P ∈ P (bis auf ε) auf einer kompakten Menge.

Beispiel 8.21 1) Ist P := { P1 , . . . , Pn } eine endliche Familie von Wahrscheinlichkeitsmaÿen,

so folgt wegen der inneren Regularität der Maÿe, dass P stra ist.

w 2) Seien (Pn )n∈IN und P Wahrscheinlichkeitsmaÿe auf (IR, B) mit Pn −→ P . Dann ist P :=

{ Pn : n ∈ IN } stra. Denn ist ε > 0 und sind a, b ∈ C(F ) mit a < b und P ((a, b]) ≥ 1 − ε, so ist lim Pn ((a, b]) = lim (Fn (b) − Fn (a)) = F (b) − F (a) = P ((a, b]) ≥ 1 − ε. n→∞

n→∞

Damit existiert ein n0 ∈ IN, sodass Pn ((a, b]) ≥ 1 − 2ε für alle n ≥ n0 . Hieraus und aus 1) folgt die Straheit von P .

Satz 8.22 (Prohorov) Sei (E, E) ein polnischer Raum. Eine Familie P von Wahrscheinlichkeitsmaÿen auf (E, E) ist genau dann schwach relativ-kompakt, wenn P stra ist.

Bemerkung: Die Implikation  ⇐ gilt auch ohne die Annahme der Vollständigkeit. Wir werden Satz 8.22 nur für den Fall (E, E) = (IR, B) beweisen. Dazu benötigen wir eine Denition sowie ein Lemma.

Denition 8.23 Eine Funktion G : IR −→ [0, 1] heiÿt verallgemeinerte Verteilungsfunktion,

falls G monoton wachsend und rechtsseitig stetig ist und G(−∞) ≥ 0 sowie G(∞) ≤ 1 gilt. Mit G bezeichnen wir die Menge dieser Funktionen.

Lemma 8.24 (Helly-Bray) Die Menge G ist folgenkompakt,das heiÿt, zu jeder Folge (Gn )n∈IN in G existiert ein G ∈ G sowie eine Teilfolge (Gnk )k∈IN mit limk→∞ Gnk (x) = G(x) für alle x ∈ C(G).

Beweis: Der Beweis verwendet im Wesentlichen das Diagonalfolgenprinzip. Sei T := { xi :

i ∈ IN } eine abzählbar dichte Teilmenge von IR. Nach dem Satz von Bolzano-Weierstraÿ besitzt die beschränkte Folge (Gn (x1 ))n∈IN eine konvergente Teilfolge. Es existieren also eine

8.7. Der Stetigkeitssatz (1)

Teilmenge N1 := { ni

87

: i ∈ IN } und ein g1 ∈ [0, 1] mit limi→∞ Gn(1) (x1 ) = g1 . Weni

den wir dasselbe Argument auf die Folge (Gm (x2 ))m∈N1 an, so erhalten wir eine Teilfolge (2) N2 := { ni : i ∈ IN } ⊂ N1 , sodass limi→∞ Gn(2) (x2 ) = g2 ist mit einem g2 ∈ [0, 1]. Man i

beachte, dass nach Konstruktion limi→∞ Gn(2) (x1 ) = g1 ist. Iterieren wir das obige Verfahren, i

(r)

so erhalten wir schlieÿlich für jedes r ≥ 2 eine Teilfolge Nr := { ni : i ∈ IN } von Nr−1 , sodass limi→∞ Gn(r) (xr ) = gr ist mit einem gr ∈ [0, 1]. Es gilt dann für alle m ≤ r, dass i

limi→∞ Gn(r) (xm ) = gm ist. Wir wenden nun das Diagonalfolgenprinzip an, das heiÿt, wir i

e i ) := gi und es sei wählen eine Teilfolge, die für jedes x ∈ T konvergiert: Für xi ∈ T sei G(x (i) N := { ni : i ∈ IN }. Dann gilt für jedes xi ∈ T , dass limm→∞ Gn(m) (xi ) = gi ist. Wir werden m e auf IR fortsetzen. Dazu sei G(x) := inf{ G(y) e jetzt G : y ∈ T, y ≥ x }. Wir zeigen: a) Das so denierte G ist eine verallgemeinerte Verteilungsfunktion. b) Für x ∈ C(G) gilt limm→∞ Gn(m) (x) = G(x). m

Aus a) und b) folgt dann die Behauptung. Zu a): 1) Monotonie: Für x, y ∈ T mit x ≤ y gilt Gn(m) (x) ≤ Gn(m) (y) für alle m ∈ IN. Also m m e e . Damit folgt für x0 , y 0 ∈ IR mit x0 < y 0 : ist G(x) ≤ G(y)

e e G(x0 ) = inf{ G(y) : y ∈ T, y ≥ x0 } ≤ inf{ G(y) : y ∈ T, y ≥ y 0 } = G(y 0 ). 2) Rechtsseitige Stetigkeit: Sei x ∈ IR und sei (xk )k∈IN eine fallende Folge in T mit limk→∞ xk = x. Wir müssen zeigen, dass G(x) = limk→∞ G(xk ) ist. Dazu sei d := limk→∞ G(xk ). Nach Denition von G ist G(x) ≤ d. Wir nehmen nun an, dass G(x) < d ist und führen dies zu einem Widerspruch. e Nach Denition von G existiert ein y ∈ T mit y > x und G(y) < d. Für hinreichend groÿe k e gilt x < xk < y . Für diese k gilt auf Grund der Monotonie von G

e k ) ≤ G(y) e G(xk ) = G(x < d, also limk→∞ G(xk ) < d = limk→∞ G(xk ), was ein Widerspruch ist. Da die Eigenschaften G(−∞) ≥ 0 und G(∞) ≤ 1 oensichtlich sind, ist a) gezeigt. Zu b): Seien x ∈ C(G) und y ∈ T mit y ≥ x. Dann ist

e lim sup Gn(m) (x) ≤ lim sup Gn(m) (y) = G(y). m→∞

m

m→∞

m

e Also ist lim supm→∞ Gn(m) (x) ≤ inf{ G(y) : y ∈ T, y ≥ x } = G(x). Wählen wir x0 ∈ IR und m y ∈ T mit x0 ≤ y ≤ x beliebig, so erhalten wir e G(x0 ) ≤ G(y) = lim Gn(m) (y) = lim inf Gn(m) (y) ≤ lim inf Gn(m) (x). m→∞

m

m→∞

m→∞

m

m

Lassen wir nun x0 aufsteigend gegen x streben, so folgt wegen x ∈ C(G): G(x) = G(x−) ≤ lim inf m→∞ Gn(m) (x). Damit ergibt sich m

lim sup Gn(m) (x) ≤ G(x) ≤ lim inf Gn(m) (x). m→∞

m

m→∞

m

2

88

Kapitel 8: Charakteristische Funktionen und schwache Konvergenz

Wir können nun Satz 8.22 für den Fall (E, E) = (IR, B) beweisen.

Beweis: Wir zeigen zuerst: Ist P nicht stra, so ist P auch nicht schwach relativ-kompakt. Sei

P nicht stra. Dann existiert ein ε > 0, sodass supP ∈P P (I c ) > ε für jedes Intervall I ⊂ IR. Also gibt es zu jedem Intervall In := (−n, n) mit n ∈ IN ein Wahrscheinlichkeitsmaÿ Pn ∈ P , sodass Pn (Inc ) > ε ist. Wäre P schwach relativ-kompakt, so hätte (Pn )n∈IN eine konvergente w Teilfolge (Pnk )k∈IN mit Pnk −→ Q, wobei Q ein Wahrscheinlichkeitsmaÿ ist. Mit Satz 8.15 2) folgt ε ≤ lim sup Pnk (Inc k ) ≤ lim sup Pnk (Inc ) ≤ Q(Inc ) für alle n ∈ IN. k→∞

k→∞

Inc

Da absteigend gegen Ø konvergiert, gilt ε ≤ limn→∞ Q(Inc ) = 0. Dies ist ein Widerspruch und damit ist P nicht schwach relativ-kompakt. Sei nun umgekehrt P stra. Sei (Pn )n∈IN eine Folge aus P und (Fn )n∈IN die zugehörende Folge der Verteilungsfunktionen. Nach Lemma 8.24 existieren eine Teilfolge (Fnk )k∈IN und eine verallgemeinerte Verteilungsfunktion F mit limk→∞ Fnk (x) = F (x) für alle x ∈ C(F ). Wir zeigen, dass F eine Verteilungsfunktion ist, das heiÿt, es ist F (−∞) = 0 und F (+∞) = 1 zu zeigen. Dazu sei ein ε > 0 vorgegeben. Sei I = [a, b] ⊂ IR ein Intervall mit supn∈IN Pn (I c ) < ε, also Pn ([a, b]) ≥ 1 − ε für alle n ∈ IN. Wir wählen a0 , b0 ∈ C(F ) mit a0 < a und b0 > b. Dann ist 1 − ε ≤ Pnk ([a, b]) ≤ Pnk ((a0 , b0 ]) = Fnk (b0 ) − Fnk (a0 ) für alle k ∈ IN. Damit folgt

¡ ¢ 1 − ε ≤ lim Fnk (b0 ) − Fnk (a0 ) = F (b0 ) − F (a0 ). k→∞

Also ist F (+∞) − F (−∞) = 1 und deshalb F (−∞) = 0 sowie F (+∞) = 1.

2

Korollar 8.25 Sei (Pn )n∈IN eine strae Folge von Wahrscheinlichkeitsmaÿen. Falls jede schwach

konvergente Teilfolge gegen dasselbe Wahrscheinlichkeitsmaÿ P konvergiert, konvergiert auch (Pn )n∈IN schwach gegen P .

Beweis: Seien (Fn )n∈IN und F die zu (Pn )n∈IN und P gehörenden Verteilungsfunktionen. Wir

nehmen an, dass (Fn )n∈IN nicht schwach gegen F konvergiert und führen diese Aussage zu einem Widerspruch. Nach Annahme existiert ein x0 ∈ C(F ), sodass (Fn (x0 ))n∈IN nicht gegen F (x0 ) konvergiert. Mit Hilfe des Satzes von Bolzano-Weierstraÿ erhält man dann eine Teilfolge (Fnk (x0 ))k∈IN und ein a ∈ [0, 1] mit limk→∞ Fnk (x0 ) = a und a 6= F (x0 ). Nun existieren aber nach Satz 8.22 eine Teilfolge (Fnki )i∈IN von (Fnk )k∈IN und eine Verteilungsfunktion G mit limi→∞ Fnki (x) = G(x) für alle x ∈ C(G). Nach Voraussetzung ist F = G. Es gilt somit F (x0 ) = a, was ein Widerspruch ist. 2 Im Folgenden sind alle Wahrscheinlichkeitsmaÿe auf (IR, B) deniert.

Korollar 8.26 Sei (Pn )n∈IN eine strae Folge von Wahrscheinlichkeitsmaÿen und (ψn )n∈IN

die Folge der zugehörenden charakteristischen Funktionen. Dann sind folgende Aussagen äquivalent:

8.7. Der Stetigkeitssatz

89

1) Die Folge (ψn )n∈IN konvergiert punktweise. 2) Die Folge (Pn )n∈IN konvergiert schwach gegen ein Wahrscheinlichkeitsmaÿ. w P . Nach Satz 8.14 gilt Beweis: 2) ⇒R 1): Sei P Rein Wahrscheinlichkeitsmaÿ, sodass Pn −→

dann limn→∞ f dPn = f dP für alle stetigen und beschränkten Funktion f . Insbesondere gilt für alle t ∈ IR: Z Z Z Z lim cos tx dPn (x) = cos tx dP (x) und lim sin tx dPn (x) = sin tx dP (x). n→∞

n→∞

Damit folgt limn→∞ ψn (t) = ψP (t) für alle t ∈ IR. 1) ⇒ 2): Wegen der vorausgesetzten Straheit existiert nach Satz 8.22 eine Teilfolge (Pnj )j∈IN w sowie ein Wahrscheinlichkeitsmaÿ P , sodass Pnj −→ P für j → ∞. w Sei (Pn0j )j∈IN eine Teilfolge von (Pn )n∈IN und Q ein Wahrscheinlichkeitsmaÿ mit Pn0j −→ Q. Wegen 1) gilt für alle t ∈ IR

ψP (t) = lim ψnj (t) = lim ψn0j (t) = ψQ (t). n→∞

n→∞

Mit Hilfe des Eindeutigkeitssatzes 8.7 folgt P = Q. Nun wende man Korollar 8.25 an.

2

Für den Beweis des Stetigkeitssatzes benötigen wir noch einen Zusammenhang zwischen Straheit und charakteristischen Funktionen.

Lemma 8.27 Sei F eine Verteilungsfunktion mit charakteristischer Funktion ψ . Dann gilt für alle a ∈ IR+ \ { 0 }:

Z { x∈IR:| x |>2/a }

1 F (dx) ≤ a

Z

a

(1 − ψ(t)) dt. −a

Beweis: Es ist 1 a

¶ Z µZ 1 a itx 1 − e dP (x) dt (1 − ψ(t)) dt = a −a −a ¶ Z µ Z a 1 itx = 1 − e dt dP (x) (nach dem Satz von Fubini). a −a

Z

a

Für das innere Integral gilt: Z Z Z 1 a 1 a 1 a 1 − eitx dt = (1 − cos tx − i sin tx) dt = (1 − cos tx) dt a −a a −a a −a µ ¶ sin ax =2 1− ax

≥ 0. Damit erhalten wir: ¶ µ ¶ Z Z µ Z 1 a sin ax sin ax (1 − ψ(t)) dt = 2 1− dP (x) ≥ 2 1− dP (x) a −a ax ax { a| x |>2 } µ ¶ µ ¶ Z Z 1 1 ≥2 1− dP (x) ≥ 2 1− dP (x) ax 2 { a| x |>2 } { a| x |>2 } Z = dP (x). { a| x |>2 }

2

90

Kapitel 8: Charakteristische Funktionen und schwache Konvergenz

Satz 8.28 (Stetigkeitssatz) Sei (Fn )n∈IN eine Folge von Verteilungsfunktionen und (ψn )n∈ IN

die Folge der zugehörenden charakteristischen Funktionen. Der Grenzwert ψ(t) := limn→∞ ψn (t) existiere für alle t ∈ IR und ψ sei stetig in 0. Dann ist ψ eine charakteristische Funktion, deren zugehörige Verteilungsfunktion F schwacher Limes der Folge (Fn )n∈IN ist.

Beweis: Für jedes n ∈ IN bezeichnen wir mit Pn das zu Fn gehörende Wahrscheinlichkeitsmaÿ. Nach Korollar 8.26 reicht es aus zu zeigen, dass die Folge (Pn )n∈IN stra ist. Dazu verwenden wir Lemma 8.27. Ra Für a > 0 ist Pn ({ | x | > 2/a }) ≤ a1 −a (1 − ψn (t)) dt. Mit dem Satz von der majorisierten R Ra a Konvergenz folgt limn→∞ a1 −a (1 − ψn (t)) dt = a1 −a (1 − ψ(t)) dt. Wegen der Stetigkeit von Ra ψ in 0 existiert zu ε > 0 ein aε > 0 mit a1ε −aε ε (1 − ψ(t)) dt < ε/2. Auÿerdem existiert ein nε ∈ IN mit ¯ Z aε ¯ Z ¯ 1 ¯ 1 aε ¯ (1 − ψn (t)) dt − (1 − ψ(t)) dt ¯¯ < ε/2 für alle n ≥ nε . ¯ aε aε −aε −aε Also ist Pn ({ | x | > 2/aε }) < ε für alle n ≥ nε . Dies zeigt, dass die Folge (Pn )n∈IN stra ist. Damit existiert nach Korollar 8.26 ein Wahrscheinlichkeitsmaÿ P , sodass die Folge (Pn )n∈IN schwach gegen P konvergiert. Es bleibt zu zeigen, dass ψ die charakteristische Funktion von P ist. Für alle t ∈ IR gilt: Z Z itx ψ(t) = lim ψn (t) = lim e dPn (x) = eitx dP (x) = ψP (t). n→∞

n→∞

2

Kapitel 9

Zentrale Grenzwertsätze In diesem Kapitel werden wir die in Kapitel 8 bereitgestellten Hilfsmittel nutzen, um zuerst den zentralen Grenzwertsatz für unabhängige und identisch verteilte Zufallsvariablen zu beweisen. Anschlieÿend werden wir auf die Bedingungung der identischen Verteilung verzichten und einen Grenzwertsatz für unabhängige Folgen von Zufallsvariablen herleiten. Dieser wurde 1935 unabhängig voneinander von Lindeberg und Feller gefunden. Er löst das seit Laplace (ca. 1800) oene zentrale Grenzwertproblem für unabhängige Zufallsvariablen.

9.1 Der zentrale Grenzwertsatz für identisch verteilte Zufallsvariablen Satz 9.1 Sei (Xn )n∈IN eine Folge reeller, stochastisch unabhängiger und identisch verteilter Pn 2 Zufallsvariablen mit EX1 =: µ und 0 < Var X1 =: σ < ∞. Sei Sn := µ ¶ Sn − nµ w √ L −→ N (0, 1). nσ

i=1 Xi .

Dann gilt:

Dabei bezeichnet L(Y ) die Verteilung von Y .

Beweis: Wir können ohne Einschränkung annehmen, dass µ = 0 ist, anderenfalls betrachten wir die Folge (Xn − µ)n∈IN . Wegen der Existenz des ersten und zweiten Moments von X1 lässt sich die charakteristische Funktion ψX1 von X1 nach Satz 8.13 in ein Taylorpolynom zweiten Grades entwickeln. Es gilt: ψX1 (t) = 1 − Damit erhalten wir für alle t ∈ IR:

t2 σ 2 + o(t2 ) für alle t ∈ IR. 2 µ

¶ µ ¶¶n µ t t lim ψ Sn (t) = lim ψSn √ = lim ψX1 √ n→∞ √n σ n→∞ n→∞ nσ nσ µ µ 2 ¶¶n 2 t t 2 = lim 1 − +o = e−t /2 . 2 n→∞ 2n nσ

Der Stetigkeitssatz 8.28 liefert nun die Behauptung.

91

2

92

Kapitel 9: Zentrale Grenzwertsätze

9.2 Grenzwertsätze für Folgen unabhängiger Zufallsvariablen Für die nächsten Sätze benötigen wir einige Vorbemerkungen. Für jedes n ∈ IN seien Xn1 , . . . , Xnn unabhängige Zufallsvariablen mit EXnk = 0, 0 < Pn Pn 2 und 2 Var Xnk =: σnk k=1 σnk = 1. Auÿerdem sei Sn := k=1 Xnk , Fnk die Verteilungsfunktion von Xnk . Wir formulieren nun den zentralen Grenzwertsatz für unabhängige Zufallsvariablen unter der Lindeberg-Bedingung (L). Unter der Zusatzbedingung (AV), die besagt, dass alle Variablen einer Zeile asymptotisch gleichmäÿig klein werden, ist die Lindeberg-Bedingung notwendig für die Gültigkeit des zentralen Grenzwertsatzes.

Satz 9.2 (Lindeberg) Ist für jedes ε > 0 die Bedingung (L)

lim

n→∞

n Z X k=1

{x∈IR:| x |>ε }

x2 Fnk (dx) = 0

w

erfüllt, so gilt L(Sn ) −→ N (0, 1). Anschaulich bedeutet die Aussage (L), dass ein Fehler (z.B. bei einer physikalischen Messung), der sich als Summe vieler kleiner, voneinander unabhängiger Fehler ergibt, asymptotisch normalverteilt ist. Bevor wir den Satz beweisen, noch zwei Folgerungen.

Bemerkung 9.3 Satz 9.1 ist ein Spezialfall von Satz 9.2. Denn sei (Xn )n∈IN eine Folge reeller, stochastisch unabhängiger und identisch verteilter Zufallsvariablen mit EX1 =: µ, 0 < Var X1 =: σ 2 < ∞ und Verteilungsfunktion F . Für k, n ∈ IN Pn Pn denieren wir Xnk := X√kn−µ Var X = 1 und . Dann ist EX = 0 , nk nk k=1 Xnk = k=1 σ Pn

X −nµ k=1 √ k nσ

.

Wir zeigen die Bedingung (L) aus Satz 9.2. Sei ε > 0. Dann ist ¶ µ n Z n Z X X x−µ 2 2 √ x Fnk (dx) = F (dx) ŕ ŕ o n ŕ x−µ ŕ nσ x∈IR:ŕ √ ŕ>ε k=1 {x∈IR:| x |>ε } k=1 nσ µ ¶ Z x−µ 2 = F (dx) √ σ > n ε {x∈IR:| x−µ | } σ µ ¶ X1 − µ 2 n ŕ =E 1l ŕ X1 −µ ŕŕ √n ε o . ŕ σ ŕ> σ P 2 1l Mit dem Satz von der monotonen Konvergenz folgt limn→∞ nk=1 EXnk { | Xnk |>ε } = 0 und damit die Behauptung.

Korollar 9.4 Sei (Xn )n∈IN eine Folge unabhängigerPZufallsvariablen mitPendlichen zweiten Momenten. Es sei mk := EXk , σk2 := Var Xk , Sn := nk=1 Xk und vn2 := ε > 0 gelte n ¤ 1 X £ lim 2 E (Xk − mk )2 1l{ | Xk −mk |>ε vn } = 0. n→∞ vn k=1

n 2 k=1 σk .

Für jedes

9.2. Grenzwertsätze für Folgen unabhängiger Zufallsvariablen

Dann gilt

  L 

Sn −

n P k=1

93

 mk

vn

Beweis: Für k, n ∈ IN deniere man Xnk :=

 w  −→ N (0, 1). 

Xk −mk vn

und wende Satz 9.2 an.

2

Im Beweis von Satz 9.2 benötigen wir bereits die Bedingung (AV). 2 Bedingung (AV): max σnj → 0 für n → ∞. 1≤j≤n

Bemerkung 9.5 (L) =⇒ (AV). Dies sieht man so: 2 2 σnj = EXnj

2 ≤ ε2 + EXnj 1{|Xnj |>ε}

≤ ε2 + max E|Xnj |2 1{|Xnj |>ε} j X 2 ≤ ε2 + EXnj 1{|Xnj |>ε} j

Die rechte Seite wird aber beliebig klein.

Beweis von Satz 9.2: Zunächst eine Vorbemerkung: Für t ∈ (−∞, ∞) und n ∈ IN ∪ {0} gilt it

(∗)

e −

n X (it)j

(it)n+1 = j! n!

j=0

Z

1

eitu (1 − u)n du.

0

Dies folgt leicht mit Induktion, wenn man beachtet, dass gilt

(it)n+1 n!

Z

1

e 0

itu

−(it)n (it)n (1 − u) du = + n! (n − 1)!

Z

1

n

eitu (1 − u)n−1 du.

0

Die linke Seite von (*) lässt sich aber schreiben als

Z In = in+1

Z

t

dtn+1

0

Z

tn+1

dtn . . .

0

0

t2

eit1 dt1 .

Nun ist |eit − 1| = 2| sin(t/2)| ≤ 21−σ |t|σ für jedes σ mit 0 ≤ σ ≤ 1. Folglich gilt weiter

Z |In | ≤

|t| Z tn+1

0

0

Z

≤ 21−σ

t3

0 |t| Z tn+1

|eit2 − 1| dt2 . . . dtn+1 Z

... 0

=

Z ...

0

21−σ |t|n+σ . (1 + σ) . . . (n + σ)

0

t3

tσ2 dt2 . . . dtn+1

94

Kapitel 9: Zentrale Grenzwertsätze

Für n = 2 folgt mit σ = 0 und σ = 1

1 |eit − 1 + it − t2 | ≤ min[t2 , t3 /6]. 2 Nun zum eigentlichen Beweis. Für t ∈ IR und und ε > 0 seien nun

1 2 Ynj (t) := eitXnj − 1 − itXnj + t2 Xnj 2 2 2 1 2 2 t . anj (t) := e−σnj t /2 − 1 − σnj 2 ¯ ¯ 2 , 1 |tX |3 ]. Dann ist wegen der Vorbemerkung ¯Ynj (t)¯ ≤ min[t2 Xnj nj 6 Somit ergibt sich nun ¯ ¯ 2 2 ¯ ¯ itXnj − e−σnj t /2 ¯ = |EYnj (t) − anj (t)| ¯Ee h i 1 4 4 2 t . ≤ E t2 Xnj 1{|Xnj |>ε} + |tXnj |3 1{|Xnj |≤ε} + σnj 8 Der letzte Term folgt mit einer entsprechenden Abschätzung von anj (t), nur für e−v von eitx . P 2 und s Sei nun s2nj = ji=1 σni n0 = 0, sowie S0 = 0.

2 /2

anstelle

Dann folgt

¯ n n s2nj t2 o s2nj−1 t2 o¯¯ ¯ − E exp itSnj−1 + ¯E exp itSnj + ¯ 2 2 ¯ n ³ −σ 2 t2 ´¯ s2nj t2 o¯¯ ¯¯ ¯ ¯ nj = ¯E exp itSnj−1 + ¯ ¯E exp(itXnj ) − exp ¯ 2 2 ¯ ³ σ 2 t2 ´¯ 2 ¯ ¯ nj ≤ et /2 ¯E exp(itXnj − exp − ¯ 2 µ ¶ ≤ et

2 /2

2 2 E t2 Xnj 1{|Xnj |>ε} + ε|t|3 Xnj 1{|Xnj |≤ε}

+ et

2 /2

2 2 t4 σnj max σnj 1≤j≤n

2 → 0 für n → ∞. Unter der Bedingung (L) folgt nun max1≤j≤n σnj

Somit ergibt sich unter Beachtung von s2nj ≤ 1 für alle j

¯ · ¸¯ n ¯ ¯ ³ ³ ¯ −t2 /2 X s2nj t2 ´ s2nj−1 t2 ´ ¯ ¯ itSn −t2 /2 ¯ ¯ ¯ E exp itSnj + − exp itSnj−1 + −e ¯Ee ¯ = ¯e ¯ 2 2 j=1

≤ t2

n X

2 EXnj 1{|Xnj |>ε} + ε|t|3 + o(1).

j=1

Der erste Term wird wegen Bedingung (L) beliebig klein, woraus die Aussage folgt.

2

Der nächste Satz zeigt, dass die Bedingung (L) unter der Voraussetzung (AV) notwendig für die Gültigkeit des zentralen Grenzwertsatzes 9.2 ist.

9.2. Grenzwertsätze für Folgen unabhängiger Zufallsvariablen

95

Satz 9.6 (Zentraler Grenzwertsatz von LindebergFeller) Ist (Xnk )1≤k≤n, n∈IN

eine Folge von Zufallsvariablen, die der Bedingung (AV ) genügt, so gilt der zentrale Grenzwertsatz genau dann, wenn Bedingung (L) gilt.

Beweis: Nach Satz 9.2 wissen wir schon, dass die Bedingung (L) hinreichend für die Gültigkeit

des zentralen Grenzwertsatzes ist. Nehmen wir deshalb an, dass der zentrale Grenzwertsatz gilt. Sei ψnk (t) := EeitXnk für alle t ∈ IR. Wir zeigen zunächst, dass limn→∞ (max1≤k≤n | ψnk (t) − 1 | ) = 0 ist. Aus (AV ) folgt mit der Chebycheschen Ungleichung: limn→∞ (max1≤k≤n P ( | Xnk | > ε)) = 0 für alle ε > 0. Wir erhalten damit ¯Z ¯ Z ¯ ¯ ¯ ¯ itx ¯ | ψnk (t) − 1 | = ¯ e dFnk (x) − 1 ¯¯ ≤ ¯ eitx − 1 ¯ dFnk (x) Z Z ≤2 dFnk (x) + | tx | dFnk (x) { | x |>ε }

{ | x |≤ε }

≤ 2P ( | Xnk | > ε) + ε| t | ≤ 9ε gleichmäÿig in k für hinreichend groÿe n. In der zweiten Ungleichung wurde die Abschätzung | eit − 1 | ≤ | t |, t ∈ IR, verwendet. Wir sehen nun, dass zu εe > 0 ein n0 ∈ IN existiert, sodass max1≤k≤n | ψnk (t) − 1 | ≤ εe für alle n ≥ n0 . Somit existiert zu jedem t ∈ IR ein n0 (t) ∈ IN mit max1≤k≤n | ψnk (t) − 1 | ≤ 1/2 für P alle n ≥ n0 (t). Also ist nk=1 log ψnk (t) für alle n ≥ n0 (t) wohldeniert. Wegen der Gültigkeit P 2 des zentralen Grenzwertsatzes ist limn→∞ nk=1 log ψnk (t) = − t2 . Nach Satz 8.13 können wir ψnk in eine Potenzreihe entwickeln:

ψnk (t) = 1 + itEXnk −

t2 t2 2 2 EXnk − εn (t) mit | εn (t) | ≤ 3EXnk . 2 2

2 = σ 2 , gilt Da EXnk = 0 und EXnk nk

| ψnk (t) − 1 | ≤

t2 2 3 2 2 σ + t2 σ 2 = 2σnk t . 2 nk 2 nk

Dies und die Potenzreihenentwicklung des Logarithmus ergibt dann n X

| log ψnk (t) − (ψnk (t) − 1) | ≤

k=1

n X

| ψnk (t) − 1 |2 ≤

k=1

1≤k≤n

4

= 4t max

1≤k≤n

Pn

k=1 |

4 4 4σnk t

k=1

2 ≤ 4t4 max σnk

Wegen (AV ) gilt limn→∞

n X

n X

2 σnk

k=1 2 σnk .

log ψnk (t) − (ψnk (t) − 1) | = 0 und damit lim

n→∞

n X k=1

(ψnk (t) − 1) = −

t2 . 2

96

Kapitel 9: Zentrale Grenzwertsätze

Eine Folge komplexer Zahlen konvergiert genau dann, wenn Real- und Imaginärteil konvergieren. Deshalb ist à n ! n Z X X t2 lim (cos tx − 1) dFnk (x) = lim Re (ψnk (t) − 1) = − . n→∞ n→∞ 2 k=1

k=1

Sei η > 0. Dann gilt

à lim sup n→∞

n

t2 X − 2

{ | x |≤η }

k=1

= lim sup n→∞

!

Z (1 − cos tx) dFnk (x)

n Z X k=1 { | x |>η } n Z X

(1 − cos tx) dFnk (x)

≤ 2 lim sup n→∞

≤

k=1

n 2 X 2 σnk η2

{ | x |>η }

dFnk (x)

(nach der Chebycheschen Ungleichung)

k=1

2 = 2. η Aus 0 ≤ 1 − cos θ ≤

θ2 2

folgt nun

! n Z t2 X − (1 − cos tx) dFnk (x) 2 { | x |≤η } k=1 Ã ! n Z 2 X t x2 dFnk (x) ≥ lim sup 1 − 2 n→∞ { | x |≤η } k=1 Ã n Z ! 2 X t 2 = lim x dFnk (x) 2 n {|x|>η}

2 ≥ lim sup η2 n→∞

Ã

k=1

≥ 0. Die obige Gleichung gilt wegen dem Folgenden:

1−

n Z X k=1

2

{ | x |≤η }

x dFnk (x) = = =

n X

2 σnk

k=1 n Z X

k=1 2

n

X 4 ≥ lim sup η 2 t2 n→∞ k=1

{ | x |≤η }

x dFnk (x) −

k=1 n Z X { | x |>η }

k=1

Man erhält:

−

n Z X

x2 dFnk (x)

n Z X k=1

{ | x |≤η }

x2 dFnk (x).

Z { | x |>η }

x2 dFnk (x) ≥ 0.

x2 dFnk (x)

9.3. Gleichverteilung auf stetigen Funktionen (ein Ausblick)

97

Da t ∈ IR und η > 0 beliebig gewählt waren, existiert der Limes

lim

n→∞

n Z X k=1

{ | x |>η }

x2 dFnk (x)

und hat den Wert 0. Dies gilt für alle η > 0, also ist (L) erfüllt.

2

9.3 Gleichverteilung auf stetigen Funktionen (ein Ausblick) Sei C[0, 1] = {x | x(·) ist stetige Funktion auf [0, 1]}. Wir denieren ||x||∞ = sup0≤t≤1 |x(t)| und metrisieren C[0, 1] mit d(x, y) = ||x − y||∞ . Unter d ist [0, 1] separabel und vollständig (aber nicht kompakt). Sei B[0, 1] die Borelsche σ -Algebra auf C[0, 1]. Nun denieren wir Wahrscheinlichkeitsmaÿe, genauer Gleichverteilungen auf C[0, 1]. (Ω, F, P ) sei ein Wahrscheinlichkeitsraum, auf dem u.i.v. Zufallsvariablen Y1 , Y2 , . . . mit   +1 mit Wahrscheinlichkeit 1 2 Yi = deniniert sind.  −1 mit Wahrscheinlichkeit 1 2

Sei Sn =

Pn

i=1 Yi ,

S0 = 0.

Sn

n

Wir reskalieren den Pfad n 7−→ Sn durch   S /√2n k Xn (t) :=  linear dazwischen

für t = k · 2−n k = 0, 1, . . .

Die Abbildung t ; Xn (t). 0 < t ≤ 1 ist eine zufällige stetige Funktion mit Xn (0) = 0. Die Wahrscheinlichkeit P (Xn (·) = x(·)) = 221n . Sei Pn die Verteilung von Xn (·) unter P . Pn ist Wahrscheinlichkeitsmaÿ auf (C[0, 1], B[0, 1]). Es stellen sich nun folgende Fragen: 1) Ist (Pn ; n ≥ 1) folgenkompakt? 2) Was ist der Limes der konvergenten Teilfolge?

98

Kapitel 9: Zentrale Grenzwertsätze

Nun gilt nach Satz 8.22, dass die Folge (Pn ; n ≥ 1) folgenkompakt ist genau dann wenn (Pn ; n ≥ 1) stra ist, bzw. genau dann wenn gilt: ∀ε > 0 ∃ Kε ∈ B[0, 1] kompakt ist mit P (Kε ) ≥ 1 − ε ∀ n. Welches sind die kompakten Mengen in C[0, 1]? Dies liefert das folgende Resultat von ArzelaAscoli: Sei 0 < σ < 1 und Wx (σ) := sup|s−t|<σ |x(s) − x(t)|. Sei A ⊂ C[0, 1]. A ist kompakt genau dann, wenn gilt: a) sup |x(0)| < ∞ x∈A

b) lim sup Wx (σ) = 0. σ→0 x∈A

In Worten: A besteht aus gleichgradig stetigen Funktionen, die in 0 eine beschränkte Menge

in IR1 bilden.

Satz 9.7 (Pn ; n ≥ 1) ist stra und konvergiert schwach gegen P . P hat folgende Eigenschaften: a) P (X(0) = 0) = 1 b) Sei k ∈ IN. Für 0 ≤ t0 < t1 < . . . ≤ tk = 1 gilt X(ti )−X(ti−1 ) i = 1, . . . , k hat unabhängige Zuwächse. c) X(t) − X(s) ist normalverteilt nach N (0, t − s), falls t > s ist .

Bemerkung 9.8 P heiÿt Wiener-Maÿ, bzw. X heiÿt Standard-Brownsche Bewegung. X(·) hat P -f.s. folgende Eigenschaften: t ; X(t)(ω) ist stetig aber nirgends dierenzierbar.

Hier ist übrigens noch eine stetige nirgends dierenzierbare Funktion, die auf Weierstraÿ zurückgeht: ∞ X sin(101n · x) f (x) = . 100n n=0

Kapitel 10

Unendlich teilbare Verteilungen 10.1 Einführung In diesem Kapitel wollen wir uns der Frage widmen, welches die möglichen Grenzverteilungen von Summen unabhängiger Zufallsvariablen sind. Wir werden verschiedene notwendige und hinreichende Bedingungen, unter denen ein Wahrscheinlichkeitsmaÿ eine Grenzverteilung ist, angeben. Es wird sich zeigen, dass das wesentliche Kriterium darin besteht, dass die Verteilung unendlich teilbar sein muss, das heiÿt, die zugehörende charakteristische Funktion muss Wurzeln beliebigen Grades besitzen, die wieder charakteristische Funktionen sind. Höhepunkt dieses Abschnittes ist die LévyKhinchin Formel, die eine explizite Darstellung für die charakteristische Funktion einer unendlich teilbaren Verteilung angibt.

Denition 10.1 Eine Zufallsvariable X hat eine unendlich teilbare Verteilung, falls für jedes n ∈ IN unabhängige und identisch verteilte Folgen von Zufallsvariablen Xn1 , . . . , Xnn existieren mit L(X) = L(Xn1 + · · · + Xnn ). Man kann dies auch so formulieren: Eine Verteilung P mit charakteristischer Funktion ψ ist genau dann unendlich teilbar, wenn für jedes n ∈ IN eine charakteristische Funktion ψn existiert, sodass ψ = (ψn )n ist.

10.2 Beispiele für unendlich teilbare Verteilungen Die Normalverteilung N (µ, σ 2 ) zu den Parametern µ ∈ IR und¡σ 2 > 0 ist unendlich teilbar, ¢ 1 2 2 denn die zugehörige charakteristische Funktion ist ψ(t) = exp itµ − 2 t σ , sodass für alle ´ ³ 2

n ∈ IN durch ψn (t) := exp it nµ − 12 t2 σn

eine n-te Wurzel gegeben ist.

Die Poissonverteilung mit Sprunghöhe x¢¢ist unendlich teilbar. Hier ist die charakteristische ¡ ¡ itx Funktion ¡ ¡ durch¢¢ψ(t) = exp λ e − 1 gegeben mit einem λ > 0. Deshalb ist ψn (t) := exp nλ eitx − 1 eine n-te Wurzel. Die Gammaverteilung Γ(α, β) zu den Parametern α, β > 0 ist unendlich teilbar. Sie hat die Dichte −x xα−1 e β 1l (x). f (x) = Γ(α)β α [0,∞) 99

100

Kapitel 10: Unendlich teilbare Verteilungen

1 (1−iβt)α/n

1 (1−iβt)α .

Eine n-te Wurzel ist somit durch ψn (t) := ¡ ¢ gegeben. Dies ist gerade die charakteristische Funktion von Γ αn , β .

Die charakteristische Funktion ist ψ(t) =

Die Cauchy-Verteilung zum Parameter β > 0, deren Dichte die Gestalt

f (x) =

β π(β 2 + x2 )

hat, ist unendlich teilbar, da ihre charakteristische Funktion ψ(t) = e−β| t | ist und ψn (t) := β e− n | t | deren n-te Wurzel.

10.3 Eine Charakterisierung unendlich teilbarer Verteilungen Denition 10.2 Ein unabhängig und identisch verteiltes Dreiecksschemata ist eine Folge (Xnk )1≤k≤n, n∈IN , sodass die Folge (Xnk )1≤k≤n für jedes n ∈ IN aus unabhängigen und identisch verteilten Zufallsvariablen besteht.

Der nächste Satz charakterisiert die unendlich teilbaren Verteilungen als die Grenzverteilungen von Summen unabhängiger und identisch verteilter Dreiecksschemata.

Satz 10.3 Eine Verteilung ist genau dann unendlich teilbar, wenn sie Grenzverteilung von Summen der Zeilen eines Dreiecksschemas ist. Beweis:  ⇒: Das folgt direkt aus Denition 10.1.  ⇐: Sei (Xnk )1≤k≤n, n∈IN ein unabhängig und identisch verteiltes Dreiecksschemata und X P w eine Zufallsvariable, sodass L(Sn ) −→ L(X) gilt, wobei Sn := nk=1 Xnk . Wir werden zeigen, dass L(X) unendlich teilbar ist. Dazu sei ein k ∈ IN beliebig aber fest gewählt. Für m ∈ IN setzen wir n := km. Dann ist

Skm =

n X

Xn` = Ym(1) + · · · + Ym(k)

`=1

mit Ym(i) :=

im X

Xnl für 1 ≤ i ≤ k.

`=(i−1)m+1

w

Wegen L(Skm ) −→ L(X) für m → ∞ ist die Folge (L(Skm ))m∈IN stra (siehe Beispiel 9.21 (`) 2)). Da die Folge (Ym )1≤`≤k unabhängig und identisch verteilt ist, gilt für z > 0 und j ∈ { 1, . . . , k }:

P (Ym(j)

k

> z) =

k Y

P (Ym(`) > z) = P (Ym(1) > z, . . . , Ym(k) > z) ≤ P (Skm > kz).

`=1 (j)

(j)

Analog erhält man P (Ym < −z)k ≤ P (Skm < −kz). Deshalb ist die Folge (L(Ym ))m∈IN für alle j ∈ { 1, . . . , k } stra. Nach dem Satz von Prohorov 8.22 existiert eine Indexmenge { m` : w (j) ` ∈ IN } mit L(Ym` ) −→ L(Yj ) für ` → ∞ und j ∈ { 1, . . . , k }. Dabei sind die Yj identisch (j)

(j)

verteilt. Dann gilt für ψ` (t) := EeitY` alle j ∈ { 1, . . . , k }, damit folgt

lim EeitSkm` = lim

`→∞

`→∞

(j)

und ψ(t) := EeitY1 , dass lim`→∞ ψm` (t) = ψ(t) für

k Y j=1

(j) ψm (t) = ψ(t)k = ψY1 +···+Yk (t). `

10.4. Die LévyKhinchin Formel

101

Folglich sind Y1 , . . . , Yk unabhängig. Andererseits ist lim`→∞ EeitSkm` = EeitX = ψX (t). Nach dem Eindeutigkeitssatz 8.7 ist also L(X) = L(Y1 + · · · + Yk ). Da k ∈ IN beliebig gewählt war, ist L(X) unendlich teilbar. 2

10.4 Die LévyKhinchin Formel Die nachfolgenden Sätze werden wir nicht beweisen. Der nächste Satz charakterisiert die unendlich teilbaren Verteilungen und gibt eine explizite Formel für deren charakteristische Funktion an.

Satz 10.4 (LévyKhinchin Formel) Eine Verteilung mit charakteristischer Funktion ψ ist genau dann unendlich teilbar, wenn ψ die folgende Form besitzt: ¶ Z ∞µ σ2 2 itx 1 + x2 itx e −1− log ψ(t) = iβt − t + ν(dx) 2 1 + x2 x2 −∞

Dabei sind β ∈ IR, σ 2 ≥ 0 und ν ist ein endliches Maÿ auf (IR, B) mit ν({ 0 }) = 0.

10.5 Stabile Verteilungen Wir betrachten nun spezielle unendlich teilbare Wahrscheinlichkeitsmaÿe, die stabilen Verteilungen.

Denition 10.5 Eine Zufallsvariable X hat eine stabile Verteilung, falls für jedes n ∈ IN

unabhängige Zufallsvariablen X1 , . . . , Xn sowie Konstanten an ∈ IR+ und bn ∈ IR existieren, mit L(X) = L(Xi ) für i ∈ { 1, . . . , n } und L(an X + bn ) = L(X1 + · · · + Xn ). Mit Hilfe von charakteristischen Funktionen erhält man folgende Formulierung von Denition 10.5: Eine Verteilung P mit charakteristischer Funktion ψ ist genau dann stabil, wenn zu ibn t jedem n ∈ IN Konstanten an ∈ IR+ und bn ∈ IR existieren, sodass ψ(t)n = ψ(a ³ n t)e ´ ist, für n . alle t ∈ IR. Äquivalent mit Hilfe von P ausgedrückt heiÿt das: (F ∗ )n (x) = F x−b an Der folgende Satz stellt den Hauptgrund für das Interesse an stabilen Verteilungen dar.

Satz 10.6 Sei (Xn )n∈IN eine FolgePunabhängiger und identisch verteilter Zufallsvariablen.

Seien an ∈ IR+ , bn ∈³IR³und Sn´´ := Sn −bn verteilung der Folge L an

n∈IN

n i=1 Xi .

Dann ist eine Verteilung P genau dann Grenz-

, wenn P stabil ist.

10.6 Beispiele für stabile Verteilungen Die Normalverteilung N (µ, σ 2 ) zu den Parametern µ ∈ IR und σ 2 > 0 ist stabil. Denn ist (Xi )i∈IN eine Folge unabhängiger N (µ, σ 2 )-verteilter Zufallsvariablen, so ist L(X1 + · · · +

102

Kapitel 10: Unendlich teilbare Verteilungen

√ Xn ) = N (nµ, nσ 2 ). Ist also X eine N (µ, σ 2 )-verteilte Zufallsvariable und ist an := n so√ wie bn := (n − n)µ, so ist L(an X + bn ) = L(X1 + · · · + Xn ), was man leicht mit Hilfe der charakteristischen Funktionen (siehe Abschnitt 9.2.1) und des Eindeutigkeitssatzes 8.7 veriziert. Die Cauchy-Verteilung zum Parameter β > 0 ist stabil. Um dies zu sehen, sei (Xi )i∈IN eine Folge unabhängiger zum Parameter β > 0 Cauchy-verteilter Zufallsvariablen (zur Denition siehe Abschnitt 11.1). Dann ist L(X1 + · · · + Xn ) = L(nX).

10.7 Die LévyKhinchin Formel für stabile Verteilungen Der nächste Satz ist der Spezialfall der LévyKhinchin Formel für stabile Verteilungen.

Satz 10.7 Sei ψ die charakteristische Funktion einer stabilen Verteilung, die nicht die Normalverteilung ist. Dann existieren eine Zahl α ∈ (0, 2) und Konstanten m1 , m2 ∈ IR+ sowie ein β ∈ IR, sodass ¶ Z ∞µ itx dx log ψ(t) = itβ + m1 eitx − 1 − 2 1+α 1 + x x 0 ¶ Z 0 µ itx dx + m2 eitx − 1 − . 2 1+x | x |1+α −∞ Als Folgerung erhält man:

Korollar 10.8 ψ ist genau dann die charakteristische Funktion einer stabilen Verteilung, die

nicht die Normalverteilung ist, wenn α ∈ (0, 2), β ∈ IR, δ ≥ 0 und θ ∈ [−1, 1] existieren, sodass ¶ µ t α log ψ(t) = itβ − δ | t | 1 + iθ G(t, α) |t| mit

( G(t, α) :=

Dabei soll

0 0

:= 0 gelten.

tan 12 πα

falls α 6= 1

2 π

falls α = 1

log t