Конспект лекций по теории случайных процессов. 6 семестр

Механико-математический факультет МГУ им. М. В. Ломоносова

А.М.Зубков

Конспект лекций по теории случайных процессов

2008 год, 6-й семестр

1. Введение Теория случайных процессов — один из важнейших разделов теории вероятностей. Теория случайных процессов выделяется из теории вероятностей более сложной структурой множества значений, которые принимают случайные величины, а также разнообразием способов задания вероятностной меры. В теории вероятностей основой аксиоматики является понятие вероятностного пространства (Ω, F, P), где Ω — пространство элементарных событий, F — σ-алгебра измеримых подмножеств Ω, называемых событиями, P — вероятностная мера на F. Случайной величиной ξ, принимающей значения в множестве M со своей σалгеброй измеримых подмножеств G, называется любая функция ξ : Ω → M , измеримая относительно F и G. В курсе теории вероятностей обычно считалось, что M есть Z, R или Rn (для векторных случайных величин или геометрических вероятностей). В теории случайных процессов в качестве M выбирается множество более сложной структуры. Например, если M = Z∞ или M = R∞ , то значениями случайной величины ξ являются последовательности целых или действительных чисел, и говорят, что ξ — случайный процесс с дискретным временем; если M — пространство непрерывных функций или пространство функций без разрывов второго рода, то говорят, что ξ — случайный процесс с непрерывным временем; если M — пространство функций от нескольких аргументов, то говорят, что ξ — случайное поле, и т.д. Любое конкретное значение случайной величины ξ, которое является последовательностью или функцией, называют траекторией (или реализацией) случайного процесса. Четкой границы между задачами теории вероятностей и задачами теории случайных процессов нет. Например, пусть ξ1 , ξ2 , . . . — последовательность независимых одинаково распределенных случайных величин, принимающих действительные значения, и Sn = ξ1 + . . . + ξn . Для последовательности сумм Sn в курсе теории вероятностей доказываются два закона больших чисел: Закон больших чисел. Если ξ1 , ξ2 , . . . независимы и одинаково распределены, существует Mξ1 и Dξ1 < ∞, то для любого ε > 0 ¯ ©¯ ª lim P ¯ n1 Sn − Mξ1 ¯ > ε = 0. n→∞

Усиленный закон больших чисел. Если ξ1 , ξ2 , . . . независимы и одинаково распределены, существует Mξ1 и Dξ1 < ∞, то n o 1 P lim n Sn = Mξ1 = 1. n→∞

Закон больших чисел описывает свойства распределений индивидуальных сумм Sn . Это типичная задача теории вероятностей. В теории случайных процессов, как правило, интересуются свойствами траектории (последовательности) S1 , S2 , . . . Например, в усиленном законе больших чисел речь идет о случайной величине ( lim n1 Sn , если этот предел существует, n→∞ η= ∗ в противном случае, 2

равной пределу по Чезаро последовательности {ξn }. Задачи. 1.1. Показать, что для сумм Sn = ξ1 + . . . + ξn , где {ξk }∞ k=1 — последовательность независимых случайных величин, в которой ξk имеет нормальное распределение со средним 0 и дисперсией Dξk = σk2 , закон больших чисел не выполняется при σk2 = k α , α > 1, и выполняется при σk2 = o(k), k → ∞. 1.2. Показать, что для сумм Sn = ξ1 + . . . + ξn , где {ξk }∞ k=1 — последовательность независимых случайных величин, в которой ξk имеет нормальное распределение со средним 0 и дисперсией Dξk = σk2 усиленный закон больших чисел не выполняется k при σk2 = ln ln ), и выполняется при σk2 = lnkk . k 1.3. Показать, что для последовательности независимых случайных величин {ξk } с нулевыми математическими ожиданиями и распределениями P{ξk = 1} = P{ξk = −1} = 21 , P{ξn! = n!} = P{ξn! = −n!} =

1 n

,

k 6= n!,

P{ξn! = 0} = 1 −

2 n

,

n = 1, 2, . . . ,

обычный закон больших чисел выполняется, а усиленный — не выполняется. 2. Закон повторного логарифма Пусть ξ1 , ξ2 , . . . — независимые одинаково распределенные случайные величины с Mξk = a, |a| < ∞,

Dξk = σ 2 < ∞,

и Sn = ξ1 + . . . + ξn , n = 0, 1, . . . , – случайное блуждание. Для Sn справедлива центральная предельная теорема: ½ lim P

n→∞

Sn − na √ ≤x σ n

¾

1 = Φ(x) = √ 2π

Zx e−u

2 /2

du.

−∞

Однако это утверждение относится только к распределениям отдельных значений Sn и мало что говорит о свойствах всей последовательности {Sn }. Пусть ζ1 , ζ2 , . . . – произвольная последовательность случайных величин (возможно, зависимых), ψ(n) — детерминированная функция. Будем через χ{A} = χ{A}(ω) обозначать индикатор события A. Рассмотрим случайную величину X ν(ψ) = χ{ζn ≥ ψ(n)} n≥1

— число элементов последовательности ζ1 , ζ2 , . . ., лежащих выше графика функции ψ(n). Определение. Функция ψ(n) называется верхней функцией максимумов для последовательности случайных величин {ζn }, если P{ν(ψ) < ∞} = 1, и нижней функцией максимумов, если P{ν(ψ) = ∞} = 1. 3

Функция ψ(n) называется правильной верхней границей последовательности случайных величин {ζn }, если существует такая функция ε(n) = o(max{1, |ψ(n)|}), n → ∞, что функция ψ(n) + ε(n) — верхняя, а функция ψ(n) − ε(n) — нижняя функция максимумов. Аналогично определяются нижняя и верхняя функции минимумов и правильная нижняя граница. Утверждение 2.1. Пусть {ζn } — последовательность независимых случайных величин, имеющих стандартное нормальное распределение с математическим ожиданием 0 и дисперсией 1 : Zx P{ζn ≤ x} = Φ(x) =

1 2 ϕ(u) = √ e−u /2 , 2π

ϕ(u)du, −∞

Тогда

n = 1, 2, . . .

½ ¾ ½ ¾ ζn ζn P lim sup √ = 1 = 1 и P lim inf √ = −1 = 1. n→∞ n→∞ 2 ln n 2 ln n

Замечания. а) Так как P{|ζn | > x} > 0 для любого x < ∞, то P{ζn > f (n)} > 0 для любого n и любого значения f (n) < ∞. б) Случайные величины ζn одинаково распределены, но верхняя граница не равна константе. Таким образом, при условиях теоремы существуют правильные верхняя и нижняя √ √ границы, равные ψ+ (n) = 2 ln n и ψ− (n) = − 2 ln n. Доказательство. Лемма Бореля – Кантелли. Пусть на вероятностном пространстве (Ω, F, P) задана последовательность событий {A1 , A2 , . . .} и n o X A∗ = ω ∈ Ω : χ(An ) = ∞ , n≥1

где χ(An ) – P индикатор события An . а) Если P{An } < ∞, то P{A∗ } = 0. n≥1 P б) Если события A1 , A2 , . . . попарно независимы и P{An } = ∞, то P{A∗ } = 1. n≥1 P Доказательство леммы. Пусть νT = 1≤n≤T χ(An ) — число одновременно происходящих событий в начальном отрезке A1 , . . . , AT . Последовательность νT def монотонно не убывает, поэтому при каждом ω ∈ Ω существует limT →∞ νT = ν = P n≥1 χ{An } ≤ ∞. Тогда

MνT =

T X k=1

а) Если ряд P{A∗ } = 0.

P

P{Ak },

Mν =

X

P{Ak } и A∗ = {ν = ∞}.

k≥1

P{An } сходится, то Mν < ∞ и поэтому P{ν < ∞} = 1, т.е.

n≥1

4

б) В силу попарной независимости событий An их индикаторы тоже попарно независимы. Следовательно, дисперсия суммы этих индикаторов равна сумме дисперсий слагаемых: DνT = M(νT − MνT )2 = M

à T X

!2 (χ(Ak ) − P{Ak })

=

k=1

=

T X

M(χ(Ak ) − P{Ak })(χ(Al ) − P{Al }) =

k, l=1

=

T X

T X

M(χ(Ak ) − P{Ak })2 =

k=1

P{Ak }(1 − P{Ak }) ≤ MνT .

k=1

Согласно неравенству Чебышева при любом a < MνT P{νT ≥ a} = P{νT − MνT ≥ a − MνT } ≥ ≥ P{MνT − a ≥ νT − MνT ≥ a − MνT } = DνT MνT = P{|νT − MνT | < MνT − a} ≥ 1 − ≥1− . 2 (MνT − a) (MνT − a)2 В случае б) νT ↑ ν и MνT ↑ ∞ при T ↑ ∞, значит, при любом a < ∞ P{ν ≥ a} ≥ lim P{νT ≥ a} = 1. T →∞

Наконец, P{ν = ∞} = P

(∞ \

) {ν ≥ a}

=1

a=1

как вероятность пересечения счетной совокупности событий, вероятность каждого из которых равна 1. Лемма доказана. Утверждение 2.2. Справедливо соотношение 1 − Φ(x) =

1 − εx ϕ(x), где εx → 0 при x → ∞ и εx > 0 при x > 0. x

Доказательство. Используя замены u = x + v и vx = z, получаем 1 P{ζn > x} = √ 2π −x2 /2

e = √

2π

Z∞

2

−vx− v2

e 0

Z∞ −u2 /2

e x

−x2 /2

e dv = √ x 2π

1 du = √ 2π

Z∞

2

z −z − 2x 2

e e 0

5

Z∞ 2 /2

e−(x+v)

dv =

0 2

e−x /2 dz = √ (1 − εx ); x 2π

(1)

здесь εx > 0 при x > 0 и εx → 0 при x → ∞. Эти равенства следуют из соотношений Z∞

2

z −z − 2x 2

e e 0

Z∞

z2

0

=e

³

√ ´ − x

1−e

e−z dz = 1,

dz < 0

√ Zx

e−z e− 2x2 dz > 1 − 2x

Z∞

√

z2

1

e−z e− 2x2 dz > e− 2x 0

¡

> 1−

¢³ 1 2x

√ ´ − x

1−e

Zx e−z dz = 0

√

> 1 − e−

x

−

1 . 2x

Тем самым утверждение 2.2 доказано.

√ Рассмотрим события An (b) = {ζn > b 2 ln n}, n = 1, 2, . . . , и ( ) ½ ¾ X ζn ∗ A (b) = χ{An (b)} = ∞ = ω : lim sup √ ≥b . n→∞ 2 ln n n≥1

Из независимости случайных величин ζn следует независимость событий An (b). Тогда согласно лемме Бореля–Кантелли ( P 1, если P{An (b)} = ∞, ∗ P{A (b)} = Pn≥1 0, если n≥1 P{An (b)} < ∞. Исследуем условия сходимости ряда

P n≥1

P{An (b)}.

Согласно утверждению 2.2 при некоторых δn = δn (b) → 0 при n → ∞, √

2 ∞ ∞ X e−(b 2 ln n) /2 1 X 1 − δn √ √ √ (1 − δn ) = √ P{An (b)} = . b 2π n=1 nb2 2 ln n n=1 b 2 ln n 2π n=1

∞ X

Так как при b > 1 ряд в используя лемму Бореля – ½ ζn P lim sup √ n→∞ 2 ln n ½ ζn P lim sup √ n→∞ 2 ln n Наконец,

правой части сходится, а при b ∈ (0, 1] расходится, то, Кантелли, получаем: ¾ ½ ¾ ζn ≥ b = 0 ∀ b > 1 ⇒ P lim sup √ ≤ 1 = 1, n→∞ 2 ln n ¾ ½ ¾ ζn ≥ b = 1 ∀ b < 1 ⇒ P lim sup √ ≥ 1 = 1. n→∞ 2 ln n

¾ ζn =1 =1 P lim sup √ n→∞ 2 ln n как вероятность пересечения двух событий ¾ ½ ¾ ½ ζn ζn ≤1 и lim sup √ ≥1 , lim sup √ n→∞ n→∞ 2 ln n 2 ln n ½

вероятность каждого из которых равна 1. 6

Ввиду того, что распределение случайных величин ζn симметрично, ½ ¾ ζn P lim inf √ = −1 = 1. n→∞ 2 ln n Утверждение 2.1 доказано. Задачи. 2.1. Пусть ζ1 , ζ2 , . . . — независимые случайные величины, имеющие √ стандартное нормальное распределение. Показать, что ψ (n) = 2 ln n — нижняя, а − p ψ+ (n) = 2(ln n + ln ln n) — верхняя функции максимумов последовательности {ζn }. 2.2. Пусть ξ1 , ξ2 , . . . — последовательность независимых случайных величин, равномерно распределенных на отрезке [0,1]. Найти верхние и нижние функции минимумов последовательности {ξn }. Существуют ли такие верхняя функция минимумов ψ+ (n) и нижняя функция минимумов ψ− (n), что ψψ−+ (n) → 1 при n → ∞? (n) Докажем теперь аналогичное утверждение для последовательности Sn = ζ1 +. . .+ ζn , n = 0, 1, . . . В отличие от Утверждения 2.1 случайные величины Sn зависимы, и непосредственно применять вторую часть леммы Бореля – Кантелли к событиям вида {Sn > bn } нельзя. Мы применим эту вторую часть к другим независимым событиям, выбранным специальным образом. Теорема (закон повторного логарифма). Если ζ1 , ζ2 , . . . — независимые случайные величины, ζn ∼ N (0, 1), и Sn = ζ1 + . . . + ζn , n ≥ 1, то ½ ¾ ½ ¾ Sn Sn P lim sup √ = 1 = 1, P lim inf √ = −1 = 1. n→∞ n→∞ 2n ln ln n 2n ln ln n √ Замечание. Если выполнены условия теоремы, то случайная величина Sn / n имеет стандартное нормальное распределение, т.е. распределения отдельных членов √ последовательностей {ζn } и {Sn / n} совпадают, ³√ ´ но верхние функции максимумов √ √ √ разные: 2 ln n для {ζn } и 2 ln ln n = o 2 ln n для последовательности {Sn / n}. Доказательство. Так как распределение Sn симметрично, то (как в Утверждении 2.1) достаточно доказать первое соотношение. √ Положим M (t) = max0≤k≤t Sk , h(t) = 2t ln ln t при t ≥ e. Лемма 2.1. Для каждого r > 1 ∞ X k=1

½ P

M (rk+1 ) >r h(rk )

¾ < ∞.

Лемма 2.2. Для любого натурального v ∞ X k=1

½ P

r ¾ 1 1 (Svk − Svk−1 ) > c(v) = ∞, если c(v) = 1 − . k h(v ) v

Сначала покажем, как утверждение теоремы выводится из этих лемм, а потом докажем их. 7

Доказательство теоремы. Из леммы 2.1 и леммы Бореля–Кантелли следует, что ½ ¾ M (rk+1 ) P lim sup ≤ r = 1. (2) h(rk ) k→∞ Далее, если r > 1 и k(n) = [logr n] — такое целое число, что rk(n) ≤ n < rk(n)+1 , то limn→∞ k(n) = ∞ и Sn M (rk(n)+1 ) ≤ h(n) h(rk(n) )

и, значит,

lim sup n→∞

Sn M (rn+1 ) ≤ lim sup , h(n) h(rn ) n→∞

так как k(n) → ∞ при n → ∞. Отсюда и из (2) получаем, что при всех r > 1 ½ ¾ ½ ¾ Sn M (rn+1 ) P lim sup ≤ r ≥ P lim sup ≤ r = 1, h(rn ) n→∞ h(n) n→∞ т. е.

½ ¾ Sn P lim sup ≤ 1 = 1. n→∞ h(n)

(3)

Докажем теперь аналогичное (3) соотношение с заменой знака ≤ знаком ≥; из них, как в доказательстве утверждения 2.1, будет следовать утверждение теоремы. Пусть v > 1 — целое число. Так как случайные величины Svk − Svk−1 = ζvk−1 + . . . + ζvk ,

k = 1, 2, . . . ,

определяются значениями непересекающихся групп независимых случайных величин ξj , то они независимы. Поэтому из леммы 2.2 и леммы Бореля–Кантелли следует, что при любом целом v > 1 ½ ¾ 1 P lim sup (Svk − Svk−1 ) > c(v) = 1. (4) k k→∞ h(v ) √ √ Заметим, что h(v k ) = 2v k ln ln v k = (1 + o(1))h(v k−1 ) v при k → ∞. Учитывая это соотношение, равенство (3) и симметричность распределения Sn , получаем: ½ ¾ Svk−1 Svk−1 1 √ ≤√ P lim sup = lim sup =1= k k−1 ) v v k→∞ h(v ) k→∞ h(v ½ ¾ Svk−1 1 = P lim inf ≥ −√ . (5) k→∞ h(v k ) v Так как вероятности событий в (4) и (5) равны 1, то вероятность их пересечения тоже равна 1. Но {lim sup ak > c, lim inf bk > d} ⇒ lim sup(ak + bk ) > c + d. S

k−1

−S

Sv Применяя это соотношение к ak = vkh(vkv)k−1 , bk = h(v k ) и учитывая (4) и (5), находим, что при любом целом v < ∞ ) ( r 1 1 1 Sv k ≥ c(v) − √ = 1 − − √ = 1. (6) P lim sup k v v v k→∞ h(v )

8

За счет выбора достаточно большого v величину c(v) − угодно близкой к 1, поэтому ½ ¾ Sn P lim sup ≥ 1 = 1. k→∞ h(n)

√1 v

можно сделать сколь

(7)

Из (3) и (7) следует утверждение теоремы. Докажем леммы 2.1 и 2.2. Начнем со вспомогательной леммы. Лемма 2.3. Пусть ξ1 , . . . , ξn — независимые случайные величины с симметричными распределениями: P{ξk ≥ x} = P{ξk ≤ x} при любых x ∈ R и k ∈ {1, . . . , n}. Тогда при любом a ≥ 0 ½ ¾ P max Sk > a ≤ 2P{Sn > a}. 1≤k≤n

Доказательство леммы 2.3. Введем случайную величину, равную моменту первого перехода {Sn } через уровень a: ( k, если S1 , . . . , Sk−1 ≤ a, Sk > a, τ= n + 1, если S1 , . . . , Sn ≤ a. Так как ξ1 , . . . , ξn независимы и имеют симметричные распределения, то при любом k = 1, . . . , n случайные величины Sk = ξ1 + . . . + ξk и Sn − Sk = ξk+1 + . . . + ξn независимы, имеют симметричные распределения и P{Sn − Sk ≥ 0} = P{Sn − Sk ≤ 0} ≥ 12 , поскольку P{Sn − Sk ≥ 0} + P{Sn − Sk ≤ 0} = 1 + P{Sn − Sk = 0} ≥ 1. Учитывая эти замечания и то, что выполнение события {τ = k} определяется значениями ξ1 , . . . , ξk и поэтому не зависит от ξk+1 , . . . , ξn , находим: P{Sn > a, τ = k} ≥ P{Sn ≥ Sk , τ = k} = P{τ = k, ξk+1 + . . . + ξn ≥ 0} = = P{τ = k}P{ξk+1 + . . . + ξn ≥ 0} ≥ 21 P{τ = k}. Теперь, используя формулу полной вероятности, несовместность событий {τ = k} и равенство {1 ≤ τ ≤ n} = {max(S1 , . . . , Sn ) > a}, получаем P{Sn > a} =

n X

P{Sn > a, τ = k} ≥

k=1 n

1X 1 ≥ P{τ = k} = P 2 k=1 2 Лемма 2.3 доказана. 9

½

¾ max Sk > a .

1≤k≤n

Доказательство леммы 2.1. Используя лемму 2.3, оценку (1) для хвоста нормального распределения в виде 1 1 −u2 /2 2 1 − Φ(u) ≤ √ e−u /2 < e 2u u 2π

√ и то, что Sn / n ∼ N (0, 1), поскольку Sn ∼ N (0, n), получаем, что при u > 0 и любом натуральном n © © √ ª √ ª 1 2 P M (n) > u n ≤ 2 P Sn > u n = 2 P{ζ1 > u} < eu /2 . u √ Применим эту формулу при фиксированном r > 1, k > ln10r и u = 2r ln ln rk : o n √ √ P{M (rk+1 ) > rh(rk )} = P M (rk+1 ) > 2r ln ln rk rk+1 ≤ ≤√

1

k

1

C(r) 1 < r . r k 2r(ln k + ln ln r) (k ln r)

e−r ln ln r = p

2r ln ln rk n k+1 o P (r ) Значит, ряд k→∞ P Mh(r > r сходится при любом r > 1. Лемма 2.1 доказана. k) Доказательство леммы 2.2. Пусть целое v > 1 фиксировано. Случайная величина Svk − Svk−1 имеет нормальное распределение с нулевым математическим √ ожиданием и дисперсией v k −q v k−1 , т. е. распределена так же, как ζ1 v k − v k−1 . Для

каждого v > 1 при c(v) = 1 − v1 в силу оценки (1) для 1 − Φ(u) справедливо соотношение ½ ¾ ½ ¾ Svk − Svk−1 c(v)h(v k ) P > c(v) = P ζ1 > √ = h(v k ) v k − v k−1 ) ( r r n o √ 1 2v k ln ln v k k = P ζ > 2 ln ln v ∼ (8) = P ζ1 > 1 − 1 v v k − v k−1 1 1 1 k ∼ √ e− ln ln v ∼ √ , π ln k k ln v 2 π ln ln v k

k → ∞.

Таким образом, ряд, составленный из вероятностей (49), расходится. Тем самым лемма 2.2 доказана и доказательство закона повторного логарифма завершено. 3. Цепи Маркова Случайные процессы, названные впоследствии цепями Маркова, впервые были рассмотрены в работах А.А.Маркова 1906–1907 гг., посвященных анализу свойств последовательности гласных и согласных букв в русском тексте. Пусть ξ0 , ξ1 , ξ2 , . . . — произвольная последовательность случайных величин, принимающих значения из множества {1, 2, . . . , n}. По определению условных вероятностей для любого t > 0 P{ξ0 = i0 , ξ1 = i1 , . . . , ξt = it , ξt+1 = it+1 } = = P{ξ0 = i0 }

t Y

P{ξs+1 = is+1 |ξ0 = i0 , . . . , ξs = is }.

s=0

10

(9)

Если случайные величины ξ0 , ξ1 , ξ2 , . . . независимы, то P{ξs+1 = is+1 |ξ0 = i0 , . . . , ξs = is } = P{ξs+1 = is+1 }, и формула для совместной вероятности значительно упрощается: P{ξ0 = i0 , ξ1 = i1 , . . . , ξt+1 = it+1 } =

t+1 Y

P{ξs = is }.

(10)

s=0

Цепь Маркова — последовательность зависимых промежуточная между крайними случаями (9) и (10).

случайных

величин,

Определение. Цепью Маркова с конечным или счетным множеством состояний S и дискретным временем называется такая последовательность случайных величин {ξt , t = 0, 1, . . .}, что при любом t ≥ 0 и любых i0 , . . . , it , it+1 ∈ S (t)

P{ξt+1 = it+1 |ξ0 = i0 , . . . , ξt = it } = P{ξt+1 = it+1 |ξt = it } = pit it+1 . (t)

Если функция pij не зависит от t, то цепь Маркова называется однородной по времени. Для однородной по времени цепи Маркова с множеством состояний {1, . . . , n} формула (9) принимает вид P{ξ0 = i0 , ξ1 = i1 , . . . , ξt = it } = = P{ξ0 = i0 }

t Y

P{ξk = ik |ξk−1 = ik−1 } =

(0) pi0

t Y

(11) (0)

pik−1 ik , pi0 = P{ξ0 = i0 }.

k=1

k=1

Распределения траекторий однородной по времени цепи Маркова с множеством состояний {1, . . . , n} определяются n2 + n параметрами: начальным распределением (0)

p(0) = {pk = P{ξ0 = k}, и переходными вероятностями pij = P{ξt+1 переходных вероятностей  p11 p12  p21 p22 P =  . . pn1 pn2

1 6 k 6 n}

= j|ξt = i}, которые образуют матрицу  . . . p1n . . . p2n  . . .  . . . pnn

Все элементы матрицы переходных вероятностей неотрицательны, сумма элементов в каждой строке равна 1. Такие матрицы называют стохастическими. Матрицы с неотрицательными элементами, в которых сумма элементов любой строки не превосходит 1, называют полустохастическими. Стохастические матрицы, в которых суммы элементов в каждом столбце равны 1, называют дважды стохастическими. В неоднородной по времени цепи Маркова переходные вероятности и (t) соответствующие им матрицы переходных вероятностей P (t) = kpij k зависят от t. 11

Совокупность переходных вероятностей счетной цепи представить в виде матрицы, имеющей бесконечные размеры.

Маркова

можно

Примеры. а) Пусть η1 , η2 , . . . — независимые одинаково распределенные случайные величины, P{ηk = 1} = p, P{ηk = −1} = q, а последовательность {ξt } строится по формуле ξt = max{ξt−1 + ηt , 0}, t = 0, 1, . . . Последовательность {ξt } называется случайным блужданием на множестве неотрицательных целых чисел с отражающим экраном в 0: P{ξt+1 = i + 1|ξt = i} = p, P{ξt+1 = i − 1|ξt = i} = q = 1 − p, i > 1, P{ξt+1 = 0|ξt = 0} = q. Эта счетная цепь Маркова имеет матрицу переходных вероятностей   q p 0 0 0 ...  q 0 p 0 0 ...   P =  0 q 0 p 0 ... . . . . . . ... б) Последовательность Sn = ξ1 + . . . + ξn , n = 0, 1, . . ., сумм независимых целочисленных неотрицательных одинаково распределенных случайных величин ξt , P{ξt = k} = pk , k = 0, 1, . . ., образует счетную цепь Маркова с матрицей переходных вероятностей   p0 p1 p2 p3 . . .  0 p0 p1 p2 . . .   P =  0 0 p0 p1 . . .  . . . . . ... в) Модель Эренфестов для диффузии. Эта модель, названная по имени физиков Пауля и Татьяны Эренфестов, описывает процесс перемещения частиц в двух сосудах и была предложена для того, чтобы объяснить причины возникновения необратимых изменений (выравнивания давления в сообщающихся сосудах) в процессах движения молекул, которые с точки зрения классической механики обратимы. Пусть есть два сосуда, в которых находятся n частиц. В каждый момент времени t = 0, 1, . . . случайно, равновероятно и независимо от предыстории выбирается одна из n частиц и с одинаковыми вероятностями 21 она либо остается в том же сосуде, либо перемещается в другой. Пусть ξt — число частиц в первом сосуде в момент t. Тогда P{ξt+1 = j|ξt = j} = 21 , P{ξt+1 = j − 1|ξt = j} =

j , 2n

P{ξt+1 = j + 1|ξt = j} =

12

n−j , 2n

и матрица переходных вероятностей выглядит следующим образом:  1  1 0 0 . . . 0 0 0 0 2 2 1 n−1  1 0 ... 0 0 0 0  2 2n  2n  2 1 n−2  0  . . . 0 0 0 0 2n 2 2n    .  . . . . . . . . . .    . . . ... . . . .  P = . .  . . . . ... . . . .    n−2 1 2  0 0 0 0 . . . 2n 0    2 2n 1 1   0 0 0 0 . . . 0 n−1 2n 2 2n 1 1 0 0 0 0 ... 0 0 2 2 г) Выборка без возвращения. Пусть в урне находится n шаров, и мы на каждом шаге случайно и равновероятно вынимаем один из шаров, оставшихся в урне. Случайная последовательность ξ1 , . . . , ξn номеров появляющихся шаров не является цепью Маркова, так как, например, условные распределения ξ3 при условиях {ξ1 = 1, ξ2 = 2}, . . . , {ξ1 = 3, ξ2 = 2} разные. Однако последовательность множеств номеров появившихся шаров ∅, {ξ1 }, {ξ1 , ξ2 }, {ξ1 , ξ2 , ξ3 }, . . . является цепью Маркова. Например, в случае n = 3 эта цепь имеет матрицу переходных вероятностей ∅ {1} {2} {3} {1, 2} {1, 3} {2, 3} {1, 2, 3}

∅ {1} {2} {3} {1, 2} {1, 3} {2, 3} {1, 2, 3} 1 1 1 0 0 0 0 0 3 3 3 1 1 0 0 0 0 0 0 2 2 1 1 0 0 0 0 0 0 2 2 1 1 0 0 0 0 0 0 2 2 0 0 0 0 0 0 0 1 0 0 0 0 0 0 0 1 0 0 0 0 0 0 0 1 0 0 0 0 0 0 0 1

Пусть {ξt } — цепь Маркова с множеством состояний {1, . . . , n} и матрицей переходных вероятностей P . Матрица переходных вероятностей определяет вероятности перехода за один шаг. Введем матрицы переходных вероятностей за m шагов P (m) = kpij (m)k, m = 1, 2, . . . , и векторы p(t) = (p1 (t), . . . , pn (t)), где pk (t) = P{ξt = k}. Лемма 3.1. Для однородной цепи Маркова с матрицей вероятностей P при любом m ≥ 1 справедливы равенства P (m) = P m ,

переходных

p(t + m) = p(t)P m ,

а для неоднородной цепи с матрицами переходных вероятностей P (n) = kP{ξn+1 = j|ξn = i}k kP{ξt+m = j|ξt = i}k = P (t) P (t+1) . . . P (t+m−1) , p(t + m) = p(t)P (t) P (t+1) . . . P (t+m−1) . 13

(12) = (13)

Доказательство. Так как по формуле полной вероятности при любом k ∈ {1, . . . , m − 1} и любых i, j ∈ {1, . . . , n} pij (m + 1) =

n X

piv (m)pvj = (P (m)P )ij ,

v=1

где (A)ij обозначает j-й элемент i-й строки матрицы A. Таким образом, P (m + 1) = P (m)P . Отсюда по индукции следуют формулы (12). Формулы (13) доказываются аналогично. Произведение S = ksij k = P Q любых двух стохастических матриц P = kpij k и Q = kqij k одинакового порядка n — тоже стохастическая матрица порядка n: неотрицательность элементов произведения очевидна, а n X j=1

sij =

n X n X j=1 k=1

pik qkj =

n X j=1

pik

n X k=1

qkj =

n X

pik = 1.

i=1

Поэтому матрицы P n и P (t) P (t+1) . . . P (t+m−1) — тоже стохастические, как и матрицы P и P (u) . 3.1. Классификация состояний цепей Маркова Пусть M — множество состояний цепи Маркова, pij (t) — вероятность перехода из состояния i в состояние j за t шагов. Состояния цепи Маркова можно классифицировать по характеру последовательности моментов попадания в них траектории цепи Маркова. Определения. Состояние j однородной цепи Маркова следует за состоянием i, т.е. i → j, если pij (t) > 0 при некотором t < ∞. Если i → j и j → i, то состояния i и j называют сообщающимися: i ∼ j. Состояние i ∈ M называется: поглощающим, если pii (1) = 1, периодическим с периодом d > 1, если НОД{t : pii (t) > 0} = d, непериодическим, если оно периодическое с периодом 1, несущественным, если ∃j ∈ M : i → j, j 9 i, существенным, если ∀j ∈ M : {i → j} ⇒ {j → i}. Существенное состояние i называется: возвратным, если P{∃t < ∞ : ξt = i|ξ0 = i} = 1, возвратным нулевым, если при этом pii (t) → 0, t → ∞, возвратным положительным, если lim supt→∞ pii (t) > 0. Отношение ∼ является отношением эквивалентности на множестве состояний. На множестве классов сообщающихся состояний определено отношение частичного порядка: класс состояний A следует за классом B, если хотя бы одно состояние i ∈ A следует за каким-нибудь состоянием j ∈ B. Ситуация A → B, B → A для классов сообщающихся состояний возможна только при A = B. 14

Задача 3.1. Проверить, что все сообщающиеся состояния одного класса имеют один и тот же период и одновременно являются либо невозвратными, либо возвратными нулевыми, либо возвратными положительными. Классы возвратных состояний являются финальными: за ними не могут следовать другие классы состояний. Каждое поглощающее состояние возвратно и образует одноэлементный класс сообщающихся возвратных состояний. Определение. Цепь Маркова, состоящая из одного класса сообщающихся состояний, называется неразложимой; если она содержит более одного класса сообщающихся состояний, то она разложима. а) Периодические цепи. Если матрица переходных вероятностей P = ³ Примеры. ´ 0 1 0 0 0 1 , то 1 0 0     1 0 0 0 0 1 P 2 =  1 0 0  , P 3 =  0 1 0  , P 4 = P, 0 0 1 0 1 0 ( 1, если j − i ≡ t (mod 3), и т.д. Значит, pij (t) = 0 в остальных случаях. ³ 0 P1 0 ´ 0 0 P2 , где Аналогичный эффект возникает для блочной матрицы P = P3 0

0

P1 , P2 , P3 — стохастические (не обязательно квадратные) матрицы, а нули обозначают нулевые матрицы соответствующих размеров. б) Несущественные состояния и поглощающие состояния. В цепи Маркова с множеством состояний {1, 2, 3} и матрицей переходных вероятностей   α β γ P =  0 1 0  , α + β + γ = 1, α, β, γ > 0, 0 0 1 состояние 1 — несущественное, состояния 2 и 3 — поглощающие: β γ , p13 (t) = (1 − p11 (t)) . β+γ β+γ   P11 P12 P13 Аналогичными свойствами обладает блочная матрица P =  0 P22 0  , где 0 0 P33 P22 , P33 , (P11 , P12 , P13 ) — стохастические матрицы; матрица P11 соответствует классу несущественных состояний, а матрицы P22 и P33 могут соответствовать классам сообщающихся состояний. p11 (t) = αt → 0, p12 (t) = (1 − p11 (t))

Теорема 3.1 (Критерий возвратности однородной цепи Маркова). Состояние j∈ P S однородной цепи Маркова возвратно тогда и только тогда, когда n≥1 pjj (n) = ∞. Доказательство. При условии {ξ0 = j} рассмотрим последовательность моментов возвращения цепи в состояние j: T0 = 0, Tk = min{t > Tk−1 : ξt = j}, 15

k = 1, 2, . . . ;

как обычно, здесь считается, что min{∅} = ∞. Лемма 3.2. Если цепь Маркова {ξt } однородна, то при условии {ξ0 = j} случайные величины ∆k = Tk − Tk−1 , k = 1, 2, . . ., независимы и одинаково распределены. Доказательство леммы. Так как {Tk = t} ⇒ {ξt = j}, то по свойству цепи Маркова при любом натуральном n и любых состояниях i1 , . . . , it−1 , it+1 , it+2 . . . , it+n ∈ S P{ξt+m = it+m , m = 1, . . . , n|ξ0 = i, ξ1 = i1 , . . . , ξt−1 = it−1 , ξt = j} = = P{ξt+m = it+m , m = 1, . . . , n|ξt = j} = P{ξm = it+m , m = 1, . . . , n|ξ0 = j}. Поэтому при условии Tk = t распределение траектории {ξt+1 , ξt+2 , . . .} не зависит ни от k, ни от t. Следовательно, при любом k = 1, 2, . . . длина случайного промежутка ∆k+1 = Tk+1 − Tk не зависит от ∆j = Tj − Tj−1 , j = 1, . . . , k, и имеет такое же распределение, как случайная величина ∆1 = T1 . Тем самым лемма доказана. Заметим, что если ξ0 = j, то {ω : ∃ t < ∞ : ξt = j} = {ω : ∆1 < ∞}. Поэтому можно преобразовать определение возвратности: состояние j ∈ S возвратно тогда и только тогда, когда P{∆1 < ∞} = 1. Введем последовательность случайных индикаторов: ( 1, если ξn = j, In (ω) = n = 1, 2, . . . 0 в противном случае, Пусть ν(N ) — число возвращений цепи в состояние j за N < ∞ шагов: def

ν(N ) =

N X

In = max{k : Tk 6 N }.

n=1

Так как PN

M{In |ξ0 = j} = P{ξn = j|ξ0 = j} = pjj (n),

то Mν(N ) = n=1 pjj (n). Если P{∆1 < ∞} = 1, то P{Tk < ∞} = 1 при любом k = 1, 2, . . . Значит, для любого k < ∞ существует такое N (k) < ∞, что P{Tk < N (k)} = P{ν(N (k)) > k} > 21 , PN (k) 1 и поэтому P n=1 pjj (n) = Mν(N (k)) > 2 k. В силу произвольности выбора k отсюда ∞ следует, что n=1 pjj (n) = ∞. С другой стороны, если P{∆1 < ∞} = p < 1, то последовательность {Tk } обрывается при первом таком значении k, что ∆k = ∞. Из леммы 3.2 следует, что если ν = limN →∞ ν(N ) = max{k : Tk < ∞}, то P{ν = m} = P{min{k : ∆k = ∞} = m} = pm−1 (1 − p), 16

т. е. случайная величина ν имеет геометрическое распределение с параметром p и, 1 значит, Mν = 1−p . Поэтому при любом N < ∞ N X

т.е.

P∞ n=1

pjj (n) = Mν(N ) 6 Mν 6

1 1−p

,

n=1

pjj (n) < ∞. Теорема 3.1 доказана.

Примеры. а) Пусть ζ1 , ζ2 , . . . — независимые случайные величины, P{ζk = 1} = p,

P{ζk = −1} = q = 1 − p,

k = 1, 2, . . . ,

и S0 = 0, Sn = ζ1 + . . . + ζn , n = 1, 2, . . . Последовательность {Sn } — цепь Маркова, все состояния которой сообщаются. Траектория случайного блуждания {Sn } возвращается в 0 тогда и только тогда, когда числа шагов в положительном и отрицательном направлениях одинаковы. Поэтому вероятность возвращения в 0 за нечетное число шагов равна 0, а за четное число шагов 2n равна n n n p q ∼ p00 (2n) = C2n

(4pq)n (πn)1/2

при n → ∞,

так как по формуле Стирлинга при n → ∞ √ ¡ ¢2n 2π · 2n 2n (2n)! 22n n e √ C2n = = (1 + o(1)) ∼ . ¡√ ¡ ¢n ¢2 (n!)2 πn 2πn ne P Если p 6= q, то 4pq < 1 и ряд т. е. при p 6= q состояние n>1 p00 (n) сходится, P 1 0 невозвратно. Если же p = q = 2 , то 4pq = 1 и n>1 p00 (n) = ∞, т. е. для симметричного одномерного случайного блуждания состояние 0 возвратно. б) Рассмотрим случайное блуждание на плоскости (S1,0 , S2,0 ) = (0, 0),

(S1,n , S2,n ) =

n X (ζ2k−1 , ζ2k ), n > 1, k=1

где {ζk } — та же последовательность случайных величин, что в п.а). Оно является совокупностью (S1,n , S2,n ) двух независимых случайных блужданий на множестве целых чисел из п.а). При p 6= q случайное блуждание S1,n невозвратно, а поэтому невозвратно и двумерное случайное блуждание. Рассмотрим случай p = q = 21 . Вероятность возвращения в точку (0,0) за 2n шагов равна произведению вероятностей того, что каждое из двух блужданий вернется в 0 за 2n шагов: n 2 ) ∼ p(0,0)(0,0) (2n) = (p00 (2n))2 = (2−2n C2n

1 πn

при n → ∞.

P Ряд n>1 p(0,0)(0,0) (2n) расходится, значит, состояние (0,0) возратно. в) Однако для симметричного случайного блуждания в трехмерном пространстве, образованного совокупностью (S1,n , S2,n , S3,n ) трех независимых случайных блужданий из п.а), состояние (0,0,0) невозвратно, потому что n 3 ) ∼ p(0,0,0)(0,0,0) (2n) = (p00 (2n))3 = (2−2n C2n

17

1 (πn)3/2

при n → ∞,

и ряд

P

p(0,0,0)(0,0,0) (2n) сходится.

n>1

Задача 3.2. Показать, что для неоднородных по времени цепей Маркова указанный в теореме критерий возвратности неверен. Рассмотреть в качестве примеров цепи  с двумя состояниями (0 и 1) и переходными вероятностями: 1   2 , n = 0, i, j ∈ {0, 1}, (n) а) pij = 1, n ≤ 1, i = j,   0, n ≤ 1, i 6= j; ( 1 − n−2 , i = j, (n) б) pij = n > 0. n−2 , i 6= j, 3.2. Предельная теорема для конечных цепей Маркова Для конечной однородной по времени цепи Маркова {ξt } сходимость с вероятностью 1 означает, что траектория {ξt } «останавливается» в каком-то состоянии, которое тогда должно быть поглощающим. Более типичной ситуацией является сходимость по распределению (для периодических цепей и она не всегда имеет место). Теорема 3.2. Если матрица P переходных вероятностей цепи Маркова с множеством состояний {1, . . . , n} такова, что все элементы матрицы P v положительны при некотором v < ∞, то существуют положительные пределы lim pij (t) = πj ,

t→∞

j ∈ {1, . . . , n}.

(14)

Пределы π1 , . . . , πn не зависят от начального состояния i и являются единственным решением системы уравнений n X

xk pkj = xj ,

j ∈ {1, . . . , n},

k=1

n X

xk = 1.

(15)

k=1

Доказательство. Рассмотрим матрицу P v = kpij (v)k вероятностей переходов за v шагов; по условию она стохастическая и все ее элементы положительны. Положим ε = mini,j pij (v) > 0. Пусть Gn = {(x1 , . . . , xn ) : x1 , . . . , xn ≥ 0, x1 + . . . + xn = 1} — симплекс распределений вероятностей на множестве {1, . . . , n}. Если e1 , . . . , en ∈ Gn — единичные векторы, то pij (t) = (P t )ij = (ei P t )j . Докажем, что существует такой вектор p = (π1 , . . . , πn ), что xP t → p для любого x ∈ Gn . Последовательность {xP t } состоит из v подпоследовательностей {xP m+tv } = {(xP m )P tv }, m = 0, 1, . . . , v − 1, поэтому для доказательства первого утверждения теоремы достаточно доказать, что предел p последовательности векторов x(P v )t существует при любом x ∈ Gn , не зависит от x и является решением системы (15). Дальнейшее доказательство разбито на 4 утверждения. 18

а) Линейное отображение A : Rn → Rn , Ax = xP v , отображает симплекс Gn вероятностных распределений в себя. Действительно, если x = (x1 , . . . , xn ) ∈ Gn , то все компоненты вектора y = (y1 , . . . , yn ) = xP v неотрицательны и n X

yj =

j=1

n X n X

xk pkj (v) =

j=1 k=1 n P

б) В метрике ρ(x, y) =

n X k=1

xk

n X

pkj (v) =

j=1

n X

xk = 1.

k=1

|xj − yj | отображение A : Gn → Gn — сжимающее с

j=1

коэффициентом не более 1 − ε < 1. В самом деле, ¯ ¯ ¯ ¯ n n ¯X n ¯X n n ¯ ¯ X X X ¯ ¯ ¯ ¯ ρ(xP v , yP v ) = xk pkj (v) − yk pkj (v)¯ = ¯ (xk − yk )pkj (v)¯ . ¯ ¯ ¯ ¯ ¯ j=1

Если x, y ∈ Qn , то

k=1

n P

j=1

k=1

k=1

(xk − yk ) = 0; поэтому суммы неотрицательных и

k=1

неположительных разностей xk − yk различаются только знаком, т.е. n X

n X

n

1X 1 max{xk − yk , 0} = − min{xk − yk , 0} = |xk − yk | = ρ(x, y). 2 j=1 2 j=1 j=1

Значит, при x 6= y существуют такие r, s ∈ {1, . . . , n}, что xr − y r ≥

1 1 ρ(x, y) > 0 > ρ(x, y) ≥ xs − ys . 2n 2n

Отсюда, из равенства |a − b| = a + b − 2 min{a, b} при a, b > 0 и из определения ε следует, что для этих r и s при любом j ∈ {1, . . . , n} |(xr − yr )prj (v) + (xs − ys )psj (v)| 6 6 (xr − yr )prj (v) + |xs − ys |psj (v) − 2 min{|xr − yr |, |xs − ys |} min{prj (v), psj (v)} 6 6 |xr − yr |prj (v) + |xs − ys |psj (v) − n1 ρ(x, y) ε и ¯ ¯ n ¯ ¯X ¯ ¯ ¯ (xk − yk )pkj (v)¯ 6 ¯ ¯ k=1

6

n X

|xk − yk |pkj (v) + |xr − yr |prj (v) + |xs − ys |psj (v) −

k=1 k6=r,s

=

n X

|xk − yk |pkj (v) −

k=1

19

1 ρ(x, y) ε. n

1 ρ(x, y) ε = n

Значит, ¯ ¯ Ã n ! n ¯X n n ¯ X X X 1 ¯ ¯ ρ(xP v , yP v ) = |xk − yk |pkj (v) − ρ(x, y) ε = ¯ (xk − yk )pkj (v)¯ 6 ¯ ¯ n j=1 k=1 j=1 k=1 =

n X k=1

|xk − yk |

n X

pkj (v) − ερ(x, y) = (1 − ε)ρ(x, y).

j=1

в) Сжимающее отображение A компакта Gn в себя имеет ровно одну неподвижную точку p; эта точка является предельной для любой последовательности Ar x, r = 1, 2, . . . , с x ∈ Gn , так как ρ(Ar x, p) = ρ(Ar x, Ar p) ≤ (1 − ε)r ρ(x, π) → 0 при r → ∞. (Последовательность {Ar x} точек компакта Gn имеет хотя бы одну предельную точку p. Допустим, что Ap 6= p, и выберем r так, чтобы ρ(Ar x, p) < 13 ρ(Ap, π) и ρ(Ar x, Ar+1 x) ≤ (1 − ε)r ρ(x, Ar x < 31 ρ(p, Ap). С помощью неравенства треугольника приходим к противоречию: ρ(Ap, p) ≤ ρ(Ar x, p) + ρ(Ar x, Ar+1 x) + ρ(Ar+1 x, Ap) < (1 − 31 ε)ρ(Ap, p).) г) Так как Ar x → p и (Ar x)P = Ar (xP ) → p при r → ∞, а умножение на матрицу — непрерывная функция, то p — неподвижная точка линейного отображения Gn → Gn с матрицей P . Если бы это линейное отображение имело другие неподвижные точки, то они были бы неподвижными точками отображения A, что невозможно. Так как p — единственная неподвижная точка отображения с матрицей P , то она является единственным решением системы линейных уравнений (15). Теорема доказана. 3.3. Анализ простых случайных блужданий с помощью цепей Маркова Пусть ξ0 , ξ1 , . . . — конечная цепь Маркова с множеством состояний {0, 1, . . . , N }, в которой состояния 0 и N — поглощающие, т. е. p0,0 = P{ξt+1 = 0|ξt = 0} = pN,N = P{ξt+1 = N |ξt = N } = 1,

t ≥ 0,

(16)

а из каждого «внутреннего» состояния k ∈ {1, . . . , N − 1} за один шаг можно либо перейти в соседние состояния, либо остаться на месте: pk,k+1 = P{ξt+1 = k + 1|ξt = k} = pk > 0, pk,k = P{ξt+1 = k|ξt = k} = rk ≥ 0, pk,k−1 = P{ξt+1 = k − 1|ξt = k} = qk > 0.

(17)

Найдем вероятности того, что траектория такой цепи с начальным состоянием ξ0 = k попадет в то или иное поглощающее состояние. Пусть при k = 1, . . . , N и t → ∞ pk0 (t) = P{ξt = 0|ξ0 = k} → uk ,

pkN (t) = P{ξt = N |ξ0 = k} → vk . 20

Пределы pk0 (t) и pkN (t) при t → ∞ существуют, так как состояния 0 и N — поглощающие и переходные вероятности pk0 (t) и pkN (t) монотонно не убывают. Теорема 3.3. Если {ξt } — цепь Маркова с множеством состояний {0, 1, . . . , N } и переходными вероятностями (16), (17), то вероятность un поглощения в состоянии 0 и вероятность vn поглощения в состоянии N при условии ξ0 = n вычисляются по формулам Ã ! N −1 n−1 X 1 X q1 . . . q k 1 q1 . . . q k , vn = 1+ = 1 − un , un = 1 + S k=n p1 . . . pk 1+S p 1 . . . pk k=1 S=

N −1 X k=1

q1 . . . q k , p1 . . . pk

n = 1, . . . , N − 1.

Доказательство. Составим систему уравнений для P{ξt = 0|ξ0 = k}: по формуле полной вероятности при 1 ≤ k < N P{ξt = 0|ξ0 = k} = = P{ξ1 = k − 1|ξ0 = k}P{ξt = 0|ξ1 = k − 1}+ +P{ξ1 = k + 1|ξ0 = k}P{ξt = 0|ξ1 = k + 1} = = qk P{ξt−1 = 0|ξ0 = k − 1} + pk P{ξt−1 = 0|ξ0 = k + 1}. Устремляя t к ∞, находим: uk = qk uk−1 + pk uk+1 ,

1 ≤ k < N;

u0 = 1, uN = 0.

(18)

Перепишем уравнения в другом виде: qk (uk−1 − uk ) = pk (uk − uk+1 ),

1 ≤ k < N ; u0 = 1, uN = 0.

Значит, u1 − u2 = (u0 − u1 ) pq11 , u2 − u3 = (u0 − u1 ) pq11 pq22 , и по индукции uk − uk+1 = (u0 − u1 )

q1 . . . q k , p1 . . . pk

k = 1, . . . , N − 1.

Складывая эти равенства почленно, находим: u1 − uN = (u0 − u1 )

N −1 X k=1

q1 . . . q k = (u0 − u1 )S. p1 . . . pk

(19)

По условию uN = 0, значит, u1 = (u0 − u1 )S = (1 − u1 )S, или u1 = S/(1 + S). Чтобы найти остальные uk , достаточно заметить теперь, что uk − uk+1 = (1 − u1 ) или

q1 . . . q k q1 . . . q k = , p1 . . . pk (1 + S)p1 . . . pk

N −1 X

N −1 1 X q1 . . . q k , un = (uk − uk+1 ) = 1 + S k=n p1 . . . pk k=n

21

k = 1, . . . , N − 1,

n = 1, 2, . . . , N − 1.

Аналогично выводится система уравнений для v0 , . . . , vN ; она отличается от (20) только граничными условиями: vk = qk vk−1 + pk vk+1 ,

1 ≤ k < N;

v0 = 0, vN = 1.

(20)

Преобразования вплоть до (19) не использовали граничные условия. С учетом новых 1 граничных условий (19) принимает вид v1 − 1 = −v1 S, или v1 = 1+S . Так как q1 ...qk vk − vk+1 = −v1 p1 ...pk , то n−1 n−1 X X q1 . . . q k v1 − vn = (vk − vk+1 ) = −v1 , p1 . . . p k k=1 k=1

и

à vn = v1

n−1 X q1 . . . q k 1+ p 1 . . . pk k=1

! =

1 1+S

Ã

n−1 X q1 . . . q k 1+ p1 . . . pk k=1

! .

Теорема доказана. В частном случае, когда p1 = . . . = pN −1 = p, q1 = . . . = qN −1 = q, эти формулы упрощаются: (q/p)n + . . . + (q/p)N −1 , n = 1, . . . , N − 1. un = 1 + q/p + . . . + (q/p)N −1 Задачи. 3.3. Показать, что если в конечной цепи Маркова есть поглощающие состояния и для каждого состояния существует следующее за ним поглощающее состояние, то любая траектория цепи с вероятностью 1 рано или поздно попадает в множество поглощающих состояний. 3.4. Рассуждая так же, как в теореме, составить и решить системы уравнений для других характеристик цепи Маркова: а) математического ожидания времени до попадания в поглощающее состояние, б) производящих функций распределения момента попадания в поглощающее состояние. Найдем формулы для предельного распределения цепи Маркова такого же вида, но без поглощающих состояний. Теорема 3.4. Если {ξt } — цепь Маркова с множеством состояний {0, 1, . . . , N } и переходными вероятностями pk,k+1 = pk > 0, pk,k−1 = qk > 0, pk,k = rk > 0, pk + qk + rk = 1 (k = 1, . . . , N − 1), p0,1 = p0 > 0, p0,0 = r0 > 0, p0 + r0 = 1, pN,N = rN > 0, pN,N −1 = qN > 0, rN + qN = 1, то предельные вероятности πn = limt→∞ P{ξt = n|ξ0 = k} вычисляются по формулам N X 1 p0 . . . pn−1 p0 . . . pk−1 ∗ πn = , S = . ∗ 1 + S q1 . . . q n q 1 . . . qk k=1 22

Доказательство. Цепь с матрицей переходных вероятностей P непериодична (в силу условий p0,0 > 0, pN,N > 0), все ее состояния сообщаются и за N шагов с положительной вероятностью она может перейти из любого состояния в любое. Поэтому к ней применима общая теорема о существовании предельного распределения: вектор π = (π0 , . . . , πN ), образованный предельными вероятностями цепи Маркова с матрицей переходных вероятностей P , удовлетворяет уравнению πP = π, т. е. — в нашем случае — системе уравнений π0 = π0 r 0 + π1 q1 , πk = πk−1 pk−1 + πk rk + πk+1 qk+1 , k = 1, . . . , N − 1, πN = πN −1 pN −1 + πN rN , π0 + π1 + . . . + πN = 1. 0 Из первого уравнения следует, что π1 = π0 1−r = π0 pq10 , отсюда и из второго q1 1 − 1) = π0 pq01 pq21 , и т.д. вплоть уравнения — что π2 = q12 (π1 (1 − r1 ) − π0 p0 ) = q12 π0 p0 ( 1−r q1 1 N −1 до πN = π0 p0qp11q...p . Так как π0 + . . . + πN = 1, то π0 = 1+S ∗ , и отсюда следуют 2 ...qN формулы для остальных вероятностей.

Пример. Модель Эренфестов для диффузии. Для рассмотренной ранее модели Эренфестов, описывающей перемещения n частиц из одного сосуда в другой, число ξt частиц в первом сосуде в момент t является цепью Маркова с множеством состояний {0, 1, . . . , n} и переходными вероятностями pk,k+1 = pk =

n−k 2n

(k = 0, . . . , n − 1),

pk,k−1 = qk =

k 2n

(k = 1, . . . , n),

pk,k =

1 2

(k = 0, . . . , n)

Чтобы найти стационарное распределение этой цепи Маркова, воспользуемся предельной теоремой. В нашем случае S∗ =

n X p0 . . . pk−1 k=1

q1 . . . q k

=

n X n(n − 1) . . . (n − k + 1)

k!

k=1

=

n X

Cnk = 2n − 1

k=1

и πk = 2−n Cnk , т. е. стационарное распределение — биномиальное с параметрами (n, 12 ). Для биномиального распределения вероятности значений 0 и n (т.е. вероятности того, что все частицы в заданный момент времени соберутся в первом или во втором сосуде) равны 2−n , и при n, равном числу молекул в сосуде, эти вероятности столь малы, что за все время существования Вселенной дождаться такого момента практически невозможно. 4. Ветвящиеся процессы В теории ветвящихся процессов изучаются простые математические модели развития популяций, химических или ядерных реакций и т.п. Впервые такая модель была предложена в XIX веке, когда Гальтон и Ватсон начали изучать вопрос о вырождении фамилий английских лордов. 23

Наглядно ветвящийся процесс с дискретным временем представляется генеалогическим деревом, корнем которого является исходная частица, а узлами — остальные частицы. Слои дерева интерпретируются как поколения; частицы, следующие за какой-нибудь частицей, называются ее потомками. Состояние µ(t) ветвящегося процесса в момент t интерпретируется как число частиц в t-м поколении. При переходе к следующему поколению каждая частица исчезает, порождая случайное число потомков следующего поколения; числа потомков разных частиц независимы. Чтобы определить процесс формально, будем считать, что имеется бесконечная совокупность {γtk , t = 0, 1, . . . , k = 1, 2, . . .} независимых одинаково распределенных случайных величин, принимающих значения 0, 1, . . . (γtk — число потомков kй частицы t-го поколения). Значения процесса определяются рекуррентными соотношениями ( γt1 + γt2 + . . . + γtµ(t) при µ(t) > 0, µ(t + 1) = 0 при µ(t) = 0. Так определенный процесс µ(t) является цепью Маркова, поскольку при фиксации значения процесса в любой момент времени t его дальнейшее поведение определяется случайными величинами {γvk , v ≥ t, i = 1, 2, . . .}, не зависящими от прошлого. Множеством состояний ветвящегося процесса является множество {0, 1, . . .} неотрицательных целых чисел, так что ветвящийся процесс — это счетная цепь Маркова. Состояние 0 является поглощающим; если процесс попадает в состояние 0, то говорят, что он выродился. С точки зрения как биологических, так и физических применений наибольший интерес представляют два вопроса: а) при каких условиях вероятность вырождения процесса равна 1, а при каких процесс с положительной вероятностью не вырождается? б) как ведут себя траектории процесса µ(t) при t → ∞? При исследовании свойств ветвящихся процессов оказывается очень удобным аппарат производящих функций. Лемма 4.1. Пусть ν, γ, γ1 , γ2 , . . . — независимые целочисленные неотрицательные случайные величины, причем γ, γ1 , γ2 , . . . одинаково распределены, пусть g(s) = Msν , f (s) = Msγ . Если ( 0, если ν = 0, µ= γ1 + . . . + γk , если ν = k, то Msµ = g(f (s)). Доказательство. По формуле полного математического ожидания, учитывая, что γ1 , γ2 , . . . независимы и одинаково распределены, находим: X Msµ = P{ν = k}Msγ1 +...+γk = =

X

k>0

P{ν = k}(Msγ )k = g(Msγ ) = g(f (s)).

k>0

Лемма доказана. 24

Пусть γ — случайная величина, имеющая такое же распределение, как число потомков одной частицы в ветвящемся процессе; положим f (s) = Msγ = M{sµ(1) |µ(0) = 1},

ϕ(t, s) = Msµ(t) .

Теорема 4.1. Последовательность производящих функций ϕ(t, s), t = 0, 1, . . ., удовлетворяет рекуррентным соотношениям ϕ(0, s) = Msµ(0) ,

ϕ(t + 1, s) = ϕ(t, f (s)),

t = 0, 1, . . .

Если P{µ(0) = 1} = 1, то ϕ(0, s) = s,

ϕ(t + 1, s) = f (ϕ(t, s)),

t = 0, 1, . . .

Доказательство. Воспользуемся леммой 4.1 и тем, что согласно определению ветвящегося процесса µ(t + 1) есть сумма µ(t) независимых случайных величин, имеющих такое же распределение, как случайная величина γ: ϕ(t + 1, s) = Msµ(t+1) = ϕ(t, Msγ ) = ϕ(t, f (s)). Аналогично, из того, что все непосредственные потомки исходной частицы (образующие 1-е поколение) размножаются независимо и что число существующих в момент t + 1 потомков каждого потомка исходной частицы имеет такое же распределение, как µ(t), получаем второе равенство: ϕ(t + 1, s) = Msµ(t+1) = M(M{sµ(t+1) |µ(1)}) = f (ϕ(t, s)). Следствие 4.1. Если µ(0) = 1, то ϕ(t, s) = ft (s) = f (f (. . . (f (s))). Доказательство непосредственно следует из теоремы 4.1, если заметить, что ϕ(0, s) = Msµ(0) = Ms1 = s. С помощью теоремы 4.1 найдем формулу для Mµ(t). Пусть Mγ = A. Тогда ¯ ¯ d 0 Mµ(t + 1) = ϕs (t + 1, s)|s=1 = ϕ(t, f (s))¯¯ = ds s=1 = (ϕ0u (t, u)|u=f (s) f 0 (s))|s=1 = AMµ(t) при любом t = 0, 1, . . ., т.е. Mµ(t) = At Mµ(0). Задача 4.1. Доказать, что если µ(t) — критический процесс Гальтона–Ватсона с f 0 (1) = 1, f 00 (1) = b ∈ (0, ∞), то ¯ ¯ d2 = bt. Mµ(t)(µ(t) − 1) = 2 ϕ(t, s)¯¯ ds s=1 Следовательно, ветвящиеся процессы имеют качественно разные свойства при разных значениях среднего числа A = Mγ потомков одной частицы: 25

A < 1 ⇒ Mµ(t) → 0 (t → ∞), и процесс называется докритическим, A = 1 ⇒ Mµ(t) ≡ Mµ(0), и процесс называется критическим, A > 1 ⇒ Mµ(t) → ∞ (t → ∞), и процесс называется надкритическим. Эти названия соответствуют классификации химических или ядерных реакций: реакция либо быстро прекращается (как в обычных условиях), либо поддерживается на примерно постоянном уровне (как в ядерном реакторе), либо приводит к ядерному взрыву. Кроме поведения математического ожидания числа частиц практически важной характеристикой ветвящегося процесса является вероятность вырождения, являющаяся пределом неубывающей (состояние 0 — поглощающее) последовательности P{µ(t) = 0|µ(0) = 1}: q = lim P{µ(t) = 0|µ(0) = 1}. t→∞

Теорема 4.2. Вероятность вырождения q ветвящегося процесса Гальтона– Ватсона с производящей функцией распределения числа потомков f (s) является наименьшим неотрицательным корнем уравнения f (s) = s. Доказательство. Так как ¯ ∞ ¯ X ¯ P{µ(t) = 0|µ(0) = 1} = P{µ(t) = k|µ(0) = 1}sk ¯ = ¯ k=0 µ(t)

= Ms

s=0

|s=0 = ft (0),

то q = limt→∞ ft (0).

P∞ k Лемма 4.2. Пусть f (s) = k=0 pk s — производящая функция распределения неотрицательной целочисленной случайной величины, f (s) 6= s. а) Если A = f 0 (1) 6 1, то f (s) > s при 0 6 s < 1. б) Если A = f 0 (1) > 1, то существует такое s0 ∈ [0, 1), что f (s) > s при 0 ≤ s < s0 ,

f (s0 ) = s0 ,

f (s) < s при s0 < s < 1.

Доказательство леммы. Производящая функция f (s) — степенной ряд с неотрицательными коэффициентами, сумма которых равна 1, т.е. это неотрицательная непрерывная монотонно возрастающая выпуклая функция на отрезке [0,1] с монотонно неубывающими неотрицательными производными всех порядков, причем f (s) = 1 и f (0) > 0. а) Если f 0 (1) ≤ 1 и f (s) 6= s, то f 0 (u) < 1 и f 00 (u) > 0 при всех u ∈ (0, 1] (причем случай f 00 (u) = 0 возможен только при f 0 (1) < 1), и по формуле Тейлора для каждого s ∈ [0, 1) при некотором u = u(s) ∈ (s, 1) f (s) = f (1) + (s − 1)f 0 (1) + (s − 1)2

26

f 00 (u) > 1 − (1 − s)f 0 (1) > s. 2

Докажем теперь утверждение б). Если A > 1, то f (s) = 1 − A(1 − s) + o(1 − s) при s ↑ 1, т.е. f (s) < s при s, достаточно близких к 1. С другой стороны, f (0) = P{ξ = 0} ≥ 0, и в силу непрерывности f (s) существует корень s0 ∈ [0, 1) уравнения f (s) = s. Так как f 00 (s) > 0, то f (s) выпукла на [0,1], т.е. любое уравнение f (s) = as+b не может иметь более двух корней на [0,1]. Но уравнение f (s) = s при A > 1 имеет два корня: 1 и s0 ; поэтому f (s) > s при s ∈ [0, s0 ) и f (s) < s при s ∈ [s0 , 1). Вернемся к доказательству теоремы. Покажем, что 0 6 ft (0) 6 s0 при любом t = 0, 1, . . . При t = 0 это неравенство, очевидно, верно. Далее воспользуемся индукцией: пусть 0 6 ft (0) 6 s0 при каком-то t > 0. Применяя к каждой части этого неравенства функцию f и пользуясь ее монотонностью, а также тем, что f (s0 ) = s0 , получаем: 0 6 ft (0) 6 f (ft (0)) = ft+1 (0) 6 f (s0 ) = s0 . Монотонно возрастающая ограниченная последовательность {ft (0)} имеет предел при t → ∞; обозначим его q 6 s0 . Из непрерывности f (s) следует, что q = lim ft+1 (0) = lim f (ft (0)) = f ( lim ft (0)) = f (q). t→∞

t→∞

t→∞

Следовательно, q = s0 . Теорема 4.2 доказана. Следствие 4.2. Вероятность вырождения q меньше 1 тогда и только тогда, когда A = f 0 (1) > 1. Пример: сколько детей должна в среднем иметь каждая женщина, чтобы популяция не вырождалась? Рассмотрим в качестве модели человеческой популяции ветвящийся процесс; частицами будем считать только совершеннолетних женщин (те, кто не доживают до совершеннолетия, не влияют на развитие популяции). Этот процесс с положительной вероятностью не вырождается тогда и только тогда, когда он надкритический. По статистическим данным вероятность того, что родившийся ребенок будет девочкой, равна pg ≈ 0, 486, а вероятность того, что девочка доживет до 18 лет (по статистическим данным СССР 80-х годов) равна r18 ≈ 0, 97. Поэтому если среднее 27

число детей у одной женщины равно C, то среднее число ее дочерей, доживающих до совершеннолетия, будет равно pg · r10 · C ≈ 0, 486 · 0, 97 · C, и эта величина больше 1 при C ≈ 2, 124. Демографы считают, что минимальное значение среднего числа детей у одной женщины, при котором численность популяции не убывает, должно быть не меньше 2,14; таким образом, наши грубые прикидки дали почти правильный результат. Связь уровня детской смертности с числом детей на интуитивном уровне хорошо понятна и, например, в слаборазвитых странах с высоким уровнем детской смертности рождаемость высокая. Когда с улучшением здравоохранения детская смертность снижается, а рождаемость остается высокой, то происходит резкий рост населения. В нашей стране в связи с тем, что для большинства населения условия жизни, начиная с 1992 года, сильно ухудшились, резко снизилась и рождаемость, и она составляет лишь около 1,2 – 1,4 ребенка на одну женщину. По сообщениям газет в Москве в сентябре 2003 г. в школу пошло 1,5 миллиона детей, и из них в первый класс — около 73 тысяч, т.е. меньше 5% (вместо естественных 10%). В Санкт-Петербурге в школу пошло 290 тысяч детей, из них в первый класс — 13500. Это значит, что страна лишилась на ближайшие десятилетия значительной доли рабочих, ученых, военных и т.д. Задача 4.2. Пусть µ(t) — число частиц в t-м поколении ветвящегося процесса Гальтона–Ватсона, начинающегося с одной частицы, и f (s) = Msγ — производящая функция распределения числа потомков одной частицы. а) Найти производящую функцию распределения суммы µ(0) + µ(1) + . . . + µ(k). б) Для критического процесса с f 0 (1) = 1, f 00 (1) = b ∈ (0, ∞) сравнить M

k X

µ(j) и

j=0

k X

Mµ(j),

D

j=0

k X j=0

µ(j) и

k X

Dµ(j).

j=0

Теорема 4.3. Все положительные состояния ветвящегося процесса с f (s) 6= s несущественные: если 0 < k < ∞, то limt→∞ P{µ(t) = k} = 0. Доказательство. Допустим противное: существует такое k > 0, что lim supt→∞ P{µ(t) = k} = vk > 0. Рассмотрим отдельно два случая. а) Пусть P{γ = 0} = p > 0. Тогда P{µ(t + 1) = 0|µ(t) = k} = pk > 0. Значит, по формуле полной вероятности P{µ(t + 1) = 0} =

∞ X

P{µ(t) = m}P{µ(t + 1) = 0|µ(t) = m} >

m=0

> P{µ(t) = 0} + P{µ(t) = k}P{µ(t + 1) = 0|µ(t) = k} = = P{µ(t) = 0} + pk P{µ(t) = k}. Складывая эти неравенства почленно, получим P{µ(t + 1) = 0} > p

k

t X r=0

28

P{µ(r) = k}.

Если vk = lim supt→∞ P{µ(t) = k} > 0, то при достаточно больших t правая часть последнего неравенства больше 1, чего не может быть. Значит, vk = 0. б) Пусть теперь P{γ = 0} = 0. Тогда P{γ > 1} = 1 и P{γ = 1} < 1 в силу условия f (s) 6= s. Поэтому P{µ(t + 1) = γt1 + . . . + γtµ(t) > µ(t)} = 1 и P{µ(t + 1) > k + 1|µ(t) = k} > 1 − (P{γ = 1})k > 1 − P{γ = 1} = r > 0. Аналогично рассуждениям, проведенным в п.а), находим, что P{µ(t + 1) > k + 1} > > P{µ(t) > k + 1} + P{µ(t) = k, µ(t + 1) ≥ k + 1} > > P{µ(t) > k + 1} + rP{µ(t) = k}. Складывая эти неравенства почленно, получим P{µ(t + 1) > k + 1} > P{µ(0) > k + 1} + r

t X

P{µ(r) = k}.

r=0

Если vk = lim supt→∞ P{µ(t) = k} > 0, то при достаточно больших t правая часть последнего неравенства больше 1, чего не может быть. Значит, и в этом случае vk = 0. Теорема доказана Теорема 4.4. Если A = Mγ > 1 и σ 2 = Dγ < ∞, то существует такая случайная величина X с P{X > 0} > 0, что ¯ ½ ¾ ¯ µ(t) ¯ P → X, t → ∞¯ µ(0) = 1 = 1 и MX = 1. At Характеристическая функция ψ(u) = MeiuX случайной величины X удовлетворяет уравнению ψ(Au) = f (ψ(u)). На самом деле распределение предельной случайной величины X, к которой сходится µ(t)/At , не сосредоточено в 0 тогда и только тогда, когда A > 1 и Mγ ln(γ + 1) < ∞, однако доказательство этого утверждения значительно сложнее. , t = 0, 1, . . . Достаточно показать, что ряд Доказательство. Положим X(t) = µ(t) At X0 +

∞ X

(X(t + 1) − X(t))

t=0

(в котором сумма первых k слагаемых равна X(k) − 1) с вероятностью 1 сходится абсолютно; его сумма и является предельной случайной величиной X.

29

Пользуясь формулой полного математического ожидания и тем, что µ(t + 1) = γt,1 + . . . + γt,m , если µ(t) = m, получаем: M(X(t + 1) − X(t))2 = ¶2 µ µ(t + 1) µ(t) 1 =M − t = 2(t+1) M(µ(t + 1) − Aµ(t))2 = t+1 A A A ´2 X∞ ³Xm 1 γt,k − Am I{µ(t) = m} = = 2(t+1) M k=1 m=0 A ´2 ³Xm 1 X∞ = 2(t+1) (γt,k − A) = P{µ(t) = m}M k=1 m=0 A X ∞ 1 σ2 σ2 = 2(t+1) P{µ(t) = m}mσ 2 = 2(t+1) Mµ(t) = t+2 . m=0 A A A

(21)

В силу оценки (21) и неравенства Чебышева при A > 1 ∞ X t=0

n

X 1 σ o X σ 2 /At+2 P |X(t + 1) − X(t)| > t/3 6 = < ∞, A (σ/At/3 )2 At/3+2 t=0 t=0 ∞

∞

и согласно лемме Бореля–Кантелли с вероятностью 1 происходит лишь конечное число событий {|X(t + 1) − X(t)| > σ/At/3 }, t = 0, 1, . . . Отсюда следует, что o n X∞ (X(t + 1) − X(t)) сходится абсолютно = 1 P ряд t=0

P т. е. случайная величина X = X0 + ∞ t=0 (X(t + 1) − X(t)) определена и конечна почти всюду. Для доказательства последнего утверждения теоремы заметим, что n o def ψt+1 (u) = MeiuX(t+1) = M exp iu µ(t+1) = At+1 ¡ © ª¢ ¡ ¡ © ª¢¢ = ϕ t + 1, exp iu/At+1 = f ϕ t, exp iu/At+1 = (22) ³ n o´ ¡ ¢ = f M exp iu Aµ(t) = f MeiuX(t)/A = f (ψt (u/A)). t+1 По доказанному X(t) → X при t → ∞, следовательно, ψt (u) → ψ(u) при всех действительных u. Переходя к пределу по t в обеих частях (22), получаем: ψ(u) = f (ψ(u/A)), что лишь заменой переменных отличается от утверждения теоремы. 5. Конечномерные распределения случайных процессов Случайный процесс — это случайная величина, принимающая значения в множестве функций, т.е. измеримая функция ξ(t), отображающая пространство элементарных событий в множество функций, определенных на действительной оси или на каком-нибудь другом множестве. Одним из способов задания распределений траекторий случайного процесса ξ(t) является описание его конечномерных распределений, т.е. распределений случайных векторов (ξ(t1 ), ξ(t2 ), . . . , ξ(tk )) для всех возможных наборов (t1 , t2 , . . . , tk ). Однако если конечномерные распределения выбирать произвольно, то может оказаться, что 30

случайного процесса с такими конечномерными распределениями не существует. Например, если P{ξ(1) = m, ξ(2) = n} = 41 , P{ξ(2) 6 x, ξ(3) 6 y} = Φ(x)Φ(y),

m, n ∈ {0, 1}, Zx 1 2 e−u /2 du, Φ(x) = √ 2π −∞

то из первого условия следует, что P{0 < ξ(2) < 1} = 0, а из второго — что P{0 < ξ(2) < 1} = Φ(1) − Φ(0) > 0. Значит, эти условия противоречивы, и случайный процесс ξ(1), ξ(2), ξ(3), . . . с такими двумерными распределениями не может существовать. Чтобы исключить подобные ситуации, вводят понятие семейств согласованных распределений. Условия согласованности имеют простой смысл: если вероятность какого-либо события можно вычислять по разным конечномерным распределениям, то эти вычисления должны давать один и тот же результат. Формально (для случайных процессов, принимающих действительные значения) условия согласованности записываются следующим образом. Пусть имеется семейство конечномерных распределений P = {Pt1 ,...,tn , t1 < . . . < tn , n = 1, 2, . . .}; распределение Pt1 ,...,tn соответствует вероятностной мере на Rn и, в частности, определяет меры Pt1 ,...,tn (At1 ×... ×Atn ) на прямых произведениях борелевских множеств At ⊂ R. Семейство P называется согласованным, если для любых двух наборов (t1 < . . . < tn ) и (s1 < . . . < sm ) и построенного по ним набора (v1 < . . . < vk ): {v1 , . . . , vk } = {t1 , . . . , tn } ∩ {s1 , . . . , sm }, при любых борелевских множествах C1 , . . . , Ck ⊂ R справедливы равенства Pv1 ,...,vk (C1 , . . . , Ck ) = Pt1 ,...,tn (A1 , . . . , An ) = Ps1 ,...,sm (B1 , . . . , Bm ), где ( Ci , Aj = R

(

если tj = vi , в противном случае,

Bj =

Ci , R

если sj = vi , в противном случае.

Возможность задания случайного процесса конечномерными распределениями обосновывается теоремой Колмогорова, доказательство которой можно найти, например, в учебнике А.А.Боровкова [1]. Реализации случайного процесса ξ(t), t ∈ R, можно рассматривать как точки в бесконечномерном пространстве RR , а его конечномерные распределения — как семейство вероятностных мер на RR . В пространстве RR можно определить σ-алгебру борелевских множеств F R , порожденную цилиндрическими множествами вида B × RR\N , где B ∈ F N — любое борелевское множество в RN , N ⊂ R, — любое конечное множество. Вероятностная мера P на RR для любого конечного множества N ⊂ R порождает проекцию PN на RN по формуле PN (B) = P(B × RR\N ), B ∈ F N . 31

Теорема Колмогорова о согласованных распределениях. Если на RR задано согласованное семейство вероятностных мер QN , N ⊂ R, то на (RR , F) существует единственная вероятностная мера P, проекция PN которой совпадает с QN для любого конечного множества N ⊂ R. Определение. Процессом с независимыми приращениями называется такой случайный процесс ξ(t), что при любом наборе чисел t1 < t2 < . . . < tn вектор приращений ∆(t1 , . . . , tn ) = (ξ(t2 ) − ξ(t1 ), . . . , ξ(tn ) − ξ(tn−1 )) имеет независимые координаты. Ввиду независимости приращений при фиксированном значении ξ(t) траектория процесса на полуоси (t, ∞) не зависит от его траектории на (−∞, t). Поэтому процессы с независимыми приращениями являются марковскими. Более того, поскольку приращения процесса не зависят от его текущего значения, постольку вероятности его переходов однородны по пространству. Чтобы описать распределения процесса с независимыми приращениями, достаточно сопоставить каждой паре чисел s, t (s < t) распределение приращения ξ(t) − ξ(s). Если распределение ξ(t) − ξ(s) зависит только от t − s, то говорят, что ξ(t) — процесс с независимыми однородными приращениями. Для процессов с независимыми приращениями условие согласованности можно переформулировать так: для любых t1 < . . . < tn распределение ξ(tn )−ξ(t1 ) совпадает с распределением суммы δt1 ,t2 + . . . + δtn−1 ,tn независимых случайных величин, где δtk−1 ,tk имеет такое же распределение, как ξ(tk ) − ξ(tk−1 ), k = 2, 3, . . . , n. Задача 5.1. Доказать, что указанное условие обеспечивает согласованность семейства конечномерных распределений процессов с независимыми приращениями. Разумеется, условие согласованности заметно ограничивает возможности выбора распределений приращений. 6. Пуассоновские процессы Одной из возможностей выбора согласованных распределений для процессов с независимыми приращениями являются пуассоновские распределения: если ν(t) — процесс с независимыми приращениями и при любых s < t приращение ν(t) − ν(s) имеет распределение Пуассона с параметром λ(t − s): P{ν(t) − ν(s) = k} =

(λ(t − s))k −λ(s−t) e , k!

k = 0, 1, . . . ,

λ > 0,

то производящие функции распределений приращений имеют вид Mu

ν(t)−ν(s)

=

∞ X k=0

uk

(λ(t − s))k −λ(t−s) e = e−λ(t−s)(1−u) , k!

32

u ∈ R,

(23)

и поэтому для независимых случайных величин δt1 ,t2 , . . . , δtn−1 ,tn , распределенных так же, как соответственно ν(t1 ) − ν(t2 ), . . . , ν(tn ) − ν(tn−1 ), из свойств производящих функций следует, что Mu

δt1 ,t2 +...+δtn−1 ,tn

=e

=

n−1 Y

Mu

k=1 −λ(tn −t1 )(1−u)

δtk ,tk+1

= Mu

=

n−1 Y

e−λ(tk+1 −tk )(1−u) =

k=1 ν(tn )−ν(tn−1 )

,

т.е. такие семейства распределений действительно согласованы. Определение. Случайный процесс с независимыми приращениями, имеющими пуассоновские распределения, называется пуассоновским процессом. Если распределения его приращений задаются формулой (23), то он называется однородным (или стационарным) пуассоновским процессом с интенсивностью λ. Более общие (неоднородные) пуассоновские процессы можно задавать монотонно не убывающей ведущей функцией Λ(t): в таком процессе ν(t) приращения независимы и δt,s = ν(s) − ν(t) при любых t < s имеет распределение Пуассона с параметром Λ(s) − Λ(t). Для однородного пуассоновского процесса с постоянной интенсивностью λ, очевидно, Λ(t) = λt — линейная функция. Обратно: если ν(t) — однородный пуассоновский процесс с интенсивностью 1, то νΛ (t) = ν(Λ(t)) — пуассоновский процесс с ведущей функцией Λ(t), т.е. неоднородный пуассоновский процесс получается из однородного детерминированной заменой времени. Так как приращения пуассоновского процесса принимают только целые неотрицательные значения, то его траектории монотонно не убывают, и можно считать, что все значения пуассоновского процесса — целые числа. Задача 6.1. Доказать, что если ξ1 (t), ξ2 (t), . . . , ξn (t) — независимые пуассоновские процессы с ведущими функциями Λ1 (t), Λ2 (t), . . . , Λn (t), то ζ(t) = ξ1 (t) + ξ2 (t) + . . . + ξn (t) — пуассоновский процесс с ведущей функцией Λ1 (t) + Λ2 (t) + . . . + Λn (t). Следующее утверждение дает полезную интерпретацию (и фактически второе определение) пуассоновского процесса. Утверждение 6.1. Пусть ν(t) — пуассоновский процесс с интенсивностью λ. Тогда при h → 0 P{ν(t + h) − ν(t) = 0} = 1 − λh + o(h), P{ν(t + h) − ν(t) = 1} = λh + o(h), P{ν(t + h) − ν(t) > 1} = o(h).

(24)

Обратно, если целочисленный случайный процесс ν(t) с независимыми неотрицательными приращениями, распределения ν(t + h) − ν(t) которых не зависят от t, удовлетворяет условиям (24), то ν(t) — пуассоновский процесс с интенсивностью λ.

33

Доказательство. Первая часть утверждения следует из того, что по определению пуассоновского процесса при любом k = 0, 1, . . . (λh)k −λh (λh)k e = (1 − λh + o(h)), h → 0. k! k! Обратно, пусть ν(t) — целочисленный процесс с неотрицательными независимыми приращениями, удовлетворяющий условиям (24). Покажем, что ν(t + h) − ν(t) при любом h > 0 имеет распределение Пуассона с параметром λh. Разобьем [t, t + h) на n полуинтервалов длины h/n. Тогда n ³ ³ ´´ X ¢ ¡ (k−1)h ν(t + h) − ν(t) = − ν t + . ν t + kh n n P{ν(t + h) − ν(t) = k} =

k=1

Слагаемые в этой сумме по условию независимы, одинаково распределены и принимают целые неотрицательные значения. Производящая функция распределения каждого слагаемого имеет вид Ms

ν t+k

h h −ν t+(k−1) n n

© ª = 1 − λ nh + sλ nh + εn (s) = exp −λ(1 − s) nh + δn (s) ,

¡1¢

при n → ∞, и в силу независимости слагаемых при любом n n o Xn ν(t+h)−ν(t) h λ + nδn (s) . → exp{−(1 − s)λh}, Ms = exp −(1 − s) k=1 n ¡ ¢ Но если δn (s) = o n1 при n → ∞, то выражение под знаком экспоненты стремится к −(1 − s)λh, поэтому Msν(t+h)−ν(t) = e−(1−s)λh , т. е. имеет распределение Пуассона с параметром λh, что и доказывает утверждение 6.1. где εn (s), δn (s) = o

n

Утверждение 6.2. С вероятностью 1 все скачки пуассоновского процесса с параметром λ < ∞ равны 1. Доказательство. Покажем, что если ν(t) — пуассоновский процесс с параметром λ < ∞, то для любого t и любого h > 0 математическое ожидание числа ν2 (t, h) скачков на отрезке [t, t + h], которые больше 1, равно 0. Разобьем отрезок [t, t + h] на n равных частей и рассмотрим сумму n n ¡ ³ ´ o X ¢ def (k−1)h χ ν t + kh − ν t + > 1 = σn (t, h). n n k=1

Если ν2 (t, h) > 1, то σn (t,³h) > 1 при ´ любом n < ∞. С другой стороны, так как ¡ ¢ (k−1)h kh приращения ν t + n − ν t + n имеют распределение Пуассона с параметром λ nh , то при n → ∞ Mσn (t, h) = = n µ X k=1

λ nh

+O

³ 2´ h n2

n X

n ¡ P ν t+

k=1 n X

¡

k=1

−

λ nh

kh n

¢

³ −ν t+

(k−1)h n

´

o >1 =

¢ 1 − e−λh/n − λ nh e−λh/n = µ

µ ¶¶¶ n ³ 2´ X ¡ ¢ h 1+O == O nh2 = O n1 , n k=1 34

так как все константы в O(·) ограничены равномерно по k. Значит, P{ν2 (t, h) > 0} 6 lim P{σn (t, h) > 1} 6 lim Mσn (t, h) = 0, n→∞

n→∞

что и требовалось доказать. Из утверждений 6.1 и 6.2 следует, что траектория пуассоновского процесса полностью определяется монотонно возрастающей последовательностью {ζk }k∈Z точек на оси (−∞, ∞) — моментов ее (единичных) скачков. При этом вероятность появления точки в бесконечно малом интервале (t, t + dt) равна λdt, и в непересекающихся интервалах точки появляются независимо. Для любого открытого множества A ∈ R число точек однородного пуассоновского потока, попадающих в A, имеет распределение Пуассона с параметром λ mes(A). Такую последовательность точек называют (однородным) пуассоновским потоком событий с интенсивностью λ. Неоднородному по времени пуассоновскому процессу с ведущей функцией Λ(t) соответствует неоднородный по времени пуассоновский поток событий, в котором вероятность появления точки в бесконечно малом интервале (t, t + dt) равна dΛ(t). Следующие две задачи описывают две процедуры построения пуассоновских процессов с помощью предельных переходов. (p) (p) Задача 6.2. Пусть χ1 , χ2 , . . . — последовательность независимых случайных (p) (p) величин, P{χk = 1} = p, P{χk = 0} = 1 − p. Показать, что конечномерные P (λ/n) распределения случайных процессов ξn (t) = χk при n → ∞ сходятся к 16k6nt

конечномерным распределениям пуассоновского процесса с интенсивностью λ. Иначе говоря, пуассоновский процесс можно рассматривать как предел последовательностей однородных испытаний Бернулли при стремлении вероятности успеха к 0 и соответствующем увеличении числа испытаний в единицу времени. Задача 6.3. Пусть α1 , α2 , . . . — последовательность независимых случайных величин, имеющих одно и то же распределение с плотностью f (x), непрерывно дифференцируемой в окрестности точки t0 , и θ(x) = 1 при x > 0, θ(x) = 0 при x < 0. Показать, что конечномерные распределения случайных процессов ξn (t) = |{k ∈ {1, . . . , n} : αk ∈ (t0 , t0 + nt )}| при n → ∞ сходятся к конечномерным распределениям однородного пуассоновского процесса с интенсивностью f (t0 ). Иначе говоря, пуассоновский процесс можно рассматривать как совокупность моментов наступления редких независимых событий. Например, пуассоновский процесс часто используют как модель процесса регистрации элементарных частиц: в куске радиоактивного материала имеется большое число атомов радиоактивного изотопа, каждый из которых (при отсутствии цепной реакции) живет случайное время, не зависящее от времен жизни других атомов, и распадается в случайный момент времени. Наложение большого числа независимых событий, происходящих в случайные моменты времени, порождает (как в задаче 6.3) процесс, близкий к пуассоновскому. Другой пример — поток вызовов, поступающих на телефонную станцию. Телефонов в городе много, но с большинства из них делается немного звонков. 35

Естественно считать, что в нормальной ситуации вызовы с разных телефонов поступают независимо. Поэтому правдоподобной моделью потока вызовов является пуассоновский процесс (возможно, неоднородный по времени, потому что ночью многие спят). Рассмотрим распределение промежутков между моментами событий в пуассоновском потоке ν(t) на (−∞, ∞) с интенсивностью λ > 0. Для каждого момента t ∈ R введем случайные величины τ+ (t) = inf{u > 0 : ν(t + u) > ν(t)},

τ− (t) = inf{u > 0 : ν(t − u) < ν(t)}

— время ожидания первого после момента t события и время, прошедшее к моменту t после последнего события в пуассоновском потоке соответственно. Утверждение 6.3. Если {ν(t)}t∈R — пуассоновский процесс с параметром λ, то при любом действительном t ∈ R случайная величина τ+ (t) не зависит от значений {ν(x)}x≤t , а случайная величина τ− (t) не зависит от значений {ν(x)}x≥t , в частности, τ+ (t) и τ− (t) независимы. При любом u > 0 справедливы соотношения P{τ+ (t) > u} = e−λu ,

P{τ− (t) > u} = e−λu .

Доказательство первого равенства следует из того, что P{τ+ (t) > u} = P{ν(t + u) − ν(t) = 0} = e−u . Второе равенство доказывается аналогично. Утверждения о независимости τ+ (t) от {ν(x)}x≤t и τ− (t) от {ν(x)}x≥t следуют из того, что ν(x) — процесс с независимыми приращениями. Следствие 6.1. Промежутки между скачками однородного пуассоновского процесса ν(t) с интенсивностью λ независимы и имеют показательное распределение с параметром λ. Действительно, из независимости τ+ (t) от {ν(x)}x≤t следует, что для любого ε > 0 P{τ+ (t) > u | ν(t − ε) < ν(t)} = e−λu . Переходя в этом соотношении к пределу по ε → 0, получаем: P{τ+ (t) > u | ν(t − 0) < ν(t)} = e−λu , т.е. промежутки между соседними скачками однородного пуассоновского процесса с интенсивностью λ имеют показательное распределение с параметром λ. Для доказательства независимости промежутков между скачками однородного пуассоновского процесса с интенсивностью λ будем считать, что ν(0) = 0, τ0 = 0, и введем обозначения для моментов скачков и промежутков между ними: τk = inf{t > 0 : ν(t) > k}, ζk = τk − τk−1 , k = 1, 2, . . . , Так как борелевские σ-алгебры в Rk порождаются параллелепипедами, то достаточно показать, что для любого натурального k > 2 и любых x1 , . . . , xk , ∆1 , . . . , ∆k > 0 P{ζj ∈ (xj , xj + ∆j ), j = 1, . . . , k} =

k Y j=1

36

P{ζj ∈ (xj , xj + ∆j )}.

(25)

Пусть k = 2. Тогда ввиду независимости приращений пуассоновского процесса на непересекающихся интервалах имеем P{ζ1 ∈ (x1 , x1 + ∆1 ), ζ2 ∈ (x2 , x2 + ∆2 )} = © = P ν(x1 ) − ν(0) = 0, τ1 ∈ (x1 , x1 + ∆1 ),

ª ν(τ1 + x2 ) − ν(τ1 + 0) = 0, ν(τ1 + x2 + ∆2 ) − ν(τ1 + x2 ) > 0 = xZ 1 +∆1 = P{ν(t + x2 ) = ν(t), ν(t + x2 + ∆2 ) − ν(t + x2 ) > 0}dP{τ1 6 t} = x1 xZ 1 +∆1

¡

= ¡

¢ e−λx2 − e−λ(x2 +∆2 ) e−λt λdt =

x1

¢¡ ¢ = e − e−λ(x2 +∆2 ) e−λx1 − e−λ(x1 +∆1 ) = = P{ζ1 ∈ [x1 , x1 + ∆1 )}P{ζ2 ∈ [x2 , x2 + ∆2 )}. −λx2

По индукции аналогично можно доказывать независимость событий {ζ1 ∈ [x1 , x1 + ∆1 )} и {ζj ∈ [xj , xj + ∆j ), j = 2, . . . , k + 1} при всех k > 2. Следствие 6.2. Если ν(t) — однородный пуассоновский процесс с интенсивностью λ, {τk }k∈Z — последовательные моменты его скачков и τ+ (t), τ− (t) — те же случайные величины, что в Утверждении 3, то при любом t ∈ (0, ∞) M(τk+1 − τk ) = Mτ+ (t) = Mτ− (t) = 1/λ, M(τκ+1 − τκ | κ = max{n : τn < t}) = λ2 . Первая цепочка равенств следует из Утверждения 6.3 и Следствия 6.1, а вторая — из того, что M{τκ+1 − τκ | κ = max{n : τn < t}} = M{τ+ (t) + τ− (t)}. Пример 6.1. Следствие 6.2 называют «парадоксом времени ожидания»: если моменты прибытия автобусов на остановку образуют пуассоновский поток с параметром λ, а t — момент прихода пассажира на остановку, то среднее время ожидания пассажиром ближайшего автобуса равно среднему промежутку между моментами прибытия соседних автобусов. Как и многие другие парадоксы, парадокс времени ожидания возникает в результате отождествления разных понятий. Пусть . . . , τ−1 , τ0 , τ1 , . . . — моменты прибытия автобусов. Когда говорят о среднем промежутке между моментами прибытия соседних автобусов, то имеют в виду среднее значение разности τk − τk−1 , вычисляемое по моментам τk , а когда говорят о среднем времени ожидания ближайшего автобуса, то имеют в виду среднее время ожидания, вычисляемое для случайной точки на оси времени. Но короткие промежутки между моментами прибытия автобусов занимают на оси времени относительно меньшее место, чем 37

длинные, поэтому «случайная» точка с б´ольшей вероятностью попадает на более длинные интервалы, и среднее время ожидания оказывается больше половины среднего промежутка между моментами прибытия соседних автобусов (кроме вырожденной ситуации, когда промежутки между моментами прибытия автобусов не случайны и одинаковы). Например, автобусов приходится долго ждать, если они приходят по 4 машины подряд. Пример 6.2 ([3], т. 2, гл. VI, §7). Пусть в устройстве работает большое число одинаковых приборов (например, реле), которые заменяются по мере выхода из строя, и моменты замены отмечаются в журнале. Чтобы оценить средний срок службы прибора, контролер выбрал какой-то день X в достаточно далеком прошлом (так что все приборы, работавшие в этот момент, уже заменены), по журналу вычислил сроки службы всех приборов, работавших в день X, и выбрал в качестве статистической оценки среднего срока службы прибора среднее арифметическое этих времен. Если срок службы прибора имеет показательное распределение, то математическое ожидание построенной таким образом оценки вдвое больше истинного математического ожидания срока службы! Этот пример косвенно показывает, что оценки «средней длительности жизни» в конкретной стране в конкретный момент времени не могут быть точными и зависят от методики их построения. Утверждение 6.4. При условии, что на отрезке [a, b] происходит ровно n скачков пуассоновского процесса с интенсивностью λ, совместное распределение значений ζ1 < . . . < ζn моментов этих скачков совпадает с распределением вариационного ряда ξ(1) < . . . < ξ(n) , построенного по независимым случайным величинам ξ1 , . . . , ξn , равномерно распределенным на отрезке [a, b]. Доказательство. Плотность совместного распределения ξ(1) , . . . , ξ(n) найти несложно: при любом наборе x = {a < x1 < x2 < . . . < xn < b} и любом наборе δ = (δ1 , . . . , δn ), δ1 , . . . , δn ∈ (0, min{x2 − x1 , x3 − x2 , . . . , xn − xn−1 }) событию A(x, δ) = {ξ(j) непересекающихся событий

∈

(xj , xj + δj ), j

=

1, . . . , n} соответствует n!

Aσ (x, δ) = {ξσj ∈ (xj , xj + δj ), j = 1, . . . , n}, σ = (σ1 , . . . , σn ) ∈ Sn , где Sn — множество всех n! перестановок чисел 1, . . . , n. Вероятность каждого δ1 ...δn поэтому плотность совместного распределения события Aσ (x, δ) равна (b−a) n, ξ(1) , . . . , ξ(n) есть ( n! если a < x1 < x2 < . . . < xn < b, A(x, δ) n, lim = (b−a) δ1 ,...,δn ↓0 δ1 . . . δn 0 в остальных случаях. С другой стороны, согласно свойствам пуассоновского процесса при δ1 , . . . , δn ↓ 0

38

(полагая для удобства x0 + δ0 = a, xn+1 = b) имеем P{ζj ∈ (xj , xj + δj ), j = 1, . . . , n, ν(b) − ν(a) = n} = = P{ν(xj+1 ) − ν(xj + δj ) = 0 (j = 0, . . . , n), ν(xj + δj ) − ν(xj ) = 1 (j = 1, . . . , n)} = =

n+1 Y

−λ(xj −xj−1 −δj−1 )

e

j=1

·

n Y

λδj (1 + o(1)) = e−λ(b−a−δ1 −...−δn ) λn δ1 . . . δn (1 + o(1)),

j=1

а P{ν(b) − ν(a) = n} =

(λ(b − a))n −λ(b−a) e . n!

Значит, при a < x1 < . . . < xn < b P{ζj ∈ (xj , xj + δj ), j = 1, . . . , n | ν(b) − ν(a) = n} = δ1 ,...,δn ↓0 δ1 . . . δ n n! e−λ(b−a−δ1 −...−δn ) λn δ1 . . . δn (1 + o(1)) = lim = , n (λ(b−a)) −λ(b−a) δ1 ,...,δn ↓0 (b − a)n e lim

n!

что совпадает с плотностью совместного распределения ξ(1) , . . . , ξ(n) . Утверждение доказано. Рассмотрим примеры применения пуассоновских процессов в теории массового обслуживания. Пример 6.3 (число заявок на периоде занятости). Рассмотрим простейшую модель системы массового обслуживания (кассир в магазине, ремонтное устройство и т.п.). Пусть в систему, состоящую из одного обслуживающего прибора, приходят заявки, моменты поступления которых образуют однородный пуассоновский поток с интенсивностью λ; n-я заявка обслуживается прибором случайное время γn , которое не зависит от времен обслуживания остальных заявок и имеет функцию распределения G(x). Заявки, во время прихода которых прибор обслуживает другие заявки, образуют очередь. Если очередь не пуста, то обслуживающий прибор, завершив обслуживание заявки, сразу же начинает обслуживание следующей. Говорят, что такая система имеет тип M |G|1. Работа системы массового обслуживания типа M |G|1 состоит из последовательности чередующихся периодов занятости обслуживающего прибора (непрерывного обслуживания заявок) и периодов простоя (ожидания прихода заявки после окончаний периода занятости). Периоды простоя независимы и имеют такое же распределение, как случайная величина τ+ (t), т. е. показательное распределение с параметром λ. Период занятости может оказаться и бесконечным: если прибор не будет успевать обслуживать приходящие заявки, то очередь будет расти неограниченно. Теорема 6.5. Период занятости в системе M |G|1 конечен с вероятностью 1 тогда и только тогда, когда λMγn ≤ 1. Доказательство. Введем вспомогательный ветвящийся процесс Гальтона– Ватсона; будем считать заявку, с которой начинается период занятости, частицей нулевого поколения. Пока заявка обслуживается, в систему могут поступать новые заявки; будем их считать частицами-потомками начальной частицы, образующими 39

первое поколение. Заявки, приходящие за время обслуживания каждой «частицы» первого поколения, будем считать ее потомками; таким образом, заявки, пришедшие за время обслуживания частиц первого поколения, образуют второе поколение, и т. д. Период занятости конечен тогда и только тогда, когда этот процесс на каком-то поколении вырождается. Найдем распределение числа заявок в однородном пуассоновском потоке, приходящих за время обслуживания одной заявки. Вероятность того, что за время t произойдет k событий однородного пуассоновского потока с интенсивностью λ, k e−t , k = 0, 1, . . .. По формуле полной вероятности по времени обслуживания равна (λt) k! заявки вероятность того, что за это время придет k новых заявок, есть Z∞ rk =

(λt)k −t e dG(t), k!

k = 0, 1, . . . ,

0

и математическое ожидание числа «потомков» заявки равно поэтому Z∞ ∞ X (λt)k −t e dG(t) = krk = k k! k=0 k=0

∞ X

0

=

Z∞ X ∞

Z∞

0

0

(λt)k −t k e dG(t) = k! k=0

λtdG(t) = λMγn .

Покажем, что построенный процесс действительно является ветвящимся процессом Гальтона–Ватсона; для этого осталось проверить, что числа потомков разных частиц независимы. Для любого натурального k < ∞ при любых фиксированных длительностях обслуживания первых k заявок и любых числах заявок, поступавших за времена обслуживания первых k заявок, время обслуживания (k + 1)-й заявки имеет функцию распределения G(t), а число заявок, приходящих за время ее обслуживания — распределение {rk }. Следовательно, числа потомков разных частиц независимы и одинаково распределены, и процесс размножения «частиц-заявок» — ветвящийся процесс. Ветвящийся процесс вырождается с вероятностью 1 тогда и только тогда, когда среднее число потомков одной частицы, равное λMγn , не превышает 1; тем самым теорема доказана. Смысл условия теоремы состоит в том, что среднее число заявок, приходящих за время обслуживания одной заявки, не должно быть больше 1. Такое соответствие между процессами массового обслуживания и ветвящимися процессами позволяет получать и более детальную информацию о свойствах периода занятости, например, о суммарном числе требований, обслуженных на одном периоде занятости. Теорема 6.6. Для системы массового обслуживания M |G|1 из теоремы 6.5 математическое ожидание числа заявок, обслуженных на периоде занятости, 1 , если λMγn < 1. равно 1−λMγ n Доказательство. Рассмотрим ту же интерпретацию заявок, приходящих на периоде занятости, как частиц, образующих ветвящийся процесс Гальтона–Ватсона. 40

Обозначим через µ(t) число частиц в его t-м поколении. Как установлено в теореме 1, среднее число потомков одной частицы равно λMγn . В этом ветвящемся процессе µ(0) = 1 (период занятости начинается с одной заявки), а общее число частиц до его P вырождения равно t>0 µ(t). По свойствам ветвящихся процессов Mµ(t) = (M{µ(1)|µ(0) = 1})t = (λMγn )t . Поэтому M

X t>0

µ(t) =

X t>0

Mµ(t) =

X (λMγn )t = t>0

1 . 1 − λMγn

Теорема доказана. Отметим, что при λMγn → 1 среднее число требований, обслуженных за период занятости, стремится к ∞; это значит, что при повышении нагрузки прибору приходится работать почти безостановочно, и в силу неравномерности поступления требований средний размер очереди тоже будет расти. Мы определяли пуассоновский поток как такую случайную совокупность точек на прямой, что числа точек, попадающие в непересекающиеся интервалы, независимы и имеют пуассоновские распределения с параметрами, пропорциональными мерам этих интервалов. Это определение непосредственно обобщается на случайные совокупности точек в любом измеримом пространстве: пуассоновским полем интенсивности λ в пространстве Rd называется такая случайная совокупность точек, что для любого открытого множества A ∈ Rd число точек, попадающих в A, имеет распределение Пуассона с параметром λ mes(A). Наглядными примерами пуассоновских полей являются пятна от капель начинающегося дождя на асфальте и взвесь мелких частиц в сосуде с хорошо перемешанной водой. Пример 6.4 (измерение малых концентраций микробов). При оценке уровня биологической загрязненности воды нужно измерять чрезвычайно малые концентрации λ микробов (скажем, десятки микробов на литр воды). Чтобы построить статистические оценки таких концентраций, берут N проб по z миллилитров воды, каждую пробу процеживают, осадки помещают в N капель питательной среды и выжидают время, достаточное для того, чтобы микробы размножились и образовали отчетливо различимые колонии. Эти колонии могут возникнуть в тех и только тех каплях, в которые попал хотя бы один микроб. Если считать, что распределение микробов в воде описывается пуассоновским полем с параметром λ, то вероятность того, что в объеме z не будет ни одного микроба, равна вероятности того, что случайная величина, имеющая распределение Пуассона с параметром λz, принимает значение 0, т. е. равна p = e−λz . Допустим, что из N пробирок в ν пробирках микробов не оказалось. Вероятность такого исхода равна CN νpν (1 − p)N −ν = CNν e−λzν (1 − e−λz )N −ν . (26) В качестве оценки максимального правдоподобия параметра λ выбирают то его значение, при котором вероятность наблюденного исхода эксперимента максимальна. В нашем случае для того, чтобы найти это значение, нужно продифференцировать

41

по λ вероятность (26), приравнять производную 0 и решить полученное уравнение: d −λzν e (1 − e−λz )N −ν = dλ = e−λzν (1 − e−λz )N −ν−1 [−zν(1 − e−λz ) + (N − ν)ze−λz ] = 0, т.е.

ν 1 N , λ = ln . N z ν Заметим, что при ν = 0 (во всех пробах оказались микробы) оценка для λ оказывается равной ∞, и это в каком-то смысле естественно, потому что такой исход эксперимента возможен при любой достаточно большой концентрации. Задача 6.4. Как построить доверительный интервал для неизвестной концентрации микробов λ, имеющий заданную доверительную вероятность α? ν = N e−λz ,

e−λz =

7. Цепи Маркова с непрерывным временем Определение. Счетной цепью Маркова с непрерывным временем называется такой случайный процесс {ξ(t), t ≥ 0}, что значения ξ(t) принадлежат не более чем счетному множеству S и для любых n ≥ 1, 0 ≤ t0 < t1 < . . . < tn и i0 , . . . , in ∈ S P{ξ(tn ) = in |ξ(t0 ) = i0 , ξ(t1 ) = i1 , . . . , ξ(tn−1 ) = in−1 } = = P{ξ(tn ) = in |ξ(tn−1 ) = in−1 }.

(27)

Если стоящие в правой части (27) переходные вероятности цепи Маркова P{ξ(t+s) = j|ξ(t) = i} не зависят от t: P{ξ(t + s) = j|ξ(t) = i} = pij (s), то цепь ξ(t) называется однородной по времени. Простым примером счетной цепи Маркова с непрерывным временем является однородный пуассоновский процесс ξ(t) с параметром λ. Цепями Маркова являются также некоторые функции от ξ(t), в частности, ηλ (t) = ξ(t) (mod 2) (траектории ηλ (t) представляют собой ступенчатые функции, принимающие только 2 значения: 0 и 1). Любой процесс с независимыми приращениями и дискретным множеством состояний тоже является цепью Маркова. Определению (27) удовлетворяют случайные процессы с «патологическими» свойствами, например несчетная совокупность независимых одинаково p распределенных случайных величин {ξ (t)}t>0 : P{ξ p (t) = 0} = 1 − p,

P{ξ p (t) = 0} = p для всех t ≥ 0.

При 0 < p < 1 траектории цепи ξ p (t) представляют собой всюду разрывные функции, которые на любых сколь угодно малых интервалах принимают оба значения 0 и 1. (Такая цепь является предельной для последовательности цепей ηλ (t) = ξ(t)(mod 2) при λ → ∞.) Мы будем рассматривать только цепи Маркова, траектории которых не 42

имеют точек разрыва второго рода (т.е. для любого t траектория цепи с вероятностью 1 имеет правый и левый пределы). Определение. Цепь Маркова ξ(t) с непрерывным временем называется стохастически непрерывной, если P{ξ(t + s) = ξ(t)} → 1 при s ↓ 0. В однородной по времени цепи Маркова ξt с дискретным временем переходы из состояния в состояние происходят только в целочисленные моменты времени, а вероятности переходов определяются матрицей вероятностей переходов P = kpij k. Многие «естественные» цепи Маркова с непрерывным временем и не более чем счетным множеством состояний S можно получить из цепей Маркова с дискретным временем и тем же множеством состояний S, если заменить единичные времена пребывания в состояниях независимыми случайными величинами, которые имеют показательные распределения с параметрами, зависящими от состояния. Проведем формальное построение однородной цепи Маркова с непрерывным временем, множеством состояний S, матрицей вероятностей переходов в моменты скачков P = kpij ki,j∈S и множеством интенсивностей выходов Λ = {λi , i ∈ S}. Мы будем использовать следующие известные показательного распределения: © τ свойства ª −x −λx 1) если P{τ > x} = e , x > 0, то P λ > x = e , x > 0, 2) (отсутствие последействия) если P{τ > x} = e−λx , x > 0, то P{τ > x + y | τ > x} = e−λy

при любых x, y > 0.

Траекторию цепи Маркова с непрерывным временем можно построить по траектории ξ0 , ξ1 , . . . цепи Маркова с дискретным временем и той же матрицей переходных вероятностей P и по вспомогательной последовательности независимых и не зависящих от ξ0 , ξ1 , . . . случайных величин τ0 , τ1 , . . . : P{τk > u} = e−u , u > 0, k = 0, 1, . . . При фиксированной траектории {ξn } времена λτξ0 , λτξ1 , . . . пребываний 0 1 в состояниях независимы и имеют показательные распределения с параметрами λξ0 , λξ1 , . . . соответственно. По {ξk } и τk построим возрастающую последовательность случайных моментов времени (моментов переходов) T0 = 0,

n−1 X τk Tn = , λξk k=0

n = 1, 2, . . . ,

и кусочно-постоянную функцию ξ(t): ξ(t) = ξn

при Tn 6 t < Tn+1 .

(28)

Таким образом, последовательность состояний, через которые проходит траектория случайного процесса ξ(t), t ∈ [0, ∞), является цепью Маркова {ξn } с дискретным временем и матрицей переходных вероятностей P = kpij k. Эта цепь называется вложенной цепью Маркова для процесса ξ(t). Утверждение 7.1. Если λ∗ = sup λi < ∞, то формула (28) определяет i∈S

случайный процесс ξ(t) на [0, ∞), который является цепью Маркова с непрерывным временем. 43

Доказательство. Чтобы доказать, что формула (28) определяет процесс ξ(t) на всей оси [0, ∞), достаточно показать, что Tn → ∞ при n → ∞ с вероятностью 1. Но n−1 n−1 n−1 X X 1 X τk τk Tn = = ∗ > τk , λξk λ∗ λ k=0 k=0 k=0

P Pn−1 и по закону больших чисел P{ n1 n−1 k=0 τk → Mτ1 = 1, n → ∞} = 1, т. е. P{ k=0 τk → ∞, n → ∞} = 1. Доказательство того, что процесс ξ(t) — цепь Маркова, сложнее. Лемма 7.1. Если события B1 , B2 , . . . попарно не пересекаются (Bi ∩ Bj = ∅ при i 6= j) и событие A удовлетворяет условиям P{A | Bi } = p, i = 1, 2, . . . , то ) ( ¯ ¯[ ¯ P A ¯ Bi = p. ¯ i>1

Доказательство. Так как P{A | Bi } = p, то P{ABi } = pP{Bi }. Так как события Bi попарно не пересекаются, то ( ¯ ) P P ¯[ pP{Bi } P {A ∩ (∪i>1 Bi )} ¯ i>1 P{ABi } = Pi>1 = p. P A ¯ Bi = = P ¯ P {∪i>1 Bi } i>1 P{Bi } i>1 P{Bi } i>1 Замечание. Для пересекающихся событий Bi утверждение леммы может не выполняться. Например, если P{B1 } = P{B2 } > 0, то при A = B1 ∩ B2 , 0 < P{A} < P{B1 }, P{A|B1 ∪ B2 } =

P{A} P{A} < = P{A|B1 } = P{A|B2 }. P{B1 } + P{B2 } − P{A} P{B1 }

Теперь проверим наличие марковского свойства. Чтобы вычислить P{ξ(tn ) = in |ξ(tn−1 ) = in−1 , . . . , ξ(t0 ) = i0 }, разобьем событие в условии на непересекающиеся события Bk = {ξ(tn−1 ) = in−1 , . . . , ξ(t0 ) = i0 , Tk 6 tn−1 < Tk+1 },

k = 0, 1, . . .

В силу свойства 2 показательного распределения при любом y ∈ (0, tn−1 ) P{Tk+1 − tn−1 > x|Tk = tn−1 − y, Bk } = e−λin−1 x . Если выполняется событие Bk , то ξ(tn−1 ) = in−1 = ξk ; согласно определению (28) и формуле полной вероятности P{Tk+1 − tn−1 > x|Bk } = tZn−1

P{Tk+1 − tn−1 > x|Tk = tn−1 − y, Bk }dP{Tk 6 y} = e−λin−1 x ,

= 0

44

поскольку подынтегральная функция — константа. Далее, траектория ξ(t) при t > tn−1 и фиксированных значениях tn−1 и in−1 полностью определяется: а) последовательностью будущих состояний ξk = in−1 , ξk+1 , . . ., не зависящей (при фиксированном in−1 ) от ξ0 , . . . , ξk−1 , от τ0 , . . . , τk−1 и от tn − Tk , б) случайными величинами τk+1 , τk+2 , . . . (определяющими времена пребывания в состояниях), не зависящими от τ0 , . . . , τk−1 , tn−1 − Tk = tn−1 − (τ0 + . . . + τk−1 ) и от ξ0 , . . . , ξk−1 , в) остаточным временем пребывания в состоянии ik−1 Tk+1 − tn−1

k X τj τk = − tn−1 = − (tn−1 − Tk ), λ λ ξ ξ j k j=0

не зависящим от tn−1 − Tk , τ0 , . . . , τk−1 и от ξ0 , . . . , ξk−1 . Поэтому при любом k = 0, 1, . . . P{ξ(tn ) = in |Bk } = P{ξ(tn ) = in |ξ(tn−1 ) = in−1 } = pin−1 in (tn − tn−1 ). Отсюда и из леммы следует, что P{ξ(tn ) = in |ξ(tn−1 ) = in−1 , . . . , ξ(t0 ) = i0 } = P{ξ(tn ) = in |ξ(tn−1 ) = in−1 }. Тем самым утверждение 7.1 доказано. Цепи Маркова, число переходов которых на любом конечном отрезке времени конечно с вероятностью 1, называются регулярными. Утверждение 2 содержит довольно грубые достаточные условия, обеспечивающие регулярность цепи Маркова с непрерывным временем. Пример 7.1: нерегулярная цепь Маркова. Пусть цепm ξ(t) имеет детерминированную вложенную цепь Маркова {ξk }: ξk = k, k = 0, 1, . . ., и λk = (k + 1)2 , k ≥ 0. Обозначим через θk время первого попадания цепи ξ(t) в состояние k, т.е. θk = τ0 + 2τ12 + . . . + τk−1 . Последовательность θk при k ↑ ∞ монотонно k2 1 τn возрастает, поэтому существует limk→∞ θk = θ∗ . Так как M (n+1) 2 = (n+1)2 , то Mθ∗ = lim Mθk = k→∞

X

τk M (k+1) 2 =

k>0

X

1 (k+1)2

< ∞.

k>0

Следовательно, P{θ∗ < ∞} < 1, т.е. траектория цепи ξ(t) с вероятностью 1 совершает бесконечное число переходов за конечное время. Существуют регулярные счетные цепи Маркова, для которых множество Λ интенсивностей выхода не ограничено (но тогда матрицы вероятностей переходов в моменты скачков должны удовлетворять некоторым условиям). Очевидно, любая цепь Маркова с конечным множеством состояний регулярна. Замечание. Структура траекторий неоднородных по времени цепей Маркова с непрерывным временем сложнее; времена пребывания в состояниях таких цепей, вообще говоря, имеют распределения, отличные от показательных и могут быть зависимыми (несмотря на наличие марковского свойства условной независимости будущего от прошлого при фиксированном настоящем). 45

Для цепей Маркова с непрерывным временем определяются переходные вероятности pij (t) = P{ξ(s + t) = j|ξ(s) = i}. При любом t ≥ 0 набор kpij (t)ki,j∈S образует матрицу вероятностей переходов P (t). Лемма 7.2. Если ξ(t) — однородная цепь Маркова с непрерывным временем и не более чем счетным множеством состояний S, а P (t) — матрица вероятностей переходов за время t, то для любых t, s > 0 P (t + s) = P (t)P (s). Доказательство. Пользуясь формулой полной вероятности и тем, что множество состояний S не более чем счетно, а вероятностные меры счетно аддитивны, находим, что при любых i, j ∈ S

= =

X

X

pij (t + s) = P{ξ(s + t) = j|ξ(0) = i} = P{ξ(t) = k|ξ(0) = i}P{ξ(s + t) = j|ξ(t) = k} =

k∈S

P{ξ(t) = k|ξ(0) = i}P{ξ(s) = j|ξ(0) = k} =

X

pik (t)pkj (s).

k∈S

k∈S

Это равенство означает, что (P (t + s))ij = (P (s)P (t))ij для любых i, j ∈ S. Лемма доказана. Если ξ(t) — однородная цепь Маркова с непрерывным временем, то из леммы 7.2 следует, что при любом h > 0 последовательность {ξ(nh), n = 0, 1, . . .} образует цепь Маркова с матрицей вероятностей переходов P (h), и, значит, P (nh) = (P (h))n при любых h > 0 и натуральных n. В частности, P (1) = (P ( n1 ))n . Вообще, семейство P (t), t > 0, образует коммутативную полугруппу по умножению. Цепь {ξ(nh)} тоже называют цепью, вложенной в цепь ξ(t) с непрерывным временем). Лемма 7.3. Пусть ξ(t) — однородная цепь Маркова с непрерывным временем и не более чем счетным множеством состояний S, с вложенной цепью Маркова ξn , имеющей матрицу вероятностей переходов в моменты скачков kpij k, и с интенсивностями выходов λi < ∞. Если состояние j вложенной цепи ξn следует за состоянием i, то pij (t) > 0 при всех t > 0. Доказательство. Если состояние j следует за состоянием i, то существуют такие k < ∞ и состояния i1 , . . . , ik , что pii1 pi1 i2 . . . pik−1 ik pik j > 0. Пусть τ0 , τ1 , . . . — независимые случайные величины, имеющие показательное распределение с параметром 1. Тогда время перехода цепи ξ(t) по цепочке ii1 . . . ik j из состояния i в состояние j имеет такое же распределение, как сумма σ=

τ1 τk−1 τk τ0 + + ... + + , λi λi1 λik−1 λik 46

а время пребывания в состоянии j — как случайная величина τk+1 /λj . Вероятность перехода из состояния i в состояние j за время t не меньше вероятности того, что этот переход пройдет по цепочке состояний ii1 . . . ik j за случайное время σ < t, а после попадания в состояние j цепь не совершит ни одного перехода до момента t. Поэтому для любого t > 0 справедлива оценка o n pij (t) = P{ξ(t) = j|ξ(0) = i} > pii1 pi1 i2 . . . pik−1 ik pik j P σ < t < σ + τk+1 . λj Распределение случайной величины σ как распределение суммы независимых случайных величин, имеющих показательные распределения, имеет положительную плотность f на всей положительной полуоси. Поэтому n o Z t n o τk+1 τk+1 P σ < t < σ + λj = f (x)P λj > t − x dx > 0. 0

Лемма доказана. Теорема 7.1. Пусть ξ(t) — однородная цепь Маркова с непрерывным временем и конечным множеством состояний {1, . . . , N } и с интенсивностями выходов λi < ∞. Если все состояния вложенной цепи Маркова ξn сообщаются, то при любых i, j ∈ S существуют положительные пределы lim pij (t) = pj ,

j ∈ {1, . . . , N },

t→∞

(29)

не зависящие от начального состояния i. Доказательство. Согласно лемме 7.2 случайная последовательность {ξ(n), n = 0, 1, . . .} образует цепь Маркова с дискретным временем и матрицей вероятностей переходов P (1). Согласно лемме 7.3 все элементы матрицы P (1) положительны. Следовательно, при любом i существуют пределы lim P{ξ(n) = j|ξ(0) = i} = pj ,

n→∞

j = 1, . . . , N,

(30)

не зависящие от i, и вектор (p1 , . . . , pN ) ∈ GN является собственным для матрицы P (1). Аналогично для любого x > 0 последовательность {ξ(x+n), n = 0, 1, . . .} образует конечную цепь Маркова с той же переходной матрицей P (1), т. е. при любом x и любом i существуют те же самые пределы lim P{ξ(x + n) = j|ξ(x) = i} = pj ,

n→∞

j = 1, . . . , N.

(31)

Так как GN — компакт и скорость сходимости в (30) и (31) одна и та же, то из (30) и (31) следует, что для всех i ∈ {1, . . . , N } существуют lim P{ξ(t) = j|ξ(0) = i} = pj ,

t→∞

Тем самым теорема доказана. 47

j = 1, . . . , N.

Теорема 7.2. Пусть ξ(t) — однородная по времени цепь Маркова с непрерывным временем, которая имеет не более чем счетное множество состояний S, вложенную цепь Маркова ξn , матрицу вероятностей переходов в моменты скачков kpij k, pii ≡ 0, и интенсивности выходов λi ∈ (0, ∞), supi∈S λi = λ∗ < ∞. Тогда для переходных вероятностей pij (t) существуют пределы qi = lim t↓0

1 − pii (t) = λi , t

qij = lim t↓0

pij (t) = λi pij , t

i, j ∈ S.

Доказательство. Пусть ξ(0) = i, тогда τi = inf{t : ξ(t) 6= i} имеет показательное распределение с параметром λi : P{τi > x} = e−λi x ,

x ≥ 0.

(32)

Поэтому по формуле полной вероятности по значению момента первого выхода цепи ξ(t) из состояния i Z t X −λi t e = P{τi > t} 6 pii (t) = P{τi > t} + pij pji (t − u)dP{τi 6 u} 6 Z −λi t

6e

0 j∈S\i t

+

X

pij P{τj 6 t − u}dP{τi 6 u},

0 j∈S\i

поскольку pji (t − u) 6 P{τj 6 t − u}. Из (32) следует, что Z tX Z tX pij P{τj 6 t − u}dP{τi 6 u} = pij (1 − e−λj (t−u) )λi e−λi u du 6 0

j

6

Z tX 0

0

pij λj (t − u)λi du 6

j

j

1 2 ∗ t λi λ = o(t2 ), 2

t → 0.

Значит, 1 − pii (t) = 1 − e−λi t + o(t2 ) = λi t + o(t),

t → 0;

что доказывает первое утверждение теоремы. Для доказательства второго утверждения заметим, что при любом j 6= i Z t pij (t) > pij P{τj > t − u}dP{τi 6 u} = 0 Z t = pij e−λj (t−u) λi e−λi u du = λi pij t(1 + o(1)), t → 0. 0

Из этих неравенств следует, что lim inf t↓0

1 pij (t) > λi pij t

при всех j 6= i,

и, поскольку по условию pii = 0, X X 1 λi pij = λi . lim inf pij (t) > t↓0 t i6=j i6=j 48

(33)

Ранее мы доказали, что при λ∗ < ∞ число скачков цепи P Маркова на любом конечном отрезке времени конечно с вероятностью 1, т. е. j pij (t) = 1 для любого t > 0. Таким образом, X pij (t) = 1 − pii (t) 6 1 − e−λi t j6=i

и lim sup t↓0

X

1 t

pij (t) 6 lim sup 1t (1 − pii (t)) 6 lim 1t (1 − e−λi t ) = λi . t↓0

t↓0

j6=i

Объединяя последнюю оценку с (33), находим: X X X 1 1 p (t) 6 lim sup p (t) 6 λi . λi 6 lim inf 1t pij (t) 6 lim inf t ij t ij j6=i

t↓0

t↓0

t↓0

j6=i

j6=i

Если существует такое v 6= i, что lim supt→0 1t piv (tk ) > λi piv , то (поскольку X X 1 1 λi > lim sup p (t) > λ p + lim inf p (t) > ij i iv t t ij t↓0

t↓0

j6=i

> λi piv +

X

j6=i,v

lim inf 1t pij (t) > t↓0

X

(34)

P j

pij = 1)

j6=i,v

λi pij = λi ,

i6=j

что противоречит (34). Теорема доказана. Утверждение теоремы 7.2 можно записать в матричном виде: существует P (t) − P (0) = Q = kqij k, t→+0 t lim

где qii = −qi и P (0) = E — единичная матрица. Матрица Q называется матрицей интенсивностей переходов цепи Маркова с непрерывным временем. С помощью теоремы 7.2 можно вывести уравнения для переходных вероятностей цепи Маркова с непрерывным временем. Теорема 7.3. При условиях теоремы 7.2 матрицы вероятностей переходов цепи Маркова с непрерывным временем с матрицей интенсивностей переходов Q удовлетворяют дифференциальным уравнениям P 0 (t) = P (t)Q, P 0 (t) = QP (t). Решения этих систем имеют вид P (t) = eQt , t ≥ 0, где X 1 k eA = E + A для квадратной матрицы A. k! k≥1

Доказательство. Из леммы 7.2 следует, что P (t + s) − P (t) = P (t)(P (s) − P (0)) = (P (s) − P (0))P (t). Отсюда, пользуясь теоремой 7.2, получаем: P 0 (t) = lim 1s (P (t + s) − P (t)) = lim 1s P (t)(P (s) − P (0)) = P (t)Q. s→0

s→0

49

(35) (36)

Справедливость уравнения (36) устанавливается аналогично, так как мультипликативная полугруппа матриц {P (t)} коммутативна. Из уравнения (35) следует, что функция P (t) бесконечно дифференцируема и что P (k) (t) = P (t)Qk , k = 1, 2, . . . Разлагая эту функцию в ряд Тейлора в точке 0, находим: ∞ ∞ X X (k) k 1 1 P (t) = P (0) + P (0)t = Qk tk = eQt . k! k! k=1

k=0

Теорема доказана. Уравнение (35) называется обратным уравнением Колмогорова, а уравнение (36) — прямым уравнением Колмогорова. 8. Условные математические ожидания Пусть (Ω, F, P) — вероятностное пространство и B = {B1 , B2 , . . .} — измеримое разбиение Ω на множества положительной меры. (Далее все разбиения мы будем предполагать измеримыми, не оговаривая этого специально.) Тогда для каждого k} , k = 1, 2, . . . события C определены условные вероятности P{C|Bk } = P{C∩B P{Bk } Случайная величина X P{C|Bk }χBk (ω) = P{C|B}. ξB = ξB (ω) = k≥1

называется условной вероятностью события C относительно разбиения B. На каждом множестве Bk она принимает постоянное значение P{C|Bk }. Если разбиение B порождается случайной величиной η, то говорят об условной вероятности относительно случайной величины η или относительно порожденной ею σ-алгебры σ(η): P{C|η} = P{C|σ(η)} = P{C|η}(ω). Замечание. Так как случайная величина η на каждом элементе порожденного ею разбиения постоянна, то условную вероятность P{C|η} = P{C|σ(η)} можно представить в виде функции от C и η: P{C|η}(ω) = p(C, η(ω)). Рассмотрим теперь аналогичную конструкцию для случайных величин. Пусть на вероятностном пространстве (Ω, F, P) заданы: разбиение B = {B1 , B2 , . . .} и случайная величина ξ с конечным или счетным множеством значений x1 , x2 , . . . ∈ R, порождающая разбиение A = {A1 , A2 , . . .} пространства Ω на непересекающиеся множества Ak = {ω ∈ Ω : ξ(ω) = xk } ∈ F , k ≥ 1. Условные вероятности P{Ak |B} = P{Ak |B}(ω) = P{ξ = xk |B}(ω), ω ∈ Ω, определены для всех k ≥ 1, и для каждого ω ∈ Ω они образуют вероятностное распределение на множестве {x1 , x2 , . . .} значений ξ, зависящее от ω. Определим 50

условное математическое ожидание ξ относительно разбиения B как функцию, отображающую Ω в R (т.е. как случайную величину): X X M{ξ|B}(ω) = xk P{Ak |B}(ω) = xk P{ξ = xk |B}(ω). k≥1

k≥1

Преобразуем эту формулу: X X X M{ξ|B}(ω) = xk P{Ak |B}(ω) = xk P{Ak |Bj }χBj (ω) = =

X

k≥1

χBj (ω)

j≥1

X

k≥1

xk P{Ak |Bj } =

X

j≥1

χBj (ω)M{ξ|Bj }.

j≥1

k≥1

Таким образом, условное математическое ожидание ξ относительно разбиения B есть случайная величина, принимающая на каждом элементе Bj этого разбиения постоянное значение, равное M{ξ|Bj } ∈ R. Значит, M{ξ|B}(ω) — функция, измеримая относительно разбиения B (для любого B-измеримого множества D событие {ω : M{ξ|B} ∈ D} является объединением множеств Bj , т.е. принадлежит σ-алгебре, порожденной разбиением B). Утверждение 8.1. Для любой случайной величины ξ и для любого события C, измеримого относительно разбиения B = {B1 , B2 , . . .}, справедлива формула MχC ξ = M{χC M{ξ|B}}.

(37)

SДоказательство. Действительно, так как C измеримо относительно B, то C = Bj и j:Bj ⊂C

MχC ξ = X X

= =

j:Bj ⊂C

ξ(ω)P{ω} =

ω∈C

X X

M{ξ|Bj }

X ω∈Bj

ξ(ω)P{ω} =

j:Bj ⊂C ω∈Bj

ξ(ω)P{ω|Bj }P{Bj } =

j:Bj ⊂C ω∈Bj

X

X

P{ω} =

X

X

M{ξ|Bj }P{Bj } =

j:Bj ⊂C

M{ξ|B}(ω)P{ω} = MχC M{ξ|B}.

ω∈C

Следствие 8.1. Для любой случайной величины ξ и любого разбиения B справедлива формула полного математического ожидания: Mξ = MM{ξ|B}. В рассмотренном нами случае конечных разбиений определения условных распределений и математических ожиданий конструктивны и довольно наглядны. В общем случае, когда разбиения B порождаются, например, величинами, имеющими непрерывные распределения, условное математическое ожидание относительно σалгебры B определяется неконструктивно с помощью аналога формулы (43).

51

Условным математическим ожиданием случайной величины ξ относительно σалгебры B называется случайная величина M{ξ|B}, измеримая относительно B и удовлетворяющая тождеству Z Z ξdP = M{ξ|B}dP для любого события C ∈ B. (38) C

C

Доказательство существования такой случайной величины нетривиально и основывается на теореме Радона–Никодима: Теорема Радона–Никодима. Пусть (Ω, F) — измеримое пространство, P — σ-конечная мера на F и λ — абсолютно непрерывная относительно P мера со знаком (т.е. λ = λ1 − λ2 , где меры λ1 и λ2 неотрицательны и хотя бы одна из них конечна). Тогда существует такая F-измеримая функция f = f (ω): Ω → [−∞, ∞], что Z λ(B) = f (ω)P (dω), C ∈ F . (39) C

С точностью до множества P -меры нуль функция f единственна: если h — другая функция, удовлетворяющая (44),Rто P {ω: f (ω) 6= h(ω)} = 0. В нашем случае мера λ(C) = ξdP, C ∈ B, а f (ω) = M{ξ|B} — плотность меры C

λ относительно меры P. Теорема Радона–Никодима относится к теории меры; ее доказательство можно найти, например, в учебнике А.А.Боровкова [1]. Отметим свойства условных математических ожиданий, которые нам потребуются в дальнейшем. 1) Линейность: для любых случайных величин ξ, η с конечными математическими ожиданиями и чисел a, b справедливо равенство M{aξ + bη|B} = aM{ξ|B} + bM{η|B}. 2) Если существует Mξ, то M{ξ|{∅, Ω}} = Mξ. 3) P{ξ = C = const} = 1 ⇒ M{ξ|B} = C. 4) M{χA |B} = P{A|B} для любого A ∈ F. Пусть B порождается разбиением {B1 , B2 , . . .}, тогда в силу свойства 1) ( ) X M{χA |B} = M χABi |B = =

X i≥1

i≥1

M{χABi |Bi }χBi (ω) =

X

P{A|Bi }χBi (ω) = P{A|B}.

i≥1

5) Если A = {A1 , A2 , . . .} — разбиение, порожденное случайной величиной ξ, то M{ξ|A} = ξ. Действительно, P{ξ = xk |Ak } = 1 для каждого k ≥ 1. 6) Пусть B1 и B2 — два разбиения. Если из C ∈ B1 следует,что C ∈ B2 , то будем говорить, что разбиение B1 содержится в разбиении B2 , и записывать это так: B1 ⊂ 52

B2 ; иначе говоря, запись B1 ⊂ B2 означает, что B2 — разбиение на более мелкие подмножества. Тогда M{M{ξ|B2 }|B1 } = M{ξ|B1 }. (40) Доказательство. По определению (45) эквивалентно тому, что M{M{ξ|B2 }|C} = M{ξ|C} для каждого C ∈ B1 .

(41)

Из условия B1 ⊂ B2 следует, что ограничение разбиения B2 на множество C образует разбиение множества C. Значит, (47) является формулой полного математического ожидания, примененной к условному распределению ξ на множестве C. 7) Если случайная величина η измерима относительно разбиения B = {B1 , B2 , . . .}, то M{ξη|B} = ηM{ξ|B}, т.е. из-под знака условного математического ожидания можно выносить случайный множитель, измеримый относительно σ-алгебры в условии. Доказательство. Будем считать, что η принимает на множестве Bj значение bj , j ≥ 1. По определению X X M{ξη|B}(ω) = χBj (ω)M{ξη|Bj } = χBj (ω)M{ξbj |Bj } = =

X

j≥1

bj χBj (ω)M{ξ|Bj } =

j≥1

X

j≥1

ηM{ξ|Bj }χBj (ω),

j≥1

т.е. M{ξη|B} — это случайная величина, которая на Bj равна ηM{ξ|Bj } при любом j ≥ 1. Значит, она равна ηM{ξ|B}. 9. Мартингалы Случайные процессы, которые называются мартингалами, возникли как математическая модель, предназначенная для поиска оптимальной стратегии выбора ставок участником случайной игры (в казино, на бирже, при вложении капитала в производство и т.п.). Наряду с такими практическими применениями оказалось, что мартингалы могут применяться и при решении чисто математических задач. Этот класс определяется условиями, выраженными в терминах условных математических ожиданий. Мы будем рассматривать последовательности случайных величин, являющиеся мартингалами, т.е. мартингалы с дискретным временем. Определение. Пусть (Ω, F, P) — вероятностное пространство, на котором заданы последовательность случайных величин X0 , X1 , . . . и расширяющаяся последовательность (поток) σ-алгебр F0 ⊂ F1 ⊂ F2 ⊂ . . . ⊂ F (каждая следующая σалгебра получается разбиением предыдущей). Последовательность пар (Xn , Fn , n = 0, 1, . . .) называется мартингалом (или Xn — мартингал относительно {Fn }), если а) M|Xn | < ∞ для всех n = 0, 1, . . . , б) Xn измерима относительно Fn , n = 0, 1, . . . , в) P{M{Xm |Fn } = Xn } = 1 при любых m > n, m, n ∈ {0, 1, . . .}. 53

Последовательность пар (Xn , Fn , n = 0, 1, . . .) называется субмартингалом, если для нее выполнены условия а), б) и в0 ) P{M{Xm |Fn } ≥ Xn } = 1 при любых m > n, m, n ∈ {0, 1, . . .}, и супермартингалом, если она удовлетворяет условиям а), б) и в00 ) P{M{Xm |Fn } ≤ Xn } = 1 при любых m > n, m, n ∈ {0, 1, . . .}. Условие в0 ) означает, что Xn ограничивает значения M{Xm |Fn } при m > n снизу, а условие в00 ) — что Xn ограничивает значения M{Xm |Fn } при m > n сверху; этим объясняются приставки «суб-» и «супер-». Изменение знака переводит субмартингал в супермартингал и обратно, поэтому часто их называют полумартингалами. Теоремам, доказанным для супермартингалов, соответствуют эквивалентные теоремы для субмартингалов. Условие в) (и аналогично условия в0 ), в00 )) записывают также в виде M{Xm |Fn } = Xn п.н. (почти наверное); в теории вероятностей случайные величины, различающиеся на множестве меры 0, считаются эквивалентными. В силу условия б) и того, что последовательность σ-алгебр {Fn } расширяющаяся, σ-алгебра σ(X0 , . . . , Xn ), порожденная случайными величинами X0 , . . . , Xn , содержится в Fn при любом n. Соотношение в) эквивалентно своему частному случаю: M{Xn+1 |Fn } = Xn

при любом n.

(42)

Действительно, если выполнено (42), то при m > n + 1 из него и свойства 6) условных математических ожиданий следует свойство в): M{Xm |Fn } = M{M{Xm |Fm−1 }|Fn } = M{Xm−1 |Fn } = . . . = M{Xn+1 |Fn } = Xn . Аналогичные эквивалентные формы имеют условия в0 ) и в00 ). Из условия в), из того, что σ(Xn ) ⊂ Fn , и из свойств условного математического ожидания следует, что M{Xn+1 |σ(Xn )} = M{M{Xn+1 |Fn }|σ(Xn )} = M{Xn |σ(Xn )} = Xn ,

(43)

т.е. условное математическое ожидание значения мартингала в момент времени n + 1 относительно σ-алгебры, порожденной Xn , равно его значению в момент n; иными словами, мартингал — это процесс без сноса (в том смысле, что его математическое ожидание в следующий момент времени совпадает со значением в текущий момент). Условие (43) следует из (42), но (42) не следует из (43), так как, вообще говоря, σ(Xn ) 6= σ(X1 , . . . , Xn ) ⊂ Fn . Пример 9.1. Пусть Z1 , Z2 и Z3 принимают значения −1, 0 и 1, причем Z1 и Z2 независимы и одинаково распределены: 1 P{Zk = −1} = P{Zk = 0} = P{Zk = 1} = , 3

k = 1, 2,

а Z3 ≡ Z2 − Z1 (mod 3). Положим X1 = Z1 ,

X 2 = Z1 + Z2 , 54

X 3 = Z1 + Z2 + Z3 .

Так как случайные величины Z1 и Z2 принимают по три значения каждая и определяют все остальные случайные величины, то в качестве пространства элементарных событий можно выбрать пространство из 9 точек, соответствующих разным значениям пары (Z1 , Z2 ) и имеющих вероятности, равные 19 . Функции Z3 = Z3 (Z1 , Z2 ) = Z2 − Z1 (mod 3), X1 = X1 (Z1 , Z2 ) = Z1 , X2 = X2 (Z1 , Z2 ) = Z1 + Z2 , X3 = X3 (Z1 , Z2 ) = Z1 + Z2 + Z3 можно задать таблицей p Z1 , Z 2 Z3 X1 X2 X3 M{X3 |X2 }

1 9

−1, −1 0 −1 −2 −2 −2

1 9

1 9

1 9

1 9

1 9

1 9

1 9

1 9

−1, 0 0, −1 −1, 1 0, 0 1, −1 0, 1 1, 0 1, 1 1 −1 −1 0 1 1 −1 0 −1 0 −1 0 1 0 1 1 −1 −1 0 0 0 1 1 2 0 −2 −1 0 1 2 0 2 ( 0–2)/2=–1 ( –1+0+1)/3=0 (2+0)/2=1 2

В строке X2 разными шрифтами выделены множества {X2 = k}, образующие σ-алгебру σ(X2 ). Из таблицы видно, что значения X1 и X2 полностью определяют Z1 и Z2 и что M{X3 |X1 , X2 } = X3 6= X2 ,

но M{X3 |X2 } = X2 .

Приведем несколько примеров случайных процессов, являющихся мартингалами или не являющихся ими. Примеры. 9.2. Пусть ξ1 , ξ2 , . . . — независимые случайные величины и Xn = ξ1 + . . . + ξn , n = 1, 2, . . . Если Mξn = 0 при всех n, то случайный процесс Xn является мартингалом, если Mξn ≥ 0 при всех n — то субмартингалом, если Mξn ≤ 0 при всех n — то супермартингалом. 9.3. При условиях примера 9.2 последовательность X0 = 1, Xn = ξ1 . . . ξn при n = 1, 2, . . . — мартингал, если Mξn = 1 при всех n ≥ 1. Задача 9.1. Является ли эта последовательность субмартингалом, если Mξn > 1 при всех n? 9.4. При условиях примера 9.1 последовательность Xn = ξ1 ξ2 + ξ2 ξ3 + . . . + ξn ξn+1 — мартингал, если Mξn = 0 при всех n ≥ 1. Если выполнено более слабое условие: Mξ2n = 0 при всех n ≥ 1, то Mξk ξk+1 = 0 при всех k ≥ 0, но последовательность Xn может и не быть мартингалом. Например, пусть при n = 0, 1, . . . P{ξ2n = 1} = P{ξ2n = −1} =

1 , 2

P{ξ2n+1 = 1} = P{ξ2n+1 = 3} =

1 ; 2

тогда M{X2 |X1 = 3} = M{ξ1 ξ2 + ξ2 ξ3 |ξ1 = 3, ξ2 = 1} = 3 + Mξ3 = 5 6= X1 . 9.5. Пусть на вероятностном пространстве (Ω, F, P ) заданы расширяющаяся последовательность σ-алгебр F0 ⊂ F1 ⊂ . . . и случайная величина ξ, M|ξ| < ∞. 55

Определим случайный процесс {Xn } формулой Xn = M{ξ|Fn }, n = 0, 1, . . . Наглядный смысл случайного процесса {Xn } простой: это значения условных математических ожиданий ξ относительно измельчающихся разбиений пространства элементарных событий Ω. Покажем, что Xn — мартингал. Если m > n, то по определению Xn и по свойствам условного математического ожидания M{Xm |Fn } = M{M{ξ|Fm }|Fn } = M{ξ|Fn } = Xn . Случайный процесс {Xn } — это мартингал, порожденный случайной величиной ξ. В известном смысле это общий вид сходящегося мартингала: если мартингал {Xn } при n → ∞ сходится с вероятностью 1 к интегрируемой (т.е. имеющей математическое ожидание) случайной величине X так, что M|Xn − X| → 0, то Xn = lim M{Xm |Fn } = M{X|Fn }. m→∞

Задача 9.2. Пусть X1 , X2 , . . . — последовательность случайных величин, принимающих значения из конечного множества, например, из множества {0, 1, . . . , N }. Показать, что если (Xn , σ(X1 , . . . , Xn )) — мартингал, то состояния 0 и N — поглощающие, т.е. что P{Xk+1 = 0|Xk = 0} = P{Xk+1 = N |Xk = N } = 1. 9.1. Связь субмартингалов и мартингалов. Разложение Дуба Определение. Пусть {Fn }n>0 — расширяющаяся последовательность σалгебр. Последовательность случайных величин {ξn } называется предсказуемой относительно {Fn }, если ξn измерима относительно Fn−1 при любом n ≥ 1. Например, если ζ1 (ω), ζ2 (ω), . . . — последовательность случайных величин, заданных на вероятностном пространстве (Ω, F, P), которая порождает σ-алгебры Fn = σ(ζ1 , . . . , ζn ), n = 1, 2, . . ., а последовательность случайных величин {ξn (ω)} предсказуема относительно {Fn }, то существует такая последовательность неслучайных функций fn (·), что ξn (ω) = fn (ζ1 (ω), . . . , ζn−1 (ω)) при P-почти всех ω ∈ Ω. Теорема 9.1 (Разложение Дуба). Пусть (Xn , Fn ) — субмартингал. Существуют такие мартингал (Zn , Fn ) и предсказуемая относительно {Fn } неубывающая с вероятностью 1 последовательность случайных величин {An }, A0 = 0, что P{Xn = Zn + An } = 1 при каждом n ≥ 0. С точностью до множества меры 0 процессы {Zn } и {An } определяются однозначно. Доказательство. Так как A0 = 0, то Z0 = X0 определяется однозначно. Далее, имея в виду тождество n−1 X Xn = X0 + (Xj+1 − Xj ) = j=0

= X0 +

n−1 X

{[Xj+1 − M{Xj+1 |Fj }] + [M{Xj+1 |Fj } − Xj ]},

j=0

56

определим искомые случайные величины равенствами n−1 X Zn = Z0 + [Xj+1 − M{Xj+1 |Fj }] = Zn−1 + [Xn − M{Xn |Fn−1 }], j=0

An =

n−1 X

[M{Xj+1 |Fj } − Xj ].

j=0

Так как (Xn , Fn ) — субмартингал, то все слагаемые, составляющие An , неотрицательны, значит, каждая реализация {An } не убывает. Из свойств условного математического ожидания и из того, что F1 ⊂ F2 ⊂ . . ., следуют соотношения An ∈ Fn−1 , Zn ∈ Fn и M{Zn |Fn−1 } = Zn−1 + M{Xn − M{Xn |Fn−1 }|Fn−1 } = Zn−1 при всех n ≥ 1, т. е. (Zn , Fn ) — мартингал. Для доказательства единственности представления Xn = Zn + An допустим, что P{Xn = Zn∗ + A∗n } = 1 при каждом n ≥ 0, где (Zn∗ , Fn ) - мартингал, {A∗n } неубывающая случайная последовательность, A∗0 = 0, A∗n ∈ Fn−1 при всех n ≥ 1. Приравнивая два представления для разности Xn+1 − Xn , получаем, что для почти всех ω ∈ Ω ∗ (Zn+1 − Zn ) + (An+1 − An ) = Xn+1 − Xn = (Zn+1 − Zn∗ ) + (A∗n+1 − A∗n ).

Теперь вычислим условные математические ожидания относительно Fn от крайних частей: p{An+1 − An = A∗n+1 − A∗n } = 1 при всех n ≥ 0. Отсюда и из условия A0 = A∗0 = 0 по индукции следует, что p{An = A∗n , Zn = Zn∗ } = 1 при всех n. Лемма 9.1. Если (Xn , Fn ) — мартингал и g(x) — выпуклая функция, причем M|g(Xn )| < ∞ при всех n ≥ 0, то (g(Xn ), Fn ) — субмартингал. Если g(x), кроме того, монотонно возрастает и (Xn , Fn ) — субмартингал, то (g(x), Fn ) — субмартингал. Доказательство. Достаточно доказать, что с вероятностью 1 M{g(Xn+1 )|Fn }(ω) ≥ g(Xn (ω)).

(44)

Функция g(x) выпукла; поэтому существует такая неубывающая функция g ∗ (x), что g(y) ≥ g(x) + g ∗ (x)(y − x) для любых x, y, принадлежащих области определения g(x). Из этого неравенства и из свойств условных математических ожиданий следует, что M{g(Xn+1 )|Fn } ≥ M{g(Xn ) + g ∗ (Xn )(Xn+1 − Xn )|Fn } = = M{g(Xn )|Fn } + M{g ∗ (Xn )(Xn+1 − Xn )|Fn }. Случайная величина Xn измерима относительно Fn ; поэтому g(Xn ) и g ∗ (Xn ) тоже измеримы относительно Fn и M{g(Xn )|Fn } = g(Xn ), M{g (Xn )(Xn+1 − Xn )|Fn } = g ∗ (Xn )M{Xn+1 − Xn |Fn } = 0, ∗

57

т.е. M{g(Xn )|Fn } ≥ g(Xn ). Второе утверждение леммы доказывается точно так же, только в последнем равенстве нужно учесть, что g ∗ (x) ≥ 0 и (в соответствии с определением субмартингала) M{Xn+1 − Xn |Fn } ≥ 0. 9.2. Моменты остановки Определение. Пусть на вероятностном пространстве (Ω, F, P) задан поток σалгебр F0 ⊂ F1 ⊂ . . . Случайную величину ν будем называть моментом остановки относительно потока {Fn }, если {ω : ν ≤ n} ∈ Fn для каждого n ≥ 0. Такую случайную величину называют также марковским моментом или случайной величиной, не зависящей от будущего. Пример 9.6. Если {Xn } — такая последовательность случайных величин, что Xn измерима относительно Fn при n = 1, 2, . . ., а Bn — последовательность измеримых множеств, то ν = min{n : Xn ∈ Bn } — момент остановки. Например, если f (n) — неслучайная функция и Bn = {ω: Xn > f (n)}, то ν = min{n: Xn > f (n)} — момент первого выхода траектории {Xn } из области {(n, x) : x ≤ f (n)} — является моментом остановки. Простые свойства. а) Если ν — момент остановки, m = const, то ν ∗ = min{ν, m} — тоже момент остановки. Действительно, если n ≥ m, то {ν ∗ ≤ n} = Ω ∈ Fn , а если n < m, то {ν ∗ ≤ n} = {ν ≤ n} ∈ Fn . б) Если ν — момент остановки, то {ν = n} = {ν ≤ n}\{ν ≤ n − 1} ∈ Fn , {ν ≥ n} = {ν > n − 1} = Ω\{ν ≤ n − 1} ∈ Fn−1 . Обратно, если {ν = n} ∈ Fn при каждом n, то {ν ≤ n} ∈ Fn , т.е. ν — момент остановки. Пусть ν — момент остановки относительно расширяющегося семейства σ-алгебр F0 ⊂ F1 ⊂ . . . ⊂ F , {ν = ∞} = ∅ и (Xn , Fn ) — мартингал или субмартингал. Тогда можно определить случайную величину X Xν = Xn χ{ν = n} n≥0

— значение мартингала (субмартингала) в случайный момент ν. В математической модели азартной игры момент остановки может соответствовать моменту выхода игрока из игры, и тогда Xν — его итоговый капитал. Лемма 9.2. Если (Xn , Fn ) — мартингал (субмартингал) и ν — момент остановки относительно {Fn }, то остановленная последовательность (Xmin{n,ν} , Fn ) тоже образует мартингал (субмартингал). Доказательство. Воспользуемся равенствами Xmin{n,ν} =

n X

Xm χ{ν = m} + Xn χ{ν > n}

m=0

58

и Xmin{n+1,ν} =

n+1 X

Xm χ{ν = m} + Xn+1 χ{ν > n + 1} =

m=0

=

n X

Xm χ{ν = m} + Xn+1 χ{ν > n}.

m=0

Из первого равенства следует, что случайная величина Xmin{n,ν} измерима относительно Fn и интегрируема, а из обоих равенств — что Xmin{n+1,ν} − Xmin{n,ν} = χ{ν > n}(Xn+1 − Xn ). Так как χ{ν > n} ∈ Fn , то по свойствам условных математических ожиданий M{Xmin{n+1,ν} − Xmin{n,ν} |Fn } = M{χ{ν > n}(Xn+1 − Xn )|Fn } = = χ{ν > n}M{Xn+1 − Xn |Fn }, и правая часть равна 0, если Xn — мартингал, и неотрицательна, если Xn — полумартингал. 9.3. Сохранение свойства мартингала для случайных моментов остановки Если {Xn , Fn } — мартингал, то MXn = MX0 . А что можно сказать о значении MXν , если ν — случайная величина? Если ν — момент остановки, то согласно лемме 9.2 последовательность {Xmin{n,ν} , Fn } — мартингал, т.е. MXmin{n,ν} = MX0 . Хотя min{ν, n} ↑ ν, n ↑ ∞, переходить к предельному равенству MXν = MX0 (как при предельном переходе под знаком интеграла) можно только при некоторых дополнительных условиях. Например, пусть {ξn } — независимые одинаково распределенные случайные величины, имеющие стандартное нормальное распределение, Xn = ξ1 + . . . + ξn — симметричное случайное блуждание (которое является мартингалом, так как Mξk = 0 при всех k), а момент остановки ν = min{n : Xn < 0}. В силу закона повторного логарифма последовательность {Xn } с вероятностью 1 бесконечно много раз меняет знак, поэтому P{ν < ∞} = 1, значение Xν с вероятностью 1 отрицательно, значит, 0 > MXν 6= MX0 = 0. Следующая теорема указывает условия, при которых MXν = MX0 . Теорема 9.2 (сохранение мартингальности для момента остановки). Пусть {Xn , Fn } — мартингал на вероятностном пространстве (Ω, F, P) и ν — такой момент остановки относительно потока σ-алгебр {Fn }, что M|Xν | < ∞,

lim inf M|Xn |χ{ν > n} = 0. n→∞

(45)

Тогда для P-почти всех ω ∈ Ω M{Xν |F0 }(ω) = X0 (ω). 59

(46)

Если те же условия выполнены для субмартингала {Xn , Fn }, то для P-почти всех ω∈Ω M{Xν |F0 }(ω) ≥ X0 (ω). Доказательство. Пусть {Xn , Fn } — мартингал. Нам нужно доказать, что случайные величины M{Xν |F0 } и X0 (т. е. измеримые функции, заданные на пространстве элементарных исходов) совпадают P-почти наверное. Сначала сведем эту задачу к эквивалентной, но проще решаемой. Если f и g — две F-измеримые функции на Ω и P{f 6= g} > 0, то либо P{f > g} > 0, либо P{f < g} > 0. Если, например, P{f > g} > 0, то существует F-измеримое множество, интеграл по которому от f больше интеграла от g: Z Z f P(dω) > gP(dω). ω:f (ω)>g(ω)

ω:f (ω)>g(ω)

Значит, если интегралы от измеримых функций f и g по всем измеримым множествам совпадают, то P{f 6= g} = 0. Полагая здесь f (ω) = M{Xν |F0 }(ω) и g(ω) = X0 (ω), получаем, что утверждение теоремы является следствием соотношения M{M{Xν |F0 }χ{A}} = MX0 χ{A} для всех A ∈ F0 .

(47)

Пользуясь свойствами условных математических ожиданий, преобразуем левую часть (47): MM{Xν |F0 }χ{A} = MM{Xν χ{A}|F0 } = MXν χ{A}. Тем самым доказательство теоремы свелось к доказательству того, что MXν χ{A} = MX0 χ{A} при любом A ∈ F0 .

(48)

Лемма 9.3. Если (Xn , Fn ) — мартингал, A ∈ F0 и ν — момент остановки относительно {Fn }, для которого выполнено (45), то при любом n ≥ 0 MX0 χ{A} = MXmin{n,ν} χ{A} = = MXν χ{A ∩ {ν ≤ n}} + MXn χ{A ∩ {ν > n}}.

(49)

Доказательство. Первое равенство в лемме 9.3 является непосредственным следствием леммы 9.2, согласно которой (Xmin{n,ν} , Fn ) — мартингал: действительно, так как A ∈ F0 , то MXmin{n,ν} χ{A} = MM{Xmin{n,ν} χ{A}|F0 } = = Mχ{A}M{Xmin{n,ν} |F0 } = Mχ{A}X0 . Второе равенство соответствует определению MXmin{n,ν} χ{A}. Заметим теперь, что левая часть (49) не зависит от n и что второе слагаемое в правой части (49) по условию (45) стремится к 0 по некоторой подпоследовательности 60

nk → ∞ при k → ∞. Докажем, что по этой подпоследовательности первое слагаемое стремится к MXν χ{A}; отсюда будет следовать утверждение теоремы. Очевидно, χ{A ∩ {ν ≤ n}} ↑ χ{A},

n ↑ ∞,

т.е. последовательность функций Xν χ{A ∩ {ν ≤ n}} равномерно ограничена абсолютно интегрируемой функцией Xν χ{A}: |Xν χ{A ∩ {ν ≤ n}}| ≤ |Xν χ{A}|,

M|Xν χ{A}| ≤ M|Xν | < ∞,

и сходится к ней, когда n → ∞. Если nk → ∞ при k → ∞, то по теореме Лебега о мажорируемой сходимости lim MXν χ{A ∩ {ν ≤ nk }} = MXν χ{A}.

k→∞

Отсюда и из (49) следует равенство MX0 χ{A} = MXν χ{A} при всех A ∈ F0 , что совпадает с (46). В случае субмартингалов рассуждения аналогичны. Теорема доказана. Проверка того, выполняется ли условие (45), может быть довольно сложной. Рассмотрим пример, в котором это условие нетрудно проверить. Пусть ξ1 , ξ2 , . . . — независимые случайные величины, 1 P{ξk = 1} = P{ξk = −1} = , 2

k = 1, 2, . . .

Положим X0 = 0, X1 = ξ1 , X2 = ξ1 + 2ξ2 χ{ξ1 = −1}, X3 = ξ1 + 2ξ2 χ{ξ1 = −1} + 4ξ3 χ{ξ1 = ξ2 = −1}, и вообще Xn = ξ1 +

n X

ξk 2k−1 χ{ξ1 = . . . = ξk−1 = −1},

n = 2, 3, . . .

k=2

Последовательность {Xn , σ{ξ1 , . . . , ξn }} — мартингал: M{Xn+1 |σ{ξ1 , . . . , ξn }} = ξ1 +

n+1 X

2k−1 M{ξk χ{ξ1 = . . . = ξk−1 = −1}|σ{ξ1 , . . . , ξn }} =

k=2

= ξ1 +

n X

2k−1 ξk χ{ξ1 = . . . = ξk−1 = −1} + 2n Mξn+1 χ{ξ1 = . . . = ξn = −1} = Xn .

k=2

Чтобы проверить, выполняются ли условия (45) теоремы 1, заметим, что ν = min{n: ξn = 1} — момент остановки. Далее {ν > n} = {ξ1 = . . . = ξn = −1} и в соответствии с определением Xn = −1 − 2 − . . . − 2n−1 на множестве {ν > n}, а Xν = −1 − 2 − 61

22 − . . . − 2ν−2 + 2ν−1 = 1. Для мартингала Xn и момента остановки ν условие (45) не выполняется: M|Xn |χ{ν > n} = (1 + 2 + . . . + 2n−1 )P{ξ1 = . . . = ξn = −1} = = (2n − 1)2−n → 1 при n → ∞, и свойство мартингала для такого момента остановки тоже не имеет места: MXν = 1 6= MX0 = 0. Одна из интерпретаций такой последовательности называется «петербургской игрой»; она была рассмотрена Даниилом Бернулли в XVIII веке (разумеется, без использования мартингалов). В игре участвуют два игрока. Мартингал Xn в виде правил игры интерпретируется следующим образом. Игра проводится по турам. Каждый тур состоит из случайного числа шагов, на каждом из которых подбрасывают симметричную монету. Тур заканчивается этапом, на котором впервые выпадает герб. Ставка на k-м (k = 1, 2, . . .) этапе каждого тура равна 2k−1 рублей. Если выпадает решетка, то второй игрок выплачивает ставку первому, а если выпадает герб — то первый игрок выплачивает ставку второму. Поскольку монета симметричная, в каждой игре математическое ожидание выигрыша каждого игрока равно 0, так что игру естественно считать «честной». Однако в конце каждого тура оказывается, что первый игрок потерял 1 рубль, так что после достаточно большого числа туров он разорится. Задача 9.3. Вычислить математические ожидания и дисперсии выигрышей игроков после N туров. Заметим еще, что можно изменить правила игры так, чтобы она стала «честной»: достаточно, например, заканчивать тур либо после первого выпадения герба, либо после 1000 шагов (если 1000 раз выпала решетка). Тогда χ{ν > 1000} = 0 и условие (45) теоремы 1 выполняется, значит, MXν = 0 и игра является «честной». Но результаты измененной игры будут отличаться от хода исходной только в тех турах, в которых решетка выпадает 1000 подряд. Вероятность такого исхода тура равна 1 ≈ 101301 , так что очень маловероятно, что первый игрок дождется счастливого 21000 момента, когда у него останется выигрыш 21000 − 1, компенсирующий накопленный проигрыш. Измененная игра эквивалентна лотерее, в которой билет стоит 1 рубль, выигрыш равен 21000 − 1 рублей, но выигрывает один билет из 21000 . Докажем утверждения, упрощающие проверку условия (45). Будем считать, что X−1 = 0, и положим ∆Xn = Xn − Xn−1 , n ≥ 0. Лемма 9.4. Пусть случайный процесс Xn измерим относительно потока σалгебр F0 ⊆ F1 ⊆ . . . , ν — момент остановки относительно {Fn }, P{ν < ∞} = 1 и ν X M |∆Xk | < ∞. k=0

Тогда M|Xν | < ∞ и M|Xn |χ{ν > n} → 0,

n → ∞.

Доказательство. Из неравенства ¯ ¯ ν ν ¯ X ¯X def ¯ ¯ |∆Xk | = Yν |Xν | = ¯ (Xk − Xk−1 )¯ ≤ ¯ ¯ k=0

k=0

62

и из условия леммы следует, что M|Xν | ≤ MYν < ∞. Далее, M|Xn |χ{ν > n} ≤ M

n X

|∆Xk |χ{ν > n} ≤ MYν χ{ν > n}.

k=0

По условию леммы MYν < ∞, Yν ≥ 0 и P{ν > n} → 0 при n → ∞, значит, MYν χ{ν > n} → 0,

n → ∞,

как интегралы от интегрируемой функции по множествам со стремящейся к 0 мерой. Поэтому M|Xn |χ{ν > n} → 0, n → ∞, что и требовалось доказать. Теорема 9.3. Пусть {Xn , Fn } — мартингал и ν — момент остановки относительно {Fn }. Если Mν < ∞ и существует такая константа C < ∞, что при всех n ≥ 0 {ω: ν ≥ n} ⊆ {ω: M{|∆Xn ||Fn−1 } ≤ C} то M|Xν | < ∞ и MXν = MX0 . Отметим, что условия Mν < ∞ в теореме 9.2 не было. Доказательство теоремы 9.3. Достаточно проверить, что выполняются условия леммы 9.4, обеспечивающие выполнение условий теоремы 9.2. По формуле полной вероятности: M

ν X

|∆Xk | = M

=

χ{ν = n}

n≥0

k=0 n XX

X

M|∆Xk |χ{ν = n} =

n≥0 k=0

=

X

n X

|∆Xk | =

k=0

XX

M|∆Xk |χ{ν = n} =

k≥0 n≥k

M|∆Xk |χ{ν ≥ k}.

k≥0

Но так как {ν ≥ k} = Ω\{ν ≤ k − 1} ∈ Fk−1 , то по определению условного математического ожидания и по условию теоремы M|∆Xk |χ{ν ≥ k} = MM{|∆Xk |χ{ν ≥ k}|Fk−1 } = = Mχ{ν ≥ k}M{|∆Xk ||Fk−1 } ≤ CP{ν ≥ k}, т.е. M

ν X

|∆Xk |} ≤

k=0

X

CP{ν ≥ k} = C

k≥0

=C

XX k≥0 n≥k

P{ν = k} =

X (k + 1)P{ν = k} = C(1 + Mν) < ∞. k≥0

Теорема доказана.

63

9.4. Тождества Вальда Тождество Вальда. Пусть ξ1 , ξ2 , . . . — независимые случайные величины, Mξi = a, i = 1, 2, . . . , sup M|ξi | ≤ C < ∞, i≥1

S0 = 0,

Sn = ξ1 + . . . + ξn ,

n = 1, 2, . . . ,

и ν ≥ 1 — такой момент остановки относительно {σ(ξ1 , . . . , ξn )}, что Mν < ∞. Тогда MSν = aMν. Доказательство. Последовательность Xn = Sn − na = (ξ1 − a) + . . . + (ξn − a) — мартингал как сумма независимых случайных величин с нулевым математическим ожиданием. Для него выполнены условия теоремы 9.3: Mν < ∞, M{|Xn − Xn−1 | |Fn−1 } = M{|(Sn − na) − (Sn−1 − (n − 1)a)| | Fn }} = = M{|ξn − a| | Fn−1 } = M|ξn − a| < |C| + |a| < ∞. Значит, M(Sν − νa) = M(S0 − 0 · a) = 0,

т.е. MSν = aMν,

что и требовалось доказать. Тождество Вальда мы вывели из общей теоремы о сохранении свойства мартингала для моментов остановки. Ввиду общности этой теоремы ее доказательство было сложным. Последовательность независимых случайных величин, о которой идет речь в тождестве Вальда, имеет более простую вероятностную структуру. Существует короткое доказательство тождества Вальда, предложенное А.Н.Колмогоровым и Ю.В.Прохоровым. Второе доказательство тождества Вальда. Положим χi = χ{ν ≥ i} ∈ σ(ξ1 , . . . , ξi−1 ), i = 1, 2, . . .; тогда χi и ξi независимы при каждом i и Sν =

ν X

ξi =

i=1

∞ X

χi ξi .

i=1

Так как ξi не зависит от χi , то M|χi ξi | = Mχi |ξi | = Mχi M|ξi | ≤ CP{ν ≥ i} и

∞ X i=1

M|χi ξi | < C

∞ X

P{ν ≥ i} = CMν < ∞.

i=1

64

Значит, функциональный ряд

P

χi ξi абсолютно сходится почти наверное, и поэтому

i≥1

его можно интегрировать почленно (т.е. математическое ожидание суммы ряда равно сумме математических ожиданий его членов): X X X X MSν = M χi ξi = Mχi ξi = Mχi Mξi = a P{ν ≥ i} = aMν. i≥1

i≥1

i≥1

i≥1

Тем самым тождество Вальда доказано. Фундаментальное тождество Вальда. Пусть ξ, ξ1 , ξ2 , . . . — независимые одинаково распределенные случайные величины, Sn = ξ1 + . . . + ξn и ψ(λ) = M exp{−λξ} < ∞ при некотором λ ∈ R; пусть ν — момент остановки относительно {σ(ξ1 , . . . , ξn )}, Mν < ∞ и существует такое C < ∞, что при любом n≥0 {ν ≥ n} ⊆ {|Sn | ≤ C} Тогда при любом таком λ ∈ R, что ψ(λ) ≥ 1, справедливо равенство M

e−λSν = 1. ψ ν (λ) −λSn

Доказательство. Положим X0 = 1, Xn = eψn (λ) , n ≥ 1. Покажем, что Xn — мартингал. Действительно, Xn ∈ Fn = σ(ξ1 , . . . , ξn ), P{Xn ≥ 0} = 1, MXn = 1 и в силу того, −λξn+1 что Xn+1 = Xn e ψ(λ) , имеет место основное свойство мартингала: ½ M{Xn+1 |Fn } = M

¯ ¾ e−λξn+1 ¯¯ e−λξn+1 Xn = Xn . F = X M n n ψ(λ) ¯ ψ(λ)

Проверим выполнение условий теоремы 9.3, т. е. ограниченность an = M{|Xn − Xn−1 ||Fn−1 } на множестве {ν ≥ n}. Так как Xn > 0 и Me−λξn = ψ(λ), то справедливы оценки ¯ −λξn ¯¯ ½ ¾ ¯e ¯¯ ¯ ¯ ¯ M{|Xn − Xn−1 ||Fn−1 } = M Xn−1 ¯ − 1¯¯ Fn−1 = ψ(λ) ¯ ¯ −λξn µ −λξn ¶ ¯ ¯e e ¯ ¯ − 1¯ ≤ Xn−1 M + 1 ≤ 2Xn−1 . = Xn−1 M ¯ ψ(λ) ψ(λ) Поэтому при любом n на множестве {ν ≥ n} ∈ Fn−1 M{|Xn − Xn−1 ||Fn−1 } ≤ 2Xn−1 = 2

e−λSn−1 ≤ 2e|λC| = const < ∞. ψ n−1 (λ)

Тем самым фундаментальное тождество Вальда доказано.

65

9.5. Применения тождеств Вальда. Теорема восстановления Пусть ξ1 , ξ2 , . . . — независимые одинаково распределенные неотрицательные случайные величины с конечным математическим ожиданием: P{ξ1 ≥ 0} = 1, Mξ1 = a < ∞. Положим S0 = 0, Sn = ξ1 + . . . + ξn , n ≥ 1, и рассмотрим случайный процесс X ν(t) = min{n : Sn > t} = χ{Sn ≤ t}, t ≥ 0. n≥0

При каждом t и каждом n, очевидно, {ν(t) ≤ n} ∈ σ(ξ1 , . . . , ξn ); таким образом, ν(t) — момент остановки относительно последовательности σ-алгебр {σ(ξ1 , . . . , ξn )}. Наглядный смысл ν(t) — это число сумм Sn , n ≥ 0, попадающих на отрезок [0, t]. Например, будем считать, что ξ1 , ξ2 , . . . — это времена работы (от включения до перегорания) электрических лампочек. Пусть в момент времени t = 0 мы включаем лампочку, а при перегорании каждой лампочки тут же заменяем ее новой (восстанавливаем). Тогда ν(t) — это число лампочек, которые придется включать до момента t. В связи с такой интерпретацией процесс ν(t) называют процессом восстановления или числом восстановлений до момента t, а функцию U (t) = Mν(t) — функцией восстановления. Функция U (t) не убывает; она задает на [0, ∞) меру, сопоставляющую каждому полуинтервалу (a, b] значение U (a) − U (b). Плотность U 0 (t) = u(t) этой меры (если она существует) называется плотностью восстановления. Если все ξn принимают только целые значения, эта мера сосредоточена на множестве неотрицательных целых чисел, и ее плотностью называется последовательность U (n) − U (n − 1) = u(n) атомов, находящихся в точках n = 0, 1, . . . Теорема 9.4. Если U (t) — функция восстановления, построенная по независимым одинаково распределенным неотрицательным случайным величинам ξ1 , ξ2 , . . . с Mexp{−λξ1 } = ψ(λ), то Z∞ e−λt dU (t) =

1 , Reλ ≥ 0. 1 − ψ(λ)

0

Если ξ1 , ξ2 , . . . принимают только целые неотрицательные значения, Msξ1 = f (s), |s| ≤ 1, и un = U (n) − U (n − 1), то X

sn un =

n≥0

1 . 1 − f (s)

P Доказательство. Так как P по определению процесса восстановления ν(t) = χ{Sn ≤ t}, то U (t) = P{Sn ≤ t}. Используя независимость ξi и свойства n≥0

n≥0

преобразований Лапласа, получаем Z∞

∞

e 0

∞ Z X

−λt

dU (t) =

e

−λt

dP{Sn ≤ t} =

n=0 0

∞ X n=0

66

−λSn

Me

=

∞ X n=0

ψ n (λ) =

1 . 1 − ψ(λ)

Если ξi принимают только целые неотрицательные значения, то dU (t) 6= 0 только при целых t, и dU (n) = un = U (n) − U (n − 1) (если считать, что U (−1) = 0). Второе утверждение теоремы 9.4 получается из первого заменой s = e−λ . Теорема доказана. Теорема восстановления. Если {ξn } — последовательность независимых неотрицательных одинаково распределенных случайных величин, Mξ1 = a > 0, Sn = ξ1 + . . . + ξn , n ≥ 1, ν(t) = min{n: Sn > t}, и U (t) = Mν(t), то U (t) 1 = . n→∞ t a lim

Доказательство. Случайная величина ν(t) — момент остановки относительно потока σ-алгебр {Fn = σ(ξ1 , . . . , ξn )}, так как событие {ν(t) ≤ n} полностью определяется значениями ξ1 , . . . , ξn . По условию M{|Sn − Sn−1 ||Fn } = M|ξ1 | = Mξ1 < ∞, и поэтому для того, чтобы обосновать возможность использования тождества Вальда, нужно только показать, что Mν(t) < ∞. Рассмотрим преобразование Лапласа ψ(λ) = M exp{−λξ1 }; неравенство ψ(λ) < 1 выполняется при всех λ > 0. Так как χ{x ≤ t} ≤ exp{−λ(x − t)} при любом λ ≥ 0, то по свойствам преобразования Лапласа P{ν(t) > k} = P{Sk ≤ t} = Mχ{Sk ≤ t} ≤ M exp{−λ(Sk − t)} = ψ k (λ)eλt . Если λ > 0 и P{ξ > 0} > 0, то ψ(λ) < 1, и при любом λ > 0 Mν(t) =

∞ X

P{ν(t) > k} ≤ eλt

∞ X

ψ k (λ) =

k=0

k=0

eλt < ∞. 1 − ψ(λ)

Значит, по тождеству Вальда MSν(t) = aMν(t) = aU (t). Но по определению Sν(t) > t, следовательно, aU (t) = MSν(t) > t и lim inf t→∞

U (t) 1 ≥ . t a

Оценить сверху U (t)/t, повторив те же рассуждения для Sν(t)−1 ≤ t, нельзя, потому что {ν(t) − 1 ≤ n} = {ν(t) ≤ n + 1} ∈ / Fn = σ(ξ1 , . . . , ξn ), т.е. ν(t) − 1 — не момент остановки относительно потока Fn . Случайную величину Sν(t) можно оценить сверху при дополнительном условии, что P{ξk ≤ z} = 1 при некотором z < ∞: тогда P{Sν(t) = Sν(t)−1 + ξν(t) ≤ t + z} = 1. Чтобы использовать это соображение, введем для каждого z вспомогательные случайные величины ξk (z) = min{ξk , z} и Sn (z) = ξ1 (z) + . . . + ξn (z) ≤ Sn . Тогда ν(t, z) = min{n : Sn (z) > t} ≥ ν(t) и U (t, z) = Mν(t, z) ≥ Mν(t) = U (t). 67

∈

(0, ∞)

Применяя к паре Sn (z), ν(t, z) тождество Вальда, получаем: MSν(t,z) (z) = Mξ1 (z)U (t, z). Но по определению Sν(t,z) (z) ≤ t + z, следовательно, U (t) ≤ U (t, z) =

MSν(t,z) t+z ≤ Mξ1 (z) Mξ1 (z)

и для каждого z < ∞ lim sup t→∞

1 t+z 1 U (t) ≤ lim = . t Mξ1 (z) t→∞ t M min{ξ1 , z}

Если z → ∞, то M min{ξ1 , z} → Mξ1 = a, и поэтому lim sup t→∞

U (t) 1 ≤ . t a

Теорема доказана. 9.6. Теорема о сходимости полумартингалов Напомним, что субмартингал — это такая последовательность {Xn , Fn }, что функция Xn является Fn -измеримой, M|Xn | < ∞ и M{Xn |Fk } > Xn при всех n > k > 0. Теорема 9.5 (Теорема Дуба). Пусть {Xn , Fn } — неотрицательный субмартингал. Тогда при любом x ≥ 0 и любом n ≥ 0 ½ ¾ 1 P max Xk ≥ x ≤ MXn . 1≤k≤n x Доказательство. Введем вспомогательные моменты остановки ν = min{k ≥ 0 : Xk ≥ x} и ν(n) = min{ν, n}. Тогда { max Xk > x} = {Xν(n) > x}, и в силу 16k6n

неотрицательности процесса {Xk } ½ ¾ P max Xk > x = P{Xν(n) > x} = MI{Xν(n) > x} 6 16k6n

6M

Xν(n) 1 I{Xν(n) > x} 6 MXν(n) . x x

Осталось убедиться в том, что MXν(n) 6 MXn . По определению ( n−1 ) X MXν(n) = M I{ν = k}Xk + I{ν > n}Xn . k=1

Так как {Xn , Fn } — субмартингал, то Xk 6 M{Xn |Fk } для любого k = 1, . . . , n − 1. Поэтому при любом таком k MI{ν = k}Xk 6 MI{ν = k}M{Xn |Fk } = MM{I{ν = k}Xn |Fk } = MI{ν = k}Xn . 68

Отсюда следует, что MXν(n) 6 M

( n−1 X

) I{ν = k}Xn + I{ν > n}Xn

= MXn .

k=1

Теорема доказана. Неравенство Колмогорова. Пусть {Xn , Fn } — мартингал и MXn2 < ∞. Тогда {Xn2 , Fn } — субмартингал и ½ ¾ 1 P max |Xk | ≥ x ≤ 2 MXn2 . 1≤k≤n x Доказательство. Выпуклая функция от мартингала является субмартингалом согласно лемме 9.1. Остается заметить, что ½ ¾ ½ ¾ 2 2 P max |Xk | ≥ x = P max Xk ≥ x , 1≤k≤n

1≤k≤n

и применить теорему Дуба. Пусть {Xt } — последовательность чисел, −∞ < a < b < ∞. Введем моменты выхода {Xt } за нижнюю и верхнюю границы полосы [a, b]: положим ν0 = 0 и (считая, как обычно, min{∅} = ∞) при k = 1, 2, . . . ν2k−1 = min{t > ν2k−2 : Xt ≤ a},

ν2k = min{t > ν2k−1 : Xt ≥ b}.

Обозначим через βn (a, b) число полных пересечений горизонтальной полосы [a, b] снизу вверх последовательностью Xt на отрезке времени [1, n]. В наших обозначениях ( max{k: ν2k ≤ n}, ν2 ≤ n, βn (a, b) = 0, ν2 > n. Положим X + = max{X, 0}. Теорема (Неравенство Дуба). Пусть {Xt , Ft } — субмартингал. Тогда для любого n и для любых a, b (−∞ < a < b < ∞) Mβn (a, b) ≤

M(Xn − a)+ . b−a

Доказательство. Из определения следует, что βn (a, b) совпадает с числом def пересечений полосы [0, b − a] = [0, c] снизу вверх последовательностью (Xn − a)+ . Но f (x) = (x − a)+ — выпуклая неубывающая функция, поэтому {(Xn − a)+ , Fn } — неотрицательный субмартингал. Значит, достаточно доказать, что если {Xn , Fn } — неотрицательный субмартингал, то Mβn (0, c) ≤

69

1 MXn . c

Введем вспомогательные случайные величины (индикаторы «участка пересечения полосы (0, c) снизу вверх»): ( 1, если ∃k > 1 : ν2k−1 < t 6 ν2k , η0 = 0, ηt = t ≥ 1. 0, если ∃k > 0 : ν2k < t 6 ν2k+1 . Значение ηt определяется четностью числа k(t) = max{k : νk < t}, т. е. случайными величинами X0 , . . . , Xt−1 , поэтому {ηt = 1} ∈ Ft−1 . Введем случайные множества N0 = {ν0 , ν2 , . . .}, N1 = {ν1 , ν3 , . . .}. Заметим, что ηj − ηj+1 = 0 при j ∈ / N0 ∪ N1 и ηj − ηj+1 = −1 ⇔ j ∈ N1 ⇒ Xj = 0, ηj − ηj+1 = 1 ⇔ j ∈ N0 ⇒ Xj ≥ c. Из этих равенств следует, что cχ{t ∈ N0 } ≤ (ηt −ηt+1 )Xt при любом t. По определению βn cβn (0, c) = c max{k: ν2k ≤ n} =

n X

cχ{t ∈ N0 } ≤

t=0

≤

n n X X (ηt − ηt+1 )Xt = ηt (Xt − Xt−1 ) − ηn+1 Xn . t=0

t=1

Отбрасывая последнее (неположительное) слагаемое, мы не уменьшим правую часть. Так как {ηt = 1} ∈ Ft−1 , то cMβn (0, c) ≤ M

n X

ηt (Xt − Xt−1 ) =

Mηt M{Xt − Xt−1 |Ft−1 } =

t=1

t=1

=

n X

n X

M(M{Xt |Ft−1 } − Xt−1 )ηt .

t=1

Теперь воспользуемся тем, что Xn — субмартингал, т. е. что M{Xt |Ft−1 } − Xt−1 ≥ 0. Значит, замена в последней сумме ηt на 1 не уменьшит ее: cMβn (0, c) ≤

n X

M(M{Xt |Ft−1 } − Xt−1 ) =

t=1 n X = (MXt − MXt−1 ) = MXn − MX0 ≤ MXn . t=1

Тем самым неравенство Дуба доказано. Теорема Дуба о сходимости субмартингалов. Пусть {Xn , Fn } — субмартингал и supn M|Xn | < ∞. Тогда существует такая случайная величина X, что P{ lim Xn = X} и M|X| < ∞. n→∞

70

Доказательство. Допустим противное: limn→∞ Xn с положительной вероятностью не существует, т.е. P{ξ∗ = lim inf Xn < lim sup Xn = ξ ∗ } > 0. n→∞

(50)

n→∞

Пусть Q — множество всех рациональных чисел. Так как [ {ξ∗ < ξ ∗ } = {ω: ξ∗ < a < b < ξ ∗ }, a,b∈Q: a
то

X

0 < P{ξ∗ < ξ ∗ } ≤

P{ξ∗ < a < b < ξ ∗ }.

a,b∈Q: a
Так как множество Q2 счетно, то существуют такие a, b ∈ Q, что p = P{ξ∗ = lim inf Xn < a < b lim sup Xn = ξ ∗ } > 0. n→∞

(51)

n→∞

Пусть β ∗ (a, b) = supn βn (a, b); тогда βn (a, b) ↑ β ∗ (a, b) при n ↑ ∞. Если выполняется (51), то P{βn (a, b) > k} → p, n → ∞ при любом k < ∞; поэтому P{β ∗ (a, b) = ∞} > 0 и Mβ ∗ (a, b) = ∞. Но согласно неравенству Дуба Mβn (a, b) ≤

M(Xn − a)+ M(Xn )+ + |a| ≤ , b−a b−a

т. е. Mβ ∗ (a, b) = lim Mβn (a, b) ≤ n→∞

1 sup MXn+ + |a| < ∞, b−a n

так как MXn+ ≤ M|Xn |. Полученное противоречие показывает, что предположение (50) было неверно, значит, с вероятностью 1 существует limn→∞ Xn = X, и по лемме Фату M|X| ≤ sup M|Xn | < ∞ (как интеграл от предела последовательности неотрицательных функций). Теорема доказана. Следствие 9. 1. Если Xn ≤ 0 — субмартингал, то P{∃ lim Xn < ∞} = 1. n→∞

Для доказательства достаточно заметить, что в этом случае M|Xn | монотонно убывает и, следовательно, ограничен сверху M|X0 |. Следствие 9.2. Если {Xn , Fn } — неотрицательный мартингал, то P{∃ lim Xn < ∞} = 1. n→∞

Действительно, в этом случае M|Xn | = supn MXn = MX1 < ∞. Следствие 9.3 (Теорема Колмогорова о сходимости рядов). Пусть случайные величины ξ1 , ξ2 , . . . независимы, Mξk = 0,

Dξk =

σk2 ,

∞ X k=1

71

σk < σ 2 < ∞.

Тогда существует такая случайная величина S, что Sn = ξ1 + . . . + ξn → S почти наверное. Доказательство. Последовательность {Sn } — мартингал. Так как согласно неравенству Иенсена MX 2 ≥ (M|X|)2 , то M|Sn | ≤ (MSn2 )1/2 ≤

à n X

!1/2 σk2

≤ σ < ∞,

k=1

т. е. условия теоремы о сходимости субмартингалов выполнены. Теорема 9.6. Пусть µ(t) — ветвящийся процесс Гальтона–Ватсона с производящей функцией числа потомков одной частицы f (s) 6= s. Случайный процесс X(t) = µ(t)/At при t → ∞ с вероятностью 1 сходится к случайной величине X, MX < ∞. Характеристическая функция ψ(u) = MeiuX случайной величины X удовлетворяет уравнению ψ(Au) = f (ψ(u)). Доказательство. Первое утверждение получается непосредственным применением следствия 2 из теоремы о сходимости полумартингалов, так как X(t) — неотрицательный мартингал. Для доказательства второго утверждения заметим, что o n def = ψt+1 (u) = MeiuX(t+1) = M exp iu µ(t+1) t+1 A ¡ © ª¢ ¡ ¡ © ª¢¢ ϕ t + 1, exp iu/At+1 = f ϕ t, exp iu/At+1 = (52) ³ n o´ ¡ ¢ == f M exp iu Aµ(t) = f MeiuX(t)/A = f (ψt (u/A)). t+1 По доказанному X(t) → X при t → ∞, следовательно, ψt (u) → ψ(u) при всех действительных u. Переходя к пределу по t в обеих частях (52), получаем: ψ(u) = f (ψ(u/A)), что лишь заменой переменных отличается от утверждения теоремы. Утверждение теоремы 9.6 верно при любых значениях A, но оно не всегда содержательно. Например, мы уже знаем, что при A 6 1 ветвящийся процесс вырождается с вероятностью 1. Так что хотя при A < 1 величина 1/At → ∞, предельная случайная величина X равна 0 с вероятностью 1 (вырождена), и ее характеристическая функция ψ(u) ≡ 1 удовлетворяет уравнению, указанному в условии, но это уравнение тривиально. То же самое относится и к критическим процессам. При A > 1 ветвящийся процесс с положительной вероятностью не вырождается, но предельная случайная величина X имеет невырожденное распределение только при дополнительном условии Mγ ln(γ + 1) < ∞. 10. Процесс броуновского движения Определение. Процессом броуновского движения (или стандартным винеровским процессом) wt , t ∈ [0, ∞) называется случайный процесс, конечномерные распределения которого обладают следующими свойствами: а) P{w(0) = 0} = 1, 72

б) для любых 0 = t0 < t1 < . . . < tn случайные величины w(t1 ) − w(t0 ), w(t2 ) − w(t1 ), . . . , w(tn ) − w(tn−1 ) независимы, в) w(t) − w(s) при 0 ≤ s ≤ t имеет нормальное распределение с математическим ожиданием 0 и дисперсией t − s. Условие согласованности конечномерных распределений стандартного винеровского процесса (как процесса с независимыми приращениями) легко проверяется: если t1 < t2 < . . . < tn , то из свойств б), в) следует, что если случайные величины ∆2 , . . . , ∆n независимы и ∆k имеет такое же нормальное распределение N (0, tk − tk−1 ), как w(tk ) − w(tk−1 ) при всех k = 2, . . . , n, то сумма ∆2 + . . . + ∆n имеет нормальное распределение с математическим ожиданием 0 и дисперсией [t2 − t1 ] + [t3 − t2 ] + . . . + [tn − tn−1 ] = tn − t1 , т.е. такое же распределение, как w(tn ) − w(t1 ). В случае произвольного винеровского процесса параметры нормального распределения w(t) − w(s) могут более сложным образом зависеть от t, s и от w(s). Одной из интерпретаций винеровского процесса является модель движения маленькой частицы, взвешенной в жидкости и совершающей хаотическое движение в результате столкновений с молекулами жидкости. Впервые такое явление отметил в своей статье голландец ван Ливенхок в XVII веке, наблюдавший под микроскопом частицы пыльцы в водном растворе, а английский ботаник Броун в 1828 г. подробно описал свойства этого движения. Движение мелких частиц наблюдали и многие другие, но Броун был первым, кто осознал, что наблюдаемое хаотическое движение — это не просто досадная помеха, мешающая разглядывать мелкие частицы вещества, а проявление закона природы. В 1900 г. французский математик Башелье в своей диссертации предложил то, что теперь называют винеровским процессом, в качестве математической модели процесса изменения цен на акции, но его работа осталась почти незамеченной. Затем модели хаотического движения использовали в своих работах по статистической физике Эйнштейн (1905), Ланжевен (1909), Орнштейн и Уленбек (1930). Математически строгую теорию броуновского движения построил в 1923 г. Винер, который описал соответствующее распределение на множестве непрерывных функций, однако значение его работы было понято только после создания аксиоматической теории вероятностей А.Н.Колмогоровым в 1931 г. Лемма 10.1. Совместное распределение значений процесса броуновского движения w(t1 ), . . . , w(tn ) при любых 0 = t0 < t1 < . . . < tn , n = 1, 2, . . ., является многомерным нормальным распределением с нулевым вектором средних и ковариационной матрицей Σ = kmin{ti , tj }kni,j=1 . Доказательство. Приращения процесса броуновского движения на интервалах (0, t1 ) = (t0 , t1 ), . . . , (tn−1 , tn ) независимы и имеют нормальные распределения с параметрами (0, tj − tj−1 ), j = 1, . . . , n. Поэтому вектор приращений (w(t1 ) − w(t0 ), w(t2 )−w(t1 ), . . . , w(tn )−w(tn−1 )) имеет многомерное нормальное распределение с независимыми компонентами и плотностью ½ ¾ n Y yj2 1 ∆ p exp − . pt1 ,...,tn (y1 , . . . , yn ) = 2(tj − tj−1 ) 2π(tj − tj−1 ) j=1 73

Переход от вектора приращений (y1 , y2 , . . . , yn ) = (w(t1 ) − w(t0 ), w(t2 ) − w(t1 ), . . . , w(tn ) − w(tn−1 )) к вектору (w(t1 ), w(t2 ), . . . , w(tn )) значений процесса соответствует линейному преобразованию (y1 , y2 , . . . , yn ) → (y1 , y1 + y2 , y1 + y3 , . . . , y1 + y2 + . . . + yn ) = (y1 , y2 , . . . , yn )A с матрицей

° ° ° ° ° A=° ° ° ° °

1 0 0 . 0

1 1 0 . 0

1 1 1 . 0

... ... ... ... ...

1 1 1 . 0

1 1 1 . 1

° ° ° ° ° °. ° ° ° °

Линейное отображение переводит многомерное нормальное распределение в многомерное нормальное распределение; при этом вектор математических ожиданий умножается на матрицу отображения, а матрица ковариаций умножается слева и справа на матрицу преобразования и на транспонированную матрицу. В нашем случае как исходное, так и преобразованное распределения имеют нулевое математическое ожидание, а матрицу ковариаций проще вычислить непосредственно. По определению Dw(tj ) = tj , а при s < t ввиду независимости приращений процесса на непересекающихся интервалах cov(w(s), w(t)) = cov(w(s) − w(0), (w(s) − w(0)) + (w(t) − w(s))) = = cov(w(s), w(s)) = Dw(s) = s. Таким образом, ° ° ° ° ° Σ=° ° ° ° °

t1 t1 t1 . t1

t1 t2 t2 . t2

t1 t2 t3 . t3

. . . t1 . . . t2 . . . t3 ... . . . . tn−1

t1 t2 t3 . tn

° ° ° ° ° ° = kmin{ti , tj }kn . i,j=1 ° ° ° °

Тем самым лемма доказана. Вычислим плотность совместного распределения значений (w(t1 ), w(t2 ), . . . , w(tn )). Если ξ = (ξ1 , . . . , ξn ) — случайный вектор с плотностью распределения p(x) и отображение H = (H1 , . . . , Hn ) : Rn → Rn однозначно −1 (x)) обратимо, то случайный вектор ζ = H(ξ) имеет плотность q(x) = Jp(H −1 (x)) , где (H H ° ¯ °¯ ° ¯ °¯ JH (x) = ¯det ° ∂H∂xi (x) °¯ — якобиан отображения H в точке x. j Якобиан линейного отображения с матрицей A тождественно равен 1, поэтому плотность pt1 ,...,tn (x1 , . . . , xn ) распределения вектора (w(t1 ), w(t2 ), . . . , w(tn )) в точке x = (x1 , . . . , xn ) равна плотности распределения вектора (w(t1 ) − w(t0 ), w(t2 ) −

74

w(t1 ), . . . , w(tn ) − w(tn−1 )) в точке (x1 , x2 − x1 , . . . , xn − xn−1 ), т.е. pt1 ,...,tn (x1 , . . . , xn ) = p∆ t1 ,...,tn (x1 , x2 − x1 , . . . , xn − xn−1 ) = ) ( n X (xj − xj−1 )2 1 = = Qn p exp − 2(t − t ) 2π(t − t ) j j−1 j j−1 j=1 j=1 ( Ã n−1 !) n−1 X 1 1 X 2 ∆tj+1 + ∆tj x2n xi xj+1 = Qn p exp − x , + −2 2 j=1 j ∆tj ∆tj+1 ∆tn ∆tj+1 2π∆tj j=1 j=1 где ∆tj = tj − tj−1 , j = 1, ..., n, t0 = 0. Плотность невырожденного n-мерного нормального распределения с вектором математических ожиданий a и матрицей ковариаций Σ (по аналогии с плотностью 2 одномерного нормального распределения σ√12π exp{− (x−a) }) имеет вид 2σ 2 ½ ¾ 1 1 −1 T p(x) = p exp − (x − a)Σ (x − a) , 2 (2π)n det Σ где T — символ транспонирования. Таким образом, в нашем случае ° ∆t +∆t ° 1 2 − 1 0 ... 0 0 ° ∆t1 ∆t2 ∆t2 ∆t3 +∆t2 1 ° − 1 − ∆t3 . . . 0 0 ° ∆t2 ∆t2 ∆t3 ° ∆t4 +∆t3 1 0 − ∆t3 ... 0 0 ° ∆t3 ∆t4 Σ−1 = ° . . . ... . . ° ° 1 n +∆tn−1 ° 0 0 0 . . . ∆t − ∆tn−1 ∆tn ∆tn ° 1 ° 0 0 0 ... − ∆t1 n ∆tn

° ° ° ° ° ° ° °. ° ° ° ° °

Определение. Случайные процессы ξ(t) и η(t), t ∈ T , называются стохастически эквивалентными (или просто эквивалентными), если P{ξ(t) = η(t)} = 1 при всех t ∈ T . Случайный процесс η(t), стохастически эквивалентный случайному процессу ξ(t), называют модификацией процесса ξ(t). У эквивалентных случайных процессов ξ(t) и η(t) любые конечномерные распределения совпадают, так как P{ξ(ti ) = η(ti ), i = 1, . . . , n} = 1 при любых t1 < t2 < . . . < tn . Пример 10.1. Пусть ξ(t) ≡ 0, t ∈ [0, 1], — случайный процесс, траектории которого тождественно равны 0. Введем функцию r(t), которая равна 1, если t принадлежит множеству Q рациональных чисел, и равна 0 в остальных случаях. Пусть γ — случайная величина, равномерно распределенная на [0, 1]. Рассмотрим случайный процесс η(t) = r(t + γ). Тогда при любом t ∈ [0, 1] P{ξ(t) 6= η(t)} = P{r(t + γ) = 1} = P {γ + t ∈ Q} = 0, т.е. ξ(t) и η(t) эквивалентны и все их конечномерные распределения совпадают. Однако легко указать свойство, различающее эти процессы с вероятностью 1: P{ sup ξ(t) = 0} = 1,

P{ sup η(t) = 1} = 1.

t∈[0,1]

t∈[0,1]

75

Этот пример показывает, что для любого процесса имеется бесконечное множество эквивалентных ему процессов, обладающих отличными от него вероятностными свойствами. Однако в более узких классах случайных процессов (например, в классе процессов с непрерывными траекториями) такие примеры построить нельзя. Утверждение 10.1. Пусть ξ(t) и η(t), t ∈ [0, 1], — два случайных процесса, определенных на одном и том же вероятностном пространстве. Если существуют такое счетное детерминированное множество A ⊂ [0, 1] и такой функционал F: RA → R[0,1] , что P{ξ(x) = η(x)} = 1 для любого x ∈ A и P{ξ(t) = F ({ξ(x)}x∈A )(t) ∀ t ∈ [0, 1]} = = P{η(t) = F ({η(x)}x∈A )(t) ∀ t ∈ [0, 1]} = 1, то P{ξ(t) = η(t) ∀t ∈ [0, 1]} = 1. Действительно, при этих условиях {ξ(t) = η(t) ∀ t ∈ [0, 1]} = {ξ(x) = η(x) ∀x ∈ A}, а P{ξ(x) = η(x) ∀x ∈ A} = 1 как вероятность пересечения счетного множества событий, имеющих единичные вероятности. Условиям утверждения 10.1 удовлетворяют случайные процессы, траектории которых с вероятностью 1 непрерывны (тогда в качестве A можно взять множество рациональных чисел) или имеют только изолированные точки разрыва. Значит, вероятностные свойства случайных процессов с непрерывными (или имеющими только изолированные разрывы) траекториями однозначно определяются свойствами их конечномерных распределений. Следующая теорема указывает условия существования непрерывной модификации случайного процесса в терминах конечномерных распределений. Теорема 10.1 (Колмогоров). Пусть ξ(t) — случайный процесс на [0, 1]. Если существуют такие b > a > 0, c < ∞, что при любых t, t + h ∈ [0, 1] M|ξ(t + h) − ξ(t)|a ≤

c|h| | log |h||1+b

(53)

то ξ(t) имеет непрерывную модификацию. Доказательство. Пусть выполнено условие (1). Будем использовать обозначение ∆h ξ(t) = ξ(t + h) − ξ(t). Тогда по неравенству Чебышева при ε(h) = | log |h||−β , 1 < β < b/a, P{|∆h ξ(t)| > ε(h)} 6

c|h| c|h| M|∆h ξ(t)|a def 6 = = q(h), a 1+b−aβ 1+δ ε (h) | log |h|| | log |h||

(54)

где δ = b − aβ > 0. Заметим, что ε(h) ↓ 0 и q(h) ↓ 0 при |h| ↓ 0. Кроме того, из определений функций ε(h) и q(h)следует, что ∞ ∞ X ¡1¢ X c∗ < ∞, ε 2n = nβ n=1 n=1

∞ X n=1

76

n

2 q

¡1¢ 2n

∞ X c∗∗ < ∞. = n1+δ n=1

Построим последовательность непрерывных случайных процессов ξn (t), которая при n → ∞ будет равномерно по t ∈ [0, 1] сходиться к предельному случайному процессу η(t). Определим ξn (t) как непрерывную функцию, совпадающую с ξ(t) при t = 2rn , r = 0, 1, . . . , 2n , и линейную между этими точками: ¡ ¢ ¡ ¢ ¡ ¢ ξn (t) = ξ 2rn + 2n t − 2rn ∆1/2n ξ 2rn , 2rn 6 t 6 r+1 . 2n r Таким образом, траектории £ r r+1 ¤ процессов ξn (t) и ξn+1 (t) совпадают в точках вида 2n , и на отрезке их графики треугольник с вершинами в точках 2n ¢¢ ¡ ¡ r ¢¢ ¡ 2r+1 2n¡,2r+1 ¡ r+1образуют ¢¢ ¡ r любом r+1 , ξ 2n , 2n+1 , ξ 2n+1 , 2n , ξ 2n . 2n Дальнейшее доказательство разобьем на две леммы. Лемма 10.2. Последовательность ξn (t) при n → ∞ с вероятностью 1 сходится равномерно по t ∈ [0, 1] к предельному случайному процессу η(t), который непрерывен с вероятностью 1. Лемма 10.3. Случайные процессы ξ(t) и η(t) эквивалентны. Доказательство леммы 10.2. Если 2rn 6 t 6 r+1 , то 2n ¯ ¡ ¢ 1 ¡ ¡ r+1 ¢ ¡ ¢¢¯ |ξn+1 (t) − ξn (t)| 6 ¯ξ 2r+1 − 2 ξ 2n + ξ 2rn ¯ = 2n+1 ¯¡ ¡ ¡ 2r ¢¢ ¡ ¡ 2r+1 ¢ ¡ 2r+2 ¢¢¯ ¢ ¯6 = 12 ¯ ξ 2r+1 − ξ + ξ − ξ n+1 n+1 n+1 2 2 2 2n+1 ¯ ¯ ¯ h¯ i ¡ r ¢¯ ¯ ¡ 2r+1 ¢¯ ¯ 1 ξ 1 ξ 6 21 ¯∆ n+1 + ¯∆ n+1 ¯ . 2n ¯ 2n 2

2

Значит, в силу (54) ( def

Pn,r = P n ³

sup r/2n 6t6(r+1)/2n

|ξn+1 (t) − ξn (t)| > ε

1 2n+1

¢

) 6

o 6P + > ε( 2n+1 ) 6 n o n o r 2r+1 1 1 1 1 ξ( n )| > ε( n+1 ) 1 ξ( n+1 )| > ε( n+1 ) 6 P |∆ n+1 + P |∆ 6 2q( 2n+1 ). 2 2 2 2 n+1 1 2

r 1 ξ( n )| |∆ n+1 2 2

2r+1 1 ξ( n+1 )| |∆ n+1 2 2

2

Далее,

1

2

½ P

´

¡

sup |ξn+1 (t) − ξn (t)| > ε

06t61

¡

1 2n+1

¢

¾ 6

n −1 2X

Pn,r 6 2n+1 q

¡

1 2n+1

¢

.

r=0

P∞ n 1 По определению функции q ряд n=1 2 q( 2n ) сходится; следовательно, согласно лемме Бореля–Кантелли для почти всех ω ∈ Ω существует такое n(ω) < ∞, что ¡ 1 ¢ sup |ξn+1 (t) − ξn (t)| < ε 2n+1 при всех n > n(ω). t∈[0,1]

Но ряд

P

ε

¡1¢

тоже сходится, поэтому с вероятностью 1 X ¡ ¢ def sup |ξn (t) − ξm (t)| 6 ε 21k = εn → 0 при m, n → ∞, m > n. n≥1

2n

t∈[0,1]

k>n

Значит, последовательность {ξn (t)} почти наверное фундаментальна и для почти всех ω существует limn→∞ ξn (t) = η(t), более того, sup |ξn (t) − η(t)| 6 εn t∈[0,1]

77

при всех n > n(ω),

т.е. для почти всех ω ∈ Ω сходимость ξn (t) → η(t) (n → ∞) равномерна на [0, 1]. Так как траектории ξn (t) непрерывны, то и их равномерные пределы непрерывны, т.е. случайный процесс η(t) непрерывен почти наверное. Лемма 10.2 доказана. Доказательство леммы 10.3. Покажем, что ξ(t) и η(t) эквивалентны, т. е. что P{ξ(t) = η(t)} для любого t ∈ [0, 1]. Для этого заметим сначала, что если t = 2rn , то ξn+k (t) = ξ(t) = η(t) для каждого k > 0. Если же t ∈ / { 2rn , r, n ∈ {0, 1, . . .}}, то n числа rn = [t2 ] удовлетворяют условиям rn → t (n → ∞), 2n

0
rn 1 < n (n = 1, 2, . . .). n 2 2

Тогда согласно (54) ¯ ©¯ ¡ ¢ ¡ ¢ª P ¯ξ 2rnn − ξ(t)¯ > ε 21n 6 ¯ ©¯ ¡ ¢ ¡ ¢ª ¡ ¢ ¡ ¢ 6 P ¯ξ 2rnn − ξ(t)¯ > ε t − 2rnn 6 q t − 2rnn 6 q 21n . ¡ ¢ P Так как ряд n>1 q 21n сходится, то по лемме Бореля–Кантелли для каждого t © ¡ ¢ ª P ξ 2rnn → ξ(t), n → ∞ = 1.

(55)

С другой стороны, согласно лемме 1 траектории случайного процесса η(t) с вероятностью 1 непрерывны, т.е. для каждого t © ¡ ¢ ª P η 2rnn → η(t), n → ∞ = 1. (56) ¡ ¢ ¡ ¢ Из равенств (55), (56) и ξ 2rnn = η 2rnn следует теперь, что P{ξ(t) = η(t)} = 1 при любом t. Тем самым лемма 3 и теорема доказаны. Пример 10.2: пуассоновский процесс. Если ξ(t) — пуассоновский процесс с интенсивностью λ, то его траектории разрывны; для такого процесса при любом a>0 M|ξ(t + h) − ξ(t)|a > P{ξ(t + h) > ξ(t)} = λh + o(h), h ↓ 0, т. е. условия теоремы Колмогорова не выполняются, однако отличие состоит только в отсутствии медленно убывающего при h → 0 множителя | ln |h||−1−b . Это показывает, что условия теоремы близки к необходимым. Следствие. Винеровский процесс имеет модификацию, траектории которой с вероятностью 1 непрерывны. Доказательство. Воспользуемся теоремой Колмогорова об условиях существования непрерывной модификации случайного процесса с a = 4: 1 M(w(t + h) − w(t))4 = √ 2π

Z∞

u2

u4 e 2|h| du. −∞

Четвертый момент (эксцесс) стандартного нормального распределения N (0, 1) с нулевым средним и единичной дисперсией равен 3; в нашем случае w(t + h) − w(t) имеет нормальное распределение N (0, |h|) c дисперсией |h|, значит, его эксцесс равен h 3h2 = o( (klnh|) 6 , h ↓ 0. 78

Лемма 10.4. Винеровский процесс w(t), t ≥ 0, имеет такие же конечномерные распределения, как случайные процессы wa (t) = a−1/2 w(at), t ≥ 0, где a > 0 — любое, ¡ ¢ и w∗ (t) = tw 1t , t ≥ 0. Доказательство. Проверим для каждого из процессов wa (t) и w∗ (t) выполнение условий а)–в) из определения стандартного винеровского процесса. Для процесса wa условие а), т.е. P{wa (t) = 0} = 1, очевидно, выполняется; для процесса w∗ (t) это условие проверим позже. Условие б) выполняется как для wa (t), так и для w∗ (t), поскольку используемые при переходе от w(t) к этим процессам преобразования оси времени монотонны, значит, любые непересекающиеся интервалы они переводят в непересекающиеся интервалы, и тогда независимые приращения процессов на интервалах-прообразах переходят в независимые приращения на образах. Проверка условия в) сводится к простым вычислениям: если 0 < s < t, то wa (t) − wa (s) = a−1/2 (w(at) − w(as)) имеет нормальное распределение N (0, t − s), так как w(at) − w(as) имеет распределение N (0, a(t − s)); с другой стороны, ¡ ¢ ¡ ¢ ¡ ¢ ¡ ¡ ¢ ¡ ¢¢ w∗ (t) − w∗ (s) = tw 1t − sw 1s = (t − s)w 1t − s w 1s − w 1t ¡ ¢ ¡ ¡ ¢ ¡ ¢¢ и по свойству б) (t³ − s)w ´1t и s w 1s − w 1t независимы и имеют нормальные ¡ ¢¢ ¡ 2 и N 0, s2 1s − 1t соответственно, значит, их сумма распределения N 0, (t−s) t w∗ (t) − w∗ (s) имеет нормальное распределение ³ ¡ ¢´ 2 2 1 1 N 0, (t−s) + s − = N (0, t − s). t s t Непрерывность траекторий w∗ (t) следует из теоремы Колмогорова (так как двумерные распределения, определяющие распределения приращений w¢∗ (t) и w(t), ¡ 1 совпадают). Следовательно, w∗ (0) =¢ 0 как предельная точка для w∗ N = N1 w(N ) ¡ ¢ ¡ при N → ∞: Mw∗ N1 = 0, Dw∗ N1 = N1 . Лемма доказана. Лемма 10.5. Справедливо соотношение ½ P

¾ sup w(u) ≥ x 0≤u≤t

2 = 2P{w(t) ≥ x} = √ 2πt

Z∞ e−v

2 /2t

dv.

x

Доказательство. Аналогично доказательствам неравенств для функции распределения максимумов случайных блужданий и мартингалов введем случайную величину τx = inf{u : w(u) > x}. Она определена, так как траектории w(t) с вероятностью 1 непрерывны. Так же, как и для последовательностей, τx есть момент остановки: ½ ¾ def {τx > v} = sup w(u) < x ∈ Fv = σ{w(u), u 6 v}, 06u6v ) ( ∞ \ sup w(u) < x, sup w(u) = x ∈ Fv . {τx = v} = n=1

06u6v

1 06u6v− n

79

Значит, при τx = v, v 6 t, величина w(t)−w(v) = w(t)−w(τx ) не зависит от поведения процесса w(u) на [0, v] и имеет распределение N (0, t − v), т. е. для каждых v ∈ [0, t] и x>0 P{w(t) > x|τx = v} = 21 , или P{w(t) > x|τx } = 21 . Вычисляя математическое ожидание по τx , завершаем доказательство: P{w(t) > x} = MP{w(t) > x|τx }χ{τx 6 t} = ½ ¾ 1 1 = 2 P{τx 6 t} = 2 P sup w(u) > x . 06u6v

Теорема 10.2 (Закон повторного логарифма). Для процесса броуновского движения справедливы соотношения ½ ¾ ½ ¾ w(t) w(t) P lim sup √ = 1 = P lim inf √ = −1 = 1, t→∞ t→∞ 2t ln ln t 2t ln ln t         w(t) w(t) q q = 1 = P lim inf = −1 = 1. P lim sup  t↓0   t↓0  2t ln ln 1 2t ln ln 1 t

t

Доказательство. Заметим прежде всего, что в силу леммы 2 распределения случайных процессов √

w(t) 2t ln ln t

и

√

tw( 1t ) 2t ln ln t

w(u)

=q

2u ln ln u1

, u=

1 , t

совпадают, и так как u = 1t → ∞, когда t → 0, то второе утверждение теоремы следует из первого. В начале этого курса был доказан закон повторного логарифма для случайного блуждания {Sn }, построенного по последовательности независимых случайных величин, имеющих стандартные нормальные распределения. Последовательность значений w(n) образует именно такое случайное блуждание: приращения w(n) − w(n − 1) независимы и имеют стандартные нормальные распределения, так что последовательность {w(n), n > 0} имеет такое же распределение, как {Sn }. Поэтому закон повторного логарифма для стандартного винеровского процесса вытекает из закона повторного логарифма для случайного блуждания {Sn } и из следующего утверждения. Лемма 10.4. Справедливо соотношение ¯ ¯ ¾ ½ ¯ w(t) ¯ w([t]) ¯ = 0 = 1. −√ P lim sup ¯¯ √ t→∞ 2t ln ln t 2t ln ln t ¯ Доказательство леммы 10.4. Из определения винеровского процесса и из леммы 10.3 следует, что при любом n = 0, 1, . . . ½ ¾ ½ ¾ ½ ¾ P sup |w(t) − w(n)| > x 6 P sup w(t) > x + P inf w(t) < −x = n6t6n+1

½ = 2P

¾ sup w(t) > x

06t61

06t61

06t61 Z∞

4 =√ 2π

e−v x

80

2 /2

dv <

2 −x2 /2 e , x

x > 0.

Рассмотрим последовательность событий ½ ¾ √ An = sup |w(t) − w(n)| > 2n . n6t6n+1

Согласно последней оценке X

P{An } 6 C

n>0

X

e−n < ∞.

n>0

Поэтому при N → ∞ ( ) ½ ¾ [ X |w(t) − w([t])| √ P sup >1 =P An 6 P{An } → 0, 2t t>N n>N n>N откуда и следует утверждение леммы 10.4. Теорема 10.2 доказана. qТаким образом, при любом t приращения w(t+h)−w(t) при h ↓ 0 имеют функции ± 2h ln ln h1 своими «асимптотическими огибающими», т. е. значения верхнего и нижнего пределов отношений w(t + h) − w(t) q 2h ln ln h1

при h ↓ 0

равны ±∞ с вероятностью 1. Tраектории w(t) и непрерывны, но в любой точке с вероятностью 1 они имеют верхнюю правостороннюю производную, равную ∞, и нижнюю правостороннюю производную, равную −∞. То же самое верно и для левосторонних производных. Это свойство траекторий броуновского движения можно выразить в терминах вариации, которая для функции действительной переменной f (t) на отрезке [a, b] определяется равенством Var[a,b] f (t) = sup

k X

|f (tj ) − f (tj−1 )|,

j=1

где sup берется по всем наборам a = t0 < t1 < . . . < tk = b, k = 1, 2, . . . Для дифференцируемой функции вариация совпадает с интегралом от модуля ее производной. Лемма 10.5. Если w(t) — процесс броуновского движения, то P{Var[0,1] f (t) = ∞} = 1 и для любого t > 0 при любом ε > 0  ¯ ¯ ¯  ¯¯ X ¯ (w(tj ) − w(tj−1 ))2 − t¯¯ > ε = 0. lim P ¯¯ max ∆tj →0  ¯ ¯ j: tj 6t 81

Доказательство. Для заданного набора {tj } положим ∆tj = tj − tj−1 . Тогда по свойствам процесса броуновского движения M|w(tj ) − w(tj−1 )| = M|w(∆tj )|. Случайная величина w(∆tj ) имеет нормальное распределение со средним 0 и дисперсией ∆tj . Поэтому µ ¶ Z∞ 2 x2 dx = p x exp − dx = 2∆tj 2π∆tj −∞ 0 s r r Z∞ ∆tj 2∆tj 2 exp(−y)dy = =2 > ∆tj , 2π π π max ∆tj 0 ¢ ¡ D|w(∆tj )| = M(w(∆tj ))2 − (Mw(∆tj ))2 = ∆tj 1 − π2 ,

1 M|w(∆tj )| = p 2π∆tj

Z∞

µ

x2 |x| exp − 2∆tj

¶

т.е. (ввиду того, что приращения винеровского процесса независимы) s X 2 m({tj }) = M |w(tj ) − w(tj−1 )| > (b − a), π max ∆tj j: tj 6t X ¡ ¢ |w(tj ) − w(tj−1 )| = 1 − π2 (b − a). d({tj }) = D j: tj 6t

Из этих соотношений следует, что m({tj }) → ∞ при max ∆tj → ∞, и по неравенству Чебышева для любого x < ∞ X P{ |w(tj ) − w(tj−1 )| < x} 6 j: tj 6t

¯ ¯  ¯ ¯¯ X  ¯ d({tj }) ¯ ¯ 6P ¯ |w(tj ) − w(tj−1 )| − m({tj })¯ > m({tj }) − x 6 →0 ¯  (m({tj }) − x)2 ¯ j: tj 6t при max ∆tj → ∞, что эквивалентно первому утверждению леммы. Для доказательства второго утверждения тоже вычислим математические ожидания и дисперсии независимых слагаемых: M(w(tj ) − w(tj−1 ))2 = Mw2 (∆tj ) = ∆tj , M(w(tj ) − w(tj−1 ))4 = Mw4 (∆tj ) = 3(∆tj )2 , D(w(tj ) − w(tj−1 ))2 = Mw4 (∆tj ) − (Mw2 (∆tj ))2 = = 3(∆tj )2 − (∆tj )2 = 2(∆tj )2 . Отсюда следуют соотношения X X M (w(tj ) − w(tj−1 ))2 = ∆tj → t, j: tj 6t

D

X

j: tj 6t

(w(tj ) − w(tj−1 ))2 = 2

j: tj 6t

X

(∆tj )2 → 0,

j: tj 6t

из которых по неравенству Чебышева следует и второе утверждение леммы. 82

11. Стационарные случайные процессы Определение. Последовательность ξ = {. . . , ξ−1 , ξ0 , ξ1 , . . .} называется стационарной в узком смысле, если при любом целом k > 0 распределение вектора (ξn , ξn+1 , . . . , ξn+k ) не зависит от n. Последовательность ξ = {. . . , ξ−1 , ξ0 , ξ1 , . . .} называется стационарной в широком смысле, если Mξn и cov(ξn , ξn+r ) существуют и не зависят от n. Эти классы последовательностей пересекаются, но не вложены один в другой. Примеры. 11.1. Последовательность независимых одинаково распределенных случайных величин с конечными математическим ожиданием и дисперсией стационарна в обоих смыслах. 11.2. Последовательность независимых одинаково распределенных случайных величин с бесконечным математическим ожиданием или дисперсией стационарна только в узком смысле. 11.3. Последовательность независимых случайных величин {ξn }, в которой ξ2n , n ∈ Z, имеют стандартное нормальное распределение, а ξ2n+1 , n ∈ Z, принимают значения +1 и −1 с вероятностями 12 , стационарна в широком смысле, но не в узком. 11.4. Пусть η = {ηn } и γ = {γn } — независимые последовательности независимых случайных величин, и при любом n ∈ Z случайная величина ηn имеет стандартное нормальное распределение, а P{γn = 1} = P{γn = −1} = 12 . Случайная последовательность ξ, удовлетворяющая условию P{ξ = η} = P{ξ = γ} = 21 , является стационарной как в узком, так и в широком смысле. Пусть ξ = {ξn } — стационарная в узком смысле последовательность со значениями в R. Определим отображение θ : RZ = {x = {xn }n∈Z } → RZ равенствами (θx)k = (x)k+1 = xk+1 . Отображение θ взаимно однозначно и P{θξ ∈ B} = P{ξ ∈ B} для любого измеримого множества B в RZ . Это свойство отображения называют сохранением меры. Можно провести построение и в обратном порядке. Определение. Пусть (Ω, F, P) — основное вероятностное пространство. Преобразование T : Ω → Ω будем называть преобразованием, сохраняющим меру, если: 1) преобразование T взаимно однозначно, 2) преобразования T и T −1 измеримы, т. е. T −1 A = {ω : T ω ∈ A} ∈ F, T A = {T ω : ω ∈ A} ∈ F для любого A ∈ F, 3) преобразование T сохраняет меру: P{A} = P{T A} для любого A ∈ F. Пусть на (Ω, F, P) определены сохраняющее меру преобразование T и случайная величина ξ = ξ(ω). Тогда последовательность случайных величин ξ = {ξ(T n ω)}n∈Z , где T n — n-я степень T , является стационарной в узком смысле. Действительно, если B — измеримое подмножество RZ и A = {ω : ξ(ω) ∈ B}, A1 = {ω : ξ(T ω) ∈ B}, то ξ(ω) = {ξ(T n ω)}n∈Z и (ξ(T ω))k = (ξ(ω))k+1 . Поэтому ω ∈ A1 тогда 83

и только тогда, когда T ω ∈ A, или A1 = T −1 A. Ввиду того, что T сохраняет меру, имеем P{T −1 A} = P{A} и, значит, P{A1 } = P{A}, т. е. P{ξ(ω) ∈ B} = P{ξ(T ω) ∈ B} и по индукции P{ξ(ω) ∈ B} = P{ξ(T n ω) ∈ B} при любом n ∈ Z. Пример 11.5. Пусть (x, y), x, y ∈ [0, 1], — точка единичного квадрата и x = 0, x1 x2 x3 . . . , y = 0, y1 y2 y3 . . . — записи чисел x и y в двоичной системе счисления. Сопоставим паре (x, y) бесконечную в обе стороны последовательность 0 и 1 с запятой, разделяющей знаки x и y: . . . y3 y2 y1 , x1 x2 x3 . . . Преобразование T : [0, 1]2 → [0, 1]2 , соответствующее переносу запятой на один разряд вправо, задается формулой (x, y) 7→ ({2x}, ([2x] + y)/2), где {·} и [·] обозначают дробную и целую доли числа. Пусть ω = (x, y) — случайная точка, имеющая равномерное распределение в Ω = [0, 1]2 , ξ(ω) = x1 — случайная величина, равная первому знаку после запятой. Тогда {ξ(T n ω)} — последовательность независимых случайных величин, P{ξ(T n ω) = 0} = P{ξ(T n ω) = 1} = 12 . Это построение еще раз показывает, что модели случайных явлений, рассматриваемые в теории вероятностей, по сути детерминированные: вся траектория стационарного в узком смысле случайного процесса определяется точкой ω пространства элементарных событий и сохраняющим меру детерминированным преобразованием T . Вся «случайность» состоит в выборе точки ω. Теорема Пуанкаре. Пусть (Ω, F, P) — вероятностное пространство. Если T — сохраняющее меру преобразование Ω и A ∈ F , то P{ω ∈ A : T n ω ∈ / A для всех достаточно больших n} = 0. Доказательство. Положим N = {ω ∈ A : T n ω ∈ / Aпри всехn > 1}. Так как n n {ω : T ω ∈ A} ∈ F , то N = A\ ∪n>1 {ω : T ω ∈ A}, т. е. N ∈ F . Далее, N ∩ T −n N = ∅ при любом n > 1 и T −m ∩ T −(m+n) N = T −m (N ∩ T −n N ) = ∅. Таким образом, T −n N, n = 0, 1, . . ., — совокупность попарно не пересекающихся множеств, меры которых одинаковы. Следовательно, P{N } = 0. Наконец, если B = {ω ∈ A : T n ω ∈ / A для всех достаточно больших n}, то [ B= T m N, m>0

и поэтому P{B} = 0. Теорема доказана. Следствие 11.1. Если ω ∈ A, то P{ω ∈ A : |{n > 1 : T n ω ∈ A}| = ∞} = P{A}. Определение. Пусть (Ω, F, P) — вероятностное пространство, T : Ω → Ω — сохраняющее меру преобразование. Множество A ∈ F называется инвариантным относительно T , если T A = A. Множество A называется почти инвариантным, если P{A M T A} = 0, где A M B = AB ∪ AB — симметрическая разность множеств A и B. Случайная величина ξ = ξ(ω) называется почти инвариантной, если P{ζ(ω) = ζ(T ω)} = 1.

84

Совокупность почти инвариантных множеств образует σ-алгебру I. Эта σ-алгебра всегда не пуста: ∅, Ω ∈ I. Определение. Сохраняющее меру преобразование T называется эргодическим (метрически транзитивным), если каждое почти инвариантное множество имеет вероятность 0 или 1. Стационарная в узком смысле последовательность ξ эргодична, если эргодично соответствующее ей преобразование сдвига T . Теорема 11.2. Преобразование T , сохраняющее меру, эргодично тогда и только тогда, когда каждая почти инвариантная случайная величина постоянна с вероятностью 1. Доказательство. а) Пусть T эргодично и ζ — почти инвариантная случайная величина: P{ζ(ω) = ζ(T ω)} = 1. Тогда Bv = {ω : ζ(ω) 6 v} ∈ I при любом v ∈ R, значит, P{Bv } равно 0 или 1 при любом v. Положим V = sup{v : P{Bv } = 0}. Так как Bv ↑ Ω при v ↑ ∞ и Bv ↓ ∅ при v ↓ −∞, то P{B−v } = 0 и P{Bv } = 1 при достаточно больших v, т. е. |V | < ∞. Далее, (∞ ½ ¾) [ 1 P{ζ(ω) < V } = P = 0. ζ(ω) < V − n n=1 Аналогично можно показать, что P{ζ(ω) > V } = 0. Значит, P{ζ(ω) = V } = 1. б) Обратно, пусть любая случайная величина почти инвариантна относительно T . Рассмотрим любое почти инвариантное множество B и случайную величину IB — индикатор множества B. Эта случайная величина на множестве меры 1 принимает только 2 значения: 0 и 1. Поскольку она почти инвариантна, постольку P{B} равно либо 0, либо 1. Поэтому T эргодично. Теорема доказана. Теорема 11.3. Сохраняющее меру преобразование T эргодично тогда и только тогда, когда для любого множества A ∈ F , P{A} > 0, (∞ ) [ P T n A = 1. n=0

Доказательство. Пусть T эргодично и B =

∞ S

T n A. Тогда T B ⊂ B. Так

n=0

как T сохраняет меру, то P{T B} = P{B}. Значит, P{B M T B} = 0, т.е. B почти инвариантно. Так как T эргодично, то P{B} равно 0 или 1. Но P{B} > P{A} > 0, следовательно, P{B} = 1. Обратно, если T не эргодично, то существует почти инвариантное множество A ∈ I с 0 < P{A} < 1. Тогда P{T n A M A} = 0 при любом n и Ã∞ ( !) [ [ P{B} = P A (T n A M A) = P{A} < 1. n=1

Теорема доказана. Для теории вероятностей представляет интерес является свойство ослабления зависимостей между элементами стационарной последовательности. 85

Определение. Стационарная в узком смысле последовательность ξ = {ξn } со значениями в измеримом пространстве S Z обладает свойством сильного перемешивания, если для любых измеримых множеств A ∈ S {...,−1,0} и B ∈ S {0,1,...} P{{ξt }t6s ∈ A, {ξt }t>s+n ∈ B} → P{{ξt }t60 ∈ A}P{{ξt }t>0 ∈ B},

n → ∞.

Условие сильного перемешивания удобно использовать при доказательстве предельных теорем. Оно близко к условию эргодичности, но не совпадает с ним. Следующая теорема обобщает закон больших чисел на стационарные последовательности; в отличие от обычного закона больших чисел предел средних арифметических может быть случайной величиной. Теорема Биркгофа–Хинчина. Если ξ = {ξk }k∈Z — стационарная в узком смысле последовательность, I — σ-алгебра почти инвариантных множеств и M|ξ0 | < ∞, то ½ X ¾ n−1 1 P ξk → M{ξ0 |I}, n → ∞ = 1. (57) k=0 n В частности, если последовательность {ξk } эргодична, то ½ X ¾ n−1 1 P ξk → Mξ0 , n → ∞ = 1. k=0 n

(58)

Доказательство. Так как для эргодической последовательности σ-алгебра I состоит только из множеств меры 0 и 1, то P{M{ξ0 |I} = Mξ0 } = 1, и поэтому достаточно доказать только первое утверждение. Пусть T — сохраняющее меру преобразование сдвига, соответствующее ξ. Тогда ξk (ω) = ξ(T k ω), ξ(ω) = ξ0 (ω). Лемма 11.1. Если выполнены условия теоремы Биркгофа–Хинчина и S0 = 0, Sn (ω) =

n−1 X

ξ(T k ω),

Mk (ω) = max{0, S1 (ω), . . . , Sk (ω)},

k=0

то при любом n > 1 Mξ(ω)IMn >0 (ω) > 0. Доказательство леммы. По условию Sk (ω) 6 Mn (ω) при всех 0 6 k 6 n и ω ∈ Ω, поэтому ξ(ω) + Mn (T ω) > ξ(ω) + Sk (T ω) = Sk+1 (ω). Таким образом, ξ(ω) > Sk (ω) − Mn (T ω) при k = 1, . . . , n, т. е. ξ(ω) > max{S1 (ω), . . . , Sn (ω)} − Mn (T ω). С другой стороны, {Mn (ω) > 0} = {max{S1 (ω), . . . , Sn (ω)} > 0} и поэтому Mξ(ω)IMn >0 (ω) > M(max{S1 (ω), . . . , Sn (ω)} − Mn (T ω))IMn >0 (ω) > > M(Mn (ω) − Mn (T ω))IMn >0 (ω) > M(Mn (ω) − Mn (T ω)) = 0. Лемма доказана. 86

Утверждение теоремы выполняется или не выполняется одновременно для любых таких стационарных последовательностей {ξn } и {ηn }, что ηn = ξn −∆, где ∆ — почти инвариантная относительно T случайная величина. Выбирая в качестве ∆ величину M{ξ|I}, получаем, что достаточно рассмотреть случай, когда M{ξ|I} = 0. Положим S = lim sup n1 Sn , S = lim inf n1 Sn . Докажем что справедливо равенство n→∞

n→∞

P{0 6 S 6 S 6 0} = 1, из которого следует утверждение теоремы. Так как S(ω) = S(T ω), то S инвариантна и множество Bε = {ω : S(ω) > ε} тоже инвариантно при любом ε > 0. Положим ξ ∗ (ω) = (ξ(ω) − ε)IBε (ω), Sk∗ (ω) = ξ ∗ (ω) + . . . + ξ ∗ (T k−1 ω), Mk∗ (ω) = max{0, S1∗ (ω), . . . , Sk∗ (ω)}. Согласно лемме Mξ ∗ IMn∗ >0 > 0. Но при n ↑ ∞ ½ ¾ ½ ¾ ∗ ∗ ∗ {Mn > 0} = max Sk > 0 ↑ sup Sk > 0 = 16k6n k>1 ½ ¾ ½ ¾\ ∗ S Sk = sup k > 0 = sup >ε Bε = Bε , k>1 k k>1 k ½ ¾ Sk потому что Bε = {S > ε} ⊆ sup k > ε . k>1

Так как M|ξ ∗ | 6 M|ξ| + ε, то по теореме о мажорируемой сходимости 0 6 Mξ ∗ IMn∗ >0 → Mξ ∗ IBε . Следовательно, 0 6 Mξ ∗ IBε = M(ξ − ε)IBε = MξIBε − εP{Bε } = = MIBε M{ξ|I} − εP{Bε } = −εP{Bε }. Поэтому P{Bε } = 0 при любом ε > 0, значит, P{S 6 0} = 1. Аналогично, рассматривая вместо последовательности {ξn } последовательность {−ξn }, получим: ¡ ¡ ¢ ¢ lim sup −Sn n = − lim inf Snn = −S, P{−S 6 0} = P{S > 0} = 1. n→∞

n→∞

Теорема доказана. Рассмотрим теперь некоторые свойства случайных процессов, стационарных в широком смысле, т. е. таких случайных последовательностей ξ = {. . . , ξ−1 , ξ0 , ξ1 , . . .}, что Mξn и cov(ξn , ξn+r ) существуют и не зависят от n. Нам удобнее будет считать, что значениями ξn являются комплексные числа. Для комплекснозначных случайных величин ξ, η с M|ξ|2 < ∞, M|η|2 < ∞ положим (ξ, η) = Mξη,

cov(ξ, η) = M(ξ − Mξ)(η − Mη), 87

где η — число, комплексно сопряженное с η. Функция R(n) = cov(ξt , ξt+n ), n ∈ Z, называется ковариационной функцией последовательности ξ, а ρ(n) = R(n) — R(0) корреляционной функцией. Ковариационная функция последовательности ξ положительно определена: если c = Mξn , то для любых комплексных чисел a1 , . . . , am и любых t1 , . . . , tm ∈ Z, m > 1, m X

M

à m X i=1

ai aj R(ti − tj ) =

i,j=1

ai (ξti − c)

m X

ai aj M(ξti − c)(ξtj − c) =

i,j=1

!Ã m X

!

aj (ξtj − c)

¯Ã !¯2 m ¯ ¯ X ¯ ¯ ai (ξti − c) ¯ > 0. = M¯ ¯ ¯ i=1

j=1

Примеры. 11.6. Пусть ξn = ξg(n), где Mξ = 0, M|ξ|2 < ∞, а g = g(n) — некоторая функция, g(0) = 1. Тогда Mξt ξt+n = M|ξ|2 g(t)g(t + n). Последовательность {ξn } будет стационарной тогда и только тогда, когда M|ξn |2 = |g(n)|2 M|ξ|2 = M|ξ0 |2 = M|ξ|2 ,

n ∈ Z,

и g(t)g(t + n) зависит только от n. Из первого условия следует, что |g(n)| = 1, т. е. g(n) = eiλ(n) при некоторой действительной функции λ(n), λ(0) = 0, а из второго — что ei(λ(t)−λ(t+n)) зависит только от n, а это возможно только при λ(n) = nλ(1) = nλ. Таким образом, стационарная последовательность имеет вид ξn = ξeinλ , n ∈ Z, а ее ковариационной функцией является R(n) = M|ξ|2 e−inλ . 11.7. Если стационарные в широком смысле случайные последовательности {ξn } и {ηn } некоррелированы (т. е. cov(ξm , ηn ) = 0 при любых m, n ∈ Z), то их сумма тоже является случайной последовательностью, стационарной в широком смысле. Действительно, M(ξn + ηn ) = Mξn + Mηn = const, а оператор ковариации линеен по каждому из двух аргументов, и поэтому cov(ξt + ηt , ξt+n + ηt+n ) = cov(ξt , ξt+n ) + cov(ηt , ηt+n ) зависит только от n. Поэтому любая линейная комбинация некоррелированных последовательностей из примера 11.6 ζn =

N X

βk einλk ,

n ∈ Z,

k=1

где β1 , . . . , βN — некоррелированные случайные величины с нулевыми средними: Mβk = 0,

M|βk |2 = σk2 ,

cov(βk , βj ) = Mβk βj = 0, тоже является стационарной ковариационной функцией

в

широком

R(n) =

N X k=1

88

k = 1, . . . , N, 1 6 k < j 6 N, смысле

σk2 einλk .

последовательностью

с

Этот пример можно обобщить на бесконечные линейные комбинации: ∞ X

ζn =

βk einλk ,

n ∈ Z,

(59)

k=−∞

P∞ 2 если дополнительно потребовать выполнение условия k=−∞ σk < ∞, чтобы обеспечить сходимость ряда в среднеквадратичном. Ковариационную функцию последовательности (59) можно представить в виде R(n) =

∞ X

Zπ σk2 einλk =

k=−∞

einλ dF (λ),

X

F (λ) =

σk2 .

k: λk 6λ

−π

11.8. Если {ξn } — последовательность, образованная некоррелированными случайными величинами с Mξk = 0, Mξk ξj = δkj , k, j ∈ Z, где δkj — символ Кронекера, то она стационарна в широком смысле и имеет корреляционную функцию R(0) = 1,

R(n) = 0 (n ∈ Z\{0}).

Эту функцию тоже можно представить в виде интеграла: Zπ einλ

R(n) =

1 dλ; 2π

−π

здесь спектральная функция соответствует равномерному распределению на отрезке [−π, π]; в этом случае последовательность называется «белым шумом». Теорема Герглотца. Если R(n) — ковариационная функция стационарной в широком смысле последовательности {ξn }, Mξn = 0, то существует такая конечная неотрицательная мера F = F (B) на отрезке [−π, π], что для любого n ∈ Z Zπ einλ F (dλ).

R(n) = −π

Доказательство. Положим для N > 1 и λ ∈ [−π, π] N N 1 XX fN (λ) = R(k − j)e−ikλ eijλ . 2πN k=1 j=1

Так как R(n) неотрицательно определена, то fN (λ) > 0. Число таких пар (k, j), что k − j = m, равно N − |m|, поэтому µ ¶ 1 X |m| fN (λ) = 1− R(m)e−imλ . 2π N |m|
Рассмотрим неотрицательные меры FN (B) = ортогональности функций einλ на [−π, π] (³ Zπ Zπ einλ FN (dλ) = −π

einλ fN (λ)dλ = −π

89

R B

1−

0,

fN (λ)dλ, B ∈ B([−π, π]). Ввиду |n| N

´ R(n),

|n| < N, |n| > N.

Неотрицательные меры FN , N > 1, сосредоточены на отрезке [−π, π], и FN ([−π, π]) = R(0) < ∞ для любого N > 1. По первой теореме Хелли существуют такие {Nk } ⊆ {1, 2, . . .} и мера F , что FNk слабо сходится к F при k → ∞. Тогда Zπ

µ

Zπ inλ

e

F (dλ) = lim

−π

k→∞ −π

inλ

e

FNk (dλ) = lim

k→∞

|n| 1− Nk

¶ R(n) = R(n),

n ∈ Z.

Теорема доказана. Теорема Бохнера–Хинчина. Для того чтобы функция R(n), n ∈ Z, была ковариационной функцией стационарной в широком смысле последовательности, необходимо и достаточно, чтобы она допускала представление Zπ einx F (dx)

R(n) =

(60)

−π

с некоторой неотрицательной мерой F на [−π, π]. Доказательство. Необходимость следует из теоремы Герглотца. Для доказательства достаточности покажем, что по любой неотрицательной мере F на [−π, π] можно построить стационарную в широком смысле последовательность с ковариационной функцией (60). Пусть σ 2 = F ([−π, π]). Построим случайную величину ξ с P{ξ 6 x} = σ12 F ([−π, x]) и положим ξn = σei(nξ+γ) , где ξ и γ независимы и γ имеет равномерное распределение на отрезке [−π, π]. Тогда при любом n ∈ Z Zπ Zπ Mξn = σ

ei(nx+y)

1 1 F (dx) dy = 0, 2 σ 2π

−π −π

поскольку при любом x интеграл по y равен 0, и при любых t, n ∈ Z R(t + n, t) = Mξt+n ξt = Mσei((t+n)ξ+γ) σe−i(tξ+γ) = Zπ Zπ Zπ Zπ Zπ 1 1 2 i((t+n)x+y) −i(tx+y) 1 inx =σ e e F (dx) dy = e F (dx) dy = einx F (dx). 2 σ 2π 2π −π −π

−π −π

−π

Теорема доказана.

Список литературы [1] Боровков А.А. Теория вероятностей. – М., "Эдиториал УРСС", 1999. [2] Севастьянов Б.А. Курс теории вероятностей и математической статистики. — М., Наука, 1982. [3] Феллер В. Введение в теорию вероятностей и ее приложения, тт.1,2. – М., Мир, 1984. 90