А.Ф. Лаговский ТЕОРИЯ ВЕРОЯТНОСТЕЙ
Калининград 1997
КАЛИНИНГРАДСКИЙ ГОСУДАРСТВЕННЫЙ УНИВЕРСИТЕТ
А.Ф. Лаговский ТЕОРИЯ ВЕРОЯТНОСТЕЙ Учебное пособие
Калининград 1997
УДК 519.21 (075.8) Лаговский А.Ф. Теория вероятностей: Учебное пособие / Калинингр. ун-т. Калининград, 1997. - 103 с. ISBN 5-88874-007-1. Учебное пособие содержит материал по теории вероятностей, изучаемый на третьем курсе математического факультета. Состоит из разделов: случайные величины и сходимость последовательностей случайных величин. Рассчитано на студентов, знакомых с математическим анализом и с основами функционального анализа. Печатается по решению редакционно-издательского Совета Калининградского государственного университета. Рецензент: доцент кафедры физики Калининградского государственного технического университета А.Д.Тереньтев.
ISBN 5-88874-007-1
© Калининградский государственный университет, 1997
Анатолий Францевич Лаговский ТЕОРИЯ ВЕРОЯТНОСТЕЙ Учебное пособие Лицензия №020345 от 14.01.1997 г. Редактор Н.Н.Мартынюк. Подписано в печать 19.05.1997 г. Формат 60х90 1/16. Бум. для множит. аппаратов. Ризограф. Усл. печ. л. 6,4. Уч.-изд. л. 6,5. Тираж 250 экз. Заказ . Калининградский государственный университет, 236041, Калининград обл., ул. А.Невского, 14.
ВВЕДЕНИЕ Все события, происходящие как в природе, так и в обществе, взаимосвязаны между собой самым теснейшим образом: одни из них являются следствием других и, в свою очередь, служат причиной третьих. Эти события можно разделить на два класса - события детерминированные и события случайные. Детерминированные события характеризуются тем, что при определенном комплексе условий они или всегда наступают, или никогда не наступают. Например, комплексом условий, при которых вода превращается в пар, являются атмосферное давление в 760 мм и температура выше 100° по Цельсию. С другой стороны, при этом же комплексе условий вода не может превратиться в лед. Другой класс событий характеризуется тем, что при определенном комплексе условий, они могут как наступить, так и не наступить, предсказать заранее, наступит событие или нет, невозможно. Например, при однократном бросании монеты появление герба на верхней стороне - событие случайное, количество солнечных дней в предстоящем году - тоже заранее предсказать невозможно, проработает ли орбитальная станция без поломок в течение гарантийного срока, заранее неизвестно. Это все случайные события, изучением которых и занимается теория вероятностей. Следует отметить, что увеличение наших знаний об окружающем мире предъявляет все новые запросы к теории вероятностей, хотя это кажется парадоксальным, поскольку основным объектом теории вероятностей является случайность или неопределенность, как правило, связанная с незнанием. Именно так обстоит дело в примере с однократным подбрасыванием монеты, где технические возможности настоящего не позволяют учесть все факторы, определяющие положение монеты после падения. В действительности парадоксальность здесь только кажущаяся, так как точных, детерминированных количественных законов в окружающем мире почти не существует. Например, закон о зависимости давления газа от его температуры есть в действительности результат вероятностного характера о числе соударений частиц о стенки сосуда и их скоростях. Но при обычных условиях случайные отклонения, которые тут имеют место, с большой вероятностью очень малы и зарегистрировать их приборами, имеющимися в нашем распоряжении, просто невозможно. Однако в теории вероятностей интерес представляют не сами по себе случайные события, а закономерности, возникающие при многократном повторении опытов со случайными исходами. Иначе говоря, интерес представляют только такие события, условия для появления которых могут возникать бесконечное число раз, и вместе с тем эти массовые случайные 3
события должны обладать свойством так называемой статистической устойчивости, суть которой будет излагаться в пособии, а пока отметим, что теория вероятностей изучает закономерности в массовых случайных событиях. Сочетание противоположных понятий “случайность - закономерность” - стержневая особенность построения пособия. Возникновение теории вероятностей принято относить к середине XVII века и связывать с комбинаторными задачами азартных игр, которые не укладывались в рамки существующих тогда математических моделей, поскольку отличаются тем, что исходы нельзя предсказать заранее. Здесь мы имеем дело с многократно повторяющейся ситуацией, где исход каждой случаен. Известные математики того времени Гюйгенс, Паскаль, Ферма и Яков Бернулли обратили внимание на это, предполагая, что в массовых случайных событиях должны проявляться определенные закономерности и сделали попытки их обнаружить. В дальнейшем теория вероятностей нашла свое приложение в задачах, возникающих в страховании и демографии, и долгое время не находила других приложений. Последующее развитие теории вероятностей связано с требованиями со стороны бурно развивающегося естествознания, особенно физики и астрономии. Более точные измерения потребовали исследования ошибок, возникающих при этом. Ошибки, как правило, случайны и не поддаются индивидуальному учету, но проявляют некоторую устойчивость. Так появилась теория ошибок наблюдения, большой вклад в развитие которой внесли Лаплас, Пуассон и Гаусс. С половины XIX века и до двадцатых годов XX века развитие теории вероятностей связано с именами русских ученых П.Л.Чебышева, А.А.Маркова, А.М.Ляпунова, которые впервые ввели и широко использовали случайные величины, а также создали эффективные методы доказательства предельных теорем для сумм независимых случайных величин. Современный период развития теории вероятностей характеризуется установлением аксиоматики. В 1933 г. вышла книга русского математика А.Н.Колмогорова “Основные понятия теории вероятностей”, в которой была предложена аксиоматика, получившая всеобщее признание и позволившая охватить все классические разделы теории вероятностей в современном естествознании. Как уже отмечалось, теория вероятностей имеет дело со случайными событиями. Здесь следует отвлечься от житейского представления, когда под случайным событием понимается что-то крайне редкое, идущее вразрез установившемуся порядку вещей. Случайные события в теории вероятностей обладают рядом характерных особенностей: в частности, все они происходят в массовых явлениях. Под массовыми явлениями здесь пони4
маются такие, которые имеют место в совокупностях большого числа равноправных или почти равноправных объектов и определяются именно этим массовым характером явлений и лишь в незначительной степени зависят от природы составляющих объектов. Теория вероятностей, подобно другим разделам математики, развилась из потребностей практики, и абстрактно она отражает закономерности в массовых случайных событиях. Эти закономерности играют очень важную роль в различных областях естествознания, медицине, технике, экономике, военном деле и т.д. Многие разделы теории вероятностей были развиты благодаря запросам практики. Глава 1. СЛУЧАЙНЫЕ СОБЫТИЯ
§1. Алгебра событий Теория вероятностей изучает только такие случайные события, в отношении которых имеет смысл не только утверждения об их случайности, но и возможна объективная оценка доли случаев их появления. Эта оценка может быть выражена предложением вида: Вероятность того, что при осуществлении определенного комплекса условий произойдет некоторое событие, равна p. Формулировка детерминистических закономерностей, более привычных для всех, звучит так: При каждом осуществлении определенного комплекса условий обязательно происходит некоторое событие. Событием будем называть любой факт, который может произойти или не произойти при определенном комплексе условий. События будем обозначать большими латинскими буквами A,B,C,... Среди всех событий выделим два крайних: 1. Событие Ω называется достоверным, если оно наступает при каждой реализации комплекса условий. Например, при бросании двух игральных костей сумма выпавших очков не может быть меньше двух 2. Событие ∅ называется невозможным , если оно не наступает ни при одной реализации комплекса условий. Например, при бросании двух игральных костей сумма выпавших очков не может быть больше двенадцати. Над событиями можно ввести определенные операции. 1. Следование событий. Говорят, что событие A влечет событие B ( обозначается A⊂B), если при наступлении события A обязательно наступает и событие B. 5
Ω B A A⊂B
Если событие A состоит в том, что наудачу брошенная точка попала в область A, а событие B - в область B, то соотношение A⊂B выполняется тогда, когда область A целиком содержится в области B. Если A⊂B и одновременно B⊂A, то события A и B называются эквивалентными или равными A=B. Очевидно, что для любого события A имеет место включение вида ∅⊂A⊂Ω. 2. Произведение событий. Произведением событий A и B называется такое событие C, которое происходит тогда, когда происходят событие A и событие B, и обозначается C=A I B . Ω
Ω
C A
B
B
A
A I B =∅ A I B =C Два события A и B называются несовместными, если их совместное появление невозможно, то есть, если A I B =∅. 3. Объединение (сумма) событий. Событие C называется суммой, или объединением, событий A и B, если оно происходит тогда, когда наступает хотя бы одно из событий A или B, С=A U B . Если события A и B несовместны, то для их суммы можно пользоваться обозначением С=A+B. Тогда для сумм конечного или счетного числа событий Ai можно записать n
∑Ai , i =1
∞
∑Ai
n
U Ai , i =1
∞
U Ai
для произвольных событий Ai и
i=1
для событий попарно несовместных.
i=1
События Ai (i=1,2,...) называются попарно несовместными, если для любой пары i и j Ai I A j =∅, i ≠ j. Можно легко показать, что введенные операции над событиями удовлетворяют следующим соотношениям:
6
(A U B ) U С =A U (B U С ); A U B =B U А ; (A U B ) I С =(A I С ) U ( ВI С ) );
(A I B ) I С =A I ( ВI С ) ; A I B =B I А ; (A I B ) U С =(A U С ) I (B U С ).
4. Вычитание событий. Событие С называется разностью событий A и B, если оно наступает лишь тогда, когда происходит событие A и не происходит событие B, C=A\B. Событие Ω\A называется противоположным событию A и обозначается A =Ω\A. Ω
A
A
B
Ω A = Ω\A
C=A\B
Через операции зить так:
U
и
I
A
связь между событиями A и A можно выра-
A I А =∅ и A U А =Ω. Относительно противоположных событий имеют место так называемые формулы двойственности: 1. Ω\
∞
∞
U A i = I (Ω \ A i ) или i=1
i=1
∞
∞
i=1
i=1
2. Ω\ I A i = U ( Ω \ A i )
или
∞
∞
i=1
i=1
∞
∞
i=1
i=1
U Ai =I Ai ;
(1.1.1)
I Ai =U Ai .
(1.1.2)
5. Полная группа событий. События A1,A2,...,An образуют полную группу событий, если хотя бы одно из них непременно должно произойти (при каждом осуществлении
комплекса условий), то есть, если
n
U A i =Ω. i =1
События A1,A2,...,An образуют полную группу попарно несовместных событий, если
n
∑ A i =Ω, то есть для ∀ i≠j: Ai I A j =∅ и i =1
n
U A i =Ω. i =1
Например, при однократном бросании игральной кости система событий A1,A2,A3,A4,A5,A6, состоящих в выпадении 1,2,3,4,5 и 6 очков, соответственно является полной группой попарно несовместных событий. 6. Алгебра и σ-алгебра событий. 7
Пусть Ω - множество взаимоисключающих исходов некоторого опыта и на этом множестве задана система подмножеств F, удовлетворяющая условиям: 1) Ω∈F, ∅∈F; 2) из того, что A∈F, следует, что также A ∈F; 3) из того, что A∈F и B∈F, следует, что A U B ∈F, A I B ∈F и A\B∈F. Тогда множество F называется алгеброй событий. Если дополнительно к перечисленным выполняется еще следующее условие: 4) из того, что Ai∈F для i=1,2,..., следует, что
∞
U A i ∈F и i =1
∞
I A i ∈F, то i =1
множество F называется σ-алгеброй. Элементы σ-алгебры F, заданной на множестве Ω, называются случайными событиями. Под операциями над случайными событиями понимаются операции над соответствующими множествами. В результате можно составить таблицу соответствий между алгеброй множеств и алгеброй событий. Таблица Обозначения ω Ω F A∈F A =Ω\A
AU B AI B (или AB) Обозначения ∅ A I B =∅ 8
Функциональный анализ Теория вероятностей Элемент множества, точка Исход, элементарное событие Множество точек, простран- Пространство исходов, элементарство ных событий; достоверное событие σ-алгебра подмножеств σ-алгебра событий Множество точек Событие (если ω∈A, то говорят, что наступило событие A) Дополнение множества A, Событие, состоящее в ненаступлении события A. т.е. множество точек ω, не входящих в A Объединение множеств A и Событие, состоящее в том, что B, т.е. множество точек ω, произошло событие A, либо событие B входящих в A или в В Пересечение множеств A и Событие, состоящее в том, что одB, т.е. множество точек ω, новременно произошло и событие A, и событие B входящих в A и в B Окончание табл. Функциональный анализ Пустое множество Множества A и B не пересекаются
Теория вероятностей Невозможное событие События A и B несовместны (не могут наступать одновременно)
A+B A\B ∞
U An n =1
∞
∑An
n=1 ∞
I An n =1
A⊂B A=B An↑A или A= lim ↑An n
Сумма множеств, т.е. объеСобытие, состоящее в том, что динение непересекающихся произошло одно из двух несовмемножеств стных событий Разность множеств A и B, Событие, состоящее в том, что т.е. множество точек, входя- произошло событие A, но не прощих в A, но не входящих в B изошло событие B Объединение множеств Событие, состоящее в наступлении по крайней мере одного из A1, A2 ,... событий A1,A2 ,... Сумма,т.е. объединение поСобытие, состоящее в наступлепарно непересекающихся нии одного из несовместных сомножеств A1,A2,... бытий A1,A2,,,. Пересечение множеств Событие, состоящее в том, что одновременно произошли события A1,A2,... A1,A2,,, A есть подмножество B Событие A влечет событие B Множества A и B равны События A и B эквиваленты Возрастающая последова- Возрастающая последовательность тельность множеств An, схо- событий, сходящихся к событию A дящаяся к A, т.е. A1⊂A2⊂... ∞
и A= U A n An ↓A или A= lim ↓An n
n =1
Убывающая последователь- Убывающая последовательность ность множеств An, сходя- событий, сходящихся к событию A щихся к A, т.е. A1⊃A2⊃... и ∞
A= I A n n =1
lim A n или lim sup An
Множество
lim An или lim inf An
Множество
∞
∞
I U An k =1 n = k ∞
∞
U I An k =1 n = k
Алгебра или σ-алгебра множеств
Множество исходов ω, которое бесконечное число раз встречаются в последовательности A1,A2,... Событие, состоящее в том, что произойдут все события A1,A2,... за исключением, может быть, только конечного числа их Алгебра или σ-алгебра событий
Таким образом, можно сделать некоторое обобщение. Имеется некоторое пространство элементарных событий Ω, элементы которого ω - исходы некоторого опыта. На этом пространстве задана некоторая σ-алгебра множеств F, причем элементы множества F есть случайные события. Пару (Ω,F) будем называть измеримым пространством. 9
Все теоремы функционального анализа, касающиеся множеств, полуколец, колец, алгебр и σ-алгебр, превращаются в соответствующие теоремы теории вероятностей с точностью до терминологии.
§2. Вероятность случайных событий Основной характеристикой случайного события является его вероятность. Существует несколько определений вероятности, из которых рассмотрим лишь некоторые. 1. Классическое определение вероятности. Пусть пространство элементарных событий является конечным и содержит n элементов, то есть Ω={ω1,ω2 ,...ωn}. Будем считать, что события ω1,ω2,...,ωn являются равновозможными. Понятие равновозможности является первичным и не может быть сведено к другим понятиям, а лишь может быть пояснено. Понятие равновозможности следует считать связанным с симметрией проводимого опыта, когда ни один из возможных исходов не имеет каких-либо преимуществ в появлении перед другими. Например, при бросании монеты, если она симметрична и однородна, появление цифры или герба равновозможно. Пусть некоторое событие A⊂Ω содержит m≤n элементов, то есть A={ωi1,ωi2,...,ωim}. Вероятностью события A называется величина
P(A)=
m . n
(1.2.1)
Это определение называется классическим определением вероятности. Иными словами можно сказать, что вероятностью события называется отношение числа исходов опыта, при которых наступает событие A, к общему числу возможных исходов опыта. При этом обязательным условием является равновозможость исходов опыта. Классическое определение вероятности удобнее всего иллюстрировать на так называемой урновой модели. Рассмотрим примеры. Пример 1. В урне находится 10 лотерейных билетов, из которых 4 выигрышные. Из урны, не глядя, наудачу вынимаются два билета. Найти вероятность того, что: а) оба билета выигрышные; б) оба билета без выигрыша; в) один билет выигрышный, а другой - нет. Решение. Пусть A - событие, состоящее в том, что оба билета выигрышные; B - оба билета без выигрыша; С - один билет выигрышный, а другой - нет.
10
2 а) Выбор двух билетов из десяти можно осуществить n= C10 =45 спосо2 бами, а двух выигрышных билетов из четырех - m= C 4 =6 способами. Тогда по формуле (1.2.1) P(A)=6/45=2/15. б) Имеется m=C 26 =15 возможностей выбора билетов без выигрыша. В этом случае вероятность P(B)=15/45=1/3. в) Существует 4 возможности вытащить выигрышный билет и 6 возможностей - билет без выигрыша. Согласно основному принципу перечисления, имеется m=6×4=24 возможностей вытащить один билет с выигрышем, а другой - без выигрыша. Тогда P(C)=24/45=8/15. Пример 2. В партии из n изделий k изделий являются бракованными. Для контроля выбирается m изделий. Найти вероятность того, что из m изделий l окажутся бракованными. Решение. Выбор m изделий из n можно осуществить C m n способами, а
выбор l бракованных из k бракованных изделий C lk способами. После выбора l бракованных изделий останется выбрать m−l годных среди n−k изделий. Но из n−k годных изделий выбрать m−l годных можно C mn −−kl способами. По основному принципу перечисления число исходов, благоприятствующих выбору l бракованных изделий из k бракованных и m−l годных изделий из n−k годных, равно C lk ×C mn −−kl . Тогда искомая вероятность P=
−l C lk C m n −k
Cm n
.
2. Геометрическое определение вероятности. В своей идейной основе геометрическое определение вероятности не отличается от классического. Единственное отличие состоит в структуре пространства элементарных событий Ω. Множество элементарных исходов не является дискретным. Представим себе, что из Ω наудачу выбирается точка, причем выбор любой точки равновозможен. Пусть событие A- выбор точки из области A. Тогда вероятность наступления события A определяется как Ω A
P(A) =
mes(A ) , mes(Ω)
(1.2.2)
где mes означает меру области A, которая может быть длиной, если Ω одномерное множество; площадью, если Ω - двумерное множество и объе11
мом, если Ω - трехмерное множество. Проиллюстрируем геометрическое определение вероятности (1.2.2) примером. Пример 3. Пусть дан отрезок длины l, на котором случайным образом выбираются две точки C и B. Считая, что выбор любой точки отрезка равновозможен, найти вероятность того, что длина отрезка будет меньше a (a≤ l). y l y 0 x C
A B
a
l
Ω 0
a
l
x
Решение. Обозначим через х координату точки C, y - координату точки B. Тогда множество пар чисел (х,y) заполняют на плоскости хOy квадрат, сторона которого равна l , - это множество Ω. Интересующее нас событие A наступает тогда, когда ⎜x−y⎜≤ a. Множество таких значений - это часть квадрата, границами которой являются прямые x−y=a и y−x=a. Поэтому a a2 плoщадь ( A ) l 2 − ( l − a )2 = =2 − 2 . P(A)= l2 l l площадь ( Ω ) 3. Статистическое определение вероятности. Основная трудность классического и геометрического определения вероятности - это выделение равновозможных событий, образующих пространство Ω. В реальных ситуациях такое выделение, основанное на свойствах симметрии изучаемого явления, не всегда возможно. В основе статистического определения вероятностей лежит опытный факт - так называемая устойчивость частот. Пусть проделано n опытов, в каждом из которых может наступить или не наступить событие A. И пусть событие A наступило в m опытах (m≤n). Тогда величина
h=
m n
называется частотой наступления события A. Построим график зависимости частоты h от n. Как показывает опыт, для подавляющего большинства событий график этой зависимости имеет достаточно характерный вид.
12
h P(A)
n
Если при малых n на графике имеются нерегулярные колебания достаточно большой амплитуды, то с ростом n размах этих колебаний все более уменьшается и график зависимости h от n приближается к прямой, что говорит о существовании предела P(A)= lim h= lim n→∞
n→∞
m , n
(1.2.3)
к которому приближается частота при n→ ∞ . Этот предел и называют статистическим определением вероятности. Замечание 1. В некоторых случаях не наблюдается устойчивость частот. Но это обычно не означает, что к этим событиям теория вероятностей неприменима, а означает, что в основе изучаемого явления лежит какая-то более сложная модель, чем изучаемая. Замечание 2. При таком определении не видно связи между P(A) определенной статистически и вероятностью события по классическому или геометрическому определению. Но они совпадают, и это мы увидим в дальнейшем.
§3. Аксиомы теории вероятностей С развитием естествознания к теории вероятностей стали предъявляться повышенные требования. Возникла необходимость в систематизации основных понятий теории вероятностей и выяснении условий, при которых возможно использование ее результатов. Поэтому важное значение приобрело формально-логическое обоснование теории вероятностей, ее аксиоматическое построение. При этом в основу теории вероятностей как математической науки должны быть положены некоторые предпосылки, являющиеся обобщением человеческого опыта. Отправным пунктом аксиоматики Колмогорова является рассмотренная выше алгебра и σ-алгебра событий. Аксиома 1. Каждому случайному событию A поставлено в соответствие неотрицательное число P(A), называемое его вероятностью. Аксиома 2. P(Ω)=1.
13
Аксиома 3 (аксиома сложения). Если последовательность событий Аi такова, что Ai I A j =∅ при i ≠ j, то n
n
i =1
i =1
P( ∑ A i )= ∑ P(A i ) .
(1.3.1)
Поскольку в теории вероятностей приходится рассматривать последовательность случайных событий, то возникает необходимость в дополнительном предположении, названном расширенной аксиомой сложения. Расширенная аксиома сложения. Если событие A равносильно наступлению хотя бы одного из попарно несовместных событий A1,A2,...,An,..., то P(A)=P(A1)+P(A2)+...+P(An )+... . Расширенная аксиома сложения может быть заменена равносильной ей аксиомой непрерывности. Аксиома непрерывности. Если последовательность событий B1,B2,...,Bn,... такова, что каждое последующее влечет за собой предыдущее и произведение всех событий Bn есть невозможное событий, то P(Bn)→0 при n→∞. Докажем, что расширенная аксиома сложения эквивалентна обычной аксиоме сложения и аксиоме непрерывности. 1. Из расширенной аксиомы сложения следует аксиома непрерывности. Действительно, пусть события B1,B2,...,Bn,... таковы, что B1⊃B2⊃...⊃Bn⊃... и при любом n≥1. (1.3.2) I Bk = ∅. k≥n
Очевидно, что ∞
∞
k=n
k=n
Bn = ∑ Bk I Bk +1 + I Bk . Так как события, стоящие в этой сумме, попарно несовместны, то согласно расширенной аксиоме сложения ∞
P(Bn )= ∑ P(B k k =n
∞
I Bk +1 )+P( I Bk ). k=n
∞
Но согласно условию (1.3.2) P( I Bk )=0 и, следовательно, k=n
∞
P(Bn)= ∑ P(B k k =n
I Bk +1 ),
т.е. P(Bn ) есть остаток сходящегося ряда ∞
∑ P(Bk I Bk +1 ) =P(B1 ). k =1
Поэтому P(Bn )→0 при n→∞. 14
2. Из аксиомы непрерывности следует расширенная аксиома сложения. Пусть события A1,A2,...,An,... попарно несовместны и A=A1+A2+...+An+... ∞
∞
Положим Bn= ∑ A n и отметим, что Bn+1⊂Bn . Докажем, что I B n =∅. k =n
n =1
Предположим от противного, что
∞
I Bn
произошло. А это означает, что
n =1
наступило и какое-либо из событий Ai (i≥n) и, значит, в силу попарной несовместности событий Ak события Ai+1, Ai+2 ,... уже не наступили. Таким образом события Bi+1, Bi+2 ,... не наступили, но это противоречит предположению о том, что
∞
I Bn
произошло. По аксиоме непрерывности
n =1
P(Bn)→0 при n→∞. Поскольку A=A1+A2+...+An+Bn+1, то по обычной аксиоме сложения P(A)=P(A1)+P(A2)+...+P(An)+P(Bn+1)= lim
n
∞
∑ P(A k ) = ∑ P(A k ) .
n→∞ k =1
k =1
§4. Основные свойства вероятности. Вероятностная мера Рассмотрим свойства вероятности, используя для этого геометрическое определение вероятности 1. P(Ω)=
mes(Ω) =1; mes(Ω)
(1.4.1)
mes( ∅ ) =0. (1.4.2) mes( Ω ) Таким образом, вероятность достоверного события равна единице, вероятность невозможного - нулю. Доказанное здесь соотношение (1.4.1) соответствует аксиоме 2, а (1.4.2) получается, кроме того, из очевидного равенства Ω=∅+Ω и аксиомы 3. 2. Пусть A⊂B, тогда P(A)≤P(B). Это следует из того, что mes(A)≤mes(B), и в этом случае
P(∅)=
P(A)=
mes(A ) mes(B) ≤ =P(B). mes(Ω) mes(Ω)
В частности, поскольку ∅⊂A⊂Ω, то для любого события (1.4.3) 0≤P(A)≤1. 3. Пусть A I B =∅, то есть события A и B несовместные, тогда P(A+B)=P(A)+P(B)
15
P(A+B)=
mes( A ) + mes(B) mes(A ) mes(B) = + =P(A)+P(B), (1.4.4) mes(Ω) mes(Ω) mes(Ω)
что соответствует аксиоме 3. 4. Если A⊂B, то P(B\A)=P(B)−P(A). Действительно, если A⊂B, то B=A+(B\A) и P(B)=P(A)+P(B\A). Отсюда и получаем, что P(B\A)=P(B)−P(A). 5. P( A )=1−P(A). В самом деле, A =Ω\A, поэтому P( A )=P(Ω)−P(A)=1−P(A). Таким образом, можно отметить, что вероятность есть неотрицательная счетно-аддитивная функция множеств, причем P(Ω)=1. В соответствии с понятием меры в функциональном анализе можно сказать, что вероятность P(A) есть конечная мера с нормировкой P(Ω)=1. Поэтому часто говорят не о вероятности, а о вероятностной мере, заданной на измеримом пространстве. Вероятностным пространством называют тройку символов (Ω,F,P), где Ω - пространство элементарных событий, F - σ-алгебра подмножеств Ω, называемых случайными событиями, и P - вероятностная мера, определенная на σ-алгебре F. Все теоремы функционального анализа, касающиеся свойств меры, становятся теоремами теории вероятностей с заменой слова “мера” на слово “вероятность”. Напомним некоторые из этих теорем. a) Теорема о полуаддитивности вероятности. Если Если
∞
∞
∞
∞
k =1
k =1 ∞
k =1
k =1
U A k ⊃A, то ∑ P(A k )≥P(A); в частности, P( U A k )≤ ∑ P(A k ). ∞
∑A
n
⊂A, то
∑ P(A k ) ≤P(A).
k =1
n=1
б) Теорема о последовательностях случайных событий. P( lim infAn) ≤ lim inf P(Ak); n→∞ k ≥n
n→∞
P( lim supAn)≥ lim sup P(An ); n→∞
n→∞
k ≥n
в частности, если An монотонная последовательность, то P( lim An)= lim P(An), n→∞
где lim An означает n→∞
∞
U An
n =1
или
∞
I An . n =1
в) Непрерывность вероятности.
16
n→∞
Вероятность называется непрерывной сверху на пустом множестве, если из того, что An невозрастающая последовательность, сходящаяся к пустому множеству, следует lim P(An)=0. n→∞
Для того, чтобы вероятность была счетно-аддитивной, необходимо и достаточно, чтобы она была непрерывной сверху на пустом множестве и выполнялась обычная теорема сложения. 6. Теорема сложения вероятностей. Выше было показано, что вероятность суммы несовместных событий равна сумме вероятностей, то есть, если A I B =∅, то P(A+B)=P(A)+P(B). Получим теперь формулу для вероятности суммы совместных событий, которая называется теоремой сложения вероятностей. Ω A
B
AI B
Как видно из рисунка, в случае объединения двух событий A U В его можно представить в виде объединения трех несовместных событий A U B =A\B+B\A+A I B . Тогда по формуле (1.3.1) можем записать (1.4.5) P(A U B )=P(A\B)+P(B\A)+P(A I B ). Для определения вероятности P(A\B) воспользуемся следующим представлением события A: A=A\B+A I B . Откуда P(A)=P(A\B)+P(A I B ), или (1.4.6) P(A\B)=P(A)−P(A I B ). Аналогично B=B\A+A I B , и
P(B)=P(B\A)+P(A I B )
P(B\A)=P(B)−P(A I B ). Подставляя в формулу (1.4.5) формулы (1.4.6) и (1.4.7), получим P(A U B )=P(A)+P(B)−P(A I B ). Отсюда следует, что
(1.4.7) (1.4.8)
17
P(A U B )≤P(A)+P(B). Для n совместных событий теорема сложения имеет вид n
n
i =1
i=1
P( U A i )= ∑P( A i ) −
∑
1≤i1
(
)
P Ai1 IAi2 +
∑
1≤i1
(
)
P A i1 I Ai2 I Ai3 −...+
n
+(−1) n−1 P( I A i ).
(1.4.9)
i =1
Докажем эту формулу по индукции, используя (1.4.8). Для n=2 формула доказана. Пусть формула (1.4.9) верна для некоторого n. Добавим еще одно событие A n+1 , тогда по формуле (1.4.8) имеем n +1
n
i =1 n
i =1
U A i = U A i +A n+1 , n +1
n
P( U A i )=P( U A i )+P(A n+1 )−P(A n+1 I ( U A i )). (1.4.10) i =1
i =1
n
n
i =1
i =1
i =1
Но A n+1 I ( U A i )= U ( A n +1 I A i ) согласно соотношению (A U B )
поэтому
n
I С =(A I С ) U (B I С ), n
n
i =1
i =1 n +1
P(A n+1 I ( U A i ) )=P( U (A n+1 I Ai))= ∑ P( A n +1 I A i ) − i =1
(
)
− ∑ P A i1 I A i2 I A n +1 + ... +(−1) n−1 P( I A i ). i1
(1.4.11)
i =1
Подставляя (1.4.9) и (1.4.11) в (1.4.10), получим n +1
n +1
i =1
i =1
(
)
n +1
P( U A i )= ∑ P ( A i ) − ∑ P A i1 I A i2 +...+(−1) P( I A i ), i1
n
i =1
что и доказывает теорему сложения вероятностей. Рассмотрим примеры. Пример 1. На экзамене 15 билетов разложены в случайном порядке, причем студент знает ответ только на 5 билетов. Преподаватель предложил студенту взять три билета. Найти вероятность того, что хотя бы один билет попадет студенту, на который он знает ответ. Решение 1. Событие A (хотя бы один билет из трех студент знает) и событие A ( ни одного билета студент не знает) - противоположное. Поэтому P(A)+P( A )=1 или P(A)=1−P( A ) 3 3 P( A )=C 10 /C 15 =24/91, P(A)=1−24/91=
67 . 91
Решение 2. Требование, хотя бы один билет попадется студенту, на который он может ответить - будет осуществлено, если произойдет любое из следующих трех несовместных событий: B - студент знает один билет, С 18
2 билета, D - 3 билета. Интересующее нас событие A можно представить в виде суммы событий A=B+C+D. По теореме сложения вероятностей P(A)=P(B)+P(C)+P(D) P(B)=
2 C15 C10 3 C15
45 = ; 91
P(C)=
С 25 С110 3 С15
P(A)=
20 = ; 91
P(D)=
C 35 3 C15
=
2 91
45 20 2 67 + + = . 91 91 91 91
§5. Условная вероятность. Теорема умножения вероятностей Как уже отмечалось, вероятность события P(A) является его исчерпывающей характеристикой. Однако так обстоит дело лишь в случае одного случайного события. В действительности часто приходится иметь дело со случаем, когда в каждом отдельном опыте наступает несколько случайных событий, то есть мы имеем дело с совокупностью случайных событий. Рассмотрим пример. Опыт состоит в том, что симметричная монета подбрасывается три раза. Событие A состоит в том, что герб выпал один раз. Используя клас3 8
сическое определение вероятности, получим, что P(A)= , то есть ГГГ PPP ГРГ ГГР РГГ РРГ РГР ГРР
из всего набора возможных 8 вариантов очередности выпадания гербов и решек событию A соответствуют РРГ, РГР и ГРР. Теперь на базе этого же опыта рассмотрим совокупность двух событий. К событию A добавим еще событие B, состоящее в том, что число выпавших гербов нечетно. И пусть стало известно, что событие B наступило. Событие B состоит из четырех элементарных исходов, а событие A состоит из трех исходов события B. Значит, эти события как-то связаны между собой, и, следовательно, вероятность события A при условии, что событие B наступило, будет иной, чем без этого условия. Эту вероятность называют условной вероятностью и обозначают P(A/B) или PB(A). В нашем случае 3 4
3 8
P(A/B)= ≠ =P(A). Теорему умножения вероятностей выведем, используя классическое определение вероятности. Пусть некоторый опыт имеет n возможных исходов, причем r из них благоприятны для наступления события A, m исходов благоприятны для наступления события B и в k исходах наступают оба события A и B (т.е. A I B ). В соответствии с классическим определением вероятности 19
k n
P(A I B ) = =
k m ⋅ . m n
(1.5.1)
m k =P(B). Что касается , то в определении вероятности в знамеn m k нателе стоит общее число исходов данного опыта. В сомножителе в m
Здесь
знаменателе стоит число исходов, благоприятных для наступления события B, которое заняло место всех возможных исходов данного опыта, то есть наступление события A мы рассматриваем относительно только тех исходов, в которых событие B наступает. Таким образом,
k есть не что m
иное, как условная вероятность события A при условии, что событие B наступило. Тогда формулу (1.5.1) можно записать в виде P(A I B )=P(B)P(A/B). Аналогично k n
k r r n
P(A I B )= = ⋅ = P(A)P(B/A). Тогда окончательно получаем (1.5.2) P(A I B )=P(A) P(B\A)=P(B) P(A/B). Эта формула называется теоремой умножения вероятностей. Из нее следует, что P( A I B) P( A I B) P(A/B)= ; P(B) ≠ 0; P(B/A)= ; P(A) ≠ 0. (1.5.3) P( B) P( A ) Сформулируем теперь общее определение условной вероятности. Пусть задано вероятностное пространство (Ω,F,P) и пусть A и B произвольные события из множества F. Если P(B)>0, то условной вероятностью события A при условии, что событие B наступило, называется P( A I B) P(A/B)= . (1.5.4) P( B) Условная вероятность обладает всеми свойствами вероятности, поскольку она удовлетворяет аксиомам теории вероятностей. Первая аксиома очевидна, поскольку для каждого события А согласно (1.5.4) определена неотрицательная функция P(A/B). Если А=В (и в частности, если А=Ω), то согласно определению (1.5.4) P( A I В) P( B) P( A / B) = = = 1. P( B) P( B) Что касается третьей аксиомы, то, например, если событие А может произойти только в одном из двух несовместных видов А1 или А2 так, что 20
А=А1 +А2 и А1 I А 2 =∅, то P(A/B)=P[(A1 +A2 )/B]=P(A1 /B)+P(A2 /B). То есть условная вероятность суммы несовместных событий равна сумме условных вероятностей этих событий. События A и B называется независимыми, если вероятность наступления одного из них не зависит от наступления или ненаступления другого. Для независимых событий P(A/B)=P(A), P(B/A)=P(B), и тогда (1.5.5) P(A I B )=P(A)P(B). Рассмотрим некоторые свойства независимых событий 1. Если событие A не зависит от события B, то и, наоборот, событие B не зависит от события A. Действительно, пусть событие A не зависит от события B, то есть P(A/B)=P(A). Тогда по теореме умножения вероятностей P(A/B) P(B)=P(A)⋅P(B)=P(B/A)P(A). Если P(A)>0, то получаем P(B)= P(B/A), то есть событие B не зависит от события A. Другими словами, независимость или зависимость случайных событий есть свойство взаимное. 2. Если события A и B независимы, то независимы также события: A и B; A и B ; A и B. Действительно, пусть A и B независимы, тогда P( A /B)=1−P(A/B)=1−P(A)=P( A ); P( B/A)=1−P(B/A)=1−P(B)=P( B); P( A / B)=1−P(A/ B)=1−P(A)=P( A ). 3. Для произвольного числа событий теорема умножения (1.5.2) имеет вид: n −1 ⎛n ⎞ P ⎜ I A i ⎟ =P(A1) P(A2/A1) P(A3/A1 I А 2 ) ⋅ ... ⋅ P(An/ I A i ). ⎝ i=1 ⎠ i =1 Если случайные события Ai , i=1, n независимы, то теорема умножения вероятностей будет иметь вид: ⎛n ⎞ n P ⎜ I A i ⎟ = ∏ P( A i ) . ⎝ i =1 ⎠ i=1 Замечание 1. Независимость событий является очень важным свойством, облегчающим проведение многих расчетов. Поэтому при построении исходных моделей желательно в качестве исходных элементов модели брать независимые события. 21
Пример 1. В урне 2 белых и 3 черных шара. Из урны подряд вынимаются два шара. Найти вероятность того, что оба вынутых шара белые. Решение: Обозначим через A событие, состоящее в том, что оба вынутых шара белые. Это событие представляет собой произведение двух событий: A1 - появление белого шара при первом вынимании и A2 - появление белого шара при втором вынимании. Поэтому 2 1 5 4
P(A)=P(A1)⋅P(A2/A1)= ⋅ =0,1. Пример 2. Те же условия, что и в примере 1, но после первого вынимания шар возвращается в урну, и шары в урне перемешиваются. Решение. В этом случае события A1 и A2 независимы и поэтому 2 2 5 5
P(A)=P(A1)⋅P(A2)= ⋅ =0,16.
§6 Формула полной вероятности и формула Байеса Пусть имеется вероятностное пространство (Ω,F,P) и пусть H1,H2,...,Hn - полная группа попарно несовместных событий, то есть 1) Hi∈F, ∀i; 2) Hi I B =∅, ∀i ≠ j; 3)
n
∑ H i =Ω. j=1
Рассмотрим некоторое событие A∈F, для которого известны условные вероятности P(A/Hi), i=1, n и вероятность событий Hi - P(Hi). Необходимо найти полную вероятность события A, то есть найти P(A). Имеем ⎛ n ⎞ n A=A I B =A I ⎜ ∑ H i ⎟ = ∑ ( A I H i ) . ⎝ i=1 ⎠ i =1 Все слагаемые, стоящие под знаком суммы, - попарно несовместные события. Поэтому, используя теорему сложения вероятностей и теорему умножения вероятностей, получим: n ⎛ n ⎞ n P(A)=P ⎜ ∑ A I H i ⎟ = ∑ P( A I H i ) = ∑ P(H i ) P(A/Hi), ⎝ i=1 ⎠ i=1 i =1 или n
P(A)= ∑ P(A / H i ) P(H i ) .
(1.6.1)
i =1
Полученная формула называется формулой полной вероятности. Ею обычно пользуются, когда относительно интересующего нас события A 22
известно, что об условиях, при которых оно наступает, можно высказать некоторые попарно несовместные гипотезы H1,H2,...,Hn. Известны вероятности этих гипотез P(Hi) и условные вероятности наступления события A, если верна та или иная гипотеза P(A/Hi). Формула полной вероятности дает возможность найти вероятность наступления события A с учетом возможности наступления любой из гипотез. Другой важнейшей формулой является формула Байеса. Исходные данные в ней те же, что и в формуле полной вероятности, но дополнительно известно, что событие A наступило. Необходимо найти условную вероятность наступления гипотезы Hj при условии, что событие A наступило. По определению условной вероятности имеем: P( A I H j ) P(A / H j ) P(H j ) P(Hj/A)= = . P( A ) P( A ) Заменяя P(A) по формуле полной вероятности, получим формулу Байеса: P(Hj/A)=
P(A / H j ) P( H j ) n
.
(1.6.2)
∑ P( A / H i ) P( H i ) i =1
Эту формулу обычно применяют в ситуации, когда имеется событие A и гипотезы об условиях его наступления, P(Hj) - вероятности этих гипотез, известные до проведения опыта, так называемые априорные вероятности. Пусть теперь в результате опыта наступило событие A. Факт его наступления несет информацию о гипотезах Hi, и эта информация выражается в изменении вероятностей наступления гипотез - они теперь становятся равными P(Hi/A)- послеопытными, или так называемыми апостериорными вероятностями. Формула Байеса как раз и позволяет найти эти апостериорные вероятности и тем самым получить информацию об условиях наступления события A. Таким образом, формула Байеса становится основной для принятия каких-либо решений о гипотезах Hi по результатам опыта. Пример 1. На орбитальном комплексе установлено 6 мини-ЭВМ отечественного производства и 4 зарубежных мини-ЭВМ. Вероятность того, что во время выполнения вычислительных работ отечественная мини-ЭВМ не выйдет из строя, равна 0,95, для зарубежной мини-ЭВМ эта вероятность равна 0,8. Найти вероятность того, что взятая наугад мини-ЭВМ не выйдет из строя до окончания вычислительных работ. Решение. Пусть A-событие, состоящее в том, что мини-ЭВМ не выйдет из строя. Это событие может произойти с одной из гипотез: H1 - взята оте23
чественная мини-ЭВМ, H2 - взята зарубежная мини-ЭВМ. Тогда P(H1)=6/10, P(H2)=4/10 и по условию задачи P(A/H1)=0,95, P(A/H2)=0,8. По формуле полной вероятности искомая вероятность P(A)=P(H1)P(A/H1)+P(H2)P(A/H2)=0,6 ⋅ 0,95+0,4 ⋅ 0,8=0,89. Пример 2. В канцелярии работают 4 секретарши, которые отправляют 40,10,30 и 20% исходящих документов. Вероятности неверной адресации документов секретаршами равны 0,01; 0,04; 0,06; 0,01 соответственно. Найти вероятность того, что документ, неверно адресованный, отправлен третьей секретаршей. Решение. Введем гипотезы Hi - документ отправила i-я секретарша, i=1,2,3,4. Тогда по условию задачи P(H1)=0,4; P(H2)=0,1; H(Р3)=0,3; P(H4)=0,2. Обозначим через A событие, состоящее в том, что документ адресован неверно. Тогда по условию P(A/H1)=0,01; P(A/H2)=0,04; P(A/H3)=0,06; P(A/H4)=0,01 и искомая вероятность P(H3/A)=
P(H3 )P(A / H3 ) =0,391. P(H1)P(A / H1) + P(H2 )P(A / H2 ) + P(H3 )P(A / H3 ) + P(H4 )P(A / H4 )
Пример 3. Задача о разорении игрока. Некто играет в орлянку. Выбирая “орла” или “решку”, игрок бросает монету. Если выпадает та сторона монеты, которая была названа игроком, то он выигрывает один рубль; в противном случае он столько же проигрывает. Пусть первоначальный капитал игрока составляет х рублей и игрок ставит себе целью довести его до некоторой суммы в a рублей. Игра продолжается до тех пор, пока игрок не наберет заранее определенную сумму a, либо пока он не разорится, проиграв весь имеющийся у него капитал. Какова вероятность того, что в конце концов игрок разорится, так и не набрав сумму в a рублей? Решение . Эта вероятность зависит от начального капитала х и конечной суммы a. Обозначим через p(x) вероятность того, что, имея х рублей, игрок разорится. Тогда вероятность разорения при условии выигрыша на первом шаге будет p(x+1), а вероятность разорения при условии проигрыша на первом шаге будет p(x−1). Обозначим через B1 cобытие, заключающееся в том, что игрок выиграл на первом шаге; B2 - что он проиграл. Пусть событие A означает разорение игрока. Условные вероятности разорения будут иметь вид: P(A/B1)=p(x+1), P(A/B2)=p(x−1). 1 2
События B1 и B2 образуют полную группу событий, и P(B1)=P(B2)= . Формула полной вероятности дает следующее уравнение для вероятностей p(x):
24
p(x)=
1 p( x + 1) + p( x − 1) , где 0≤х≤а, 2
[
]
причем p(0)=1 и p(a)=0, что соответствует условиям разорения игрока. Решением этого уравнения является линейная функция p(x)=C1+C2x, коэффициенты которой определяются из граничных условий p(0)=C1=1, p(a)=C1+C2a=0. Отсюда получаем окончательное выражение для искомой вероятности разорения p(x) при начальном капитале игрока х: x a
p(x)=1− .
§ 7.Частная теорема о независимых опытах. Биномиальное распределение Пусть имеется некоторое случайное событие A. Производится n опытов, в каждом из которых может наступить или не наступить событие A. Сделаем следующие предположения: a) проводимые опыты независимы, то есть наступление или ненаступление события A в любом опыте не влияет на исход других опытов; б) вероятность наступления события A в каждом из опытов одинакова P(A)=p. Определим вероятность того, что в n опытах событие A наступит ровно m раз - Pn(m). Обозначим через Ai наступление события A в i-ом опыте, а через Bnmсобытие, наступающее тогда, когда в n опытах событие A наступает m раз. Тогда получим: Bnm= A1 I A 2 I ... I A m I A m +1 I ... I A n + + A1 I A 2 I ... I A m +1 I A m +2 I ... I A n +... В качестве примера выписаны лишь две комбинации исходов n опытов, когда событие A наступает m раз. Учитывая, что эти комбинации представляют собой несовместные события, получим: Pn(m)=P(Bnm)=P( A1 I A 2 I ... I A m I A m +1 I ... I A n )+ +P( A1 I A 2 I ... I A m +1 I A m +2 I ... I A n )+... Используя теорему умножения вероятностей для независимых исходов опытов, получаем: Pn(m)=P(A1)P(A2)...P(Am)P( A m +1 )...P( A n )+P( A 1 )P(A2)... (1.7.1) ...P(Am+1)P( A m +2 )...P( A n )+... 25
Учитывая, что P(Ai)=p и P( A i )=1-p, запишем (1.7.1) в виде Pn(m)=p m (1−p) n −m +... Чтобы окончательно подсчитать интересующую вероятность, учтем, что слагаемые в формуле (1.7.1) отличаются только порядком сомножителей и ⎛ ⎝
m всего таких слагаемых C m n - число сочетаний из n по m ⎜ C n =
⎞ n! ⎟. m !(n − m)!⎠
Окончательно имеем m n −m Pn(m)= C m . (1.7.2) n p (1 − p) Эта формула называется частной теоремой о независимых опытах, или формулой Бернулли. Если рассматривать Pn(m) как функцию m, то она задает распределение вероятностей, которое называется биномиальным. Исследуем эту зависимость Pn(m) от m, 0≤m≤n. Рассмотрим отношение:
Pn (m + 1) n−m p n −m p n !p m +1 (1 − p) n −m −1 m !(n − m)! ⋅ . ⋅ = = = m n −m m +1 1 − p m +1 q Pn (m) ( m + 1)!(n − m − 1)!n !p (1 − p)
Отсюда следует, что Pn(m+1)>Pn(m), если (n−m)p>(m+1)q, т.е. функция Pn(m) возрастает, если m
np−q. Таким образом, существует число m0 ,при котором Pn(m) достигает наибольшего значения. Найдем m0 . По смыслу числа m0 имеем Pn(m0)≥Pn(m0−1) и Pn(m0) ≥Pn(m0+1), отсюда n !p m 0 q n − m 0 n !p m0 −1q n − m0 +1 ≥ , m 0 !(n − m o )! (m 0 − 1)!(m − m 0 + 1)!
(1.7.3)
n !p m 0 q n − m 0 n !p m0 +1q n − m0 −1 . ≥ m 0 !(n − m 0 )! ( m 0 + 1)!(m − m 0 − 1)!
(1.7.4)
и
Решая неравенства (1.7.3) и (1.7.4) относительно m0 , получаем: p/m0 ≥ q/(n−m0+1) ⇒ m0 ≤np+p, q/(n−m0) ≥ p/(m0+1) ⇒ m0 ≥np−q. Итак, искомое число m0 удовлетворяет неравенствам (1.7.5) np−q≤ m0 ≤np+p. Так как p+q=1, то имеется по крайней мере одно целое число m0, удовлетворяющее неравенством (1.7.5). Число m0 называется наиболее вероят-
26
ным или наивероятнейшим значением появления события A в серии из n испытаний. Пример 1. Система автоматического управления космического летательного аппарата состоит из шести основных узлов, вероятность выхода из строя каждого из которых при динамических перегрузках равна 0,3. При выходе из строя трех или меньшего числа узлов система автоматического управления из строя не выходит. При выходе из строя четырех узлов вероятность выхода САУ из строя равна 0,3, при выходе из строя пяти узлов 0,7, при выходе из строя шести узлов - 1. Определить вероятность выхода САУ из строя при динамических перегрузках (событие A). Решение. Вероятности выхода из строя четырех, пяти и шести узлов по формуле (1.7.2) соответственно равны: 6! 0,34 ⋅ 0,72 ≈ 0,0595 , 4 !2! 6! P6(5)= C 56 p 5 (1−p)= 0,35 ⋅ 0,7 ≈ 0,0102 , 5!1! 6 ! P6(6)= C 66 p 6 = ⋅ 0,36 ≈ 0,0007 . 6!
P6(4)= C 46 p 4 (1 −p) 2 =
По формуле полной вероятности находим вероятность выхода из строя САУ: P(A) ≈ 0,0595 ⋅ 0,3+0,0102 ⋅ 0,7+0,0007 ⋅ 1 ≈ 0,0257. Пример 2. Известно, что 1/45 часть продукции, изготовляемой заводом, не удовлетворяет требованиям стандарта. Завод изготовил 4500 единиц продукции. Найти наивероятнейшее число изделий завода, удовлетворяющих требованиям стандарта. Решение. Поскольку вероятность изготовления бракованного изделия q=1/45, то вероятность изделия, удовлетворяющего стандарту, p=44/45. По формуле (1.7.5) 4500 ⋅ 44/45−1/45 ≤ mo ≤ 4500 ⋅ 44/45+44/45, или 4400−1/45 ≤ mo ≤ 4400+44/45. Итак, искомое наиболее вероятное число изделий, удовлетворяющих требованиям стандарта, равна 4400.
§8. Локальная предельная теорема Муавра-Лапласа Формулой Бернулли для вероятности того, что в n опытах событие наступит ровно m раз Pn(m)=
n! p m (1 − p) n −m , m !(n − m)! 27
удобно пользоваться для численных расчетов при небольших значениях n и m, поскольку при больших n и m возникают трудности с вычислением n! и m!. Выведем для Pn(m) удобную приближенную формулу, пригодную для случая, когда n , m и n−m велики. Для этого воспользуемся формулой Стирлинга: n!=n n 2πn ⋅ e − n +θn , в которой остаточный показатель θ n удовлетворяет неравенству 1 → 0 при n → ∞ . 12n m − np Введем обозначения q=1−p, x= и рассмотрим поведение выраnpq
θn <
жения npqPn (m) при n → ∞. Имеем npqPn ( m) = npq
= npq
n! p m q n −m = m !(n − m)!
n n 2πn ⋅ e − n +θn ⋅ p m q n − m m m 2πm ⋅ e − m +θm (n − m) n − m 2π(n − m) ⋅ e −( n − m ) +θn − m m
n 2 pq
⎛ np ⎞ ⎛ nq ⎞ = ⎜ ⎟ ⎜ ⎟ 2π m( n − m) ⎝ m ⎠ ⎝ n − m ⎠
n −m
=
e θn −θ m −θ n − m .
Рассмотрим теперь предельное поведение отдельных сомножителей, считая, что a≤x≤ в, где a и в - некоторые числа. 1. Так как при n → ∞ m=np+x npq → ∞ и n−m=nq− x npq → ∞ , то θ n − θ m − θ n −m → 0, поэтому e θn −θm −θn −m → 1 при n → ∞.
2.
n 2 pq n 2 pq = = m( n − m) (np + x npq )(nq − x npq )
1 q p (1 + x )(1 − x ) np nq
откуда следует, что n 2 pq → 1 при n → ∞ . m( n − m) m
⎛ np ⎞ ⎛ nq ⎞ 3. Для z= ⎜ ⎟ ⎜ ⎟ ⎝ m ⎠ ⎝ n − m⎠
n −m
имеем
lnz=−mln
28
⎛ n − m⎞ m −(n−m)ln ⎜ ⎟= np ⎝ nq ⎠
,
=−(np+x npq ) ln(1+x
q p ) − ( nq − x npq ) ln(1 − x ). np nq
Используя разложение ln(1+z) в ряд Тейлора функций ln(1+x
q p ) и ln(1-x ): np nq
ln(1+z)=z−
z2 + 0( z 2 ) , 2
получаем 1 q x2 q lnz = −( np + x npq )[x − + 0( )] − 2 np np n 1 p x2 p −( nq − x npq )[− x − + 0( )]. 2 nq nq n
Раскрывая скобки, получим lnz=−x
х2 x2 x2 2 npq − x q + q + 0(1) + x npq − x p + p + 0(1) =− + 0(1) , 2 2 2 2
−
x2 2
(знак ∼ означает асимптотически равно). так что при n → ∞ z∼ e Итак, окончательно имеем x2
m − np 1 −2 npqPn (m) ∼ . e , x= npq 2π
(1.8.1.)
Эта формула носит название локальной предельной теоремы МуавраЛапласа. Более старая ее запись такова. Если a≤x≤в, где x=
m − np , то npq
lim
n →∞
npqPn (m) 1 2π
e
−
x2 2
= 1.
(1.8.2)
Эта формула дает достаточно хорошее приближение уже для n≥25, причем совпадение тем лучше, чем ближе p к 0,5. При p=0,5 биномиальное распределение Pn(m) имеет симметричную форму, но при малых значениях p биномиальное распределение становится асимметричным. Пример 1. По данным ОТК завода, 0,8 всего объема выпускаемых микросхем не имеет дефектов. Найти вероятность того, что среди взятых наугад 400 микросхем дефекты будут иметь 80 микросхем. Решение. В соответствии с формулой (1.8.1)
29
1 Pn(m)∼ npq
x2
1 −2 1 e или Pn(m)∼ ϕ(x) , 2π npq
где ϕ(x) табулирована. В условиях примера n=400, m=80, p=0,2, q=0,8. Отсюда x=
m − np 80 − 400 ⋅ 0,2 = 0. = npq 400 ⋅ 0,2 ⋅ 0,8
Из таблицы функций ϕ(x) находим, что ϕ(0)=0,3989. Тогда искомая вероятность 1 8
1 8
P400(80)∼ ϕ(0) = 0,3989 = 0,04986 . Заметим, что при вычислении этой вероятности по формуле Бернулли получается достаточно громоздкое выражение 80
400! ⎛ 1 ⎞ ⎛ 4 ⎞ P400(80)= ⋅⎜ ⎟ ⎜ ⎟ 80!320! ⎝ 5 ⎠ ⎝ 5 ⎠
320
.
§ 9 Теорема Пуассона Как уже отмечалось в § 8, приближение, даваемое формулой (1.8.2), вполне удовлетворительно для p, близких к 0.5. Однако при малых значениях p и больших значениях n существует другая приближенная формула, которая выводится в следующих предположениях. Поскольку необходимо, чтобы вероятность p сходилась к нулю, рассматривается не фиксированная последовательность случайных величин ξ1,ξ 2,..., а последовательность серий случайных величин: ξ11; ξ12, ξ22; ξ13, ξ23, ξ33; -------------ξ1n, ξ2n, ξ3n,..., ξnn. Первый индекс означает номер случайной величины в серии. Второй индекс означает номер серии. Случайные величины ξin одной n-й серии независимы и одинаково распределены по закону Бернулли P{ξin=1}=pn, P{ξin=0}=1− pn, i=1,2,...,n. Через m обозначим число событий {ξin=1}, фактически происшедших в n-й серии.
30
Теорема. (Пуассона.) Пусть pn→0 при n→∞, причем так, что npn→λ, где λ>0. Тогда для любого m=1,2,... Pn (m) ⎯n⎯ ⎯→ →∞
λm − λ ⋅e . m!
Доказательство. По формуле Бернулли для любых n и m имеем: Pn(m)= C mn p mn (1-pn)n−m=
=
n! n(n − 1)...( n − m + 1) m m ⋅ p n (1-pn)n. ⋅ p n (1-pn)n−m= m m !(n − m)! m !(1 − p n )
Умножим и поделим на nm. Получаем Pn(m)=
1 )...(1 − m − 1) np n n m n n np ( ) 1 ⋅ − ( ) . n n m !(1 − p n ) m
1(1 −
При фиксированном m имеем lim(1 − p n ) m = 1, lim( np n ) m = λm , lim(1 − n →∞
n→∞
lim 1(1 − n →∞
n→∞
np n n ) = e −λ , n
1 )(1 − 2 )...(1 − m − 1) = 1. n n n
Окончательно λm − λ lim Pn (m) = ⋅e . n →∞ m!
(1.9.1)
Соотношение (1.9.1) называется формулой или распределением Пуассона. Из-за малости значений p распределение Пуассона называют также законом распределения редких событий. Рассмотрим поведение Pn(m) как функции от m при больших n. Для этого рассмотрим соотношение Pn (m) λm e − λ (m − 1)! λ ≈ = . Pn (m − 1) m m !λm −1e − λ
Видно, что если m>λ, то Pn(m)Pn(m1), если m=λ, то Pn(m)=Pn(m−1). Отсюда делаем вывод, что величина Pn(m) возрастает при увеличении m от 0 до m0=[λ] и при дальнейшем увеличении m убывает. Если λ целое число, то Pn(m) имеет два максимальных значения: при m0=λ и m '0 =λ−1. Наивероятнейшее значение числа наступления события приходится на λ − целое число. Отметим, что для распределения Пуассона выполняется условие:
31
∞
Pn ( m) = e ∑ nlim →∞
m =0
−λ
∞
λm ∑ m ! = e − λ e λ = 1. m =0
Формула Пуассона дает хорошее приближение формулы Бернулли при малых p и больших n. Ошибка от использования формулы Пуассона при n=5 ⋅103 и p=10 −3 составляет менее 0,01%. Пример 1. Сервисный автоцентр одновременно может обслуживать 100 автомобилей. Вероятность того, что в течение 1 мин автомобилист обратится в автоцентр, равна 0,01. Найти вероятность того, что в течение 1 мин обратятся в автоцентр: а) три автомобилиста; б) менее трех автомобилистов; в) более трех автомобилистов; г) хотя бы один автомобилист. Решение. Поскольку обращения в автоцентр автомобилистов являются независимыми событиями, число n=100 велико, а вероятность p=0,01 мала, воспользуемся формулой (1.9.1). а) Находим λ≈np=100 ⋅ 0,01=1. Вероятность события “в автоцентр обратились три автомобилиста” (m=3) P100 (3) ≈
1 −1 e ≈ 0,0613 . 3!
б) По этой же формуле вероятность того, что в автоцентр обратятся менее трех автомобилистов, 1 2
P100 (0)+P100(1)+P100(2) ≈ e −1 + e −1 + e −1 ≈ 0,9197 . в) События A - “в автоцентр обратятся более трех автомобилистов” и A - “обратятся не более трех автомобилистов” - противоположные, поэтому, согласно пп. “а” и ”б”, вероятность события A: P(A)=1−P( A )=1−( P100 (0)−P100(1)−P100(2)−P100(3)) ≈ ≈1−0,9197−0,0613=0,0019. г) События A - “в автоцентр обратился хотя бы один автомобилист” и A - “в автоцентр никто не обратился” - противоположные, поэтому вероятность события A есть P(A)= 1−P( A )= 1−P100(0) ≈ 1− e −1 ≈0,632. Глава 2. СЛУЧАЙНЫЕ ВЕЛИЧИНЫ
§1. Определение случайной величины Вторым важным объектом, который изучает теория вероятностей, является случайная величина. 32
Остановимся на понятии случайной величины. Часто результатом опыта является не событие, а величина, число. Многократно повторяя опыты, мы получаем различные значения этой интересующей нас величины, несмотря на неизменный комплекс условий проведения опыта. Примерами случайной величины являются: число вызовов, поступивших от абонентов на телефонную станцию в течение некоторого интервала времени; сумма выпавших очков на верхних гранях при подбрасывании двух игральных костей; дальность полета снаряда при выстреле из орудия; время безотказной работы электроприбора и т.д. Все эти значения заранее предсказать невозможно, и в одних и тех же условиях они будут различными, то есть они будут величинами случайными. Таким образом, под случайной величиной будем понимать такую величину, которая в результате опыта принимает неизвестное заранее значение, причем оно от опыта к опыту может изменяться. Дадим более строгое определение случайной величины. Основой всех вероятностных построений является вероятностное пространство (Ω,F,P), где Ω − пространство элементарных событий, F − σ-алгебра на этом пространстве и P − вероятностная мера. Каждому элементу ω пространства элементарных событий Ω нужно поставить в соответствие некоторое число. Поскольку от опыта к опыту ω меняется, то и числа будут меняться, то есть получится случайная величина. Такое сопоставление элементарному событию ω числа является функцией ξ(ω), определенной на Ω. Но рассматривать произвольные функции ξ(ω) весьма затруднительно с математической точки зрения, поэтому на класс функций ξ(ω) наложены некоторые ограничения. Обозначим через R множество вещественных чисел x, − ∞ <x<+ ∞ . Обычно все математические построения на числовой оси строятся на так называемых борелевских множествах, образующих σ-алгебру B. Элементами этой алгебры являются множества вида ∑ < α i , β i > , где <αi,βi> − i
отрезок, замкнутый или открытый. Поэтому естественно требовать, чтобы функции ξ(ω) не только отображали Ω в R, но также отображали в определённом смысле σ-алгебру F в борелевскую алгебру B, то есть функции ξ(ω) совершали отображение: ξ( ω )
(Ω,F) → (R,B). Такие функции называются измеримыми; для них выполняется условие ∀В∈B: ξ −1 (В)∈F. Таким образом, случайная величина ξ(ω) − произвольная измеримая функция, определенная на (Ω,F) и отображающая (Ω,F) в (R,B). 33
Укажем на аналогию с функциональным анализом: Функциональный анализ Измеримая функция, отображающая (Ω,F) в (R,B)
Теория вероятностей Случайная величина ξ(ω)
Если не будет возникать недоразумений, аргумент ω у случайной величины ξ(ω) будем в дальнейшем опускать, а случайные величины будем обозначать греческими буквами ζ, η, ξ и т. д. без аргумента ω.
§2. Описание случайных величин. Как известно из курса функционального анализа, необходимое и достаточное условие измеримости функции ξ(ω) имеет вид: для ∀x множества {ω: ξ(ω) < x}∈F; {ω: ξ(ω) ≤ x}∈ F; {ω: ξ(ω) > x}∈ F; (2.2.1) {ω: ξ(ω) ≥ x}∈ F. Вероятностная мера P любому событию A∈ F ставит в соответствие число P(A), определяющее вероятность этого события. Поэтому для любого x определено число P({ω: ξ(ω) < x}). Это число зависит от x и является основной характеристикой случайной величины. Функцией распределения Fξ(x) случайной величины ξ(ω) называется функция Fξ(x)=P({ω: ξ(ω) < x})=P{ξ< x}, то есть Fξ(x) есть вероятность того, что случайная величина примет значение, меньшее некоторого x. Разумеется, можно было бы брать другие множества из (2.2.1), но в теории вероятностей принято брать именно множества вида {ω: ξ(ω) < x}. Функция распределения Fξ(x) является самой полной характеристикой случайной величины; описать, задать случайную величину ξ − означает задать ее функцию распределения Fξ(x). Все, что можно сказать о случайной величине, заключено в ее функции распределения. В дальнейшем индекс ξ у Fξ(x) будем опускать там, где это не вызовет недоразумений. Рассмотрим основные свойства функции распределения. Свойство 1. F(x) − неубывающая функция, то есть, если x1 < x2, то F(x1)≤F(x2). 34
Доказательство. Если x1 < x2, то {ω: ξ(ω) < x1}⊂{ω: ξ(ω) < x2}.
По свойствам вероятности P({ω: ξ(ω) < x1})≤P({ω: ξ(ω) < x2}) или F(x1) ≤F(x2). Свойство 2. F(x) удовлетворяет следующим соотношениям: lim F (x) = 0 , lim F (x) = 1 . x→−∞
x→+∞
Доказательство. Рассмотрим последовательность чисел xn↓− ∞ и соответствующую ей последовательность событий An={ω:ξ(ω)<xn}. Так как любые реальные величины принимают лишь конечные значения и значений, равных − ∞ , быть не может, то последовательность событий An↓∅. Поэтому ∞
lim F( x ) = lim F( x n ) = lim P( A n ) = P( I A n ) = P(∅ ) = 0 .
x→−∞
n→∞
n →∞
n =1
Аналогично, взяв последовательность чисел xn ↑∞ и соответствующую последовательность событий Bn={ω:ξ(ω)<xn}, получим, что Bn↑Ω, и поэтому ∞
lim F( x ) = lim F( x n ) = lim P( Bn ) = P( U Bn ) = P( Ω ) = 1 .
x→+∞
n→∞
n→∞
(2.2.2)
n =1
Свойство 3. Функция распределения F(x) непрерывна слева, то есть при x↑x0 lim F (x) = F (x 0 ) . x→xo −0
Доказательство. Возьмем любую последовательность xn↑x0 и рассмотрим события An={ω:ξ(ω)<xn}и А={ω:ξ(ω)<x0}. Очевидно, что An↑ и ∞
U A n =A. Поэтому n=1
∞
lim F( x ) = lim F( x n ) = lim P( A n ) = P( U A n ) = P( A ) = F( x 0 ) .
x→ x 0 − 0
n →∞
n→∞
n =1
Из функционального анализа известно, что функция F(x) определяет на борелевской σ-алгебре числовой прямой меру Лебега-Стилтьеса μF. Поэтому P{a≤ξ
P{a<ξ
p1,p2,...,pn выполняется условие
n
∑ pi = 1. i =1
2. Пусть F(x) содержит только абсолютно непрерывную компоненту. В этом случае F(x) может быть представлена в виде x
F(x)= ∫ p(t )dt ,
(2.2.4)
−∞
где p(t) - функция, интегрируемая по Лебегу на числовой прямой, что влечёт почти всюду существование производной 36
p(x)=F′(x). (2.2.5) Соответствующая случайная величина называется непрерывной случайной величиной, а функция (2.2.5) плотностью распределения вероятностей случайной величины. Для непрерывных случайных величин плотность распределения вероятностей является основной характеристикой. Рассмотрим основные свойства плотности распределения вероятностей. Свойство 1. p(x)≥0. Доказательствo. Поскольку F(x) − неубывающая функция, то p(x)=F′(x) ≥0. b
Свойство 2. P{a≤ξ
(2.2.6) b
a
b
−∞
−∞
a
Доказательство. P{a≤ξ
Для произвольного множества A⊂Ω это свойство можно записать так: P{ξ∈A}= ∫ p(x)dx . A
Отсюда, в частности, если p(x) непрерывна в точке x, то с точностью до бесконечно малых высших порядков P{x≤ξ<x+ Δ x}=
x + Δx
∫ p(t )dt = p(x) Δx + 0( Δx) . x
Поэтому часто плотность распределения вероятностей p(x) определяют как P(x ≤ ξ < x + Δx) . Δx→0 Δx
p(x)= lim ∞
Свойство 3.
∫ p(x)dx = 1 .
(2.2.7)
−∞
Доказательство.
∞
∞
−∞
−∞
∫ p(x)dx =
∫ F ′(x)dx = F ( +∞) − F ( −∞) = 1 − 0 = 1 .
Соотношение (2.2.7) для плотности вероятностей носит название условия нормировки. Рассмотрим примеры. Пример 1. Построить ряд распределения числа выпавших гербов при подбрасывании двух симметричных монет. Решение. В зависимости от исхода опыта это число может быть равным 0,1 и 2. Выберем в качестве элементарных следующие события ω1=ГГ, ω2=РГ, ω3=ГР, ω4=РР, которые являются равновозможными и поэтому их вероятности P(ωi)=1/4. Зная вероятности P(ωi), находим вероятность того, 37
что случайная величина ξ примет то или иное значение. Например, событие A={ω: ξ(ω)=1}, состоящее в том, что ξ примет значение 1, наступит, если реализуется одно из элементарных событий ω2 или ω3, то есть A={РГ,ГР}. Тогда P{ω: ξ(ω)=1}=P(A)=2/4=1/2. Поэтому ряд распределения будет иметь вид: 0 1 2 ξ p 1/4 1/2 1/4 Пример 2. На отрезке [a,b] случайным образом появляется точка. Найти функцию распределения случайной величины ξ − координаты появившейся точки. Решение. Событие ξ<x означает, что появившаяся точка находится на интервале ( −∞ ,x). При x
x ξ<x
есть P{ξ
b
При x∈[a,b] вероятность появления точки на [a,x]
x
x−a , так как x−a − длина отрезка [a,x], а b−a − длина всего b− a
отрезка [a,b]. При x>b событие {ξ<x} достоверно, то есть P{ξ<x}=1. Таким образом, искомая функция распределения имеет вид: ⎧ 0 , x ≤ a; ⎪ F(x)= ⎨ x-a , a < x ≤ b; b-a ⎪ 1, x > b. ⎩
Пример 3. Плотность вероятностей случайной величины ξ есть p(x)= cx 2e − kx , k>0, x≥0. Найти: а) коэффициент с; б) функцию распределения F(x); в) вероятность попадания случайной величины ξ в интервал (0,1/k). Решение. a) Из условия нормировки (2.2.7) находим c: ∞
2 − kx
∫ cx e
dx =1,
c= ∞
1 2 − kx
∫x e
0
dx
k3 = . 2
0
Следовательно, p(x)= б) По формуле (2.2.4) x
3
k 2 − kx xe . 2 x
k 3 2 − kt k 2 x 2 + 2kx + 2 − kx t e dt = 1 − e . 2 2 0
F(x)= ∫ p(x)dx = ∫ −∞
в) В соответствии с соотношением (2.2.3) для непрерывных случайных величин 38
P{0≤ξ<1/k}=F(1/k)−F(0)=1−5/(2e)−0 ≈ 0,086.
§3. Многомерные случайные величины Достаточно часто результатом опыта является не одна, а несколько случайных величин. В этом случае рассматривается случайный вектор или многомерная случайная величина. n-мерная случайная величина определяется как совокупность n измеримых функций ξ1(ω),ξ2(ω),...,ξn(ω), отображающих (Ω,F) в (Rn,B), где B боролевская σ - алгебра в Rn. Необходимым и достаточным условием измеримости системы функций является условие: ∀x1,x2,...,xn : {ω:ξ1(ω)<x1, ξ2(ω)<x2 ,..., ξn(ω)<xn}∈F. Поэтому основной характеристикой n-мерной случайной величины ξ=(ξ1,ξ2,..., ξn) является n-мерная функция распределения Fξ(x1,x2,...,xn)=P{ξ1<x1, ξ2<x2,..., ξn<xn}. Свойства функции распределения Fξ(x1,x2,...,xn) аналогичны свойством функции распределения одномерной случайной величины. Свойство 1. Fξ(x1,x2,...,xn) - неубывающая функция по каждому из своих аргументов. Свойство 2. lim F ξ (x1, x 2 ,..., x n ) = 0 ∀i, xi →−∞
lim
x1,x2 ,...,xn →+∞
Свойство 3.
F ξ (x1, x 2 ,..., x n ) = 1 .
lim F (x1, x 2 ,..., x n ) = F (x1, x 2 ,..., x n −1 ) .
x n →+∞
Доказательство. F(x1,x2,...,xn-1)=P{ξ1<x1,ξ2<x2,..., ξn-1<xn-1 ,ξn<+∞}=F(x1,x2,...,xn-1, +∞). Таким образом, чтобы найти функцию распределения подсистемы случайных величин меньшей размерности, необходимо в n-мерной функции распределения не интересующие нас аргументы устремить к +∞. Это свойство называется свойством согласованности. Свойство согласованности позволяет находить одномерные законы распределения случайных величин, входящих в ξ=(ξ1, ξ2,..., ξn). Свойство 4. Если F(x1,x2,...,xn) абсолютно непрерывна, то n-мерная случайная величина ξ=(ξ1, ξ2,..., ξn) называется непрерывной. В этом случае F(x1,x2,...,xn) можно представить в виде. x1
xn
−∞
−∞
F(x1,x2,...,xn)= ∫ ... ∫ p(t 1, t 2 ,..., t n )dt n ... dt 2dt 1 , 39
где почти всюду выполняется равенство ∂ n F (x1, x 2 ,..., x n ) p(x1,x2,...,xn)= , ∂x1∂x 2 ... ∂x n
где p(x1,x2,...,xn) называется плотностью распределения n-мерной случайной величины. Функция p(x1,x2,...,xn) обладает следующими свойствами: Свойство 1. p(x1,x2,...,xn)≥0; Свойство 2.
∞
∞
−∞
−∞
∫ ... ∫ p(x1, x 2 ,..., x n )dx1dx 2 ... dx n
= 1 − условие нормировки;
Свойство 3. Если A∈B, то
P{ξ∈Α}= ∫ ... ∫ p(x1, x 2 ,... x n )dx1dx 2 ... dx n ; А
Свойство 4. Условие согласованности для плотности вероятностей имеет вид. ∞
p(x1,x2,...,xn-1)= ∫ p(x1, x 2 ,..., x n −1, x n )dx n .
(2.3.1)
−∞
То есть в этом случае, чтобы получить плотность распределения подсистемы случайных величин меньшей размерности, нужно n-мерную плотность вероятностей проинтегрировать по неинтересующим переменным в пределах ( −∞, +∞ ). Таким образом, зная многомерный закон распределения (функцию распределения или плотность вероятностей), можно найти одномерные законы распределения всех случайных величин, входящих в систему. Можно ли решить обратную задачу: по одномерным законам распределения случайных величин ξ1,ξ2,...,ξn, найти многомерный закон распределения. Это возможно, но не всегда. В общем случае кроме одномерных законов распределения случайных величин необходимо знать условные законы распределения. Введем понятия условной функции распределения и условной плотности распределения, ограничиваясь изложением существа дела в ущерб, может быть, строгой формализации. Рассмотрим двумерную случайную величину (ξ,η) с функцией распределения Fξη(x,y) и плотностью вероятностей pξη(x,y). Пусть стало известно, что случайная величина η приняла значение η=y. Найдем условную функцию распределения F(x/y) и условную плотность вероятностей p(x/y). Обозначим через A событие {ω:ξ(ω)<x},а через B - событие {ω:y≤η(ω)
B={ω:y≤η(ω)
F ξη (x, y + Δy) − F ξη (x, y) F η (y + Δy) − F η (y)
.
Переходя к пределу при Δy →0, получим ∂F ξη (x, y)
F(x/y)= lim P{ξ < x / y ≤ η < y + Δy} = Δy→0
или F(x/y)=
1 ∂F ξη (x, y) . p η (y) ∂y
∂y F η' (y)
,
(2.3.3)
Дифференцируя по x, получим выражение для условной плотности вероятностей: p(x/y)=
p ξη (x, y) p η (y)
,
(2.3.4)
или, используя формулу (2.3.1), получим. p(x/y)=
p ξη ( x, y) ∞
.
(2.3.5)
.
(2.3.6)
∫ p ξη (u, y)du
−∞
Аналогично получаем p(y/x)=
p ξη (x, y) ∞
∫ p ξη (x, v)dv
−∞
Формулы (2.3.3), (2.3.4), (2.3.5) и (2.3.6) определяют условные законы распределения случайной величины при условии, что другая случайная величина принимает фиксированное значение. Формулу (2.3.4) перепишем в виде. pξη(x,y)=p(x/y)pη(y)=p(y/x)pξ(x), 41
который похож на теорему умножения вероятностей для случайных событий. Аналогично понятию независимых случайных событий вводится понятие независимых случайных величин. Случайные величины ξ1, ξ2,..., ξn называются независимыми , если многомерная функция распределения равна произведению одномерных функций распределения, то есть n
F(x1,x2,...,xn)= F ξ1 (x1 )F ξ2 (x 2 )... F ξn (x n ) = ∏ F ξi (x i ) .
(2.3.7)
i =1
Если существует многомерная плотность распределения вероятностей, то можно показать, что условие независимости случайных величин будет иметь вид. n
p(x1,x2,...,xn)= p ξ1 (x1 ) p ξ2 (x 2 )... p ξ n (x n ) = ∏ p ξi (x i ) . i =1
В этом случае согласно формуле (2.3.4) условные плотности вероятностей совпадают с безусловными. В качестве более детальной иллюстрации основных свойств многомерного закона распределения рассмотрим функцию распределения системы двух случайных величин ξ и η Fξη(x,y)=P{ξ<x,η
(x,y)
x
X
Аналогично, функция распределения одной случайной величины Fξ(x) представляет собой вероятность попадания случайной точки в полуплоскость, ограниченную справа прямой с абсциссой x. Y
x
42
X
Функция распределения случайной величины η Fη(y) - представляет собой вероятность попадания случайной точки в полуплоскость, ограниченную сверху прямой с ординатой y. Y y
X
Рассмотрим основные свойства функции распределения двух случайных величин с точки зрения представленной геометрической интерпретации. 1. Fξη(x,y) есть неубывающая функция обоих своих аргументов, то есть при x2 > x1 Fξη(x2,y) ≥ Fξη(x1,y); при y2 > y1 Fξη(x,y2) ≥ Fξη(x,y1). Действительно, увеличивая x, то есть смещая правую границу квадранта вправо или увеличивая y, то есть смещая верхнюю границу вверх, мы не можем уменьшить вероятность попадания случайной точки (ξ ,η) в этот квадрант. 2. На −∞ Fξη(x,y)=0, то есть Fξη(x, −∞ )=Fξη( −∞ ,y)=Fξη( −∞ , −∞ )=0. Неограниченно отодвигая влево правую границу квадранта или вниз его верхнюю границу или делая это одновременно с обеими границами, мы устремляем к нулю вероятность попадания случайной точки в квадрант. Если оба аргумента устремить к +∞ , то Fξη( +∞ , +∞ )=1. При этом квадрант с вершиной (x,y) в пределе обращается во всю плоскость, вероятность попадания в которую есть достоверное событие. 3. При одном из аргументов, стремящемся к +∞ , функция распределения системы двух случайных величин превращается в функцию распределения случайной величины, соответствующей другому аргументу, то есть Fξη(x, +∞ )=Fξ(x), Fξη( +∞ ,y)=Fη(y). Смещая ту или иную из границ квадранта на +∞ , мы тем самым в пределе квадрант превращаем в полуплоскость, вероятность попадания в которую есть функция распределения одной из величин, входящих в систему. Рассмотрим примеры. Пример 1. Случайный вектор (ξ,η) имеет плотность вероятностей p(x,y)=
A , x,y∈R. π 2 (16 + x 2 )(25 + y 2 )
Найти: а) величину A; б) функцию распределения Fξη(x,y); в) функции распределения Fξ(x) и Fη(y); г) плотности вероятностей pξ(x) и pη(y). Решение. а) Величину A находим из условия нормировки 43
∞ ∞
Adxdy
∫ ∫
= 1, π (16 + x 2 )(25 + y 2 ) A 1 x∞ 1 y∞ arctg arctg = 1 , A=20. 4 −∞ 5 5 −∞ π2 4 2
−∞ −∞
б) По свойству 4 функции распределения многомерной случайной величины F(x,y)=
20
x y
dudv
1 x 1 1 y 1 = + + ). arctg arctg ( )( 4 2 π 5 2 π π 2 −∞ −∞ (16 + u 2 )(25 + v 2 )
∫ ∫
в) В соответствии со свойством согласованности функции распределения 20
x ∞
dudy
∫ ∫
= π −∞ −∞ (16 + u 2 )(25 + y 2 ) 20 1 1 u x 1 y∞ x π = 2 arctg = (arctg + ) . arctg 4 −∞ 5 5 −∞ π 4 2 π 4
Fξ(x)=
2
Аналогично находим. 1 π
y 5
π 2
Fη(y)= (arctg + ) . г) Плотности вероятностей pξ(x) и pη(y) находим, дифференцируя Fξ(x) и Fη(y): pξ(x)=
4
π(16 + x 2 )
, pη(y)=
5
π(25 + y 2 )
.
Пример 2. Двумерная случайная величина (ξ,η) равномерно распределена внутри круга радиусом a с плотностью вероятностей ⎧⎪1 / ( πa2 ), x 2 + y 2 < a2 ; pξη(x,y)= ⎨ ⎪⎩0, x 2 + y 2 > a2 .
Найти условную плотность вероятности p(x/y). Решение. Используя свойство согласованности, находим pη(y) ⎧ + ∞ ⎪ 1 ⎪ pη(y)= ∫ p(x, y)dx = ⎨ πa2 − ⎪ −∞ ⎪⎩ 0 ,
a2 − y2
∫
a2 − y2
dх =
2
πa
2
a2 − y 2 , y < a;
По формуле (2.3.4) определяем p(x/y): 1 ⎧ , y < a, x < a2 − y 2 ; ⎪ 2 2 p(x/y)= ⎨ 2 a − y ⎪0, y > a, или x > a2 − y 2 . ⎩ 44
y > a.
§4. Функции от случайных величин Рассмотрим следующую задачу: имеется n-мерная случайная величина ξ=(ξ1,ξ2,...,ξn) с плотностью вероятностей pξ(x1,x2,...,xn) и имеется m функций от этой случайной величины η1=f1(ξ1,ξ2,...,ξn), η2= f2(ξ1,ξ2,...,ξn), (2.4.1) .............. ηm=fm(ξ1,ξ2,...,ξn), где f1,f2,...,fm - некоторые функции от n переменных. Необходимо найти плотность распределения вероятностей m-мерной случайной величины η=(η1,η2,..., ηm). Рассмотрим некоторые частные случаи этой задачи. 1. Пусть ξ - одномерная случайная величина с плотностью вероятностей pξ(x) и y=f(x) - монотонно возрастающая функция. Необходимо найти плотность вероятностей pη(y) случайной величины η, равной f(ξ). Для монотонной функции x и y связаны однозначно, следовательно, уравнение y=f(x) можно однозначно разрешить относительно x: x= f −1 ( y) = ϕ(y). Далее легко видеть, что {ω:η(ω)ϕ(y)}, и поэтому Fη(y)=1− Fξ(ϕ(y)). Дифференцируя по y, получим: pη(y)=−Fξ′(ϕ(y))ϕ′(y)= −pξ(ϕ(y))ϕ′(y). (2.4.3) Объединяя выражения (2.4.2) и (2.4.3) для монотонных функций, запишем окончательно плотность вероятностей функции от случайной величины pη(y)= pξ(ϕ (y))⏐ϕ′(y)⏐, где ϕ(y) - функция, обратная к функции f(x).
45
2. Пусть теперь случайные величины ξ и η связаны немонотонной зависимостью η= f(ξ). Тогда уравнение y= f(x), разрешенное относительно x, имеет несколько корней x=ϕi(y) i=1,2,... y=f(x) y ϕ 1(y) ϕ 2 (y) ϕ 3 (y) ϕ 4 (y) ... x
Как видно из рисунка, в этом случае {ω:η(ω)
ϕ2 ( y)
ϕ 4 ( y)
ϕ1 ( y)
ϕ3 ( y)
∫ p ξ (x)dx + ∫ p ξ (x)dx+...
Дифференцируя по y, получаем pη(y)= −pξ(ϕ1(y))ϕ1′(y)+pξ(ϕ2(y))ϕ2′(y) −... Учитывая знак производной от функции ϕi(y), можно записать: pη(y)= ∑ p ξ (ϕ i (y)) ⏐ϕi′(y) ⏐. i
Например, пусть pη(x)=
1 2
π(1 + x )
- плотность распределения Коши и η= ξ 2 .
Тогда уравнение y= x 2 имеет два корня: x1=ϕ1(y)=− y ; x2=ϕ2(y)=+ y . Поэтому
pη(y)=
−1 1 1 1 + = . 2 π(1 + ( − y ) 2 y π(1 + ( y ) 2 y π(1 + y) y 1
2
3. Пусть размерности многомерных случайных величин ξ и η совпадают и равны n=m. Тогда имеем n уравнений (2.4.1): η1=f1(ξ1,ξ2,..., ξn); η2=f2(ξ1,ξ2,..., ξn); ............... ηn=fn(ξ1,ξ2,..., ξn). Пусть, кроме того, система уравнений y1=f1(x1,x2,...,xn); y2=f2(x1,x2,...,xn); ............. . yn=fn(x1,x2,...,xn) может быть однозначно разрешена относительно x1,x2,...,xn, то есть 46
x1=ϕ1(y1,y2,...,yn); x2=ϕ2(y1,y2,...,yn); ............... xn=ϕn(y1,y2,...,yn). В пространстве Rn выберем некоторую бесконечно малую область D площадью SD. Ей будет соответствовать при отображении, осуществляемом функциями f1,f2,...,fn, область G площадью SG . Так как x и y связаны взаимно однозначно, то P{ξ∈D}=P{η∈G}. Если область D окружает точку x=(ϕ1(y), ϕ2(y),..., ϕn(y)), а область G - точку y=(y1,y2,...,yn),то pη(y1,y2,...,yn)SG=pξ(ϕ1(y), ϕ2(y),..., ϕn(y))SD. pη(y1,y2,...,yn)= pξ(ϕ1(y), ϕ2(y),..., ϕn(y))
Откуда
Но для бесконечно малых областей
SD . SG
SD ∂(ϕ1 (y), ϕ 2 (y),..., ϕ n (y)) = , и оконча∂(y1, y 2 ,..., y n ) SG
тельно получаем: pη(y1,y2,...,yn)= pξ(ϕ1(y), ϕ2(y),..., ϕn(y))
∂(ϕ1 (y), ϕ 2 (y),..., ϕ n (y)) (2.4.4) ∂(y1, y 2 ,..., y n )
Этот же результат строго доказывается в функциональном анализе (теорема об образе меры при отображении). 4. Рассмотрим случай, когда в системе (2.4.1) m
x1=ϕ1(y1,y2,...,yn); x2=ϕ2(y1,y2,...,yn); ............... xn=ϕn(y1,y2,...,yn). Плотность вероятностей p *η ( y1,y2,...,yn) случайных величин η1,η2,..., ηn находим по формуле (2.4.4) p *η ( y1,y2,...,yn)= pξ(ϕ1(y), ϕ2(y),..., ϕn(y))
∂(ϕ1 (y), ϕ 2 (y),..., ϕ n (y)) . ∂(y1, y 2 ,..., y n )
Интегрируя это выражение по дополнительным переменным, получим искомую плотность вероятностей ∞
∞
−∞
−∞
pη(y1,y2,...,ym)= ∫ ... ∫ p *η (y1, y 2 ,..., y n )dy m +1... dy n . Рассмотрим примеры преобразования вида 4. Пример 1. Имеется двумерная случайная величина (ξ,η) с плотностью вероятностей pξη(x,y). Найти pζ(z), если ζ=ξ+η. Решение. Вводим дополнительную переменную ζ=ξ+η, ω=ξ. Решаем систему уравнений z=x+y, u=x относительно x и y: x=u, y=z−u. Находим pζω(z,u): 0 1 ∂(x, y) = = 1; 1 -1 ∂( z, u)
pζω(z,u)= pξη(u,z−u). Интегрируя последнее выражение по u, получим: ∞
pζ(z)= ∫ p ξη (u, z − u)du . −∞
Интеграл, входящий в эту формулу, называется интегралом типа свертки. ξ η
Пример 2. Найти pζ(z), если ζ= . Решение. Вводим дополнительную переменную ξ η
ζ= , 48
ω=η
и разрешаем систему уравнений. x y
z= , u=y относительно x и y: x=zu, y=u. Находим pζω(z,u): u z ∂(x, y) = = u 0 1 ∂( z, u)
pζω(z,u)=pξη(zu,u) u . Интегрируя последнее выражение по u, получим ∞
pζ(z)= ∫ u p ξη ( zu, u)du . −∞
Пример 3. Найти pζ(z), если ζ = ξ 2 + η2 . Решение. Функция, с помощью которой образована ζ, имеет вид
z= x 2 + y 2 . Дополнительную переменную ϕ введём таким образом, чтобы обратное отображение имело вид. x=zcosϕ, y=z sinϕ и выполнялись условия 0≤ϕ<2π и z>0. Находим pζϕ(z, ϕ) cos ϕ - z sin ϕ ∂(x, y) = = z, sin ϕ z cos ϕ ∂( z, ϕ)
pζϕ(z, ϕ)=zpξη(zcosϕ, z sinϕ). Поскольку 0≤ϕ<2π, то 2π
pζ(z)= z ∫ p ξη ( z cos ϕ, z sin ϕ)d ϕ . 0
§ 5. Математическое ожидание Функция распределения является универсальной характеристикой случайной величины, описывающей как дискретные, так и непрерывные слу49
чайные величины. Плотность распределения вероятностей описывает только непрерывную случайную величину. Но описание случайных величин функцией распределения или плотностью распределения вероятностей, являющимися самым полным и самым подробным описанием случайной величины, достаточно сложно. Даже несложные преобразования, такие как сложение, умножение, деление случайных величин, приводят к достаточно сложным преобразованиям плотности распределения вероятностей, связанным с вычислением интегралов. Кроме того, эмпирическое определение функции распределения или плотности вероятностей случайной величины требует проведения очень большого числа измерений её значений. В связи с этим возникает необходимость в другом описании случайных величин, пусть не столь полном и характеризующим лишь некоторые их свойства, но зато более простом и требующем меньшего числа измерений при проведении экспериментальных исследований, тем более, что во многих случаях нет необходимости характеризовать случайную величину полностью. Чаще всего достаточно указать только отдельные числовые параметры, достаточно хорошо характеризующие существенные черты распределения случайной величины. Такие характеристики, дающие в сжатой форме наиболее существенные особенности распределения, называются числовыми характеристиками случайной величины. Существует большое количество различных числовых характеристик, имеющих различное назначение и различные области применения. Рассмотрим характеристики положения случайной величины, которые указывают число, около которого группируются все возможные значения случайной величины. Важнейшей из характеристик положения является так называемое математическое ожидание. Определение 1. Пусть заданы вероятностное пространство (Ω, F, P) и случайная величина ξ(ω). Математическим ожиданием случайной величины ξ называется число M {ξ} = ∫ ξ(ω)dP(ω) , Ω
где интеграл понимается в смысле Лебега. Определение 2. Математическим ожиданием функции g(ξ) от случайной величины ξ называется число M {g( ξ)} = ∫ g( ξ(ω))dP(ω) . Ω
50
Продолжая таблицу соответствий терминологии функционального анализа и теории вероятностей, можно записать функциональный анализ интеграл Лебега ∫ g(ξ(ω))dP(ω)
теория вероятностей математическое ожидание функции g(ξ) от случайной величины ξ
Ω
Рассмотрим теорему о вычислении математического ожидания. Теорема. Пусть случайная величина ξ имеет функцию распределения F ξ (x) . Тогда ∞
M {g( ξ)} = ∫ g(x)dF ξ (x) , −∞
где интеграл понимается в смысле Лебега-Стильтьеса. В частности, ∞
M {ξ} = ∫ xdF ξ (x) .
(2.5.1)
−∞
Доказательство рассмотрим для функций различного вида. 1. Формулы (2.2.2) можно представить в следующем виде: b
P{a ≤ ξ < b} = Fξ ( b) − Fξ ( a ) = ∫ dFξ ( x ); a
P{a ≤ ξ ≤ b} = Fξ ( b + 0) − Fξ ( a ) =
b+ 0
∫ dFξ ( x ); a
P{a < ξ < b} = Fξ ( b) − Fξ ( a + 0) =
b
∫ dFξ ( x );
a +0
P{a < ξ ≤ b} = Fξ ( b + 0) − Fξ ( a + 0) =
b+ 0
∫ dFξ ( x ).
a +0
Поэтому для любого множества В∈В, где В - борелевская σ-алгебра числовой прямой P{ξ ∈ B} = ∫ dF ξ (x) . B
2. Пусть g(x)=IB(x), где В∈В. Обозначая А=ξ-1(В), то есть А есть прообраз множества В, А∈F, получим, что g(ξ(ω))=IA(ω) и
51
∞
∞
−∞
−∞
∫ g( x )dFξ ( x ) = ∫ I B ( x )dFξ ( x ) = ∫ dFξ ( x ) =P{ξ ∈ B} = P{ω ∈ A} = B
= ∫ dP(ω ) = ∫ I A (ω )dP(ω ) = ∫ g( ξ(ω ))dP(ω ). Ω
A
Ω
Поэтому теорема верна и для функций вида g(x)=IB(x). 3. Следовательно, теорема верна и для простых функций вида g( x ) = ∑ ci I Bi ( x ) , i
что легко доказывается. 4. Пусть g(x)≥0 - измеримая функция. Из функционального анализа известно, что тогда существует монотонно возрастающая последовательность простых функций gn(x), сходящаяся к g(x): gn(x)↑g(x). Для неё имеем: ∞
∫
−∞
∞
g n (x)dF ξ (x) ≤ ∫ g(x)dF ξ (x), −∞
g n ( ξ(ω)) ↑ g( ξ(ω)), ∞
∞
−∞
−∞
∫ g n (ξ(ω))dP(ω) = ∫ g n (x)dF ξ (x) ≤ ∫ g(x)dF ξ (x).
Ω
Дважды используя теорему Леви, получим ∞
∫
g(x)dF ξ (x) =
−∞
= lim
n →+∞
∞
∫
−∞
lim g n (x)dF ξ (x) = lim
n →+∞
n →+∞
∞
∫ g n (x)dF ξ (x) =
−∞
g n (ξ(ω))dP(ω) = ∫ g(ξ(ω))dP(ω). ∫ g n (ξ(ω))dP(ω) = ∫ nlim →+∞
Ω
Ω
Ω
5. Для функций g(x) произвольного знака, представляя g(x) в виде g(x)=g+(x)−g−(x), можно записать теорему отдельно для g+(x) и g−(x) и, вычитая соответствующие интегралы, получить теорему для g(x). Рассмотрим случаи различных представлений случайной величины. 1. Если ξ - непрерывная случайная величина, то почти всюду существует p(x)=F′(x) и математическое ожидание функции g(ξ) случайной величины ξ на основании теоремы об интегрируемости по абсолютно непрерывной мере будет иметь вид ∞
∞
−∞
−∞
M {g( ξ)} = ∫ g(x)dF ξ (x) = ∫ g(x) p(x)dx .
Соответственно, математическое ожидание самой случайной величины 52
∞
M {ξ} = ∫ xp(x)dx .
(2.5.2)
−∞
2. Если ξ - дискретная случайная величина, принимающая значения х1,х2,...,хn с вероятностями p1,p2,...,pn, то Fξ(x) - ступенчатая функция со скачками в точках хi, величина которых pi. Тогда ∞
n
−∞
i =1
M {g( ξ)} = ∫ g( x)dF ξ ( x) = ∑ g(x i ) p i .
Cоответственно, n
M {ξ} = ∑ x i p i .
(2.5.3)
i =1
3. В случае многомерной случайной величины необходимо использовать меру Лебега-Стильтьеса в Rn. Если ξ=(ξ1,ξ2,...,ξn) - непрерывный случайный вектор, то ∞
∞
−∞
−∞
M {g( ξ1, ξ 2 ,..., ξ n )} = ∫ ... ∫ g(x1, x 2 ,..., x n ) p(x1, x 2 ,..., x n )dx1dx 2 ⋅⋅⋅ dx n .
Соответственно, ∞
∞
−∞
−∞
M {ξ i } = ∫ ... ∫ x i p(x1, x 2 ,..., x n )dx1dx 2 ⋅⋅⋅ dx n .
Все теоремы функционального анализа об интеграле Лебега можно рассматривать как теоремы о математическом ожидании. Рассмотренные ниже свойства полезны при решении практических задач теории вероятностей. Свойство 1. Математическое ожидание неслучайной (постоянной) величины c равно c. M{c}=c. Доказательство. Для постоянной величины функция распределения имеет вид ⎧0 д ля x ≤ c Fc (x) = ⎨ , ⎩1 д ля x > c
и поэтому ∞
M{c}= ∫ xdFc (x) =c. −∞
Другими словами, постоянную величину c можно рассматривать как случайную величину ξ, принимающую с вероятностью единица значение c. Поэтому 53
M{ξ}=c⋅1=c. Свойство 2. Математическое ожидание суммы случайных величин равно сумме их математических ожиданий M{ξ+η}=M{ξ}+M{η}. Доказательство. Для случайных величин как зависимых, так и независимых справедливо следующее: M {ξ ± ω} = ∫ [ξ(ω) ± η(ω)]dP(ω) = Ω
= ∫ ξ(ω)dP(ω) ± ∫ η(ω)]dP(ω) = M {ξ} ± M {η} . Ω
Ω
Также легко доказывается справедливость этого свойства для любого конечного числа случайных величин. Свойство 3. Математическое ожидание произведения независимых случайных величин ξ и η равно произведению их математических ожиданий М{ξ⋅η}=М{ξ}⋅М{η}. Доказательство. Для непрерывных случайных величин из условия их независимости следует, что (2.5.4) pξη(x,y)= pξ(x)⋅pη(y).
М{ξ⋅η}=
По определению
∞ ∞
∫ ∫ xyp ξη (x, y)dxdy .
(2.5.5)
−∞ −∞
Подставляя (2.5.4) в (2.5.5), получим: ∞
∞
−∞
−∞
∫ xp ξ (x)dx ∫ yp η (y)dy =
М{ξ}⋅М{η}.
В общем случае это доказательство имеет вид Fξη(x,y)=Fξ(x)⋅Fη(y), поэтому
М{ξ⋅η}=
∞ ∞
∞
∞
−∞ ∞
−∞
−∞
∫ ∫ xydF ξη (x, y) = ∫ xdF ξ (x) ⋅ ∫ ydF η (y) =
М{ξ}⋅М{η}.
Свойство 4. Постоянный неслучайный множитель c можно выносить за знак математического ожидания М{c⋅ξ}=c⋅М{ξ}. Доказательство. Доказательство вытекает из обычного свойства интеграла Лебега. М{c⋅ξ}= ∫ cξ(ω)dP(ω) = c∫ ξ(ω)dP(ω) = c⋅М{ξ}. Ω
Ω
Свойство 5. Математическое ожидание отклонения случайной величины ξ от её математического ожидания М{ξ} равно нулю М{ξ−М{ξ}}=0. Это утверждение очевидно. 54
ны.
Свойство 6. Если a≤ξ≤b, то a≤М{ξ}≤b, где a и b - постоянные величи-
Доказательство этого свойства вытекает из определения математического ожидания . Свойство 7. Абсолютная величина математического ожидания случайной величины всегда меньше или равна математическому ожиданию абсолютного значения случайной величины |М{ξ}|≤М{|ξ|}. Это утверждение также очевидно. Свойство 8. Пусть pξη(x,y) - совместная плотность распределения вероятностей случайных величин ξ и η. Тогда математическое ожидание случайных величин ξ и η соответственно равны: М{ξ}= M{η}=
∞ ∞
∫ ∫ xp ξη (x, y)dxdy ;
(2.5.6)
∫ ∫ yp ξη (x, y)dxdy .
(2.5.7)
−∞ −∞ ∞ ∞
−∞ −∞
Доказательство. Докажем первую из формул. Так как для случайной величины ξ плотность распределения вероятностей ∞
pξ(x)=
∫ p ξη (x, y)dy ,
−∞
то
∞
∞ ∞
−∞
−∞ −∞
М{ξ}= ∫ xp ξ (x)dx = ∫
∫ xp ξη (x, y)dxdy .
Для дискретных случайных величин с совместным законом распределения pij=P{ξ=xi, η=yj} в формулах для М{ξ} и М{η} двойные интегралы заменяются двойными суммами: ∞
∞
М{ξ}= ∑ ∑ x i p ij ; i =1 j=1
∞
∞
M{η}= ∑ ∑ y i p ij . i =1 j=1
Кроме математического ожидания в качестве характеристик положения случайной величины применяется иногда медиана и мода. Медианой Мe{ξ} (иначе срединным и вероятным значением) называется такое значение случайной величины ξ, при котором 1 2
P{ξ<Me{ξ}}=P{ξ>Me{ξ}}= . Для непрерывной случайной величины ξ это равенство принимает вид Me
∞
1 p ( x ) dx = p ( x ) dx = . ξ ξ ∫ ∫ 2 Me −∞
55
Для дискретных случайных величин медиана определяется неоднозначно и практически не употребляется. Геометрически медиана - это абсцисса точки, в которой площадь, ограниченная графиком плотности распределения, делится пополам. Модой М{ξ} (иначе, наивероятнейшим значением) называется такое значение случайной величины ξ, для которого вероятность P{ξ=x} или плотность вероятности pξ(x) имеют наибольшее значение. Если максимум один, то распределение называется одномодальным, а если несколько многомодальным. В случае симметричного распределения мода совпадает с математическим ожиданием и медианой. При описании непрерывного распределения используют иногда квантили. Квантилем, отвечающим заданному уровню вероятности p, называется такое значение x=xp, при котором функция распределения F(x) принимает значение, равное p, то есть F(xp)=p.
§ 6. Дисперсия Кроме характеристик положения случайной величины важно иметь также характеристики разброса случайной величины, показывающие, насколько её отдельные значения могут отличаться друг от друга. К важнейшим характеристикам разброса случайной величины относятся дисперсия и связанное с ней среднеквадратичное отклонение. Дисперсией или рассеянием D{ξ} случайной величины ξ называется математическое ожидание квадрата отклонения случайной величины ξ от её математического ожидания D{ξ}=M{ (ξ − M{ξ}) 2 }. Дисперсия имеет размерность, равную квадрату размерности случайной величины. Величина σ{ξ}= D{ξ} (2.6.1) называется среднеквадратичным отклонением случайной величины ξ. Её размерность совпадает с размерностью случайной величины. В соответствии с общей формулой вычисления математического ожидания функции от случайной величины можно записать ∞
D{ξ}= ∫ ( x − M{ξ}) 2 dFξ ( x) .
(2.6.2)
−∞
Если ξ - непрерывная случайная величина, то ∞
D{ξ}= ∫ ( x − M{ξ}) 2 p ( x)dx . −∞
56
(2.6.3)
Для дискретной случайной величины ξ, принимающей значения xi с вероятностями pi, дисперсия определяется равенством n
D{ξ}= ∑ ( x i − M{ξ}) 2 p i .
(2.6.4)
i =1
Из свойств математического ожидания и определения дисперсии имеем D{ξ}=M{ {(ξ − M {ξ}) 2 } = M {ξ 2 − 2M {ξ}ξ + M 2 {ξ}} = = M{ξ 2 } − 2M{ξ}M{ξ} + M 2 {ξ} = M {ξ 2 } − M 2 {ξ} . Учитывая полученное соотношение и формулу (2.5.1), можем записать формулу (2.6.2) в виде D{ξ}=
∞
∫
−∞
∞
x dFξ ( x) − ( ∫ xdF ξ ( x)) 2 . 2
−∞
Поскольку дисперсия не может быть отрицательной величиной, то из последнего соотношения получим ∞
∫
−∞
∞
x dFξ ( x) ≥ ( ∫ xdFξ ( x)) 2 . 2
−∞
Это неравенство является частным случаем неравенства Буняковского. Итак, для непрерывной случайной величины можем записать D{ξ}= M{ξ } − M {ξ} = 2
2
∞
∫x
2
p( x)dx − m 2x ,
Коши-
(2.6.5)
−∞ ∞
где m 2x = M 2{ξ} = ( ∫ xdF ξ (x)) 2 . −∞
Для дискретной случайной величины ξ равенство (2.6.5) имеет вид n
D{ξ}= M{ξ 2 } − m 2x = ∑ x 2i p i −m 2x ,
(2.6.6)
i=1
где
m x2
n
= M {ξ} = ( ∑ x i p i ) 2 . 2
i =1
Формулы (2.6.5) и (2.6.6) удобно применять для вычисления дисперсии. Дисперсия обладает следующими основными свойствами. Свойство 1. Дисперсия постоянной величины c равна нулю D{c}=0. Доказательство. На основании формулы (2.6.5) имеем D{c}= M{с2 } − M 2{с} = с2 − с2 = 0 . Свойство 2. Постоянный множитель c можно выносить за знак дисперсии, возведя его в квадрат. D{cξ}= с2 D{ξ}. 57
Доказательство. Используя свойство 4 математического ожидания и (2.6.6), можем записать D{ξ} = M{( сξ) 2 } − M 2{сξ} = с2 M{ξ 2 } − с2 M 2{ξ} = = с2 (M{ξ 2 } − M 2 {ξ}) = с2 D{ξ} .
Для среднеквадратичного отклонения, после извлечения квадратного корня из дисперсии, это свойство имеет вид σ{cξ}=⏐c⏐σ{ξ}. Свойство 3. Если случайные величины ξ и η независимы, то дисперсия их суммы равна сумме их дисперсий. D{ξ+η}= D{ξ}+ D{η}. Доказательство. D{ξ + η} = M{(ξ + η − M{ξ + η}) 2 } = M{((ξ − M{ξ}) + ( η − M{η})) 2 } = = M{(ξ − M{ξ}) 2 + 2(ξ − M{ξ})( η − M{η}) + ( η − M{η}) 2 } = = M{(ξ − M{ξ}) 2 } + M {( η − M {η}) 2 } + 2M {(ξ − M{ξ})( η − M{η})} .
Получим (2.6.7) D{ξ+η}= D{ξ}+ D{η}+2M{(ξ- M{ξ})(η- M{η})}. В силу независимости ξ и η и свойства 5 математического ожидания (2.6.8) M{(ξ−M{ξ})(η−M{η})}= M{ξ−M{ξ}}M{η−M{η}}=0. Поэтому D{ξ+η}= D{ξ}+ D{η}. Извлекая отсюда квадратный корень, получаем σ{ξ+η}= σ 2 {ξ} + σ 2 {η} . Следствие 1. Учитывая свойства 1 и 3, получаем D{ξ+c}= D{ξ}+ D{c}= D{ξ}. Следствие 2. Учитывая свойства 2 и 3, получаем для дисперсии разности случайных величин D{ξ−η}= D{ξ}+ D{−η}= D{ξ}+ ( −1) 2 D{η}= D{ξ}+ D{η}. Пример 1. Производится стрельба по движущейся цели до первого попадания. Вероятность p попадания при каждом выстреле одинакова и равна 0,4. На стрельбу отпущено 4 снаряда. Найти: a) математическое ожидание случайной величины ξ - числа израсходованных снарядов, b) дисперсию и среднеквадратичное отклонение величины ξ. Решение. Случайная величина ξ может принять следующие значения: x1 = 1, x 2 = 2, x 3 = 3, x 4 = 4 . Вероятности принятия величиной ξ этих значений соответственно равны: P{ξ=1}= p1 =p=0,4; P{ξ=2}= p 2 =(1−p)p=0,24;
P{ξ=3}= p 3 = (1 − p) 2 p=0,144; P{ξ=4}= p 4 = (1 − p) 3 p + (1 − p) 4 =0,216. a) В соответствии с формулой (2.5.3) 58
4
M{ξ}= ∑ x i p i ≈2,2 сн. i =1
b) По формулам (2.6.4) и (2.6.1) находим D{ξ} и σ{ξ} 4
D{ξ}= ∑ ( x i − M{ξ}) 2 p i ≈1,38 сн. 2 i =1
σ{ξ}= D{ξ} ≈1,17 сн. Пример 2. Найти дисперсию случайной величины ξ, функция распределения которой ⎧0, при х < 0; ⎪⎪ 3 1 F = ⎨ x 2 − x 3 , при 0 ≤ х ≤ 2; 4 ⎪4 ⎪⎩1, при х > 2 Решение. В соответствии с определением (2.2.5) находим плотность вероятностей ⎧0, при x < 0, x > 2; ⎪ p(x)=F′(x)= ⎨ 3 3 2 ⎪⎩ 2 x − 4 x , при 0 ≤ x ≤ 2 .
Далее по формуле (2.5.2) ∞
∫
М{ξ}= М{ξ2}=
−∞ ∞
∫
−∞
2
3
3
2
4
xp( x)dx = ∫ x( x − x 2 )dx = 1 ; 0 2
3
3
6
2
4
5
x 2 p( x)dx = ∫ x 2 ( x − x 2 )dx = . 0
По формуле (2.6.5) искомая дисперсия 6
1
5
5
D{ξ} = M {ξ 2 } − M 2 {ξ} = − 1 = . Пример 3. Найти моду и медиану случайной величины ξ, если плотность вероятностей её ⎧3x 2 , п ри 0< x ≤ 1 ; p( x) = ⎨ ⎩0 , п ри x≤ 0 , x > 1 .
Решение. Поскольку max p(x)=3, при х=1, то М{ξ}=1. Для нахождения
медианы Ме{ξ} решим уравнение F(x) = сюда Ме{ξ}= 3
1 2
x
x 1 1 p ( t ) dt = , т . е . 3t 2 dt = . От∫ ∫ 2 2 −∞ 0
.
59
§7. Моменты Математическое ожидание случайной величины можно назвать её средним значением, в физическом смысле оно определяет центр тяжести фигуры между графиком плотности распределения и осью абсцисс; дисперсия характеризует разброс случайной величины относительно её среднего значения; мода и медиана характеризуют положение случайной величины. Кроме этих величин, для более детальной характеристики случайной величины вводятся моменты случайной величины различных порядков, начальные и центральные. Начальным моментом случайной величины ξ порядка k называется число ∞
mk=M{ξk}= ∫ x k dFξ ( x) .
(2.7.1)
−∞
При k=1 получаем m1=M{ξ}, т. е. математическое ожидание случайной величины ξ есть начальный момент первого порядка. Из определения математического ожидания случайной величины следует, что начальный момент k-го порядка (2.7.1) определяется: для дискретной случайной величины равенством ∞
mk= ∑ x ki p i , i =1
а для непрерывной случайной величины равенством ∞
mk= ∫ x k p( x)dx . −∞
Центральным моментом k-го порядка случайной величины ξ называется величина ∞
μk=M{(ξ−M{ξ})k}= M{(ξ−m1)k}= ∫ ( x − m1 ) k dF ξ ( x) .
(2.7.2)
−∞
Отсюда следует, что μ0=M{1}=1, μ1= M{ξ−M{ξ}}= M{ξ}−M{ξ}=0, μ2=M{(ξ−M{ξ})2}=D{ξ}, т. е. второй центральный момент случайной величины ξ есть дисперсия ξ. Из определения математического ожидания случайной величины следует, что центральный момент k-го порядка (2.7.2) для дискретной случайной величины определяется равенством ∞
μk= ∑ ( x i − m1 ) k p i , i =1
а для непрерывной случайной величины - равенством 60
(2.7.3)
∞
μk= ∫ ( x − m1 ) k p( x)dx .
(2.7.4)
−∞
Величина μk=M{⏐ξ−M{ξ}⏐k} называется абсолютным моментом k-го порядка. Между начальными и центральными моментами существуют связывающие их соотношения. Например, раскрывая (ξ−m1)2=ξ2−2m1ξ+ m12 ; (ξ−m1)3=ξ3−3m1ξ2+3 m12 ξ− m13 ; (ξ−m1)4=ξ4−4m1ξ3+6 m12 ξ2−4 m13 ξ+ m14 , получим μ2=M{ξ2−2m1ξ+ m12 }=m2− m12 ; μ3=M{ξ3−3m1ξ2+3 m12 ξ− m13 }=m3−3m2 m1 +2 m13 ; μ4=M{ξ4−4m1ξ3+6 m12 ξ2−4 m13 ξ+ m14 }=m4−4m1m3+6 m2 m12 −3 m14 и т. д. Аналогично, для начальных моментов ξ2=[(ξ−m1)+m1]2=(ξ−m1)2+2(ξ−m1)m1+ m12 ; ξ3=[(ξ−m1)+m1]3=(ξ−m1)3+3(ξ−m1)2m1+3(ξ−m1) m12 + m13 ; ξ4=[(ξ−m1)+m1]4=(ξ−m1)4+4(ξ−m1)3m1+6(ξ−m1)2 m12 +4(ξ−m1) m13 + m14
получим m2=μ2+ m12 ; m3=μ3+3μ2m1+ m13 ; m3=μ4+4μ3m1+6μ2 m12 + m14 и т. д. В большинстве теоретических исследований и на практике моменты порядка выше четвёртого не используются. Моменты порядков выше второго служат для более подробного описания распределения случайной величины. Например, с центральным моментом третьего порядка μ3 связан коэффициент асимметрии Аs, характеризующий асимметрию (или “скошенность”) распределения. Если распределение симметрично относительно математического ожидания (в механической интерпретации, масса распределена симметрично относительно центра тяжести), то все центральные моменты нечётного порядка, если они существуют, равны нулю. Действительно, в формуле (2.7.3) при симметричном относительно m1 законе распределения и нечётном k каждому положительному слагаемому соответствует равное ему по абсолютной величине отрицательное слагаемое, так что вся сумма равна нулю. То же, очевидно, справедливо и для интеграла 61
(2.7.4), который равен нулю, как интеграл в симметричных пределах от нечётной функции. Поэтому в качестве характеристики асимметрии целесообразно выбрать простейший из нечётных центральных моментов, а именно - третий. Поскольку он имеет размерность куба случайной величины, то для получения безразмерной характеристики третий момент делится на куб среднеквадратичного отклонения As=
μ3 . σ3
Если As>0, то распределение имеет левостороннюю ассиметрию, если As<0, то правостороннюю. Четвёртый центральный момент характеризует “крутость” или островершинность распределения. Это свойство распределения описывается величиной, называемой эксцессом Ex Ex=
μ4
σ4
−3.
Для нормального распределения, с которым мы познакомимся в дальнейшем, соотношение
μ4
σ4
=3. Поэтому, если эксцесс некоторого распреде-
ления отличен от нуля, то кривая этого распределения отличается от нормальной кривой: кривые, более островершинные по сравнению с нормальной, будут иметь положительный эксцесс; кривые, более плосковершинные, - отрицательный эксцесс.
§ 8. Числовые характеристики взаимосвязи случайных величин К важнейшим числовым характеристикам случайных величин относятся характеристики их взаимосвязи. Достаточно полно зависимость случайной величины ξ от η описывается рассмотренными ранее функцией распределения F(x/y) или условной плотностью вероятностей p(x/y), однако такое описание достаточно сложно. Проще, хотя и не так полно, эта зависимость описывается с помощью условного математического ожидания. Условным математическим ожиданием величины ξ при условии, что случайная величина η приняла значение y, называется величина ∞
M{ξ/y}= ∫ xdF ( x / y) , −∞
или в случае непрерывной случайной величины 62
∞
M{ξ/y}= ∫ xp ( x / y)dx . −∞
Условное математическое ожидание M{ξ/y} есть функция от y, которая называется регрессией случайной величины ξ от случайной величины η, или функцией регрессии; обозначается как f(y)= M{ξ/y}. Уравнение х= f(y) называется уравнением регрессии - линией или кривой регрессии ξ от η. Аналогично вводится понятие условного математического ожидания случайной величины η при условии, что случайная величина ξ приняла значение х: ∞
M{η/х}= ∫ ydF ( y / x) ; −∞ ∞
M{η/х}= ∫ yp ( y / x)dy . −∞
Функция регрессии случайной величины η от случайной величины ξ будет иметь вид g(x)= M{η/х}, а кривая регрессии η от ξ y=g(x). Кривые регрессии показывают, как в среднем изменяется одна величина при изменении другой, то есть некоторую зависимость, освобождённую от случайностей. Обе кривые регрессии y=g(x) и х=f(y), вообще говоря, не совпадают между собой, т. е. функции регрессии f(y) и g(x) не являются взаимно обратными. Существуют формулы, связывающие математическое ожидание с условным математическим ожиданием ∞
М{ξ}= ∫ M {ξ / y) p η (y)dy ; −∞ ∞
M{η}= ∫ M {η / x) p ξ (x)dx . −∞
Докажем первую из них
63
∞
∞
∞
∫ M {ξ / y}p η (y)dy = ∫ p η (y)dy ∫ xp(x / y)dx =
−∞
−∞
−∞
∞ ∞
=
∞ ∞
∫ ∫ xp(x / y) p η (y)dxdy = ∫ ∫ xp ξη (x, y)dxdy =
−∞ −∞
=
−∞ −∞
∞
∞
∞
−∞
−∞
−∞
∫ xdx ∫ p ξη (x, y)dy = ∫ xp ξ (x)dx = M {ξ} .
Вторая формула доказывается аналогично. Существуют также понятия условных дисперсий ∞
D{ξ/y}= ∫ (x − M{ξ / y}) 2 p(x / y)dx ; −∞ ∞
D{η/x}= ∫ ( y − M{η / x}) 2 p( y / x)dy , −∞
которые показывают, насколько сильно отдельные значения случайной величины могут отклоняться от кривых регрессии. Одной из характеристик взаимосвязи случайных величин является ковариация случайных величин. Ковариацией случайных величин ξ и η называется величина, равная математическому ожиданию произведения отклонений случайных величин ξ и η от своих математических ожиданий cov (ξ, η)=M{(ξ−M{ξ})(η−M{η})}. Если ξ и η - зависимые случайные величины, то, возвращаясь к соотношению (2.6.7), можно констатировать, что третий его член в таком случае не будет равен нулю. Тогда дисперсия суммы случайных величин будет иметь вид D{ξ+η}= D{ξ}+D{η}+2cov(ξ, η), а дисперсия разности D{ξ−η}= D{ξ}+D{η}−2cov(ξ, η). Из свойств математического ожидания следуют очевидные свойства ковариации 1. cov (ξ, η)= cov (η,ξ); 2. cov (ξ, ξ)=D{ξ}; 3. cov (cξ, η)=c cov (ξ, η), где с-const; 4. cov (ξ, η)=M{ξ⋅η}−M{ξ}⋅M{η}. (2.8.1) У всех случайных величин, рассматриваемых ниже, предполагается существование ненулевой дисперсии.
64
Случайная величина ξ называется нормированной, если M{ξ}=0 и D{ξ}=1. Линейное преобразование случайной величины вида
ξ − M{ξ} наσ{ξ}
зывается нормированием случайной величины ξ. Следует отметить, что ковариация не отражает полностью характер зависимости случайных величин ξ и η. Поэтому за характеристику зависимости случайных величин ξ и η принимается коэффициент r=
cov(ξ, η)
D{ξ}D{η}
,
(2.8.2)
называемый коэффициентом корреляции величин ξ и η. Для выяснения смысла коэффициента корреляции рассмотрим вначале его свойства. Свойство 1. Абсолютное значение коэффициента корреляции не может быть больше единицы ⏐r⏐≤1. Доказательство. Рассмотрим математическое ожидание квадрата суммы нормированных случайных величин ξ и η M{(
ξ − M{ξ}
D{ξ}
±
η − M {η}
D{η}
)2} ≥ 0 .
Раскрывая квадрат, получаем M{(ξ − M{ξ}) 2 } M{( η − M{η}) 2 } cov(ξ, η) + ±2 ≥ 0, D{ξ} D{η} D{ξ}D{η}
или 1± r ≥0. Беря поочерёдно знак + или −, получим, что r ≥-1 и r ≤1, или после объединения ⏐r⏐≤1. Свойство 2. Если η=aξ+b, a≠0, то r=±1. Доказательство. В этом случае ηн =
η − M {η}
D{η}
=
aξ + b − M {aξ + b}
D{aξ + b}
=
a( ξ − M {ξ}) a D{ξ}
=
a ξн . a
Рассмотрим cov(ξн, ηн). a a a ξн)= cov(ξн, ξн)= D{ξн}, a a a a D{ξ н } a = . r= ⋅ a D 2 {ξ } a
cov(ξн, ηн)= cov(ξн, или
н
Отсюда r=+1, если a>0 и r=−1, если a<0. Свойство 3. Если r=±1, то существуют такие a и b, что η= aξ+b. Доказательство. Рассмотрим, например, случай r=1. Как следует из выкладок при доказательстве свойства 1, 65
2−2r=M{ (
ξ − M{ξ}
D{ξ}
−
η − M{η}
D{η}
) 2 }=0.
Но выражение, стоящее под знаком математического ожидания, не отрицательно. Интеграл Лебега от неотрицательной функции может быть равен нулю лишь тогда, когда подинтегральная функция равна нулю почти всюду относительно меры P(ω). Поэтому с вероятностью 1 ξ − M{ξ}
D{ξ}
−
η − M{η}
D{η}
=0,
или η=ξ
D{η} D{η} +(M{η}−M{ξ} ), D{ξ} D{ξ}
где a=
D{η} , D{ξ}
b= M{η}−M{ξ}
D{η} . D{ξ}
Аналогично рассматривается случай r=−1. Свойство 4. Если случайные величины ξ и η независимы, то коэффициент корреляции равен нулю. Доказательство этого свойства следует из соотношения (2.6.8). Следует отметить, что для случайных величин ξ и η , связанных нелинейной зависимостью, коэффициент корреляции может быть равен нулю. Например, пусть M{ξ}=0, M{ξ3}=0 и η=ξ2. Тогда cov(ξ, η)=M{ξ(ξ2−M{ξ2})}=M{ξ3}−M{ξ}M{ξ2}=0, поэтому r=0. Объединяя все эти свойства, можно так охарактеризовать коэффициент корреляции. Коэффициент корреляции действительно является мерой зависимости двух случайных величин, но описывает лишь линейную зависимость. Чем больше коэффициент корреляции отличается от нуля, тем сильнее зависимость между ξ и η приближается к линейной. Равенство нулю коэффициента корреляции - необходимое, но не достаточное условие независимости случайных величин, оно означает отсутствие лишь линейной зависимости. Нелинейная зависимость при этом может быть и достаточно сильной. При равенстве нулю коэффициента корреляции случайные величины ξ и η называют некоррелированными. В случае если r>0 корреляция называется положительной и означает, что при возрастании одной из случайных величин другая имеет тенденцию возрастать по линейному закону. Если r<0, то корреляция называется от-
66
рицательной и означает, что при возрастании одной из случайных величин другая имеет тенденцию убывать по линейному закону. Корреляционной матрицей системы n случайных величин (ξ1, ξ2,..., ξn) называется таблица, составленная из значений ковариации kij=cov(ξi, ξj) всех этих величин, взятых попарно k 11 k 12 ... k 1n k ij =
k 21 k 22 ... k 2n .................
.
k n1 k n 2 ... k nn
Определитель корреляционной матрицы называется обобщённой дисперсией и даёт оценку меры рассеяния n-мерной случайной величины. Очевидно, что не все члены корреляционной матрицы различны. Из определения ковариации следует, что kij= kji, т. е. элементы корреляционной матрицы, расположенные симметрично по отношению к главной диагонали, равны. Поэтому иногда заполняется не вся корреляционная матрица, а только половина, считая от главной диагонали k 11 k 12 ... k 1n k 22 ... k 2 n ..... ....
.
k nn
По главной диагонали корреляционной матрицы стоят дисперсии случайных величин D{ξi}. Матрица, составленная из коэффициентов корреляции, называется нормированной коррреляционной матрицей 1 r12 r13 ... r1n rij =
r21 1 r23 ... r2n ..................
,
rn1rn 2 rn 3 ... 1
где rij=rji. Пример 1. Совместная плотность вероятностей случайных величин ξ и η имеет вид π π ⎧⎪ 1 sin( x + y), при 0 ≤ x ≤ , 0 ≤ y ≤ p ξη ( x, y) = ⎨ 2 2 2 ⎪⎩0, в остальных точ ках Найти ковариацию cov(ξ, η). Решение. По формулам (2.5.6) и (2.5.7) находим M{ξ} и M{η}.
67
M {ξ} =
M {η} =
∞ ∞
π 2
π 2
∞ ∞
π 2
π 2
π 1 1 x sin( x + y)dxdy = ∫ xdx ∫ sin( x + y)dy = , ∫ ∫ 2 −∞ −∞ 20 4 0 1 1 π y sin( x + y)dxdy = ∫ ydy ∫ sin( x + y)dx = . ∫ ∫ 2 −∞ −∞ 20 4 0
По формуле (2.5.5) находим M{ξ⋅η}
M{ξ⋅η}=
ππ 22
1 π xy sin(x + y)dxdy = − 1 . ∫ ∫ 200 2
Значение ковариации вычисляем по формуле (2.8.1) π 2
cov(ξ, η)= − 1 −
π 2 8π − 16 − π 2 = . 16 16
Пример 2. Дана корреляционная матрица системы случайных величин (ξ1, ξ2, ξ3) 16 -14 k ij = −14
12
49 - 21 .
12 - 21 36
Составить нормированную корреляционную матрицу rij . Решение. По формуле (2.8.2) находим коэффициент корреляции
rij=
k ij D{ξ i }D{ξ j }
.
Учитывая, что rij=rji, а rij=1 для i=j, вычислим r12=-0,5, r13=0,5, r23=-0,5. Следовательно, r ij
1 - 0,5 0,5 = −0,5 1 - 0,5 . 0,5 - 0,5 1
§ 9. Характеристическая функция Одним из основных аналитических методов теории вероятностей является метод, связанный с использованием характеристической функции. Заметим прежде всего, что наряду со случайными величинами, принимающими действительные значения, аппарат характеристических функций связан с привлечением комплекснозначных случайных величин. Под этим понимается случайная величина ξ=ξ1+iξ2, которую можно рассматривать 68
как двумерную случайную величину, каждая компонента которой ξ1 и ξ2 является действительной случайной величиной. Характеристической функцией gξ(u) вещественной случайной величины ξ называется комплекснозначная функция iuξ
∞
gξ(u)=M{e }= ∫ e iux dFξ ( x) , −∞
где u - действительное число. Если ξ - дискретная случайная величина, то n
gξ(u)= ∑ e iuxk p k .
(2.9.1)
k =1
Если ξ - непрерывная случайная величина, то +∞
gξ(u)= ∫ e iux p ξ (х)dx .
(2.9.2)
−∞
Выполняемая согласно (2.9.2) операция с плотностью вероятностей pξ(х), в результате чего получается функция gξ(u), называется преобразованием Фурье функции pξ(х). Функция распределения Fξ(x) однозначно определяет gξ(u), и наоборот - gξ(u) однозначно определяет функцию распределения Fξ(x). Это соответствие даётся так называемой формулой обращения: для любых точек непрерывности x и y функции Fξ(x) имеет место соотношение A − iux 1 e − e − iuy g ξ ( u)du . Fξ(y)−Fξ(x)= ∫ 2π Alim iu →∞ − A
В частности, если ξ - непрерывная случайная величина, то 1 ∞ − iux pξ(x)= ∫ e g ξ ( u)du . 2π −∞
Этот интеграл называется обратным преобразованием Фурье. Характеристическая функция является незаменимым аппаратом для решения самых различных вероятностных задач, особенно тех из них, которые связаны с суммированием независимых случайных величин. Функцию ψξ(u)=ln gξ(u) иногда называют кумулянтой. Рассмотрим некоторые свойства характеристических функций. Свойство 1. Для любой случайной величины ξ gξ(0)=1 и ⏐gξ(u)⏐≤1, для всех u. ∞
Доказательство. ⏐gξ(u)⏐= ∫ e dF ξ (x) ≤ −∞
iux
∞
∫e
−∞
iux
∞
dF ξ (x) = ∫ 1 dF ξ (x) = 1 , −∞
69
поскольку ⏐eiux⏐=1. ∞
gξ(0)=
∫ 1 dF ξ (x) = 1.
−∞
Свойство 2. Если η=aξ+b, то gη(u)=eibu gξ(au), ψη(u)=ibu+ψξ(au).
Доказательство. gη(u)=M{eiηu}= M{eiaξu+ibu}= eibuM{eiaξu}= eibugξ(au). ψη(u)=ln eibugξ(au)=ibu+ψξ(au). Свойство 3. Если ζ=ξ+η и ξ и η - независимы, то gζ(u)=gξ(u)⋅gη(u), ψζ(u)=ψξ(u)+ψη(u). Доказательство. Заметим, что из независимости случайных величин следует независимость функций от этих величин. Принимая это утверждение без доказательства и на основании свойства 3 математического ожидания, получаем gξ(u)=M{eiξu}=M{eiξu+iηu}= M{eiξu}M{eiηu}=gξ(u) gη(u). ψζ(u)=ln(gξ(u) gη(u))=ψξ(u)+ψη(u). Свойство 4. Если существует k-й начальный момент М{⏐ξк⏐}<∞, k≥1, то существует непрерывная k-я производная характеристической функции gξ(u) и g(ξk ) (0) = i k M {ξ k }
(2.9.3)
Доказательство. Формально дифференцируя под знаком интеграла, получаем g 'ξ ( u) =
∞
∫ ixe
iux
dF ξ ( x) .
(2.9.4)
−∞
Поскольку ∞
∫ ixe
iux
dF ξ ( x) ≤
−∞
∞
∫ xdF ξ ( x) =M{⏐ξ⏐}<∞,
−∞
то (2.9.4) сходится равномерно относительно u. Поэтому возможно почленное дифференцирование под знаком интеграла: g 'ξ ( u)
∞
= i ∫ xe iuxdF ξ ( x) , −∞ ∞
g 'ξ (0) = i ∫ xdF ξ (x) =iM{ξ}. −∞
Дальнейшие рассуждения проводятся по индукции. Если существует ∞
g(ξk −1) ( u) = i k −1 ∫ x k −1e iuxdF ξ ( x) −∞
70
и существует М{⏐ξк⏐}, то ∞
∫i
k k iux
x e
∞
∫x
dF ξ ( x) ≤
−∞ ∞
и интеграл
∫i
k
dF ξ ( x) = М{⏐ξк⏐}<∞,
k
−∞
x k e iuxdF ξ ( x) сходится равномерно относительно u. Поэтому
−∞
можно дифференцировать по u под знаком интеграла g(ξk ) ( u) g (ξk ) (0)
=
∞
∫i
k k iux
x e
dF ξ ( x) ;
−∞
=i
∞
∫x
k
k
dF ξ (x) = i k M {ξ k } .
−∞
Отсюда получается выражение для начальных моментов mk=
1 ( k) g (0) . ik ξ
Математическое ожидание и дисперсию удобно выражать не через gξ(u), а через ψξ(u). Если
ψ 'ξ (u)
=
g 'ξ (u) g ξ (u)
, то, принимая во внимание, что gξ(0)=1, и равенство
(2.9.3), получаем ψ 'ξ (0)= g 'ξ (0) =i⋅m1.
Если
ψ "ξ ( u)
=
g "ξ ( u)g ξ ( u) − (g 'ξ ( u)) 2
, то
g 2ξ ( u)
ψ "ξ (0) = g "ξ (0)g ξ (0) − (g 'ξ (0)) 2 =i2M{ξ2}−(iM{ξ})2=
=i2(m2− m12 )=−1⋅D{ξ}=−D{ξ}. Итак, получено, что 1 i
M{ξ}=m1= ψ 'ξ (0) ; D{ξ}=
1 i
2
ψ "ξ (0) =- ψ " (0) .
(2.9.5) (2.9.6)
Производная k-го порядка логарифма характеристической функции в точке 0, умноженная на 1/ik, называется семинвариантом k-го порядка случайной величины и обычно обозначается через жk жk =
1 i
k
ψ (ξk ) (0) .
71
Отличие их от моментов относительно произвольной точки состоит в том, что все семинварианты (за исключением первого) инвариантны относительно изменения начала отсчёта. Название “семинварианты” как раз и обусловлено их инвариантными свойствами. Свойство 5. Характеристическая функция gξ(u) является равномерно непрерывной функцией по u. Доказательство. Рассмотрим разность gξ(u+h)−gξ(u)= ∫ e iux (e ihx − 1)dF ξ (x) и оценим её по модулю ⏐gξ(u+h)−gξ(u)⏐≤
∫e
ihx
− 1dF ξ (x) .
Пусть ε>0 - произвольно. Выберем столь большое А, чтобы
∫
dF ξ ( x) <
x >A
ε , 4
и подберём столь малое h, чтобы для ⏐х⏐
⏐eihx−1⏐< . Тогда ⏐gξ(u+h)−gξ(u)⏐≤
A
∫
−A
e ihx − 1dF ξ (x) + 2
∫ dF ξ (x) ≤ε.
x ≥A
Поскольку h не зависит от u, то это и доказывает равномерную непрерывность gξ(u). Рассмотренные выше свойства характеристической функции наиболее часто используются при решении прикладных задач. Отметим, что для многомерных случайных величин ξ=(ξ1, ξ2,...,ξn) характеристическая функция принимает вид: gξ(u1, u2,... un)=M{ e i( u1ξ1 + u 2ξ2 +... + u n ξ n ) }. Подводя итог, можно отметить, что характеристическая функция и функция распределения случайной величины ξ связаны между собой взаимно однозначно. Кроме того, находить моменты случайной величины с помощью характеристической функции даже проще, чем при помощи функции распределения. Поэтому вероятностная задача считается решённой до конца, если ответ получен в виде характеристической функции. Это тем более важно, если функцию распределения или плотность распределения вероятностей найти в аналитическом виде не удаётся. Особенно удобно использовать аппарат характеристических функций при решении задач, связанных с суммированием случайных величин. В
72
этом случае вычисление интегралов типа свёрток заменяется перемножением характеристических функций, что значительно проще. Что касается случайных величин ξ, принимающих только неотрицательные значения, то для них вместо преобразования Фурье удобнее использовать преобразование Лапласа и брать характеристическую функцию в виде ∞
gξ(s)=M{esξ}= ∫ e − sx dF ξ (x) . 0
Для случайных величин ξ, принимающих только целочисленные значения, обычно используют производящую функцию или так называемое z-преобразование gξ(z)=M{zξ}= ∑ z k p k . k
Свойства этих функций аналогичны свойствам характеристической функции. Главные из них - взаимно-однозначное соответствие с функцией распределения, простота работы с суммами независимых случайных величин и более простое вычисление моментов. Получим характеристические функции некоторых законов распределения. 1. Биномиальный закон. В этом случае P{ξ=1}=p, P{ξ=0}=1−p=q. Тогда по формуле (2.9.1) получим gξ(u)=eiu1p+eiu0q=eiup+q=1+p(eiu−1). 2. Закон Пуассона. gξ(u)=M{eiuξ}= ∑ e ium m
iu ( λe iu ) m -λ λeiu − λ + λeiu λm − λ e = e−λ ∑ =e e = e = e λ( e −1) . m! m! m
§ 10. Нормальный закон распределения Нормальный закон распределения (закон Гаусса) играет важнейшую роль в теории вероятностей и занимает особое место среди других законов распределения. Главная его особенность в том, что он является предельным законом распределения, к которому стремятся другие законы распределения при суммировании достаточно большого числа независимых или слабо зависимых случайных величин, подчинённых любым другим законам распределения. Подробно этот вопрос будет рассматриваться в следующей главе. Нормальный закон распределения случайной величины ξ характеризуется плотностью распределения вероятностей вида:
73
pξ(x)=
1 σ 2π
e
−
( x − a)2 2σ2
.
(2.10.1)
Иногда используют обозначение ξ=N(a, σ2) и говорят, что случайная величина ξ распределена нормально с параметрами a и σ2. Множитель 1 σ 2π
выбран так, чтобы удовлетворить условию нормировки ∞
∫ p ξ ( x)dx =1.
−∞
Интеграл от плотности распределения вероятности не выражается через элементарные функции. Для расчёта вероятностей событий, связанных со случайными величинами с нормальным распределением, разработаны таблицы специальной функции Ф(х)=
1 2π
2
x −t e 2 dt
∫
,
0
называемой функцией Лапласа или интегралом вероятностей. В таблицах для Ф(х) даются значения только для положительных значений х; значения Ф(х) для отрицательных значений х вычисляются с помощью свойства нечётности этой функции Ф(−х)=−Ф(х). Ф(х) 1/2
0
х
−1/2
График этой функции приведён на рисунке. Кривая Ф(х) быстро приближается с ростом х к 0,5: Функция распределения случайной величины ξ определяется следующим выражением Fξ(х)=
1 σ 2π
x − ( z − a) 2 e 2σ
∫
2
dz .
−∞
Здесь а произвольное, а σ - положительное число. Для того, чтобы убедиться в том, что функция Fξ(х) есть функция распределения, достаточно проверить выполнение свойств 1, 2 и 3 функции распределения. Свойство 3 очевидно, так как Fξ(х) - непрерывная функция. Свойства 1 и 2 следуют из положительности подынтегральной функции и того, что x − ( z − a) 2 e 2σ
∫
−∞
74
2
dz =σ 2π .
Функция распределения Fξ(х) зависит от двух параметров а и σ. Если а=0, σ=1, то нормальное распределение называется стандартным. Функция распределения случайной величины ξ связана с функцией Лапласа таким образом, что вероятность попадания в интервал [x1, x2) равна P{x1≤ξ<x2}= Fξ(х2)−Fξ(х1)=Ф(
x2 − a x −a )−Ф( 1 ). σ σ
Найдём характеристическую функцию случайной величины ξ, распределённой по нормальному закону (в дальнейшем, нормальной случайной величины). В соответствии с определением (2.9.2) gξ(u)=
1 σ 2π
Подстановкой z=
∞ iux − ( x − a) 2σ2 e
∫
2
dx .
−∞
x−a −iuσ σ
gξ(u) приводится к виду gξ(u)= e
iau −
σ 2u 2 2
1 2π
2
∞− iu σ − z e 2
∫
dz .
−∞− iu σ
Используя комплексное интегрирование, окончательно получим gξ(u)= e
iau −
σ 2u 2 2
,
ψξ(u)=ln gξ(u)= iau −
σ2u 2 . 2
Математическое ожидание и дисперсию нормальной случайной величины находим по формулам (2.9.5) и (2.9.6): ψ 'ξ (u)=ia−σ2u, 1 i
M{ξ}= ψ 'ξ (0)=a; ψ "ξ (u)=−σ2,
D{ξ}=− ψ "ξ (0)=σ2. Таким образом, в нормальном распределении, а есть математическое ожидание, а σ2 - его дисперсия.
75
0.8 f( x , 1 )
0.5
f( x , 0.5 ) f( x , 2 ) 0
0
2 -3
0 x
2 3
На рисунке приведены кривые нормального распределения при а=0 и 1 4
значениях σ2= , σ2=1, σ2=4. Видно, что чем меньше значение σ, тем кривая pξ(х) имеет большее значение максимума, то есть сжимается вдоль оси абсцисс и вытягивается вдоль оси ординат, при неизменной площади под графиком плотности распределения. При этом увеличивается вероятность попадания случайной величины ξ в любую фиксированную окрестность точки х=0. Таким образом, параметр σ характеризует рассеяние случайной величины ξ. Параметр а характериp ξ (х) зует центр рассеивания случайной величины ξ, то есть сдвиг вдоль оси абсцисс. Как видно из рисунка, при таком сдвиге кривая распределения вероятностей оказывается симметричной относительно прямой х=а, не изменяя 0 1 2 3 х своей формы. Если ξ - нормальная 2 случайная величина с параметрами а и σ и η=αξ+β, где α и β постоянные, то кумулянта случайной величины η будет иметь вид: σ 2α 2 u 2 σ 2α 2 2 =iu(β+aα)− u. ψη(u)=iβu+ψξ(αu)= iβu+iaαu− 2 2
Поскольку ψη(u) однозначно определяет pη(х), то можно сделать вывод, что η есть также нормальная случайная величина с математическим ожиданием (aα+β) и дисперсией σ2α2. Ещё следует отметить, что для независимых нормальных случайных величин ξ=N(a1, σ12 ) и η=N(а2, σ 22 ) ζ=ξ+η есть также нормальная случайная величина, поскольку
76
σ12 u 2 σ 22 u 2 ( σ12 + σ 22 ) 2 ψζ(u)= ψξ(u)+ ψη(u)=ia1u− +ia2u− =iu(a1+a2)− u. 2 2 2
Вероятность попадания нормальной случайной величины ξ в интервал [x1,x2] можно вычислить по формуле P{x1≤ξ≤x2}=Fξ(х2)−Fξ(х1)=Ф(
x2 − a x −a )−Ф( 1 ). σ σ
Если же х2=а+3σ, а х1=а−3σ, то P{а−3σ≤ξ≤ а+3σ}=Ф(3)−Ф(−3)≈0,997. Эта вероятность настолько мало отличается от единицы, что можно утверждать, что событие ⏐ξ−а⏐<3σ является практически достоверным, то есть практически нормальная случайная величина никогда не отклоняется от своего математического ожидания более чем на 3σ. Вычислим ещё центральные моменты нормальной случайной величины. По определению ∞
1
μn=M{(ξ−а)n}=
∫ (x − a)
n
e
−
( x − a)2 2σ 2
σ 2π −∞ x−a В результате подстановки =z получим σ
μn=
+∞
σn 2π
∫
z
n
dx , n=0,1,... .
1 − z2 e 2 dz .
−∞
Если n - нечётное, то μn=0 в силу нечётности подынтегральной функции; если n - чётное (n=2k), то μ2k= Делая замену переменной t= μ2k=
2
k+
1 1 2 σ 2 k +∞ k − t 2 e − t dt
2π
∫
=
0
2σ 2 k 2π
+∞
∫
z
2k
1 − z2 e 2 dz .
0
2
z , получим 2
2
k+
1 2 σ 2k
2π
1 2
Г(k+ )=1⋅3⋅...⋅(2k−1) σ2k=σ2k(2k−1)!!
Отсюда находим μ2=D{ξ}=σ2, μ4=3σ4, μ6=15σ6 и т. д. Плотность вероятностей двумерного нормального распределения имеет вид pξη(x,y)= 1 2πσ{x}σ{y} 1 − r 2
{
exp −
1 2(1 − r 2 )
[
( x − a) 2
( x − a)(y − b) (y − b) 2 − 2r + 2 σ{x}σ{y} σ 2 {x} σ {y}
]} , 77
где параметр r двумерного нормального распределения есть коэффициент корреляции случайных величин ξ и η, а - математическое ожидание случайной величины ξ, b - математическое ожидание случайной величины η. Глава 3. ПОСЛЕДОВАТЕЛЬНОСТИ НЕЗАВИСИМЫХ СЛУЧАЙНЫХ ВЕЛИЧИН
§1. Сходимость случайных величин Пусть на вероятностном пространстве (Ω, F, P) задана последовательность случайных величин ξ1,ξ2,...,ξn,... . Основным вопросом при исследовании таких последовательностей является вопрос о сходимости этой последовательности к некоторой случайной величине ξ. В отличие от известных из курса математического анализа видов сходимости здесь возможны следующие типы сходимости {ξn} к ξ. Определение 1. Говорят, что некоторое событие выполняется почти наверное, если оно выполняется с вероятностью 1 или, что то же самое, не выполняется с вероятностью 0. Определение 2. Последовательность случайных величин ξn сходится к случайной величине ξ почти наверное, или с вероятностью 1, если P{ lim (ξ n − ξ) либо не равен нулю, либо не существует}=0. n →∞
П .Н .
Н. ⎯⎯ → ξ, или lim ξ n = ξ . Обозначается это так: ξn ⎯П. n →∞
Определение 3. Последовательность случайных величин ξn сходится к случайной величине ξ по вероятности, если для любого ε>0 lim P{ ξ n − ξ > ε} =0. n →∞
P
P ⎯→ ξ, или lim ξ n = ξ. Обозначается это так: ξn ⎯ n →∞
Определение 4. Последовательность случайных величин ξn сходится к случайной величине ξ в среднеквадратическом, если lim M {( ξ n − ξ) 2 } =0. n →∞ CP. KB.
Обозначается это так: ξn ⎯ ⎯⎯ ⎯→ ξ, или l. i. m ξn=ξ (от limit in the mean). В n →∞
более общем случае можно иметь в виду сходимость ξn к ξ в среднем порядка k, если lim M {( ξ n − ξ) k } =0. n →∞
78
Определение 5. Пусть P{ξ<x}=F(x) и P{ξn<x}=Fn(x). Тогда говорят, что ξn сходится к ξ по распределению, если lim F n ( x) =F(x) n →∞
F в каждой точке непрерывности F(x). Обозначается это так: ξn ⎯⎯ → ξ. Эта сходимость называется также слабой сходимостью распределений. Введённые выше типы сходимости имеют своё соответствие в функциональном анализе.
функциональный анализ сходимость почти всюду сходимость по мере сходимость в пространстве L2 слабая сходимость
теория вероятностей сходимость почти наверное сходимость по вероятности сходимость в среднеквадратическом сходимость по распределению
Рассмотрим теоремы, связывающие различные типы сходимости. Теорема 1. Из сходимости почти наверное следует сходимость по вероятности. Доказательство этой теоремы рассматривалось в функциональном анализе. Но из сходимости по вероятности не следует сходимость почти наверное. Теорема 2. Из сходимости в среднеквадратическом следует сходимость по вероятности. Доказательство. Для любого В∈В P{⏐ξn−ξ⏐>ε}= ∫ dP(ω ) , B
где В={ω: ⏐ξn−ξ⏐>ε}. Так как для ω∈В имеет место соотношение ξn − ξ ε
>1
и, следовательно, ξn − ξ εk
k
>1,
то P(⏐ξn−ξ⏐>ε)= ∫ 1 ⋅ dP(ω) ≤ ∫ B
В
ξn − ξ εk
k
dP(ω) .
Учитывая, что подынтегральная функция неотрицательна и поэтому при расширении области интегрирования интеграл может лишь возрасти, получаем 79
P(⏐ξn−ξ⏐>ε)≤
1
ε
k
∫ ξn − ξ
k
dP(ω ) ≤
B
1
ε
k
∫ ξn − ξ
k
dP(ω )
Ω
или k
P(⏐ξn−ξ⏐>ε)≤
M{ ξ n − ξ }
εk
.
Это неравенство называется неравенством Чебышева. р.кв . ⎯→ ξ, то lim M {(ξ n − ξ) 2 } =0 и из неравенства Чебышева Если ξn ⎯с⎯ n →∞
при k=2 следует, что ∀ ε>0 lim P{ ξ n − ξ > ε} =0, то есть ξn ⎯ ⎯p→ ξ. n →∞
Отметим, что из сходимости по вероятности не следует сходимость в среднеквадратическом. Теорема 3. Из сходимости по вероятности следует сходимость по распределению. Доказательство. Пусть ξn сходится по вероятности к ξ, то есть lim P{ ξ n − ξ > ε} =0. Это означает, что для любых ε и δ, больших нуля, суn →∞
ществует такое N, что для любого n>N P{⏐ξn−ξ⏐>ε}<δ, то есть вероятность того, что ξn отклоняется от ξ больше чем на ε, меньше δ. Поэтому для произвольного х справедливы неравенства P{ξn<x}≤ P{ξ<x+ε}+δ; P{ξ<x−ε}≤ P{ξn<x}+δ или, объединяя эти неравенства, получим P{ξ<x−ε}−δ ≤ P{ξn<x}≤ P{ξ<x+ε}+δ. Тогда P{ξ<x−ε}−δ≤ lim P{ξn<x}≤ P{ξ<x+ε}+δ. В силу произвольности ε и δ, n→∞
получим P{ξ<x} ≤ lim P{ξn<x}≤ P{ξ≤x}, n→∞
а если F(x)= P{ξ<x}=F(x+0)=P{ξ≤x}, то lim Fn(x)=F(x).
n→∞
Связь между различными видами сходимости можно представить в виде логической схемы.
80
сходимость почти наверное сходимость по вероятности
сходимость по распределению
сходимость в среднем порядка k
Сходимость последовательностей случайных величин составляет основу теоретических исследований по теории вероятностей. Совокупность теорем, исследующих сходимость к нормальному распределению, объединены названием центральной предельной теоремы. Теоремы, исследующие сходимость по распределению к так называемым устойчивым законам, объединены названием безгранично делимых законов распределения. Сходимость по вероятности рассматривается в разделе под названием “Закон больших чисел”, а сходимость почти наверное - в разделе “Усиленный закон больших чисел”. Рассматривать все эти теоремы в рамках настоящего учебного пособия не представляется возможным, поскольку их достаточно много. Поэтому мы рассмотрим лишь некоторые, наиболее существенные из них.
§2. Центральная предельная теорема Из всех типов сходимостей по распределению особое место занимает сходимость к нормальному распределению вероятностей. Множество теорем, изучающих условия, при которых имеет место сходимость к нормальному распределению, объединяют названием центральной предельной теоремы. Важнейший подход к использованию результатов теории вероятностей в науке и технике заключается в том, что любой процесс или явление протекает под влиянием большого количества независимых или слабо зависимых случайных факторов, каждый из которых ничтожно мало влияет на ход процесса. Исследователь, изучающий процесс в целом, наблюдает лишь суммарное действие этих случайных факторов. Поэтому и возникает задача изучения закономерностей, свойственных суммам большого числа независимых случайных величин, каждая из которых оказывает малое влияние на сумму. Однако в современной математике обычным является переход от конечной постановки задачи к предельной. Здесь мы также будем рассматривать последовательность сумм со всё большим и большим 81
числом слагаемых и считать, что решение интересующих нас задач дается предельными функциями распределения для последовательности функций распределения сумм случайных величин с произвольными функциями распределения. В этих условиях возникает вероятностная закономерность большая сумма достаточно малых независимых случайных величин оказывается нормально распределённой. Закономерность возникает невзирая на отсутствие всякой закономерности. Условия, при которых верна центральная предельная теорема, достаточно часто хорошо выполняются на практике. Поэтому и с нормальными случайными величинами приходится сталкиваться часто. Рассмотрим без доказательства так называемую теорему непрерывности, дающую связь между сходимостями функций распределения и соответствующими им характеристическими функциями. Эта теорема является основой для исследований по центральной предельной теореме. Теорема 1. Пусть последовательность функций распределения Fn(x) сходится к F(x) в каждой точке её непрерывности. Тогда последовательность соответствующих характеристических функций gn(u) сходится к g(u)-характеристической функции F(x). Обратно, если gn(x)→g(x) при n→∞ и g(u) непрерывна при u=0, то g(u) является характеристической функцией некоторой случайной величины с функцией распределения F(x) и lim F n (x) = F (х) в каждой точке непрерывn →∞
ности F(x). Рассмотрим теперь центральную предельную теорему в её простейшей форме. Теорема 2. Пусть ξ1, ξ2, ξ3,..., ξn,... - последовательность независимых, одинаково распределённых случайных величин с математическим ожиданием М{ξk}=а и дисперсией D{ξk}=σ2, где 0<σ2<∞. Тогда для функции распределения Fn(x) случайной величины ηn=
ξ1 + ξ 2 +... + ξ n − n a σ n
имеет место соотношение lim Fn(x)= lim P{ηn<x}=F(х),
n→∞
n→∞
где F(x) - функция распределения стандартной нормальной случайной веF → N(0,1). личины, то есть ηn ⎯⎯ Доказательство. Заметим, прежде всего, что в точке u=0 кумулянта случайной величины ξn ψ ξn (0)=0, поскольку ψ ξn (u)=ln g ξn (u). Кроме того, ранее было показано, что ψ′(0)=i⋅M{ξn} и ψ′′(0)=−D{ξn}. 82
Тогда разложение ψ(u) для произвольной случайной величины в ряд Тейлора в окрестности точки u=0 имеет вид ψ(u)= ψ(0)+ ψ′(0)u+
ψ " (0) 2 u +o(u2). 2!
Поэтому для случайной величины ξk кумулянтная функция имеет вид ψ ξ k ( u ) =iau−
σ2u 2 +o(u2). 2
А для случайной величины ξ=ξ1+ξ2+ξ3+...+ξn кумулянтная функция равна n
ψξ(u)= ∑ ψ ξ k ( u ) =niau−n k =1
σ2u 2 +no(u2). 2
Случайную величину ηn представим в виде n
∑ ξk
ηn= k =1
σ n
−
a n . σ
Тогда её кумулянтная функция будет равна ψ ηn (u) =ian
u
σ n
−
σ 2 nu 2 2( σ n ) 2
−i
a n u2 u2 u2 u + no( 2 ) = − + no( 2 ) . σ 2 σ n σ n
Переходя к пределу при n→∞, получим u2 lim ψ ηk ( u ) = − , n→∞ 2
что соответствует нормальной случайной величине с нулевым математическим ожиданием и единичной дисперсией. В силу теоремы 1 F ηn ⎯⎯→ N(0,1), то есть lim Fn(x)= lim P{ηn<x}=F(х). n→∞
n→∞
Рассмотрим теперь условия сходимости к нормальному закону, когда последовательность ξ1, ξ2, ξ3,..., ξn,... образована независимыми, но не обязательно одинаково распределёнными случайными величинами. Эти условия даёт так называемая центральная предельная теорема для произвольных последовательностей независимых случайных величин. Как и в теореме 2, предполагается существование математических ожиданий М{ξk}=ak и дисперсий D{ξk}= σ 2k . Введём обозначение n
n
k =1
k =1
B2n = ∑ σ 2k =D{ ∑ ξ k }
и будем рассматривать случайные величины
83
n
∑ (ξ k − ak )
ηn= k =1
Bn
,
(3.2.1)
а также ξkn=
ξ k − ak Bn
n
и тогда ηn= ∑ ξ kn . k =1
Для серий последовательностей случайных величин ξkn σ 2k D{ξkn}= 2 Bn
M{ξkn}=0,
.
Для сходимости функции распределения сумм (3.2.1) к нормальному закону распределения важнейшим является выполнение условия Линдеберга, которое при любом τ>0 имеет вид lim
n
1
∑
∫ (x − ak )
n →∞ B2 n k =1 x − ak > τBn
2
dF ξ k (x) =0.
Выясним смысл этого условия. Обозначим через Аk событие, состоящее в том, что ⏐ξk−ak⏐>τBn, то есть Ak={ω: ⏐ξk−ak⏐>τBn} и оценим вероятность P{ max ⏐ξk−ak⏐>τBn}. 1≤ k ≤ n
Поскольку n
P{ max ⏐ξk−ak⏐>τBn}=P( U A k ) 1≤ k ≤ n
k =1
и как было показано в гл. 1 n
n
k =1
k =1
P( U A k )≤ ∑ P(A k ) , то отмечая, что P(Ak)=
∫ dF ξ
x − ak > τBn
(x) ≤
k
1
τ
2
∫ (x − ak )
B2n x − ak > τBn
2
dF ξ k (x) ,
получаем неравенство P( max ⏐ξk−ak⏐≥τBn)≤ 1≤ k ≤ n
1
τ
2
n
∑
∫ (x − ak )
B2n k =1 x − ak > τBn
поскольку следующие условия равносильны
84
2
dF ξ k ( x) →0 при n→∞,
⏐х−ak⏐≥ τBn и
(x − ak ) 2
τ 2 B2n
≥1.
Таким образом, условие Линдеберга представляет собой своего рода требование равномерной малости слагаемых ξkn по индексу k, так как P{max ξ kn ≥ τ} стремится к нулю при n→∞. По поводу смысла этого усло1≤ k ≤ n
вия можно отметить также, что оно влечёт за собой равномерную малость дисперсии величин ξkn=
ξ k − ak . Bn
Действительно, рассматривая соотношение D{ξkn}= σ 2k B2n
+
=
1
∞
∫ (x − ak )
2
B2n −∞
dF ξ k ( x) =
2 2 ∫ (x − ak ) dF ξ k (x) ]≤τ +
x − ak ≥ τBn
1
, получаем
B2n
∫ (x − ak )
[
B2n
σ 2k
2
x − ak < τBn
1 B2n
∫ (x − ak )
x − ak ≥ τBn
2
dF ξ k (x) +
dF ξ k (x) .
Поэтому при выполнении условия Линдеберга и в силу произвольности τ, получаем max
1≤ k ≤ n
σ 2k B2n
→0 при n→∞,
что и доказывает равномерную малость ξkn. Рассмотрим теперь центральную предельную теорему в форме Линдеберга. Теорема 3. Для того, чтобы для независимых случайных величин ξ1, ξ2, ξ3,..., ξn имело место lim P{ηn<x}=F(х) и max 1≤ k ≤ n
n→∞
σ 2k B2n
→0 при n→∞, достаточно
выполнение условия Линдеберга. Доказательство. Доказательство разобьём на несколько этапов. 1. Для доказательства понадобятся следующие неравенства: ⏐eix−1⏐≤⏐x⏐, ⏐eix−1−ix⏐≤
x2 , 2 3
x x2 , ⏐e −1−ix+ ⏐≤ 2 6 ix
⏐ln (1+y)−y⏐≤⏐y⏐2.
85
1 2
Здесь х - вещественное число, y - произвольное число, такое, что ⏐y⏐≤ . Докажем их для х>0, что является достаточным x
x
0
0
⏐x⏐=⏐ ∫ dt ⏐≥⏐ ∫ e it dt ⏐=⏐eix−1⏐. Используя это неравенство, находим следующее x x x2 e ix − 1 it =⏐ ∫ tdt ⏐≥⏐ ∫ (e − 1)dt ⏐=⏐ −x⏐=⏐eix−1−ix⏐. 2 i 0 0
И опять на основании предыдущего получим 3 x 2 x x t ix 2 x2 e ix − 1 ix it =⏐ ∫ dt ⏐≥⏐ ∫ (e − 1 − it )dt ⏐=⏐ −x − ⏐=⏐e −1−ix+ ⏐. i 2 2 2 6 0 0 Последнее неравенство получаем из соотношений y
y
t dt ⏐≤2⏐ ∫ tdt ⏐=⏐y⏐2. 1+ t 0 0
⏐ln (1+y)−y⏐=⏐ ∫ 2.
Докажем
g ξ kn (u)=M{ e
iξ kn u
теперь,
что
max ⏐ g ξ kn (u)−1⏐→0
1≤ k ≤ n
при
n→∞,
где
∞
}. Так как М{ξkn}=0, то ∫ xdFξ kn ( х) =0 и, кроме то−∞
∞
го, ∫ dFξ kn ( х) =1, где Fξ kn - функция распределения случайной величины ξkn. −∞
Используя предыдущие неравенства, получаем ∞
∞
∞
⏐ g ξ kn (u)−1⏐=⏐ ∫ e iux dFξ kn ( х) − ∫ dFξ kn ( х) −iu ∫ xdFξ kn ( х) ⏐≤ −∞
∞
≤∫e −∞
iux
−∞
2 ∞
u − 1 − iux dFξ kn ( х) ≤ 2
В силу того, что max 1≤ k ≤ n
σ 2k B2n
−∞
u u 2 σ 2k ∫ x dFξ kn (х) = 2 D{ξkn}= 2 ⋅ B2 . n −∞ 2
2
→0 при n→∞, получаем, что
max ⏐ g ξ kn (u)−1⏐→0 при n→∞.
1≤ k ≤ n
3. В силу пункта 2 для достаточно больших n и всех значений k при u, лежащих в произвольном конечном интервале ⏐u⏐≤Т, 1 2
⏐1− g ξ kn (u)⏐< , поэтому
определены
ψ ξ kn (u)=ln g ξ kn (u)
и
законно
разложение
ln g ξ kn (u)=ln(1+( g ξ kn (u)−1)) по степеням ( g ξ kn (u)−1). Следовательно,
86
n
n
ln g ηn (u)= ∑ lng ξ kn (u) =
∑ ln(1 + (g ξ
k =1
k =1
n
kn
(u) − 1)) = ∑ ( g ξ kn ( u ) − 1) +Rn, k =1
отсюда получаем n
n
Rn= ∑ ln(1 + (g ξ kn (u) − 1)) − ∑ ( g ξ kn ( u ) − 1) . k =1
k =1
В силу неравенства ⏐ln (1+y)−y⏐≤⏐y⏐ , где ⏐y⏐=⏐ g ξ kn (u)−1⏐, получаем 2
n
n
2
⏐Rn⏐≤ ∑ g ξ kn ( u ) − 1 ≤ max ⏐ g ξ kn (u)−1⏐⋅ ∑ g ξ kn ( u ) − 1 . 1≤ k ≤ n
k =1
k =1
Но как получено в пункте 2, u 2 σ 2k Т 2 σ 2k ⏐ g ξ kn (u)−1⏐≤ ⋅ 2 ≤ ⋅ , 2 Bn 2 B2n
и поэтому n
∑
k =1
g ξ kn ( u ) − 1 ≤
Т2 1 ⋅ 2 B2n
n
∑ σ 2k =
k =1
Т2 . 2
Следовательно,
⏐Rn⏐≤
Т2 max ⏐ g ξ kn (u)−1⏐→0 при n→∞. 2 1≤ k ≤n
4. Представим теперь ( g ξ kn (u)−1) при М{ξkn}=0 и D{ξkn}=
σ 2k B2n
в виде
u 2 σ 2k g ξ kn (u)=1− ⋅ +ρkn. 2 B2n
Отсюда ψ ηn (u)= −
u2 +ρn+Rn, 2
n
ρn= ∑ ρ kn . k =1
Покажем, что при n→∞ ρn→0. Рассмотрим
⏐ρkn⏐=⏐ =⏐
∫
(e iux − 1 − iux +
x <τ
≤
∫
e
iux
x <τ
≤
u
3
6
∫x
x <τ
∞
∫
(e iux − 1 − iux +
−∞ 2 2
u 2x2 )dFξ kn ( х) ⏐= 2
u x u 2 x2 )dFξ kn ( х) + ∫ (e iux − 1 − iux + )dFξ kn ( х) ⏐≤ 2 2 x ≥τ
u 2x2 u 2x2 iux − 1 − iux + dFξ kn ( х) + ∫ e − 1 − iux + dF ξ kn ( х) ≤ 2 2 x ≥τ 3
dFξ kn ( х) +u
2
∫x
x ≥τ
2
dFξ kn ( х) ≤
u
3
6
τ
∫x
x <τ
2
dFξ kn ( х) +
87
+u
2
∫x
x ≥τ
2
dFξ kn ( х) ≤
u
3
τ
6
σ 2k B2n
∫x
+ u2
2
x ≥τ
dFξ kn ( х) .
Так как ⏐u⏐≤T, то, делая замену переменных, получаем оценку для ρn
⏐ρn⏐≤
Т 6
3
τ+
Т2
n
∑
∫ (x − ak )
В2n k =1 x − ak ≥ τBn
2
dF ξ k ( х) .
В силу произвольности τ и выполнения условия Линдеберга получаем, что ⏐ρn⏐→0 при n→∞. Таким образом, показано, что при каждом u и n→∞ u2 u2 ψ ηn (u)= − +Rn+ρn→ − , 2 2
что соответствует нормальному распределению с нулевым средним и единичной дисперсией, функция распределения которого F(х). Отсюда lim P{ηn<x}=F(х), n→∞
то есть имеет место сходимость по распределению к N(0,1). Для последовательности (3.2.1) можно указать и другие достаточные условия сходимости к нормальному распределению. Например, условие Ляпунова. Применение его более ограничительно, чем условие Линдеберга, но в ряде случаев оно легче для проверки. Теорема 4. (Ляпунова) Если для последовательности независимых случайных величин ξ1, ξ2, ξ3,..., ξn,... можно подобрать такое δ>0, что 1
n
∑ M{ ξ k − ak
2+ δ
B2n+δ k =1
} →0
(3.2.2)
при n→∞, то lim P{ηn<x}=F(х). n→∞
Доказательство. Здесь достаточно проверить, что условие Ляпунова (3.2.2) влечёт за собой выполнение условия Линдеберга. Это следует из цепочки неравенств, при использовании того, что область интегрирования определяется неравенством x − ak
τB n
≥1
и поэтому при любом δ>0 x − ak
τ δ Bδn 1
n
∑
2 ∫ (x − ak ) dF ξ k (х) ≤
В2n k =1 x − ak ≥ τBn
88
1
δ
≥1. n
∑
∫ (x − ak )
В2n (τBn ) δ k =1 x − ak ≥ τBn
2+ δ
dF ξ k (х) ≤
≤
n
1
τ
δ
∞
∑ ∫ x − ak
2+δ
В2n+ δ k =1 −∞
dFξ k ( х )=
n
1
τ
δ
∑ M{ ξ k − ak
В2n+ δ k =1
2+ δ
} →0
при n→∞ и любом τ>0, что означает выполнение условия Линдеберга. Теорема 5. Если независимые случайные величины ξ1, ξ2, ξ3,..., ξn,... одинаково распределены и имеют конечную отличную от нуля дисперсию σ2=D{ξk}, то lim P{ηn<x}=F(х). n →∞
Доказательство. Здесь также достаточно проверить, что при сделанных предположениях выполняется условие Линдеберга. В этом случае Bn=σ n , 2 где σ обозначает дисперсию отдельного слагаемого. Положив М{ξk }=a, можно записать 1
n
∑
2 ∫ (x − ak ) dF ξ k (х) =
В2n k =1 x − ak ≥ τBn
=
1
σ
2
∫ (x − a)
2
1 nσ
2
n
∫ (x − a)
2
dF (х) =
x − a ≥ τσ n
dF (х) →0 при n→∞
x − a ≥ τσ n
в силу того, что ∞
∫ (x − a)
2
dF (х) =σ2<+∞
−∞
и мера, определяющая интеграл Лебега, обладает свойством непрерывности.
§3. Закон больших чисел В теории вероятностей большое значение имеют события с вероятностями, близкими к нулю или единице. Поэтому важным является установление закономерностей, происходящих с вероятностями, близкими к единице, где особую роль должны играть закономерности, возникающие в результате наложения большого числа независимых или слабо зависимых случайных факторов. Закономерности такого рода и условия их возникновения составляют содержание ряда важных теорем, получивших общее название закона больших чисел. Рассмотрим некоторые из них. Пусть имеется последовательность независимых испытаний, в каждом из которых событие А появляется с вероятностью p. Случайная величина ξ k =1, если событие А происходит в k-ом испытании, ξ k =0 в противном случае. Тогда случайные величины ξ1 , ξ 2 , ..., ξ n ,... будут независимыми и одинаково распределёнными по закону Бернулли с 89
P{ ξ k =1}=p, P{ ξ k =0}=1−p=q, M{ ξ k }=0⋅q+1⋅p=p, D{ ξ k }=M{ ξ 2 }− (M {ξ}) 2 =M{ξ}− (M {ξ}) 2 =p− p 2 =pq. Сумма S n = ξ1 + ξ 2 +...+ ξ n представляет собой число появлений события А в n S pq . первых испытаниях. Поэтому M{ S n }=np, D{ S n }=npq, D{ n }= n n Теорема 1. (Бернулли) В перечисленных выше условиях, для любого ε>0 S P{⏐ n −p⏐>ε}→0 при n→∞. n Доказательство. В соответствии с неравенством Чебышева при n→∞ S pq P{⏐ n −p⏐>ε}< 2 →0, n nε что и требовалось доказать. S В соответствии со статистическим определением вероятности n можно n рассматривать как частоту появления события А, для которого P(A)=p. ОказываS ется, что в известном смысле n неограниченно сближается с p. n Закон больших чисел для схемы Бернулли можно записать в виде Sn Р ⎯ ⎯ → p. n Выполнение условий сходимости по вероятности налицо, однако сказать чтолибо о сходимости почти наверное, то есть сходимости с вероятностью 1, в данном случае нельзя. Теорема 2. (Хинчина) Пусть ξ1 , ξ 2 , ..., ξ n ,... - независимые одинаково распределённые случайные величины с конечными математическими ожиданиями M{ ξ k }=а. Тогда для любого ε>0 S P{⏐ n −а⏐>ε}→0 при n→∞. n Доказательство. Для доказательства теоремы воспользуемся приёмом, называемым усечением. Определим новые случайные величины следующим образом: пусть δ>0 фиксировано и для k=1, n η k = ξ k , ς k =0, если ⏐ ξ k ⏐<δn; η k =0, ς k = ξ k , если ⏐ ξ k ⏐≥δn. Очевидно, что при любом k (1≤k≤n) ξ k = ηk + ς k . Для случайных величин η k существует
90
δn
∫ xdF (x)
an =M{ η k }=
− δn δn
D{ η k }=
и
∫x
2
dF ( x) −
an2
− δn
δn
≤
∫ x dF ( x) ≤δbn,
− δn
∞
где b=
∫ x dF (x) .
Поскольку при n→∞ an →а, по теореме непрерывности для
−∞
меры, определяемой интегралом Лебега, то для любого ε>0 для достаточно больших n выполняется неравенство ⏐ an −а⏐<ε. В силу неравенства Чебышева bδ 1 n P{ ∑ η k − an ≥ ε} ≤ 2 . n k =1 ε Очевидно неравенство 1 n 1 n ∑ η k − a ≤ n ∑ ηk − an n k =1 k =1
+⏐ an −а⏐.
Если 1 n ∑ η k − a ≥2ε, а n k =1 1 n ∑ ηk − an ≥ε, n k =1
⏐ an −а⏐<ε,
то
откуда следует
bδ 1 n P{ ∑ ηk − a ≥ 2ε} ≤ 2 . ε n k =1 1
∫ dF (x) ≤ δn ∫ x dF (x) .
Заметим теперь, что P{ ζ k ≠0}=
x ≥δn
x ≥δn
Интеграл в правой части последнего неравенства в силу существования математического ожидания становится меньше чем δ 2 при достаточно больших n. Но тогда n
n
k =1
k =1
P{ ∑ ζ k ≠0}≤ ∑ P{ζ k ≠ 0} ≤δ. Очевидно неравенство 1 n 1 n 1 n ξ − a ≤ ξ − ∑ k ∑ k n ∑ ηk n k =1 n k =1 k =1
+
1 n 1 ηk − а ≤ ∑ n n k =1
n
∑ ζk + k =1
1 n ∑ ηk − a . n k =1
Если
91
1 n ∑ ξ k − a ≥2ε, а n k =1
1 n ∑ ζ k =0, то n ∑ η k − a ≥2ε. k =1 k =1 n
В этом случае n 1 n 1 n bδ P{ ∑ ξ k − a ≥2ε}≤P{ ∑ η k − a ≥2ε}+P{ ∑ ζ k ≠0}≤ 2 +δ. n k =1 n k =1 ε k =1 Поскольку ε и δ произвольны, то правая часть неравенства может быть сделана меньше любого числа, что и доказывает теорему.
§4. Усиленный закон больших чисел Рассмотрим теоремы, устанавливающие условия, при которых имеет место сходимость почти наверное (или с вероятностью 1). Совокупность этих теорем носит название усиленного закона больших чисел. Основой для вывода соответствующих теорем является так называемый критерий “нуля или единицы”. Лемма. (Борель - Кантелли) Если для последовательности событий ∞
А 1 , А 2 , ..., А n ,... выполняется условие
sup A n )=0. Если ∑ P (A n ) <+∞, то P( nlim →∞ n =1 ∞
события А 1 , А 2 , ..., А n ,... независимы и
∑ P (A n ) =∞, то n =1
P( lim sup A n )=1. n →∞
Доказательство. 1. В соответствии с данным в главе 1 понятием верхнего предела последовательности событий ∞
∞
lim sup A n = I U A k .
n →∞
n =1 k = n
∞
Пусть B n = U A k означает, что происходит хотя бы одно событие A k . Ясk=n
но, что событие
∞
I Bn
n =1
означает, что происходят все события B n . Посколь-
ку B1 ⊃ B2 ⊃... , то ∞
∞
0≤P( lim sup A n )=P( I Bn )= lim P( B n )= lim P( U A k )≤ lim n →∞
так как ряд
n =1
n →∞
n →∞
k=n
n →∞
∞
∑ P (A k ) =0,
k =n
∞
∑ P (A k ) по условию леммы сходится. k =1
2. Используя формулы двойственности (глава 1), условие независимости событий A m и элементарное неравенство (1−х)≤ e − x можно записать
92
∞
∞
m=n
m=n
m=n
P( B n )=P(Ω\ = lim
k →∞
Так как
k
∞
U A m )=P( I (Ω \ A m ) )=P( I A m )= klim ∏ P(A m ) = →∞ m= n
k
k
∏ (1 − P (A m )) ≤ lim exp{− ∑ P (A m )} = e k →∞
m= n
−
∞
∑ P(Am )
m=n
.
m= n
∞
∞
m =1
m= n
∑ P (A m ) =∞, то при любом n: ∑ P (A m ) =∞, поэтому P( B n )=0 и,
следовательно, P( B n )=1. Поскольку ∞
lim sup A n = I Bn ,
n →∞
n =1
то ∞
P( lim sup A n )=P( I Bn )= lim P( B n )=1. n →∞
n =1
n →∞
Рассмотрим смысл доказанной леммы. Событие lim sup A n наступает, n →∞
когда наступает бесконечное число событий ∞
∑ P (A n ) =∞ и n =1
An .
Поэтому, если
A n независимы, то с вероятностью 1, то есть почти навер∞
ное, наступит бесконечное число событий A n ; если же
∑ P (A n ) <∞,
почти наверное наступит конечное число событий P( lim sup A n )=0.
A n , поскольку
то
n =1
n →∞
Теорема 1. Пусть для некоторого k≥1 ряд
∞
∑ M{ ξ n − ξ
k
} сходится. То-
n =1
гда ξ n сходится почти наверное к ξ при n→∞. Доказательство. Пусть ε>0. Обозначим через A n событие {ω:⏐ ξ n −ξ⏐>ε}. Тогда по неравенству Чебышева k
P( A n )=P({ω:⏐ ξ n −ξ⏐>ε})≤
M{ ξ n − ξ }
εk
,
поэтому ∞
∑ P(A n ) ≤ n =1
1
ε
k
∞
∑ M{ ξ n − ξ
k
} <+∞.
n =1
93
Отсюда P( lim sup A n )=0, то есть с вероятностью 0 для любого N найдётся n →∞
такое n>N, что события A n наступят, то есть ⏐ ξ n −ξ⏐>ε. А это и означает, Н. что с вероятностью единица lim ξ n =ξ или ξ n ⎯П. ⎯⎯→ ξ. n →∞
Рассмотрим неравенство Колмогорова, усиливающее неравенство Чебышева. Неравенство Колмогорова. Если ξ1 , ξ 2 ,... независимые случайные величины с конечными математическими ожиданиями и дисперсиями и ε>0, то k
1
s=1
ξ2
P{ max ∑ (ξ s − M {ξ s }) ≥ε}≤ 1≤ k ≤ n
n
∑ D{ξ k } . k =1
Доказательство. Введём следующие события: Е 0 ={ω:⏐ S1 ⏐<ε, ⏐ S 2 ⏐<ε,..., ⏐ S n ⏐<ε}, Е k ={ω:⏐ S1 ⏐<ε, ⏐ S 2 ⏐<ε,..., ⏐ S k −1 ⏐<ε, ⏐ S k ⏐≥ε}, k=1, n ,
где k
S k = ∑ (ξ s − M {ξ s }) . s=1
Очевидно, что Е 0 , Е k ,..., Е n образует полную группу попарно несовместных событий. Нетрудно видеть, что объединение событий Е k есть искомое событие. Будем обозначать через M{ξ/A} математическое ожидание случайной величины ξ при условии наступления события А, т. е. 1 M{ξ/A}= ∫ ξ(ω )dP(ω ) . P( A ) A Тогда, поскольку M{ S k }=0, n
n
n
k =1
k =0
k =1
D{ S n }= ∑ D{ξ k } =M{ S 2n }= ∑ M {S 2n / E k } P( E k )≥ ∑ M {S 2n / E k } P( E k ), так как выбрасывается неотрицательное слагаемое. Введя обозначения η j = ξ j −M{ ξ j }, получим Sn = Sk +
n
∑ ηj .
j= k +1
Отсюда S 2n = S 2k +2 S k
94
∑ η j + ∑ η2j +2 ∑ η j η h ≥ S2k +2 S k ∑ η j +2 ∑ η j η h . j> k
j> k
j> h > k
j> k
j> h > k
Но M {S 2k / E k } ≥ ε 2 , так как в определении Е k утверждалось, что ⏐ S k ⏐≥ε. Заметим далее, не вдаваясь в тонкости, что Е k определяется лишь η1 , η2 ,..., η k , то есть Е k не зависит от η j при j>k. В силу взаимности верно и обратное, то есть η j при j>k не зависит от Е k . При этом для j>k и h>k выполняется M{ S k η j / Е k }= M{ S k / Е k }M{ η j }=0; M{ η j η h / Е k }= M{ η j / Е k }M{ η h }=0. Отсюда следует, что M {S 2n / E k } ≥ M {S 2k / E k } ≥ ε 2 .
Получаем оценку n
n
k =1
k =1
k
∑ D{ξ k } ≥ ε 2 ∑ P (E k ) = ε 2 P{ max ∑ (ξ s − M {ξ s }) ≥ε}, 1≤ k ≤ n
s=1
откуда и следует доказываемое равенство k
1
s=1
ε2
P{ max ∑ (ξ s − M {ξ s }) ≥ε}≤ 1≤ k ≤ n
n
∑ D{ξ k } . k =1
Широкие и одновременно простые достаточные условия для осуществления усиленного закона больших чисел даёт теорема Колмогорова 1. Теорема Колмогорова 1. Если ξ1 , ξ 2 ,..., ξ n ,... последовательность независимых случайных величин и n
D{ξ k }
k =1
k2
∑
<∞,
то 1 n
n
Н. →0 ∑ (ξ k − M {ξ k }) ⎯П.⎯⎯
при n→∞.
k =1
n
Доказательство. Положим S n = ∑ (ξ k − M {ξ k }) и Vn = k =1
Sn . n
Рассмотрим событие А m ={ω: max Vn ≥ε, 2 m ≤n< 2 m +1 }. n
Оценим вероятность этого события. Условие Vn ≥ε можно переписать в виде ⏐ S n ⏐≥εn. Поскольку с ростом n εn увеличивается, то {ω: S n ≥εn, 2 m ≤n< 2 m +1 }⊂{ω: S n ≥ε 2 m , 2 m ≤n< 2 m +1 }. А это означает, что P( А m )≤P({ω: max S n ≥ε 2 m , 2 m ≤n< 2 m +1 }). n
95
С
ростом
числа
n
рассматриваемых
величин
Sn
множество
{ω: max S n ≥ε 2 m } может только увеличиться. Поэтому, расширяя область n
значений n, мы увеличиваем вероятность указанного события. Тогда P( А m )≤P({ω: max S n ≥ε 2 m , 1≤n< 2 m +1 }). n
По неравенству Колмогорова P( А m )≤ Оценим теперь
1 2
ε 4m
∑ D{ξ i } .
i< 2m +1
∞
∑ P (A m )
m =1
∞
∞
1
2m +1 −1
1
∑ P (A m ) ≤ ε 2 ∑ 4 m ∑ D{ξ i } .
m =1
m =1
i =1
Меняя местами порядок суммирования, получим ∞
∞
∞
i =1
m = ri
1
1
∑ P (A m ) ≤ ε 2 ∑ D{ξ i } ∑ 4 m ,
m =1
где ri определяется условием 2 ri ≤ i ≤ 2 ri +1 для i>1, а для i=1 полагаем r1 =1. Найдём внутреннюю сумму ∞
∑
m = ri
Так как i< 2 ri +1 , то
1 2 ri +1
<
1 4
m
=
1
1
4 1− 1 4 4 ri
=
4 1 . 3 4 ri
1 1 и r < 2 . Поэтому i 4i i ∞ 1 16 1 ∑ m≤3 2 i m = ri 4
и окончательно ∞
16
∞
∑ P( A m ) ≤ 3ε2 ∑
m =1
D{ξ i }
i =1
В силу сходимости последнего ряда ряд
i2 ∞
.
∑ P(A m )
также сходится. По
m =1
лемме Бореля-Кантелли с вероятностью 0 при любом N, существует m>N такое, что наступает Am. Нетрудно видеть, что при этом существует n>N такое, что ⏐Vn⏐=
1 n ∑ (ξ k − M{ξ k }) ≥ε, n k =1
а это и означает, что
96
1 n
n
Н. → 0 при n→∞. ∑ ( ξ k − M{ξ k }) ⎯П.⎯⎯ k =1
Теорема Колмлгорова 2. Пусть случайные величины ξ1,ξ2,...,ξn,... независимы и одинаково распределены. Тогда для того, чтобы при n→∞ n
1 n
Н. →0 ∑ (ξ k − M{ξ k }) ⎯П.⎯⎯
k =1
необходимо и достаточно, чтобы существовало конечное математическое ожидание M{ ξ k }, то есть ∞
∫ x dF (x) <∞.
−∞
Доказательство. Для доказательства этой теоремы воспользуемся приёмом усечения. Достаточность. Доказательство достаточности разделим на несколько этапов. 1. Введём в рассмотрение величины ⎧⎪ξ k , ξ k < k, ⎪⎩0, ξ k ≥ k.
ηk = ⎨ Тогда P{ηk≠ξk}=
∞
∫ dF ( x) = ∑
l= k l≤ x < l+1
x ≥k ∞
∞
∞
∞
∞
≤∑
k =1 l= k l≤ x < l+1
∫
x dF (x) ≤
l=1 l≤ x < l+1
l
∞
∫ dF (x) = ∑ ∑
∑ P{η k ≠ ξ k } = ∑ ∑ k =1
∫ dF (x) ,
∫ dF (x) = ∑ l
l=1 k =1 l≤ x < l+1
∫ dF (x) ≤
l=1 l≤ x < l+1
∞
∫ x dF (x) <∞.
−∞
Поэтому по лемме Бореля-Кантелли с вероятностью 1 ηk отлично от ξk лишь для конечного числа индексов k. 2. Проверим для величины ηk выполнение условий теоремы Колмогорова 1. Оценим D{ηk}
∫x
D{ηk}≤M{ η2k }=
x
2
k
dF ( x) = ∑
k
∫ x dF (x) ≤ ∑ l ∫ x dF (x) . 2
l=1 l−1≤ x < l
l=1 l−1≤ x < l
Отсюда n
∑
k =1
D {η k } k
2
∞
≤∑
1
k =1 k
2
k
∞
∞
1
∑ l ∫ x dF (x) = ∑ l ∫ x dF (x) ∑ k 2 . l=1 l−1≤ x < l
l=1 l−1≤ x < l
k =l
Оценим внутреннюю сумму 97
∞
l∑
∞
1
k =l k
2
1 l = ≤ 2 для l ≥ 2; l −1 k = l k(k − 1)
≤ l∑
и ∞
π2 ∑ 2 = 6 <2. k =l k 1
Поэтому n
D {η k }
k =1
k2
∑
∞
≤ 2∑
∞
∫ x dF (x) =2 ∫ х dF (x) .
l=1 l−1≤ x < l
0
Значит, согласно теореме Колмогорова 1 при n→∞ 1 n
n
Н. → 0. ∑ ( η k − M {η k }) ⎯П.⎯⎯
k =1
3. Поскольку k
∞
−k
−∞
M{ηk}= ∫ xdF ( x) ⎯k⎯ ⎯→ →∞
∫ xdF (x) =M{ξk}=а,
то, как известно из математического анализа,
1 n
n
⎯→ a . Так как ∑ M{η k } ⎯n⎯ →∞ k =1
с вероятностью 1 ηk отличается от ξk лишь для конечного числа индексов k, то событие {ω:
1 n
n
⎯→ 0 } ∑ (ξ k − η k ) ⎯n⎯ →∞
(3.4.1)
k =1
имеет вероятность 1. Очевидно, имеет место неравенство 1 n 1 n 1 n 1 n ξ − η η − M η ( ) ( { }) ξ − a ≤ + + ∑ k k n∑ k ∑ k ∑ M{η k } − a . (3.4.2) k n k =1 n k =1 n k =1 k =1
Поскольку событие 1 n
{ω:
n
⎯→ 0 } ∑ ( η k − M {η k }) ⎯n⎯ →∞
(3.4.3)
k =1
также имеет вероятность 1, то события (3.4.1) и (3.4.3) выполняются одновременно с вероятностью 1. При этом из неравенства (3.4.2) следует, что 1 n
n
Н. → 0. ∑ (ξ k − M{ξ k }) ⎯П.⎯⎯
k =1
Необходимость. Пусть при n→∞ 1 n
Так как ξn=Sn−Sn−1, то
98
n
∑ (ξ k − M{ξ k }) =
k =1
Sn Н. ⎯П. ⎯⎯ → 0. n
ξ n S n − S n −1 S n n − 1 S n −1 П. Н. = = − ⎯ ⎯⎯→ 0 при n→∞, n n n n n −1 ξn
то есть событие {
n
≥1} наступает лишь для конечного числа индексов с
вероятностью 1. Рассуждая от противного, по лемме Бореля-Кантелли отсюда следует, что ∞
ξn
n =1
n
∑ P{
∞
≥ 1} = ∑ P{ ξ n ≥ n } <∞, n =1
но ∞
∞
∞
∑ P{ ξ n ≥ n }= ∑ ∑ P{l ≤ ξ < l + 1} = n =1 l= n
n =1
∞
l
∞
l=1
n =1
l=1
= ∑ P{l ≤ ξ < l + 1}∑1 = ∑ lP {l ≤ ξ < l + 1} <∞. Однако, с другой стороны, ∞
∞
∞
M{⏐ξ⏐}= ∫ x dF (x) = ∑ −∞
( l + 1) ∫ dF ( x) = ∫ x dF (x) ≤ ∑ l =0
l=0 l≤ x < l+1
l≤ x < l+1
∞
= ∑ lP {l ≤ ξ < l + 1} +1<∞, l=1
что и доказывает необходимость. Следствием рассмотренных теорем является следующая теорема. Теорема Бореля. Пусть вероятность события А равна p. Если производится n независимых опытов, то при n→∞ m П. Н. ⎯ ⎯⎯→ p, n
где m - число наступления события А в n опытах. Доказательство. Рассмотрим случайную величину ξi: ξi=1, если в i-ом опыте наступило событие А; ξi=0, если в i-ом опыте не наступило событие А. Тогда случайные величины ξi независимы и одинаково распределены M{ξi}=1⋅p+0⋅(1-p)=p и n
∑ ξ i =m. i =1
По теореме Колмогорова 2 при n→∞ 1 m Н. (m−np)= −p ⎯П. ⎯⎯→ 0, n n 99
то есть при n→∞ m П. Н. ⎯ ⎯⎯→ p. n
Ранее нами было введено статистическое определение вероятности, опирающееся на опытный факт, а именно сходимость частоты
m к велиn
чине p, которая называлась вероятностью события. Теперь этот факт является следствием теорем, так же, как и то, что
m сходится именно к вероятn
ности p, а не к какой-либо другой величине. Таким образом, можно отметить, что теорема Бореля как бы замыкает круг, который начался статистическим определением вероятности, и, если бы такого замыкания не получилось, трудно было бы считать всю теорию вероятностей правильной и не противоречащей опытным фактам.
100
СПИСОК РЕКОМЕНДУЕМОЙ ЛИТЕРАТУРЫ
1. Боровков А.А. Теория вероятностей.- М.: Наука, 1972. 2. Вентцель Е.С. Теория вероятностей.- М.: Наука, 1969. 3. Гихман И.И., Скороход А.В., Ядренно М.И. Теория вероятностей и математическая статистика.- Киев: Вища школа, 1979. 4. Гнеденко Б.В. Курс теории вероятностей.- М.: Наука, 1988. 5. Колмогоров А.Н. Основные понятия теории вероятностей.- М.: Наука, 1974. 6. Королюк В.С., Портенко Н.Н., Скороход А.В., Турбин А.Ф. Справочник по теории вероятностей и математической статистике.- Киев: Наукова думка, 1978. 7. Прохоров Ю.В., Розанов Ю.А. Теория вероятностей.- М.: Наука, 1973. 8. Радюк Л.Е., Терпугов А.Ф. Теория вероятностей и случайных процессов.- Томск: ТГУ, 1988. 9. Чистяков В.П. Курс теории вероятностей.- М.: Наука, 1987. 10. Ширяев А.Н. Вероятность.- М.: Наука, 1989.
101
ОГЛАВЛЕНИЕ
Введение ................................................................................................... Глава 1. Случайные события ................................................................... §1. Алгебра событий ........................................................................... §2. Вероятность случайных величин ................................................. §3. Аксиомы теории вероятностей .................................................... §4. Основные свойства вероятности. Вероятностная мера .............. §5. Условная вероятность. Теорема умножения вероятностей ........ §6. Формула полной вероятности и формула Байеса ....................... §7. Частная теорема о независимых опытах. Биномиальное распределение .................................................................................... §8. Локальная предельная теорема Муавра - Лапласа ...................... §9. Теорема Пуассона ......................................................................... Глава 2. Случайные величины ................................................................. §1. Определение случайной величины .............................................. §2. Описание случайных величин ...................................................... §3. Многомерные случайные величины ............................................ §4. Функции от случайной величины ................................................ §5. Математическое ожидание ........................................................... §6. Дисперсия ...................................................................................... §7. Моменты ....................................................................................... §8. Числовые характеристики взаимосвязи случайных величин ..... §9. Характеристическая функция ...................................................... §10. Нормальный закон распределения ............................................. Глава 3. Последовательности независимых случайных величин ........... §1. Сходимость случайных величин .................................................. §2. Центральная предельная теорема ................................................ §3. Закон больших чисел .................................................................... §4. Усиленный закон больших чисел ................................................ Список рекомендуемой литературы ........................................................
102
3 5 5 10 13 15 19 22 25 28 30 33 33 34 39 45 50 56 60 63 69 74 78 78 82 90 92 101
