МИНИСТЕРСТВО ОБРАЗОВАНИЯ И НАУКИ РОССИЙСКОЙ ФЕДЕРАЦИИ НАЦИОНАЛЬНЫЙ ИССЛЕДОВАТЕЛЬСКИЙ ЯДЕРНЫЙ УНИВЕРСИТЕТ «МИФИ»
Т.И. Са...
54 downloads
398 Views
3MB Size
Report
This content was uploaded by our users and we assume good faith they have the permission to share this book. If you own the copyright to this book and it is wrongfully on our website, we offer a simple DMCA procedure to remove your content from our site. Start by pressing the button below!
Report copyright / DMCA form
МИНИСТЕРСТВО ОБРАЗОВАНИЯ И НАУКИ РОССИЙСКОЙ ФЕДЕРАЦИИ НАЦИОНАЛЬНЫЙ ИССЛЕДОВАТЕЛЬСКИЙ ЯДЕРНЫЙ УНИВЕРСИТЕТ «МИФИ»
Т.И. Савелова
Метод Монте-Карло Рекомендовано УМО «Ядерные физика и технологии» в качестве учебного пособия для студентов высших учебных заведений
Москва 2011
УДК 519.21 (075) ББК 22.19 я 7 С 12 Савелова Т.И. Метод Монте-Карло: Учебное пособие. М.: НИЯУ МИФИ, 2011. – 152 с. Изложены элементы математической статистики и метод Монте-Карло. Рассматриваются основные способы математического моделирования случайных величин, применение метода Монте-Карло при вычислении определенных интегралов, простейшие примеры в физике и экономике. Описан специализированный метод Монте-Карло моделирования нормальных распределений на группе вращений SO(3). В приложении 1 приведен пример тестирования датчика равномерно распределенной случайной величины на ( 0,1) для персональных компьютеров, а в приложении 2 – примеры применения методов статистического моделирования нормальных распределений на SO(3) в текстурном анализе при создании математических методов обработки экспериментальных данных в виде ориентаций отдельных зерен поликристаллов, получаемых методами электронной микроскопии. Предназначено студентам специальности «прикладная математика», изучающих теорию вероятностей и математическую статистику, а также сотрудникам, желающим освоить основы метода Монте-Карло. Подготовлено в рамках Программы создания и развития НИЯУ МИФИ. Рецензент д-р физ.-мат. наук, проф. А.В. Крянев ISBN 978-5-7262-1546-4 © Национальный исследовательский ядерный университет «МИФИ», 2011
Редактор Е.Г. Станкевич Подписано в печать 15.12.2010. Формат 60×84 1/16 Печ. л. 9,5. Уч.-изд. л. 13,25. Тираж 100 экз. Изд. № 1/4/110. Заказ № 19 Национальный исследовательский ядерный университет «МИФИ». 115409, Москва, Каширское ш., 31 ООО «Полиграфический комплекс «Курчатовский». 144000, Московская область, г. Электросталь, ул. Красная, 42
Оглавление Предисловие .......................................................................................... 6 Глава 1. Элементы математической статистики ................................ 8 1.1. Некоторые сведения из теории вероятностей ......................... 9 1.2. Выборка. Выборочные оценки числовых характеристик случайных величин ......................................................................... 15 1.3. Требования к оценкам: несмещенность, состоятельность, эффективность ................................................................................. 19 1.4. Методы получения оценок: метод максимального правдоподобия, метод моментов ................................................... 27 1.5. Интервальное оценивание. Доверительные интервалы для параметров нормального распределения ...................................... 32 1.6. Проверка статистических гипотез. Критерий согласия Колмогорова. Критерий χ 2 ........................................................... 40 1.7. Задача Беренца–Фишера.......................................................... 47 Задания на самостоятельную работу ................................................. 51 Задание 1. Смещенность, эффективность и состоятельность оценок. ММ и ММП получения оценок........................................ 51 Задание 2. Доверительные интервалы. Эмпирическая функция распределения. χ 2 – критерий проверки гипотез о распределении .............................................................................. 54 Глава 2. Статистическое моделирование случайных величин ....... 57 2.1. Введение в численные методы Монте-Карло........................ 57 3
2.2. Статистическое моделирование независимых равномерно распределенных случайных величин ............................................ 60 2.3. Методы моделирования одномерных случайных величин .. 66 2.4. Моделирование многомерных случайных величин.............. 73 Задание на самостоятельную работу ................................................. 82 Задание 3. Моделирование случайных величин .......................... 82 Глава 3. Методы приближенного вычисления интегралов ............. 84 3.1. Общая схема метода Монте-Карло для приближенного вычисления интегралов .................................................................. 85 3.2. Способы уменьшения дисперсии при вычислении интегралов методами Монте-Карло .............................................. 88 3.3. Численные примеры ............................................................... 92 Задание на самостоятельную работу ................................................. 98 Задание 4. Вычисление определенного интеграла методом Монте-Карло. ................................................................................... 98 Глава 4. Применение методов Монте-Карло в физике и экономике .......................................................................................... 100 4.1. Расчет системы массового обслуживания (общая схема) .. 100 4.2. Расчет прохождения нейтронов сквозь пластинку ............. 103 4.3. Анализ риска при производстве принтеров фирмой .......... 107 4.4. Моделирование времени ожидания .................................... 110 4.5. Трудоемкость метода Монте-Карло, использование неслучайных чисел........................................................................ 113 4
Глава 5. Специализированный метод Монте-Карло – статистическое моделирование ориентаций на группе вращений SO(3), подчиняющихся нормальному закону распределения ...... 116 5.1. Определение нормального распределения на группе SO(3) ................................................................................. 118 5.2. Алгоритм статистического моделирования нормальных распределений на SO(3)................................................................ 123 Заключение ........................................................................................ 129 Список рекомендуемой литературы................................................ 130 Приложение 1 .................................................................................... 133 Приложение 2 .................................................................................... 138
5
Моим родителям посвящается Среди других вычислительных методов метод Монте-Карло выделяется своей простотой и общностью. С.М. Ермаков
Предисловие Лекции по методам Монте-Карло, как составная часть годового курса «Теория вероятностей и математическая статистика», читаются более десяти лет студентам факультета «Т». В четырех главах данного учебного пособия содержится в основном материал этих лекций. Пятая глава посвящена специализированному методу МонтеКарло для моделирования случайных вращений на группе SO(3), подчиняющихся нормальному закону. Данный алгоритм разработан М.В. Боровковым, моим учеником, в 2002 г. Понимание этого алгоритма возможно при знакомстве с математическим аппаратом теории представлений групп SU(2) и SO(3), связанных между собой. Данный специализированный метод Монте-Карло применяется в текстурном анализе при изучении различных статистических характеристик поликристаллических материалов. В последние годы в связи с развитием техники и методов электронной микроскопии стало возможным измерение 104–107 ориентаций зерен в образце. При этом возникла необходимость развития математических методов обработки таких данных. 6
В пособии приведено множество примеров и рисунков, способствующих лучшему усвоению материала, есть задания для самостоятельной работы. В приложении 1 рассказано о тестировании датчика псевдослучайных чисел для персонального компьютера. В приложении 2, написанном К.Н. Рогинским, приведены примеры численного моделирования на группе вращений SO(3) с использованием алгоритма Монте-Карло. В пособии полужирным шрифтом выделены ссылки на основную литературу. Остальные использованные источники являются дополнительными. Автор выражает благодарность профессору Е.Б. Дынкину, прочитавшему до сих пор незабываемые лекции по теории вероятностей во время обучения на механико-математическом факультете МГУ, профессорам И.М. Соболь и Д.А. Василькову, общение с которыми повысило уровень знаний по теории вероятностей и математической статистике,
заведующему
кафедрой,
профессору
Н.А. Кудряшову и профессору А.В. Кряневу, способствовавших написанию данного пособия, а также М.В. Сыпченко – за техническое оформление рукописи.
7
В противоположность теории вероятностей статистика – это раздел прикладной математики. Д. Худсон
Глава 1. Элементы математической статистики Данная глава посвящена понятиям математической статистики, используемым в дальнейшем при изучении основ метода МонтеКарло (метода статистических испытаний). В настоящее время написано большое количество прекрасных монографий и учебных пособий по теории вероятностей (например, [1, 10, 21, 30]) и математической статистики ([1, 2, 6, 10, 15, 19, 29, 30]), а также задачников по математической статистике (например, [3, 5, 9, 27]). Математическая статистика – быстро развивающаяся область математики как в чисто теоретическом направлении, так и прикладном. Изучение фактора зависимости случайных величин и их реализаций на практике привело к появлению таких разделов математической статистики, как «Регрессионный анализ», «Корреляционный анализ», «Дисперсионный анализ» [2, 10, 19, 21, 30]. Учет влияния погрешностей измерения случайных величин и исследование устойчивости статистических характеристик привели к появлению термина «робастность» и многочисленным работам, относящимся к этому направлению [13, 16, 28, 31].
8
1.1. Некоторые сведения из теории вероятностей Пусть ξ , – случайная величина. Дискретная случайная величина определяется законом распределения x1 p1
x2 ... xn p2 ... pn n
pi 1 .
или P ξ xi pi , i 1,2,..., n ,
Дискретная случайная
i 1
величина может принимать и бесконечное (счетное) множество значений. P ξ k
Например,
распределение
Пуассона
имеет
вид
λk λ e , k 0,1,..., λ 0 – параметр распределения. Маk!
тематическое ожидание дискретной случайной величины определяется Mξ
n
xi pi , i 1
дисперсия – Dξ M ξ Mξ . 2
Математическое ожидание характеризует «среднее» значение случайной величины, а дисперсия – разброс случайной величины относительно среднего значения. Непрерывная случайная величина определяется плотностью распределения p x 0 , x , со свойствами b
a
P a ξ b p x dx ,
9
p x dx 1 .
Выполняются свойства математического ожидания и дисперсии: M ξ C Mξ C ; M Cξ CMξ ;
Dξ Mξ 2 Mξ ; 2
D ξ C Dξ ;
D Cξ C 2 Dξ ; M ξ η Mξ Mη ; D ξ η Dξ Dη .
Последние два свойства справедливы для независимых случайных величин. Из непрерывных случайных величин в дальнейшем чаще всего нам понадобится равномерно распределенная на интервале (0,1) случайная величина с плотностью p ( x) 1 , 0 x 1 , Mξ
1 , 2
Dξ
1 12
и случайная величина, распределенная по нормальному закону
N a,ζ с параметрами Mξ a , Dξ ζ2 , имеющая плотность p ( x)
2 exp x a , x , ζ 0 . 2πζ 2ζ 2 1
10
На рис. 1.1 изображены распределенные по нормальному закону случайные величины N 0,ζ , ζ 0,4; 1; 2,5 .
Случайная величина N 0,1 с Mξ 0 , Dξ 1 является стандартной, а функция ( z )
2
z
x2
exp dx 2π 2 0
называется интегралом ошибок (есть другие варианты интеграла ошибок), существуют таблицы для использования его значений в расчетах. Для случайной величины, распределенной по нормальному закону N a,ζ , справедливо правило «трех сигм»: Pa 3ζ ξ a 3ζ 0,997 .
11
Это значит, что из 1000 точек, распределенных по закону N a,ζ , вообще говоря, только три не попадают в интервал a 3ζ, a 3ζ (рис. 1.2).
Пусть ξ
– случайная величина, для которой Dξ . Тогда
имеет место неравенство П.Л. Чебышева: P ξ Mξ h
Dξ h2
,
где h 0 произвольно. Имеет место теорема (закон больших чисел П.Л. Чебышева). Пусть ξ1,ξ 2 ,...,ξ n ,... – последовательность попарно независимых случайных величин с равномерно ограниченными дисперсиями Dξi C 2 , тогда при любом h 0 выполнено 1 lim P n n
n
i 1
ξi
1 n
Mξi h 0 . i 1 n
Справедлива центральная предельная теорема (ЦПТ) Линдеберга и Леви. Пусть ξ i , i 1,2,..., n,... взаимно независимы и одинаково распределены, Mξi a , Dξi 2 . Тогда имеет место ЦПТ η a 1 x lim P n n ζ n 2π
12
x
e
z2 2 dz ,
где ηn
1 n
n
ξ i , Mηn a , Dηn
i 1
ζ2 . n
Следовательно, при n 1 имеет место приближенное равенство 3ζ P ηn a 0,997 , n
которое используется в методе Монте-Карло для оценки точности приближенных вычислений. В дальнейшем нам понадобятся некоторые распределения, которые встречаются довольно часто в различных приложениях теории вероятностей. Распределение χ 2 с n степенями свободы определяется плотностью pn x Cn
n x 1 2 2 x e
, 0 x ,
где нормирующий множитель 1
n Cn 2 2 n . 2
Имеет место теорема Пирсона. Если ξ1 ,...,ξ n независимы и распределены по нормальному закону N 0,1 , то случайная величина η
n
ξi2
подчиняется χ 2 за-
i1
кону распределения с n степенями свободы. На рис. 1.3 приведены графики плотности распределения χ 2 при n = 1, 3, 5, 10. 13
Распределение Стьюдента с m степенями свободы имеет плотность 2 pm x Bm 1 x m
m 1 2
, x ,
m 1 2 . Bm m m 2
Имеет место теорема Стьюдента. Пусть ξ и η – независимые случайные величины, ξ распределена по нормальному закону N (0,1) , а η подчиняется закону χ 2 с m степенями свободы. Тогда случайная величина t m
14
ξ η
подчиняется закону распределения Стьюдента с m степенями свободы. При m t распределение Стьюдента стремится к нормальному закону распределения. На рис. 1.4 приведены графики распределения Стьюдента при m 4 и плотность нормального распределения N 0,1 .
1.2. Выборка. Выборочные оценки числовых характеристик случайных величин Пусть ξ , – случайная величина; θ – множество значений параметра, ее характеризующих; p x,θ – плотность распределения искомой случайной величины, а ξ ξ1 ,...,ξ n – вы15
борочный вектор, представляющий собой взаимно независимые компоненты, имеющие одно и то же распределение. Выборкой x x1 ,..., xn будем обозначать реализации выборочного вектора ξ. Примечание. Случайная величина обозначается буквой ξ . Соот ветственно выборка – ξ ξ1 ,...,ξ n . Значения случайной величины обозначаются как
x , , соответственно
x x1 ,..., xn . В
некоторых случаях мы будем отождествлять эти понятия, как, например, при взятии интегралов для вычисления математического ожидания, дисперсии и т.д. Величина L x / θ
n
p xi / θ
(1.1)
i 1
называется функцией правдоподобия и представляет собой плот ность распределения выборочного вектора ξ . Пусть η θ функция параметра θ . Обозначим t x функцию выборочного вектора x , называемую оценкой величины η θ . Пример 1.1. Случайная величина ξ имеет неизвестные параметры – математическое ожидание a и дисперсию ζ 2 . Дана выборка x1, x2 ,..., xn объема n. Для a предложена оценка
x
1 n
16
n
xi . i 1
Для ζ 2 – оценки s02 s12
1 n xi x 2 , n 1 i 1
n
xi x
1 n
2
.
i 1
Пример 1.2. Пусть ξ равномерно распределена в интервале 0 x θ с плотностью p x,θ
1 , длина интервала – неизвестный θ
параметр распределения. Имеем Mξ
θ θ2 , Dξ . 2 12
Для величины η θ θ предложены оценки 2 t1 x n
n
xi . i 1
Легко найти 2 Mt1 x nMξ θ , n 4 θ2 . Dt1 x 2 nDξ 3n n
Пусть вторая оценка имеет вид t2 x max xi . 1i x
Функция распределения t2 x выглядит так: n
x F t2 P t2 x , θ
17
следовательно, плотность распределения равна p t2 n
x n1 θn
, 0 xθ.
Тогда находим Mt2
θ
n θ
Dt2
n
x dx n 1 θ , n
n
0
nθ 2
n 12 n 2
.
Рассмотрим третью оценку: t3
n 1 t2 , n
для нее получаем Mt3 θ ,
Dt3
θ2 . n(n 2)
Имеем числовой пример для θ 1 , n=10, t1 1,325 , t2 0,871 , t3 0,958 .
Из примеров 1.1, 1.2 видно, что для одной и той же величины могут быть предложены разные оценки, и надо знать свойства оценок, чтобы уметь сравнивать их между собой.
18
1.3. Требования к оценкам: несмещенность, состоятельность, эффективность
Определение 1.1. Оценка t ( x ) величины η(θ) называется не-
смещенной, если Mt ( x ) η θ для любого θ
или Mt ( x ) ... t ( x ) L( x / θ)dx η θ .
R
(1.2)
n
Пример 1.1 (продолжение). Для оценки x математического ожидания a находим Mx
1 nMξ a , n
т.е. x – несмещенная оценка. Для оценки дисперсии s02 получаем Ms02 M
n 2 1 n 1 M xi a a x xi x 2 n 1 i 1 n 1 i 1
n 1 2 1 M xi a 2 xi a n n 1 i 1
n
a x j j 1
1 n
2
n
i , j 1
a xi a x j
2 n 1 nDξ Dξ 2 Dξ Dξ . n n 1 n
Мы воспользовались независимостью элементов выборки и получили вывод: оценка s02 является несмещенной оценкой дисперсии
ζ2 . Для другой оценки дисперсии s12 имеем 19
Ms12
n 1 2 n 1 Ms0 Dξ , n n
т.е. s12 – смещенная оценка дисперсии, но при этом
n 1 1 при n
n . Поэтому говорят, что оценка – асимптотически несмещенная. Пример 1.2 (продолжение) Оценки t1 и t3 – несмещенные, но оценка t1 имеет большую дисперсию, чем оценка t3 при n 1 . Оценка t2 является асимптотически несмещенной и при n 100 практически мало чем отличается от оценки t3 . Определение 1.2. Оценка
t( x)
для величины θ называется
несмещенной оценкой с минимальной дисперсией, если для любой другой несмещенной оценки t1 ( x ) для всех θ выполнено неравенство Dt ( x ) Dt1 ( x ) .
Теорема 1.1 (единственности несмещенной оценки с минимальной дисперсией) Если t1 ( x ) и t2 ( x ) – две несмещенные оценки с минимальной дисперсией для величины η θ , θ , то P t1 t2 1 . Доказательство. Пусть Dt1 ( x ) Dt2 ( x ) d , Dt3 ( x ) d . Возь 1 мем оценку t3 x t1 x t2 x . Имеем 2
1 Mt3 x Mt1 x Mt2 x η θ , 2 20
следовательно, t3 x – несмещенная оценка величины η θ . Нахо-
дим
1 d Dt3 ( x ) Dt1 Dt2 2r t1 , t2 Dt1Dt2 1 r d , 4 2
следовательно, r t1 , t2 1 , здесь r t1 , t2 – коэффициент корреля ции величин t1 ( x ) и t2 ( x ) . Отсюда следует, что P t1 t2 1 .
Теорема доказана. Пусть выполнены предположения: 1) 2)
L x ,θ и θ , θ ; θ если L x,θ0 0 , θ0 , то L x,θ 0 при всех θ .
существуют непрерывные
Теорема 1.2 (неравенство Рао–Крамера) Пусть выполнены условия 1, 2. Если t ( x ) – несмещенная оценка для величины η θ , то выполнено неравенство Dt ( x )
η θ 2
. 2 ln L x ,θ M θ
Доказательство. Имеем два тождества для всех θ : L x ,θ dx 1 ,
(1.3)
(1.4)
Rn
t x L x,θ dx η θ . R
n
Дифференцируем по θ тождества (1.4) и (1.5):
21
(1.5)
ln L x ,θ L x ,θ dx 0 , θ n
R
(1.6)
ln L x ,θ t(x) L x ,θ dx η θ . θ n
R
(1.7)
Из последних двух уравнений (1.6) и (1.7) получаем равенство ln L x ,θ (1.8) L x ,θ dx η θ . t ( x ) η θ θ n
R
Применяем неравенство Коши–Буняковского к уравнению (1.8):
η θ 2
2
ln L Ldx . θ Rn
2 t η Ldx
R
n
(1.9)
В уравнении (1.9) имеем
t η R
2
Ldx Mt ( x ) ,
(1.10)
n
2
2
ln L ln L . Ldx M θ θ Rn
(1.11)
Из соотношений (1.9)–(1.11) получаем неравенство Рао–Крамера (1.3). Теорема доказана. Определение 1.3. Несмещенная оценка t ( x ) для величины η θ
называется эффективной, если для нее выполнено условие Dt ( x )
η θ 2 ln L M θ
22
2
.
(1.12)
Теорема 1.3. Пусть выполнены условия 1–2. Для того чтобы t ( x ) была эффективной оценкой для величины η θ , необходимо и достаточно, чтобы выполнялось уравнение ln L x ,θ A θ t ( x ) η θ , θ
(1.13)
где A(θ) 0 – некоторая функция параметров θ . Доказательство теоремы 1.3 следует из неравенства (1.9): неравенство Коши–Буняковского обращается в равенство, когда оба множителя под знаком интеграла
t x η θ
L x,θ
и ln L x ,θ L x ,θ θ
пропорциональны между собой: Dt ( x )
2 t η Ldx
Rn
1 A
2 t η
Rn
ln L η θ . Ldx θ A
Таким образом, получаем для эффективной оценки η θ . Dt ( x ) A
(1.14)
Теорема доказана. Пример
1.3.
Пусть
функция
распределения
имеет
вид
F x,θ x1 θ , 0 x 1, 0 θ , здесь θ – неизвестный параметр. Плотность распределения вычисляется по формуле
23
1
1 1 p x,θ x θ . θ
Функция правдоподобия (1.1) имеет вид 1 1 1 L x ,θ n x1 x2 ... xn θ , θ
откуда находим n
1 ln L n ln θ 1 ln xi , θ i 1
ln L n 1 2 θ θ θ
n
ln xi
i 1
n 1 θ2 n
n
i 1
ln xi θ .
Из последнего уравнения получаем 1 t( x) n
n
ln xi , 1
i 1
есть эффективная оценка параметра θ , так как 1
1
1 1 1 θ 1 Mt ( x ) n x ln x dx θ , n xθ
0
т.е. оценка несмещенная. Следовательно, дисперсия оценки равна 1 θ2 . Dt x A n
Теорема 1.4. Среди всевозможных функций η θ , θ , только одна (с точностью до линейного преобразования) может иметь эффективную оценку. Доказательство. Пусть t1 ( x ) и t2 ( x ) – эффективные оценки для η1 θ и η 2 θ . Имеем тождества согласно теореме 1.3:
24
ln L A1 θ t1 x η1 θ A2 θ t2 x η2 θ . θ
Отсюда получаем A θ A θ , t2 ( x ) 1 t1 ( x ) η 2 θ η1 θ 1 A2 θ A2 θ
т.е. t2 ( x ) B1t1 ( x ) B2 ,
где B1
A1 θ A θ , B2 η 2 θ η1 θ 1 . A2 θ A2 θ
Теорема доказана. Обозначим tn ( x ) оценку величины θ при объеме выборки n n0 .
Определение 1.4. Оценка tn ( x ) для параметра θ называется со-
p стоятельной, если tn ( x ) θ при n , т.е. оценка tn ( x ) сходится к величине θ по вероятности при неограниченном увеличении объема выборки.
p Свойство состоятельной оценки. Если tn ( x ) θ при p
n , то η tn η θ при n для любой непрерывной
функции η θ . Доказательство. Из свойства непрерывности функции η θ имеем: для любого h 0 существует δ=δ(h) такая, что если tn θ δ ,
то
η tn η θ h .
25
Следовательно,
событие
tn ( x) θ δ
(влечет за собой событие)
η tn x η θ h .
Тогда выполнено
P tn ( x ) θ δ P η tn ( x ) η θ h ,
откуда получаем
P η tn ( x ) η θ h 1
при
n , т.е.
( p) η tn ( x ) η θ при n . Свойство доказано.
Обозначим αn Mtn ( x ) θ смещение оценки tn ( x ) параметра θ . Теорема 1.5. Если αn 0 и Dtn ( x ) 0 при n , то tn ( x ) –
состоятельная оценка. Доказательство. Пусть h 0 произвольно и n n0 таково, что αn h . Очевидно неравенство
tn ( x ) θ tn ( x ) θ αn αn tn ( x ) θ αn αn . Следовательно, выполнено условие P tn θ h P tn ( x ) θ αn h αn . Из последнего неравенства, пользуясь неравенством Чебышева, получаем P tn θ h 1
Dtn
h αn
2
1 при n .
Следовательно, p
P tn θ h 1 при n или tn θ при n . Теорема доказана. 26
Пример 1.4. Пусть x1 ,..., xn – элементы выборки случайной величины ξ , для которой существует математическое ожидание Mξ .
Для оценки неизвестного математического ожидания
используется несмещенная оценка (см. пример 1.1) x
1 n
n
xi . i 1
Имеем при условии Dξ Dx
1 n
2
nDξ
Следовательно, по теореме 1.5
Dξ 0 при n . n
состоятельная оценка математи-
x
( p) ческого ожидания, т.е. x Mξ при n .
1.4. Методы получения оценок: метод максимального правдоподобия, метод моментов Метод максимального правдоподобия (ММП) – один из наиболее известных методов получения оценок неизвестных параметров распределений. Определение 1.5. Оценкой ММП θˆ параметра θ называется корень уравнения L x,θˆ max L x,θ θ
или θˆ arg max L x ,θ . θ
27
(1.15)
Здесь L x ,θ – функция правдоподобия, x – выборка, отве-
чающая значениям случайной величины ξ с плотностью p x,θ , содержащей неизвестные параметры θ . Свойства оценки ММП θˆ θˆ n для выборки объема n : 1)
θˆ n – состоятельная оценка;
2)
θˆ n асимптотически эффективна, т.е. ln L x ,θ ˆ Dθ n M θ θˆ n
3)
2
1 при n ;
θˆ n асимптотически нормальна, т.е ˆ ˆ 1 θn Mθn z P ˆ 2π Dθ n
z
e
x2 2 dx
при n .
Доказательство существования оценки ММП и свойств можно найти, например, в [15, 21]. Теорема 1.6. Если существует эффективная оценка t ( x ) для па-
раметра θ , то она может быть получена ММП. Доказательство. Условие L x ,θ 0 θ
может быть заменено уравнением ln L x ,θ 0. θ
Существование эффективной оценки эквивалентно выполнению уравнения (1.13) согласно теореме 1.3 28
ln L x ,θ A(θ) t ( x ) θ 0 , θ откуда θˆ t ( x ) .
Теорема доказана. Если существует эффективная оценка t ( x ) для η θ , аналогич-
ˆ , т.е. θˆ η1 t ( x) , где η 1 – обратная функно получим t ( x ) (θ)
ция для η θ . В случае если случайная величина ξ содержит p 1 неизвестных параметров с плотностью p x,θ1 ,...,θ p , то ММП состоит в решении p уравнений относительно θ1 ,...,θ p : ln L x ,θ1 ,...,θ p θi
0 , i 1,..., p .
Решая систему нелинейных уравнений относительно неизвестных параметров, получим θˆ i θˆ i ( x ) , i 1,..., p , оценки ММП. Метод моментов (ММ) состоит в нахождении неизвестных параметров θ1 ,...,θ p распределения случайной величины ξ с плотностью p x,θ1 ,...,θ p из системы уравнений
α s θ1 ,...,θ p ms , s 1,..., p , где α s – момент порядка s: α s Mξ s x s p x,θ1 ,...,θ p dx ,
R
ms – выборочный момент порядка s:
29
(1.16)
ms
1 n
n
xis . i 1
Корни системы (1.16) θi θ i ( x ) являются оценками ММ. Вообще
говоря, нелинейную систему (1.16) проще решать, чем ММП. Оценки ММ чаще всего состоятельны. Нетрудно доказать (см. задачу 5 в задании 1), что выборочная оценка момента порядка s (s=1,2,…) является несмещенной и состоятельной оценкой момента α s . Пример 1.5. Пусть ξ имеет нормальное распределение N a,ζ с неизвестными параметрами θ1 a , θ2 ζ2 , с плотностью p x,θ1 ,θ 2
2 x θ1 exp . 2πθ2 2θ2
1
Применим ММП для оценки параметров θ1 , θ 2 по выборке x1 ,..., xn . Рассмотрим функцию правдоподобия
L x ,θ1 ,θ 2
1
2πθ 2
n
2 n xi θ1 exp i 1 2θ 2
или n n 1 ln L x ,θ1 ,θ2 ln 2π ln θ 2 2 2 2θ 2
Получаем уравнения ММП: ln L( x ,θ1 ,θ 2 ) 1 θ1 θ2
30
n
n
xi θ1 i 1
xi θ1 0 , i 1
2
.
ln L x ,θ1 ,θ2 θ 2
n 1 2 2θ 2 2θ2
n
xi θ1
2
0.
i 1
Из данных уравнений находим оценки 1 θˆ1 n 1 θˆ 2 n
n
xi x , i 1
n
xi θ1
2
s12 .
i 1
Оценки ММ находим из системы уравнений θ1 m1 ,
θ2 θ12 m2 ,
так как имеем α1 Mξ θ1 ,
α2 Mξ 2 Dξ Mξ θ2 θ12 . 2
Из приведенной системы получаем оценки ММ: 1 θ1 n 1 θ 2 n
n
xi x , i 1
n
xi2 θ12 s12 . i 1
Таким образом, оценки ММП и ММ для нормального распределения совпадают. Пример 1.3 (продолжение). Для распределения с плотностью p x,θ
1
1 θ 1 x , 0 x 1, θ
31
и неизвестным параметром θ 0 ранее была получена оценка ММП: 1 θˆ n
n
ln xi . 1
i 1
ММ дает нам уравнение для вычисления параметра : 1
1
α1 Mξ
1 θ 1 , x dx θ 1 θ
0
α1 m1
1 n
n
xi . i 1
Отсюда находим оценку ММ: 1 θ 1 . x
Этот пример показывает, что оценки ММП и ММ различны.
1.5. Интервальное оценивание. Доверительные интервалы для параметров нормального распределения Пусть t ( x ) – оценка параметра θ по выборке x1 ,..., xn .
Определение 1.6. Интервал
t , t называется доверительным
интервалом с коэффициентом доверия β , если выполнено Pt θ t β .
(1.17)
Обычно рассматривают значения β 0,90; 0,95; 0,99; 0,999. Пусть Ft z – функция распределения оценки t ( x ) :
32
Ft ( z ) P t ( x ) z
η z t ( x) L x,θ dx ,
Rn
где 1, u 0, ηu 0, u 0
единичная функция Хевисайда. Пусть выполнены уравнения (рис. 1.5) Ft zβ
1 β , 2
1 β . 2
Ft zβ
Очевидно, выполнено равенство
P zβ z zβ Ft zβ Ft zβ
1 β 1 β β, 2 2
откуда находим
β .
P zβ t θ zβ+ P t zβ θ t zβ
33
Пример 1.6. Пусть F x,θ
х , 0 x θ , функция распределеθ
ния случайной величины ξ с неизвестным параметром θ 0 . Рассмотрим оценку для θ: t2 max xi . 1i n
Имеем n
z Ft2 z , 0 z θ . θ
Решаем уравнение n
zβ 1 β , 2 θ
откуда находим zβ n
1 β . 2
В результате получаем доверительный интервал с коэффициентом доверия β: 1 β 2 2 1 β P θ n θ t2 n t2 θ n P t2 n β . 1 β 2 2 1 β
Рассмотрим три задачи построения доверительных интервалов для параметров нормального распределения. Задача 1. Имеется x1 ,..., xn выборка элементов случайной величины ξ N a,ζ , распределенной по нормальному закону, для которой среднеквадратичное отклонение ζ Dξ известно, а ма34
тематическое ожидание a Mξ неизвестно. Требуется дать оценку параметра а и построить доверительный интервал с коэффициентом доверия β . Решение. Возьмем оценку x
Величина
x
n
xi .
1 n
i 1
ζ имеет нормальное распределение N a, , так как n Mx a ,
Dx
1 n2
nDξ
ζ2 n
(последнее равенство верно в силу независимости элементов выборки). Справедливо равенство x a 1 z P z ζ n 2π
z
e
u2 2 du
( z ) .
z
Выберем zβ из уравнения zβ β . Тогда имеем равенство ζ ζ ζ ζ x a zβ a x zβ P zβ P x zβ β. n n n n
Таким образом, построили доверительный интервал для параметра ζ ζ , x zβ а x zβ с коэффициентом доверия β . n n
Задача 2. Требуется по выборке
x1,..., xn ,
состоящей из эле-
ментов случайной величины ξ N a,ζ с известным математиче35
ским ожиданием a Mξ, найти оценку и доверительный интервал для неизвестного параметра
.
Решение. Пусть для ζ 2 оценка имеет вид 1 n
s2
n
( xi a)2 . i 1
Очевидно, что случайная величина xi a N 0,1 . ζ
Следовательно, по теореме Пирсона величина ns 2 ζ2
n
xi a i 1 ζ
2
подчиняется χ 2n с n степенями свободы. Пусть выполнено уравнение zβ±
χ n x dx 2
0
1 β . 2
Тогда имеем равенство zβ
ns 2 χ 2 ( x) dx β , P zβ z n β ζ2 zβ
откуда получаем доверительный интервал для неизвестного параметра ζ 2 с коэффициентом доверия β: 2 ns 2 ns 2 P ζ β . zβ zβ
36
Задача
3.
По
x1,..., xn
выборке
случайной
величины
ξ N a,ζ с неизвестными параметрами a и ζ найти доверитель-
ные интервалы с коэффициентом доверия β . Теорема 1.6 (теорема Фишера). Пусть для математического ожидания и дисперсии предложены оценки x
s2
1 n
1 n
n
xi , i 1
n
( xi a)2 . i 1
Тогда x и s 2 независимы между собой. Величина
ns 2 ζ2
подчиняет-
ся χ 2n1 распределению с (n 1) степенями свободы. Доказательство. Пусть C Cij , i, j 1,..., n – ортогональная матрица для преобразования случайных величин x1 ,..., xn , для которой выполнено 1, i j,
n
Cik C jk δij 0, i j, k 1
n
CkiCkj δij , k 1
Cni
1 n
, i 1,2,..., n .
Обозначим
37
yk
n
Cki xi a .
(1.18)
i 1
Случайные величины yk , k 1,..., n , нормально распределены
N 0,ζ , так как Myk 0 ,
1, k l , M yk , yl ζ2δkl , δkl k , l 1,..., n , 0, k l ,
и независимы, поскольку для распределенных по нормальному закону случайных величин из некоррелированности следует их независимость. Из свойств матрицы С легко получить (см. задачи 1а, 1б, 1в задания 2) n
yk2
k 1
yn
n
( xi a)2 ,
(1.19)
i 1
Cni ( xi a)
i 1
ns 2
n
n
n
1 n
( xi a)
n ( x a) ,
(1.20)
i 1
( xi x )2
i 1
n 1
yk2 .
(1.21)
k 1
Из уравнений (1.20) и (1.21) следует, что x и s 2 независимы между собой. По теореме Пирсона величина ns 2 ζ2
n 1
yk k 1 ζ
2
подчиняется χ 2n1 распределению с (n 1) степенями свободы. Теорема доказана. 38
Далее воспользуемся теоремой Стьюдента: величина x a ζ n
t n 1
ns 2 ζ2
x a s
n 1
подчиняется распределению Стьюдента Sn1 ( x) с n 1 степенями свободы. Следовательно, выполнено уравнение
zβ
zβ
x a P zβ n 1 zβ Sn1 ( x)dx 2 Sn1 ( x)dx β . s z 0
(1.22)
β
Из уравнения (1.22) находим доверительный интервал для a с коэффициентом доверия β при n 1 : z s z s P x β a x β β . n 1 n 1
Для получения доверительного интервала для параметра ζ 2 воспользуемся тем, что случайная величина
ns 2 ζ2
имеет χ 2n1 распреде-
ление с (n –1) степенями свободы. Следовательно, выполняется уравнение ns 2 β , P zβ z β ζ2
где zβ±
χ n1 ( x)dx 2
0
39
1 β . 2
(1.23)
Из уравнения (1.23) находим доверительный интервал для параметра ζ 2 : ns 2 ns 2 2 P β . zβ zβ
(1.24)
1.6. Проверка статистических гипотез. Критерий согласия Колмогорова. Критерий χ 2 Пусть x x1,..., xn – выборка x1 x2 ... xn , отве-
чающая случайной величине ξ . Введем эмпирическую функцию распределения Fn x
1 n
n
η( x xi ) . i 1
На рис. 1.6 изображена эмпирическая функция распределения.
40
Нетрудно доказать (см. задачу 5 задания 2), что Fn x – несмещенная и состоятельная оценка функции распределения F ( x) случайной величины . Имеет место теорема 1.7 (теорема Колмогорова). Пусть Dn
sup x
F x Fn x .
Справедливо утверждение lim P nDn z K ( z )
n
1k exp(2k 2 z 2 ) .
(1.25)
k
Доказательство утверждения (1.25) можно найти, например, в [6]. Функция K ( z ) носит имя Колмогорова. Интересно отметить, что предел (1.25) не зависит от вида функции F ( x) . Функция K ( z ) изображена на рис. 1.7. В пособиях по математической статистике эта функция обычно представлена в виде таблицы. В табл. 1.1 приведены некоторые значения данной функции.
41
Таблица 1.1 z
K(z)
z
K(z)
0,82
0,50
1,36
0,95
0,89
0,60
1,63
0,99
0,97
0,70
1,73
0,995
1,07
0,80
1,95
0.999
1,22
0,90
2,15
0,9998
Пользуясь теоремой Колмогорова, можно построить доверительный интервал для функции распределения F ( x) : P
nDn zβ K zβ β , 0 β 1 ,
или z z P Fn x β F x Fn x β β . n n
Принято считать: 42
zпз 1,36 – почти значимый при β 0,95 , р 0,05 , z з 1,63 – значимый при β 0,99 , р 0,01 , zвз 1,95 – высоко значимый при β 0,999 , р 0,001 .
Обычно полагают, если
nDn z * :
z* 0, 1,36 , то опыт не противоречит гипотезе;
z* 1,36, 1,63 – нужны другие опыты; z* 1,63, 1,95 – гипотеза ставится под сомнение; z* 1,95 – гипотеза о распределении F ( x) отбрасывается.
Критерий согласия χ 2 Пусть ξ – случайный вектор, ξ G , G R p , p 1 , G
r
G j , j 1
Gi
G j , i j . Обозначим P ξ G j p j 0 ,
r
p j 1 . Пусть
ν j – количест-
j 1
во векторов xi G j , i 1,..., n , j 1,..., r . Рассмотрим величину W
r
ν j np j
j 1
np j
2
,
(1.26)
которая называется статистикой Пирсона, или χ 2r1 с (r 1) степенями свободы. Теорема 1.8 (теорема Пирсона). Для любого промежутка R1 выполнено соотношение 43
lim P W P χ 2r 1 .
n
Доказательство теоремы можно найти в [15, 21]. Карл Пирсон рассматривал метод наименьших квадратов отклонения частот
νj n
от
вероятностей p j : r
ν Cj j pj n j 1
и обнаружил, что при C j
2
(1.27)
n величина (1.27) обладает простыми pj
интересными свойствами. В разделе 1.1 вводится χ 2 распределение, а на рис. 1.3 дано представление о его плотности распределения. В справочных руководствах по математической статистике обычно приведены таблицы значений χ 2 распределения для различных значений степени свободы r 1 . Пример 1.7. Имеется 20000 детей, из них 10220 – мальчики (М), а 9780 – девочки (Д). Согласуются ли эти данные с гипотезой, что вероятности рождения мальчика или девочки совпадают, т.е. P M P Д
1 ? 2
Решение. Составляем статистику Пирсона (1.26): W
Из таблиц
χ12
10220 100002 10000
9780 100002 10000
9,68 .
распределения с числом степеней свободы
f r 1 1 находим:
44
Таблица 1.2 β
0,05
0,01
0,001
2 χ кр
3,8
6,6
10,8
Следовательно, 6,6 W 9,68 10,8 , т.е. гипотеза о равенстве вероятности рождения мальчика и девочки ставится под сомнение. Считаем, что события – рождение мальчика или девочки – независимы между собой. Можно использовать схему биномиального распределения, где вероятность «успеха» p (рождение мальчика) и «неудачи» q (рождение девочки) одинаковы и равны 1 . При 2 числе испытаний n 20 000 1 можно применить нормальнее приближение N a,ζ с параметрами a Mξ np 10000 ,
2 Dξ npq 5000 . Отсюда находим ζ Dξ 70,7 , значение ξ 10 220 (число мальчиков) удовлетворяет условию ξ Mξ 220 3ζ 212,1 . Таким образом, получаем, что произошло маловероятное событие P ξ Mξ 3ζ 0,003 .
Поэтому гипотеза P M P Д
1 отбрасывается. 2
Пример 1.8. В Лондоне, на который выпущено 535 самолетовснарядов, рассматривается 576 участков площадью 1 4 км2. Име45
ются
следующие
данные
о
попадании
самолетов-снарядов
(табл. 1.3). Таблица 1.3 №
Количество участников
Количество попаданий
1
229
0
2
211
1
3
93
2
4
35
3
5
7
4
6
1
5
Рассматриваем случайную величину – количество попаданий в квадрат. Можно ли считать, что случайная величина подчиняется распределению Пуассона? Решение. Находим оценку параметра распределения Пуассона: 1 λˆ x n
n
xi 0,932 . i 1
Вычисляем оценки вероятностей попадания в квадрат k самолетовˆ ˆ снарядов pˆ k e λ λ , k 0,1,...,5 . Объединяем 5-ю и 6-ю групk! k
пы в одну и составляем статистику Пирсона: 2 229 576 pˆ 0 211 576 pˆ1 2 W ... 1,71 .
576
576
46
Пользуемся таблицей χ 32 распределения с числом степеней свободы f 4 1 3 , так как один параметр определяется из той же совокупности данных [15, 21].
2 Находим χ кр 7,83 1,71 при
уровне доверия β 0,95 ( p 0,05 ), т.е. согласие с гипотезой о распределении Пуассона – хорошее.
1.7. Задача Беренца–Фишера Имеются две случайные величины, распределенные по нормальным законам с неизвестными параметрами: N a1 ,ζ1 , N a2 ,ζ2 . Заданы выборки, отвечающие заданным распределениям: x1 ,..., xm , y1 ,..., yn . Задача. Различны или нет случайные величины и ? Решение. Сначала рассматривается 1)
гипотеза H: ζ1 =ζ2 =ζ .
Если гипотеза H не отвергается, то рассматривается 2)
гипотеза H1: a1 a2 a .
В случае 1 выполнения гипотезы H получаем m 1 ζ2
2 sOX
m
2
xi x 2 χ m1 , ζ i 1
47
n 1 ζ2
2 sOY
2
n
yi y 2 χ n1 . ζ i 1
Тогда величина F
2 sOX 2 sOY
2 χm 1 n 1
χ n21 m 1
подчиняется распределению Фишера [10, 15] с параметрами f1 m 1 , f 2 n 1 : m 1 mn2 z t 2 1 2 P F z dt . m n2 m 1 n 1 0 1 t 2 2 2
По таблицам F распределения находим
P F Fкр β . Если F Fкр , то гипотеза H отвергается, при F Fкр данные не противоречат гипотезе H. Допустим, что гипотеза H не отклонена, ζ1 =ζ2 =ζ . Тогда рассмотрим 2-ю гипотезу H1 ( a1 a2 a ). Имеем соотношения m 1 ζ
2
2 2 sOX χm 1 ,
n 1 ζ2
2 sOY χ n21 .
Очевидно, выполнено свойство о сумме χ 2 распределений (см. задачу 7 из задания 2) m 1 ζ
2
2 sOX
n 1 ζ
2
2 sOY χ 2m n2 .
Случайные величины имеют нормальное распределение: 48
x
1 m
y
1 n
m
ζ , m
ζ . n
xi N a, i 1 n
yi N a, i 1
Легко показать, что 1 1 x y N 0,ζ , m n
так как и независимы между собой. Составим случайную величину
t
xy 1 1 ζ m n , n 1 2 1 m 1 2 sOX 2 sOY m n 2 ζ 2 ζ
имеющую распределение Стьюдента с
f m n 2 степенями
свободы. Из таблицы для распределения Стьюдента для заданного уровня доверия β 0 находим tкр : если t tкр , то гипотеза H1 отклоняется; если t tкр , то основания отклонить гипотезу H1 нет. Пример 1.9. Имеется 20 школьников, разделенных на две группы по 10 человек. Одна группа школьников из 10 человек пьет апельсиновый сок (АС), другая – молоко (М) (табл. 1.4). Считается, что прибавление в весе каждого школьника – случайная величина, распределенная по нормальному закону. Одинаковы или нет пара49
метры нормального закона распределения для двух случайных величин? Таблица 1.4 N
АС,
1
4
11
2
21
31
3
31
4
4 11
5 6
1 31
7
М,
xi
8
3
9
21
10
31
2
21
2
3 21
2
2 21
2
11 2
2
2
3
yi 2 2 2 2
2 2
Имеем результаты на основании данных из табл. 1.4: x 2,9 , y 2,4 , x y 0,5; 2 2 sOX 9,40 , sOY 3,90;
2 sOX 2 sOY
F 2, 41 , f1 f 2 9 .
Для β 0,05 Fкр 3,18 2,41 , следовательно, нет оснований считать, что отклонение выборочных дисперсий значимо. Находим t 1,30 , f 18 для β 0,05 tкр 2,10 1,30 .
50
Таким образом, данные не приводят к выводу, что апельсиновый сок дает большее прибавление в весе, чем молоко.
Задания на самостоятельную работу Задание 1. Смещенность, эффективность и состоятельность оценок. ММ и ММП получения оценок 1.
Случайная величина имеет неизвестные математическое
ожидание а и дисперсию ζ 2 . Для а предложена оценка x
1 n
n
xi , i 1
для ζ 2 – оценки s12
1 n
n
( xi x )2 , s02
i 1
1 n ( xi x )2 . n 1 i 1
Какие из предложенных оценок смещенные, несмещенные? 2.
Доказать, что если две случайные величины ξ1 , ξ 2 имеют
Mξ1 Mξ 2 ,
Dξ1 Dξ 2
и коэффициент корреляции
r 1 , то
P ξ1 ξ 2 1 .
3.
Для случайной величины с функцией распределения
F x,θ
1 xθ
, 0 x 1, θ найти несмещенную эффектив-
ную оценку параметра . 4.
Случайная величина имеет Mξ a , а ее дисперсия ζ 2 не-
известна. По независимой выборке x1 ,..., xn для ζ 2 предложена
51
оценка s12
1 n
n
( xi a)2 . Предположив, что обладает центральi 1
ным моментом 4-го порядка M ξ a , доказать, состоятельность 4
оценки s12 . 5.
Доказать, что выборочный момент порядка mν
1 n
n
xiν , ν 1,2,... i 1
есть несмещенная и состоятельная оценка момента mν Mξ ν . 6.
Доказать, что выборочный момент порядка асимптотиче-
ски нормален. 7.
Доказать, что оценка математического ожидания нормально
распределенной случайной величины, полученной ММП, эффективна. 8.
Доказать, что оценка дисперсии нормально распределенной
случайной величины, полученной ММП, будучи неэффективной, эффективна асимптотически. 9.
Для распределения Пуассона P ξ i
λi λ e , λ 0 , i 0,1,... i!
найти оценку ММП для параметра . Доказать, что полученная оценка несмещенная, состоятельная и эффективная. 10. Произведено n независимых испытаний, каждое из которых может иметь своим исходом событие А с неизвестной вероятностью p. Найти для p оценку ММП. 52
11. Случайная величина распределена с плотностью pξ x
1 1 exp x μ , x , C 0 . 2C C
Параметр задан, для С требуется найти оценку ММП. 12. Случайная величина распределена по биномиальному закону с параметрами N и p, т.е. P ξ k CNk p k 1 p
N k
, k 0,1,..., N
(N известно, p неизвестно). Найти для p оценку ММП. Доказать, что такая оценка несмещенная, эффективная и состоятельная. 13. Неотрицательная случайная величина имеет «двойное пуассоновское распределение», т.е. λk 1 λk 1 P ξ k e λ1 1 e λ2 2 , k 0,1,... 2 k! 2 k!
Независимые измерения дали значения k1 ,..., kn . Найти для λ1 и λ 2 оценки методом моментов. 14. Неотрицательная случайная величина имеет «гаммараспределение», т.е. плотность pξ x
α p p 1 αx x e , x0, α0. p
Параметр p задан, параметр неизвестен. Указать оценку ММП для .
53
Задание 2. Доверительные интервалы. Эмпирическая функция распределения. χ 2 – критерий проверки гипотез о распределении 1)
Пусть x1 ,..., xn – независимая нормально распределенная
выборка с неизвестными Mξ a и Dξ ζ2 , а C cij , 1 i, j n – ортогональная матрица, для которой cn1 cn 2 ... cnm
1 n
.
Доказать: 1а) M yk yl ζ2δkl , где yk
n
cki xi a ; i 1
n
1б)
yk2
k 1
1в) ns 2 2)
n
( xi a)2 ; i 1
n
n 1
i 1
k 1
( xi x )2 yk2 .
Имеется выборка объема 8 из совокупности нормально рас-
пределенных величин с параметрами θ1 a , θ2 ζ2 : 2,4,2,6,4,8,4,10
(*)
Построить доверительный интервал: 2а) для θ1 с уровнем доверия β 0,9 , если ζ2 4 ; 2б) для θ1 с уровнем доверия β 0,95 , если θ 2 неизвестно; 2в) для θ2 ζ2 с уровнем доверия β 0,9 , если a 5 ; 2г) для θ2 ζ2 с уровнем доверия β 0,95 , если θ1 неизвестно.
54
3)
Для выборки (*) построить эмпирическую функцию рас-
пределения. Найти оценку Mξ и Dξ . 4)
Дана выборка:
03 99 11 04 61 93 71 68 94 08 32 46 53 84 60 95 82 32 88 61 81 91 61 38 55 59 55 54 32 88 80 08 35 56 60 04 73 54 77 62 71 29 92 38 53 17 29 13 Проверить гипотезу о равномерном распределении с помощью критерия χ 2 . 5)
Доказать, что эмпирическая функция распределения явля-
ется несмещенной и состоятельной оценкой функции распределения. 6)
Доказать, что сумма двух независимых, распределенных по
нормальному закону случайных величин, распределена нормально. 7)
Доказать, что сумма двух независимых, распределенных по
закону χ 2 распределений, распределена также по закону χ 2 , причем число степеней свободы складывается. 8)
При
n 4040
бросаниях
монеты
Бюффон
получил
h1 1992 выпадения «решетки» и h2 2048 выпадения «герба».
Требуется проверить совместимость этих данных с гипотезой о том, что монета является симметричной, т.е. вероятности выпадения «герба» и «решетки» равны: p1 p
9)
1 1 ; p2 q 1 p . 2 2
Построить доверительный интервал для разности матема-
тических ожиданий двух нормально распределенных случайных 55
величин : N a1 ,ζ12 , : N a2 ,ζ22 с неизвестными математическими ожиданиями a1 , a2 и известными дисперсиями ζ12 , ζ 22 по выборкам : x1 ,..., xm , : y1 ,..., yn . 10) Та же задача, что и 9, неизвестные a1 , a2 , также выполнено ζ12 ζ22 ζ2 .
56
… Одним из простейших механических приборов для получения случайных чисел является… рулетка. Стоит ответить на часто задаваемый вопрос: «Помогает ли метод Монте-Карло выигрывать в рулетку?» Нет, не помогает. И даже не занимается этим. И.М. Соболь
Глава 2. Статистическое моделирование случайных величин 2.1. Введение в численные методы Монте-Карло Метод Монте-Карло определяется как метод статистического моделирования случайных величин с целью вычисления характеристик их распределений. Как правило, предполагается, что моделирование осуществляется с помощью компьютерных программ. Идея метода статистических испытаний известна давно. Например, с 1873 г. известен способ вычисления числа с помощью случайных бросаний иглы на разграфленную параллельными линиями бумагу [14, 30]. Считается, что систематически метод Монте-Карло стал изучаться начиная с работы Метрополиса
и Улама [33]
(1949 г.). Первоначально метод Монте-Карло использовался в основном для решения задач нейтронной физики (где традиционные численные методы оказались малопригодными). Затем для решения широкого класса задач статистической физики. Метод Монте-Карло очень быстро завоевал популярность в решении различных при57
кладных задач, в первую очередь – задач теории массового обслуживания, теории игр, математической экономики, теории передачи информации при наличии помех и т.д. [14, 24, 25]. Метод Монте-Карло используется не только для решения математических задач, имеющих вероятностную постановку, но и задач численного интегрирования, а также систем алгебраических уравнений, задач оптимизации, особенно систем нелинейных уравнений [4]. В настоящее время круг задач, решаемых методом статистических испытаний, очень широк и постоянно растет. Этот метод используется для решения прикладных задач из большого количества областей науки и техники, и соответствующие работы, выполненные на разном уровне, разбросаны по многочисленным источникам информации. В зарубежной литературе процесс моделирования прикладных задач с целью дальнейшего их решения методом статистических испытаний принято называть имитацией (simulation). Особенностью метода Монте-Карло является оценка точности по вероятности. Для этого может быть использован закон больших чисел. Пусть ξ1 ,...,ξ n независимые одинаково распределенные случайные величины, для которых Mξi a, Dξi ζ2 , i 1,..., n . Тогда для любого h 0 имеет место неравенство Чебышева:
P ηn a
58
h
ζ2 nh2
,
где ηn
1 n
n
ξi . i 1
Есть другие усиленные варианты закона больших чисел [14]. Для оценки точности используется также центральная предельная теорема (см. раздел 1.1). При этом погрешность имеет вид
Dξ , где n – число испытаний, Dξ – дисперсия разыгрываемой n
при моделировании случайной величины . Из формулы для оценки точности видно, что для увеличения точности в 10 раз число испытаний нужно увеличить в 100 раз. Поэтому методом МонтеКарло, как правило, решают задачи, где не требуется получение высокой (5–10 %) точности. Помимо этого часто удается решать задачу различными способами метода Монте-Карло и можно найти случайную величину с меньшей дисперсией Dξ (этот прием используется в главе 3 при вычислении определенных интегралов методом Монте-Карло). Таким образом, суть метода Монте-Карло заключается в следующем. Нужно вычислить величину a. Следует придумать случайную величину , математическое ожидание которой равно a, Mξ a . Пусть ξ1 ,...,ξ n – независимая выборка. Тогда
несмещенная и состоятельная оценка величины a. Задача 1. Как придумать случайную величину ? Задача 2. Как моделировать случайную величину ?
59
1 n
n
ξi есть i 1
В последующих параграфах данной главы рассмотрим решение задачи 2.
2.2. Статистическое моделирование независимых равномерно распределенных случайных величин Пусть случайное число равномерно распределено в интервале (0,1). Запишем это число в виде десятичной дроби γ 0,ε1ε 2 ...ε k ...
или γ
ε k 10k
(2.1)
k 1
Случайная цифра – это дискретная случайная величина, имеющая закон распределения в десятичной системе представления 1 2 ... 9 0 0,1 0,1 0,1 ... 0,1
Pξ k 0,1, k 0,1,...,9
или в двоичной системе кодировки 1 0 0,5 0,5 P ξ r 0,5, r 0,1.
Теорема 2.1. Если – случайное равномерно распределенное число (2.1), то ε1,...,ε k ,... – независимые случайные цифры. Верно и обратное утверждение: если ε1,...,ε k ,... – независимые случайные цифры, то формула (2.1) определяет случайное число. 60
Доказательство можно найти в [24]. Для формирования случайных чисел, имеющих десятичную форму представления длины n, используются случайные цифры подряд из таблицы или датчика. Существуют три способа определения случайных чисел: 1)
таблицы случайных чисел;
2)
датчики случайных чисел;
3)
псевдослучайные числа.
Впервые таблица из 106 случайных цифр была опубликована в США в 1955 г. [35]. Достоинство таблицы – то обстоятельство, что проверка свойств чисел однократная, повторять можно, а к недостаткам можно отнести то, что запас чисел ограничен и таблица занимает много места в памяти вычислительной техники. Датчики случайных чисел обычно основаны на физическом принципе («электронная рулетка», например, генераторы случайных импульсов). Достоинства метода получения случайных чисел: запас чисел неограничен, место в накопителе вычислительной системы не занимает, скорость получения чисел сверхбыстрая (можно создать систему m 1 датчиков, каждый такт – набор из m чисел). Недостатки данного метода: во-первых, то, что требуется периодическая проверка, так как возможны сбои системы; повторить цикл нельзя; во-вторых, необходима специальная приставка (датчик). Псевдослучайные числа – это числа, которые вычисляются по некоторым формулам и могут считаться случайными для решения некоторого класса задач. Достоинства псевдослучайных чисел: проверка однократная, повторять можно, занимает мало места в 61
памяти, скорость получения порядка скорости работы электронной техники. Недостаток – ограниченность запаса чисел, поскольку все известные алгоритмы создания псевдослучайных чисел имеют конечный период. Рассмотрим датчик Дж. Неймана, 1951 г. [24,25]. Пример 2.1 (метод середины квадратов) Пусть γ0 0, a1...a4 , γi 1 γi ,
γi2 0, b1...b8 , γi 1 0, b3...b6 .
Имеем γ0 0,9876, γ02 0,97535376, γ1 0,5353,
γ12 0,28654609, γ2 0,6546,
γ22 0,42850116, γ3 0,8501 и т.д.
Этот алгоритм получения псевдослучайных чисел оказался плохим – выдает значительно больше чисел из промежутка γ из промежутка γ
1 . 2
62
1 , чем 2
Существуют статистические тесты для проверки свойств датчиков случайных чисел. Система тестов является обширной, если мы хотим рассматривать исходную последовательность чисел как последовательность независимых реализаций случайной величины . Приведем примеры некоторых тестов. Рассматривается частота цифр данной последовательности из N цифр и составляется статистика Пирсона: 2
1 9 νi N 10 χ 92 , 1 i 0 N 10
(2.2)
ν i – количество цифр i, i 0,...,9 , в данной совокупности. Стати-
стика (2.2) удовлетворяет χ 92 распределению с девятью степенями свободы. Далее рассматривается частота пар
ε1,ε2 , ε3 ,ε 4 ,..., N всего N1 пар. 2
Составляем статистику Пирсона: 2
2 χ 99
1 9 ν ij N1 100 , 1 i , j 0 N1 100
где ν ij – количество пар i, j , i, j 0,...,9 .
63
(2.3)
2 Статистика (2.3) должна удовлетворять χ 99 распределению с 99
степенями свободы. Далее проверяется частота серий из нескольких цифр подряд.
Рассматриваются также тесты такого вида – интервал (0,1) делится на l 1 равных частей (рис. 2.1) и берутся числа, составленные из заданной последовательности цифр заданной длины L (исходим из соображений точности последующих вычислений): γ
L
ε k 10k . k 1
Составляем статистку (считаем l N ) 2
1 l νi N l χ l21 , 1 i 1 N l
(2.4)
i i 1 где ν i – количество чисел, попавших в интервал , , l l 2 i 0,..., l 1 . Статистика (2.4) удовлетворяет критерию χ l 1 с l 1
степенями свободами. В качестве тестов используют также решение некоторой задачи, ответ на которую заранее известен (достаточно общий прием при проверке любой программы).
64
Отметим, что указанные примеры используемых тестов должны работать не только для всей последовательности чисел, но и для ее части, так как при решении конкретной задачи мы можем использовать не всю последовательность. Могут возникнуть проблемы, когда при решении задачи нам недостаточен запас псевдослучайных чисел в рамках его периода. Вычислители используют данный датчик, пополняя последовательность запусканием его сначала. При этом можно получить неверный результат [4]. Приведем примеры получения псевдослучайных чисел [8]. Ряд примеров основан на использовании вычетов. Пример 2.2. Лемер (Lehmer D.H., 1949) использовал рекуррентное соотношение для ЭВМ ЭНИАК (десятичная система счисления): γi 1 kγ j mod M ,
где k 23 , M 108 1 . Получена последовательность восьмизначных десятичных чисел с периодом 5 882 352. Пример 2.3. Тошер (Tocher K.D., 1954) использовал соотношение
γ j 1 242 β j , β j 1 517 β j mod 242 , β0 1 .
Такая совокупность чисел имеет период 240 1012 цифр. Пример 2.4 .Имеются способы образования равномерно распределенных случайных чисел с помощью ряда типа Фибоначчи: F0 0 , F1 1 ,
γ j 1
1 F j 1 , Fj 2 F j 1 F j mod M . M
65
Для ЭВМ СЕАК применяется M 244 , при этом длина образуемого периода равна примерно 2,5 1013 . Изложение некоторых вопросов, связанных с разработкой алгоритма получения псевдослучайных чисел и их тестированию, можно найти в [8, 14, 24]. В приложении 1 приведен алгоритм псевдослучайных чисел для персональных компьютеров.
2.3. Методы моделирования одномерных случайных величин Рассмотрим моделирование дискретных случайных величин. Пусть – случайная величина, имеющая закон распределения x1 p1
x2 ... p2 ...
или P ξ xi pi 0 , i 1,..., n ,
xn pn
n
pi 1 . i 1
На
интервале
(0,1)
отметим
интервалы
n1 pi ,1 , рис. 2.2. 2 p1, p1 p2 ,..., n 1 i 1
66
1 0, p1 ,
Теорема 2.2. Выберем случайное число , равномерно распределенное в (0,1). Если γ i , то ξ xi . Доказательство. Имеем Pξ xi Pγ i i pi .
Теорема 2.2 доказана. Проще всего моделирование дискретной случайной величины с равновероятными значениями: 1 1 n
2 ... n 1 1, ... n n
P ξ i
1 , i 1,..., n . n
В этом случае полагаем i 1 i γ или i 1 [nγ] . n n
Моделирование непрерывной случайной величины со строго монотонной функцией распределения. Теорема 2.3 (метод обратных функций). Выбираем случайную равномерно распределенную величину γ 0,1 . Пусть – корень уравнения F ξ γ . Тогда F x есть функция распределения случайной величины .
67
Доказательство. Имеем цепочку равенств (рис. 2.3):
Px ξ x x P F x F ξ F x x
P F x γ F x x F x x F x F x x p x x , x x x x .
Из уравнения F ξ γ находим ξ F 1 γ , где F 1 – обратная функция к F x . Теорема доказана. Пример 2.5. Пусть ξ 0 – случайная величина, распределенная по показательному закону распределения с плотностью
p x aeax , x 0 , параметр a 0 . В силу строгой монотонности функции распределения
F x 1 eax , x 0 , применяем метод обратных функций 1 eaξ γ ,
откуда получаем
68
1 ξ ln γ , a
поскольку и (1– ) имеют одно и то же равномерное распределение на интервале (0,1). Пример 2.6. Для моделирования случайной величины N 0,1 , распределенной по нормальному закону с параметрами a Mξ 0 и ζ2 Dξ 1 , метод обратных функций дает 1 2π
ξ
e
y2 2 dy
γ,
(2.5)
равномерно распределена в (0,1). Однако уравнение (2.5) не используется для моделирования случайной величины N 0,1 , так как уравнение (2.5) в явном виде неразрешимо и для приближенного его решения при получении массива нормально распределенных случайных величин потребуется достаточно много компьютерного времени. Для
моделирования
нормальной
случайной
величины
N 0,1 , используется центральная предельная теорема ξ (n)
12 n 1 γi , n i 1 2
(2.6)
где γ i , i 1,..., n – независимые, равномерно распределенные на интервале (0,1) случайные величины с характеристиками Mγ
69
1 , 2
Dγ
1 . При n случайная величина ξ ( n ) (2.6) стремится к 12
нормальной случайной величине N 0,1 , в смысле
lim P ξ ( n) z
n
z
1 2π
e
y2 2 dy
.
Практически считают, что при n 12 , когда выражение (2.6) имеет особенно простой вид 12 ξ
12
γi 6 ,
(2.7)
i1
получается достаточно хорошее приближение к нормальному закону распределения. С помощью специальных преобразований удается увеличить скорость сходимости к нормальному закону. Например, имеем [14]:
3ξ ,
1 n n η( n) ξ ξ 20n
3
n
(2.8)
n где ξ определяется формулой (2.6). Распределение η( n ) (2.8)
достаточно близко к нормальному уже при n 5 . Моделирование нормальной случайной величины N a,ζ с числовыми характеристиками a Mη , ζ2 Dη осуществляется с помощью преобразования η ζξ a ,
где N 0,1 , .
70
Другой вариант моделирования нормальной случайной величины N 0,1 будет рассмотрен в разделе 2.4 при использовании двумерного нормального распределения с независимыми компонентами. Рассмотрим метод суперпозиций моделирования случайной величины. Пусть функция распределения случайной величины имеет вид F x
m
Ci Fi x ,
(2.9)
i 1
где Ci 0 , Fi x – функции распределения случайных величин ξ i , i 1,..., m ,
m
Ci 1 . Тогда для моделирования используются алi 1
горитмы: шаг 1 – моделирование дискретной случайной величины 1 2 ... m , C1 C2 ... Cm
по значению γ1 0,1 равномерно распределенной случайной величины находим номер k, k 1,..., m ; шаг 2 – моделирование случайной величины методом обратных функций Fk ξ γ 2 , ξ Fk1 γ2 Gk γ2 ,
где Gk γ – обратная функция к Fk x . Для обоснования алгоритма метода суперпозиций имеем равенства 71
P Gη γ x ηi P η i
F x P ξ x P G γ x =
m
i 1
m
m
m
i 1
i 1
i 1
Ci P Gi γ x Ci P ξi x Ci Fi x .
(2.10)
В приведенной цепочке уравнений (2.10) используется теорема о полной вероятности, записанная через условные вероятности событий. Пример 2.7. Пусть функция распределения случайной величины имеет вид F x
3 2 1 5 x x , x 0,1 . 4 4
Пользуясь методом суперпозиций, дать алгоритм для моделирования случайной величины . Используя шаги 1 и 2, получаем результат: если γ1
3 , то ξ γ 2 , 4
если γ1
3 , то ξ 5 γ 2 , 4
где γ1 , γ 2 – разыгранные независимые равномерно распределенные случайные величины в интервале (0,1). Существуют обобщения метода обратных функций и метода суперпозиций на более широкий класс случайных величин, функция распределения которых не обязательно строго монотонна и непрерывна [14, 24].
72
2.4. Моделирование многомерных случайных величин Пусть Q ξ , ξ= ξ1,ξ 2 ,ξ3 , – случайная точка с независимыми
координатами. Для простоты изложения рассматривается случай трех переменных. Пусть Fi xi , i 1,2,3 , – функция распределения случайной координаты ξ i . Положим γ1 , γ 2 , γ3 независимые равномерно распределенные случайные величины в интервале (0,1). Рассмотрим систему уравнений для моделирования Q ξ :
Fi ξi γi , i 1, 2, 3 .
(2.11)
Имеем уравнения F x Pξ1 x1,ξ 2 x2 ,ξ3 x3
3
P ξ i xi
i 1
3
Fi xi . i 1
Из уравнений (2.11) находим
ξi Fi1 γi , i 1,2,3 , где Fi1 γi – обратная функция к Fi xi . Пример 2.8. Пусть задан параллелепипед D x : ai xi bi , i 1,2,3 . Случайная точка Q ξ равномерно распределена в D , т.е. плот-
ность распределения Q ξ равна
1 , если Q D, p x VD 0, если Q D,
73
где VD – объем области D . Имеем 1 , x a1 , b1 , p1 x1 b1 a1 0, x a , b 1 1
плотность распределения компоненты ξ1 . Функция распределения ξ1 имеет вид: 0, x a1 , x a F1 x1 1 1 , a1 x b1 , b1 a1 1, x b1.
Методом обратных функций находим формулу для разыгрывания координаты ξ1: ξ1 a1 γ1 , b1 a1
ξ1 a1 γ1 b1 a1 .
Аналогично получаем ξ 2 a2 γ2 b2 a2 , ξ3 a3 γ3 b3 a3 .
В общем случае плотность распределения Q ξ
может быть
представлена в виде p x1, x2 , x3 p1 x1 p2 x2 / x1 p3 x3 / x1, x2 ,
74
где p1 x1 – плотность распределения ξ1 ; p2 x2 / x1 – условная плотность распределения ξ 2 при условии ξ1 x1 ; p3 x3 / x1 , x2 – условная плотность распределения ξ 3 при условии ξ1 x1 , ξ 2 x2 . Обозначим x1
F1 x1
p1 t dt,
x2
F2 x2 / x1
p2 t / x1 dt,
x3
F3 x3 / x1 , x2
p3 t / x1, x2 dt .
Теорема 2.4. Пусть γ1, γ2 , γ3 – независимые равномерно распределенные случайные величины в (0,1). Определим ξ1, ξ 2 , ξ3 , последовательно решая уравнения F1 ξ1 γ1 ,
F2 ξ 2 /ξ1 γ2 ,
(2.12)
F3 ξ3/ξ1,ξ 2 γ3 .
Тогда плотность точки Q ξ1,ξ 2 ,ξ3 равна p x1, x2 , x3 . Доказательство теоремы 2.4 приведено в [14, 24]. Пример 2.9. Пусть случайная точка ξ,η равномерно распределена в треугольнике, ограниченном отрезком прямой y b 1 x , b 0 и осями координат (рис. 2.4).
75
Найти формулы для разыгрывания и .
ξ,η
Решение. Плотность точки
вычисляется следующим
образом: 1 2 , x, y D, p x, y S b 0, x, y D.
Здесь D – искомый треугольник. Находим плотность координаты : p1 x
b1 x
0
2 1 x , x 0,1 , p x, y dy 0, x 0,1 .
Вычисляем условную плотность p2 y / x
p x, y p1 x
1 b 1 x
, 0 y b 1 x .
Находим формулы для разыгрывания , : ξ
ξ
ξ2 F1 ξ p1 t dt 2 1 t dt 2 ξ , ξ 0,1 , 2 0 0
76
F2 η / ξ
η
η
1
b 1 ξ dt b 1 ξ ,
0 η b 1 ξ ,
0
Отсюда находим 2 2 ξ ξ γ1 , 2
η γ2 . b 1 ξ
Следовательно, получаем формулы для моделирования: ξ 1 γ1 , η b 1 ξ γ2 b γ1 γ2 ,
γ1 , γ 2 равномерно распределены в (0,1).
Рассмотрим преобразование случайного вектора ξ ξ1,...,ξ n η η1,...,ηn , при этом плотность преобразуется следующим образом: pη y1 ,..., yn pξ x1 ,..., xn
где
x1 ,..., xn
y1 ,..., yn
x1 ,..., xn
y1 ,..., yn
,
– якобиан перехода от x1 ,..., xn к y1 ,..., yn .
Пример 2.10. Пусть случайная точка Q x, y, z равномерно распределена в шаре D
x, y, z : x2 y2 z 2 R2 .
Плотность точки Q равна
77
1 4 3 , x, y, z D, p x, y , z R 3 0, x, y, z D.
Введем сферические координаты r ,θ,θ : 0r R,
0θπ ,
0 θ 2π .
Якобиан перехода равен x, y , z r 2 sin θ . r ,θ,θ
Плотность в новых координатах записывается в виде: p r ,θ,θ
r 2 sin θ 3r 2 sin θ 1 . 3 4 3 2 2π R πR 3
Обозначим 3r 2
p1 r
p2 θ
R3
,
sin θ , 2
p3 θ
1 . 2π
Получаем, что в новых координатах все переменные независимы. Находим функции распределения 3
1 θ r . F1 r , F2 θ 1 cosθ , F3 2 2π R
78
Отсюда находим простые формулы для разыгрывания случайных координат: r R 3 γ1 , cosθ 1 2γ2 , θ 2πγ3 .
При моделировании случайных величин нередко используется метод усечения. Пусть случайная величина имеет плотность распределения p x , x a, b . Рассмотрим случайную величину с плотностью p x Kp x , x a, b ,
где a a b b . Из условия нормировки плотности p x находим 1
b K p x dx . a
В частности, метод усечения используется для случайных величин, значения которых неограничены, например нормальная случайная величина. Рассмотрим метод Неймана моделирования случайных величин. Для простоты ограничимся одномерным случаем, хотя этот метод легко обобщается на случай многих переменных. Теорема 2.5. Пусть случайная величина распределена с плотностью p x , где a x b , 0 p x c . Выберем два независимых случайных числа γ , γ , равномерно распределенных в (0,1). Пусть 79
ξ a γ b a , η cγ .
Определим метод отбора ξ ξ , если η p ξ .
Тогда плотность распределения равна p x .
Доказательство. Имеем равенства (рис. 2.5):
F z P ξ z P ξ z η p ξ
z
p x
a b
0 p x
dx
dx a
0
1 dy c b a
P ξ z, η p ξ P η p ξ
z
1 dy c b a
p x dx a b
p x dx
z
p x dx , 0
a
поскольку ξ,η независимы и равномерно распределены с плотностью p x, y
1 c b a
, x a, b , y 0, c .
Теорема доказана. 80
Существуют модификации метода Неймана [24]. В заключение 2-й главы рассмотрим еще один способ моделирования нормальной случайной величины. Пусть , – независимые случайные величины с распределением N 0,1 . Тогда совместная плотность распределения (, ) имеет вид p x, y
2 1 2 exp x y , x, y . 2π 2
В полярных координатах исходная плотность запишется в виде p r ,θ
1 2 r exp r , 0 r , 0 θ 2π . 2π 2
Пользуясь методом обратных функций, находим r
2 2 F1 r t exp t dt 1 exp r γ1 , 2 2 0
F2 θ
θ
1
θ
2πdt 2π γ2 . 0
В результате несложных вычислений получаем
r2 ln 1 γ1 , θ 2πγ 2 2
или окончательно имеем формулы для моделирования: ξ 2ln γ1 cos 2πγ2 , η 2ln γ1 sin 2πγ2 .
81
Задание на самостоятельную работу Задание 3. Моделирование случайных величин 1.
Если – случайное число из (0,1), то ς
εk 10k
(1), ε k -
k 1
независмые случайные цифры. Если ε1,ε 2 ,...,εk ,... – независимые случайные цифры, то формула (1) определяет случайное число. 2.
Найти формулы для моделирования случайной величины
с плотностью распределения p x nx n1 , n 1 , 0 x 1 . 3.
Найти формулы для моделирования случайной величины с
плотностью распределения p x 4.
ae ax 1 e a
Найти формулы для моделирования случайной величины с
функцией распределения F x 1 5.
, a 0 , 0 x 1.
1 x 2e e5 x , x 0 . 3
Вывести формулы для расчета двумерной случайной вели-
чины в кольце R12 ξ 2 η2 R22 . 6.
Вывести формулы для моделирования случайной величины
ξ,η
с плотностью p x, y 3 y в треугольнике, ограниченном
прямыми x 0 , y x , y 1 . 7.
Докажите, что для моделирования случайной величины с
плотностью
распределения
p x1, x2 , x3 p1 x1 p2 x2 / ξ1 x1
p3 x3 / ξ1 x1,ξ 2 x2 достаточно решения уравнений F1 ξ1 γ1 , F2 ξ 2 / ξ1 x1 γ2 , F3 ξ3 / ξ1 x1,ξ 2 x2 γ3 , γ1 , γ 2 , γ3 – неза-
82
висимые равномерно распределенные случайные величины на (0,1). 8.
Используя ЦПТ, получить формулы для моделирования
нормального распределения с помощью последовательности γ i – равномерно распределенных случайных величин на (0,1). 9.
Вывести формулы для моделирования нормальной случай-
ной величины, используя двумерное нормальное распределение с независимыми компонентами и переход к полярным координатам. 10. Найти формулы для моделирования случайной величины с плотностью 1 x , 1 x 1, p x 0, x 1.
11. Вывести расчетные формулы для вычисления интеграла I
f x, y, z dxdydz ,
G x2 y 2 z 2 . Привести оценку
дисперсии. 12. Привести оценку с конечной дисперсией для вычисления
интеграла I x
5 2
f x dx в случае, когда f x x при x ,
0
f x x2 при x 0 .
13. Обосновать метод суперпозиции.
83
Одним из методов приближенного вычисления значений интегралов, при котором погрешность оценивается не гарантированно а лишь с некоторой степенью достоверности, является метод Монте-Карло. Н.С. Бахвалов
Глава 3. Методы приближенного вычисления интегралов Существует много численных методов интегрирования [4]. При построении квадратурных формул вместе с формулой получают оценку ее погрешности на некотором классе функций. Например, для формулы трапеций была получена оценка погрешности вида СA2 N 2 на классе функций со второй производной, ограниченной
постоянной A2 , здесь N – число узлов интегрирования, С – const. Такого рода оценки погрешности называются гарантированными оценками погрешности на классе функций. При таком подходе, как оценка погрешности метода на классе, в случае оценки погрешности конкретного интеграла мы ориентируемся на величину погрешности в случае интегрирования «худшей» функции рассматриваемого класса. Для ряда классов функций эта оценка погрешности настолько плоха, что не дает никакой надежды на получение результата интегрирования с требуемой точностью. Например, не существует методов с оценкой погрешности на классе функций лучшей AN 1 s , здесь А = const, s – кратность вычисляемого интеграла. 84
Предположим, что требуется гарантировать оценку погрешности, меньшую 0,01A . Тогда число узлов должно удовлетворять неравенству AN 1 s 0,01A или N 100s . Поскольку квадратурные формулы обычно используют большое количество арифметических операций, то уже при s = 6 это требование на число узлов оказывается практически невыполнимым. Один из путей выхода из создавшегося положения – отказ от гарантированной оценки приближенного вычисления интегралов. Методом такого рода, где оценка погрешности дается лишь с некоторой степенью достоверности, является метод Монте-Карло.
3.1. Общая схема метода Монте-Карло для приближенного вычисления интегралов Пусть требуется вычислить приближенное значение интеграла I f
f Q dQ , G
а Q1 ,..., QN – N попарно независимых одинаково распределенных в G точек с плотностью распределения p Q ,
p Q dQ 1 . G
Положим Si f
f Qi
p Qi
.
Случайные величины Si f попарно независимы и одинаково распределены: 85
MSi f
f Q
p Q p Q dQ I f ,
G
DSi f MSi2 f MSi
f Q p Q dQ MSi p Q G 2
f
f
2
2
D f .
Положим 1 SN f N
N
Si f . i 1
Вследствие указанных свойств Si f имеем 1 N
MS N f DS N f
1 N
2
N
MSi f I f , i 1
N
DSi f N D f . 1
i 1
С вероятностью 1 α выполняется неравенство Чебышева: SN f I f
D f . αN
(3.1)
При α 0,01 получаем, что с вероятностью 99% выполняется неравенство S N f I f 10
D f . N
Если предположить, что точки Qi не только попарно независимы, но и взаимно независимы, то можно воспользоваться прибли-
86
женной оценкой с помощью центральной предельной теоремы. Тогда при N 1 случайная величина SN f I f D f N
асимптотически нормальна N 0,1 с функцией распределения F x
x
1 2π
e
t2 2 dt
.
Следовательно, при больших N с вероятностью , близкой к zβ β , где
z
2 2π
z
e
t2 2 dt
0
есть интеграл ошибок, выполняется неравенство S N f I f zβ
D f . N
(3.2)
Полагая zβ 3 или zβ 5 , получаем, что неравенства SN f I f 3
D f N
SN f I f 5
D f N
и
выполняются, соответственно, с вероятностями 0,997 или 0,99999. Сформулированные утверждения называют правилами «трех сигм» или «пяти сигм». 87
В правой части оценок (3.1), (3.2) стоит неизвестная величина дисперсии f2 2 D f I I f , p
заменим ее на статистическую оценку. Из главы 1 имеем несмещенную оценку дисперсии D f : D N f
1 N 2 Si f S N f . N 1 i 1
(3.3)
3.2. Способы уменьшения дисперсии при вычислении интегралов методами Монте-Карло Оценка точности вычисления определенного интеграла методом Монте-Карло согласно оценкам (3.1), (3.2) имеет вид C
D f , C const . N
Отсюда следует, что возможно уменьшение погрешности вычисления интеграла за счет увеличения количества испытаний N . Однако такой путь увеличения точности считается «тупым». Свободным параметром при вычислении интеграла методом МонтеКарло является плотность p Q , Q G . Один из путей увеличения точности вычислений – выбор плотности с наименьшей дисперсией D f . Доказано [24], что наименьшая дисперсия достигается при
p Q f Q (пропорционально), однако выбор такой плотности
равнозначен вычислению исходного интеграла при f Q 0 . 88
Существуют различные приемы уменьшения дисперсии D f [14, 24]. Укажем некоторые из них: 1)
частично аналитическое интегрирование подынтегральной
функции или выделение главной части; 2)
интегрирование по части пространства (аналитическое или
с помощью кубатурных формул, если при этом не возникает больших затруднений); 3)
интегрирование по части переменных (и тем самым умень-
шение размерности интеграла); 4)
включение особенности подынтегральной функции в плот-
ность; 5)
симметризация подынтегральной функции.
Рассмотрим свойство 1. Пусть I f
f Q dQ Mg Q , G
g Q – случайная функция с плотностью p Q . Пусть h Q ап-
проксимирует g Q в том смысле, что легко вычисляется интеграл
C h Q p Q dQ . G
Для случайной величины η C g Q h Q
математическое ожидание равно Mη C I f C I f .
Дисперсия легко оценивается: 89
2 Dη D g Q h Q M g Q h Q 2
g Q h Q p Q dQ δ , G
тогда Dη δ . Рассмотрим свойство 2. Пусть G G1 G2 (рис. 3.1),
f Q p Q dQ B , G1
p Q dQ α 0 , α 1 . G1
Имеем I f
f Q p Q dQ B 1 α f Q p1 Q dQ , G
p1 Q
G2
p Q – плотность в области G2 . 1 α
Рассмотрим случайную величину η B 1 α f Q
90
с плотностью p1 Q . Имеем Mη B 1 α
f Q p1 Q dQ I f , G2
f
Dη 1 α 2
Q p1 Q dQ I f
2
2
G2
1 α
2
f 2 Q
G2
1 α
f
2
p Q 2 dQ I f 1 α
Q p Q dQ I f
2
1 α D f .
G2
Оценим точность вычислений интегралов при использовании свойства 3. Пусть I f
f Q, Q p Q, Q dQdQ ,
G G
где Q G , Q G . Обозначим p Q
p Q, Q dQ ,
G
f Q p Q
f Q, Q p Q, Q dQ .
G
Очевидно, выполнено I f
f Q p Q dQ . G
Имеем
91
D f D f
f
2
G G
Q, Q p Q, Q dQdQ f 2 Q p Q dQ
Dp f dQ 0 ,
G
G
здесь Dp f
f
2
Q, Q p Q, Q dQ f 2 Q p Q
G
условная дисперсия по Q при фиксированном Q . Способы 4 и 5 уменьшения дисперсии при вычислении интегралов продемонстрируем на примерах в разделе 3.3.
3.3. Численные примеры Пример 3.1. Вычислить методом Монте-Карло интеграл 1
I
exp x x
0
dx .
Решение получено Ю.А.Санковым. Для сравнения приближенного значения с точным вычислим 1
I
0
e x x
1
dx 2 e z dz 2
0
(сделана замена переменных x z 2 ) 1
i z 2i 1 i!1 2i 1 1, 4936 . i 0 0
2
92
Первый способ. Пусть плотность распределения случайной величины p x 1 , x 0,1 . Формула для разыгрывания x γ , где равномерно распределена на (0,1). Имеем расчетные формулы 1 N
I
N
e γi
i 1
η
eξ ξ
γi
,
,
N 1 N e2γi 1 e γi Dη N 1 γ N i 1 γi i 1 i
2
.
При N 10 имеем численные значения I 1,303 , Dη 0,893 .
Второй способ – способ включения особенности подынтегральной функции в плотность. Пусть плотность имеет вид 1
p x
2 x
, x 0,1 .
Формулы для разыгрывания случайной величины получаем методом обратных функций: ξ
dx
2 0
x
γ , ξ γ2 .
Отсюда получаем выражения I
1 N
N
2eξi
i 1
93
2 N
N
e γ i 1
2 i
,
η 2eξ , 2 1 N 2eξi 1 N 2eξi N 1 N i 1 i 1 ξi
Dη
2
.
При N 10 получены численные результаты I 1,548 , D 0,373 .
Третий способ – симметризация подынтегральной функции. Для функции f x имеем 1
1 I f x dx 2
1
f x f 1 x dx .
0
0
Пользуясь значениями случайной величины, равномерно распределенной на (0,1), имеем расчетные формулы I
γ N e1 γi 1 e i 2 N i 1 γi 1 γi
2 N γ2 1 γi i e e Dη 2 N 1 γ 1 γ i i 1 i
1
1 2N
,
N e γi e1 γi 1 γi i 1 γi
2
.
При N 10 имеем значения I 1,282 , D 0,423 .
В данном примере видим, что наилучший результат дает способ 2.
94
На рис. 3.2 указаны графики функции f x стей p1 x 1 , p2 x
1 2 x
e x x
и двух плотно-
, 0 x 1.
Пример 3.2 (многомерный интеграл) I f
где
P,
1 π2
f ρ dPdQ , S p SQ
Q принадлежат шару единичного радиуса в
ρ P Q – расстояние между точками P и Q .
95
R3 ,
Пусть Р, Q – независимые случайные точки, равномерно распределенные в шаре единичного радиуса, т.е. плотность распределения p P p Q
Пусть
r ,μ,θ ,
μ cosθ ,
1 3 . 4 4π π 3
0 r 1,
1 μ 1
( 0 θ π ),
0 θ 2π , сферические координаты точки Р.
Имеем dP r 2 drdμdθ .
В силу симметрии задачи можно выбрать точку Р на оси OZ по закону распределения rp
3 r 2 dr γ1 , rp 3 γ1 , 0
γ1 – равномерно распределенные числа в (0,1).
96
Точку Q можно выбрать в плоскости OXZ ( θ 0 ) по законам распределения (рис. 3.3) μQ
1
rQ
dμ γ 2 , 3 r 2 dr γ3 , 2
0
т.е. μQ 2γ 2 1 , rQ 3 γ3 , γ 2 , γ3 – независимые равномерно распределенные числа в (0,1).
Отсюда находим ρ P Q rP2 rQ2 2rP rQμQ .
В результате получаем простую формулу для вычисления исходного интеграла I f 4 3
2
1 N
N
f ρi , i 1
где вместо шести переменных участвуют расчетные формулы для разыгрывания трех переменных. Например, имеем числовые значения для функций [8] f ρ
1 ρm
, m 1,2 .
Точные значения I1 f
32 , I2 f 4 . 15
Приближенные значения при N 10 I1 f 1,78 , DI1 f 0,081 ,
97
I 2 f 1,94 , DI 2 f 0,49 .
Приближенным методом Монте-Карло вычисления определенных интегралов посвящено много литературы (см., например, [4, 8, 14, 24]). В настоящей главе даны лишь начальные сведения, связанные с этой проблемой
Задание на самостоятельную работу Задание 4. Вычисление определенного интеграла методом Монте-Карло. 1
1. J
x
0
2. J
1
1
dx .
1 x x
1
6. J
1
dx .
7. J
3
1 x 2 dx .
4. J
0
x
0
8. J
sin x dx . x
1
5. J x ln xdx .
dx .
cos x
1 1
x
0
1
3. J
sin x
1
dx .
sin x x2
dx .
1
9. J sin x 2 dx .
0
1
10. J cos x 2 dx .
0
0
Следует: 1) вычислить численно интеграл с точностью 103 , пользуясь традиционными методами; 2) вычислить интеграл методом Монте-Карло двумя способами при N 100 ; 98
3) указать точность вычислений п. 2; 4) сделать выводы, какой из двух методов является лучшим и почему; можно ли улучшить результаты?
99
Метод Монте-Карло – это численный метод решения математических задач при помощи моделирования случайных величин. И.М. Соболь
Глава 4. Применение методов Монте-Карло в физике и экономике 4.1. Расчет системы массового
обслуживания
(общая схема) Постановка задачи [14, 24] Система состоит из n линий (или каналов или пунктов обслуживания), каждый из которых может обслужить потребителей. В систему поступают заявки, причем моменты их поступления случайны. Каждая заявка поступает на линию 1. Если в момент поступления k-й заявки ( Tk ) эта линия свободна, то она приступает к обслуживанию заявки, что продолжается в течение времени tз ( tз – время занятости линии). Если в момент Tk линия 1 занята, то заявка передается на линию 2 и т.д. Наконец, если все n линий заняты, то система выдает отказ. Требуется определить, сколько (в среднем) заявок обслужит система за время Т и сколько отказов она дает? Простейшим потоком (или потоком Пуассона) называется такой поток заявок, когда промежуток времени между двумя последовательными заявками есть случайная величина, распределенная в
0, с плотностью p x aeax 100
(экспоненциальное распределение), Mη
1 – a
плотность потока заявок. Метод обратных функций для моделирования такой случайной величины приводит к расчетной формуле (см. гл. 2, пример 2.5) 1 η ln γ , a
(4.1)
где – равномерно распределена в (0,1). Схема расчета Пусть i – линия, ti – момент ее освобождения, T1 0 – момент поступления первой заявки. Можно считать, что ti T1 (все линии свободны). Первая заявка поступает на линию 1. Следовательно, в течение t з линия 1 занята. Заменяем t1 на t1 t з t1 нов , добавляем 1 к
счетчику выполненных заявок. Рассмотрим вторую заявку. Предположим, что k заявок рассмотрено. Тогда надо разыграть момент поступления (k+1)-й заявки. Для этого выбираем следующее и по формуле (4.1) находим соответствующее η η k . Затем вычисляем момент поступления заявки Tk 1 Tk ηk . Свободна ли 1-я линия? Проверяем условие t1 Tk 1 . Если условие выполнено, то к моменту Tk 1 линия 1 свободна и может обслужить эту заявку. Мы должны заменить t1 на Tk 1 tз , добавить 1 к счетчику выполненных заказов и перейти к следующей заявке. 101
Если условие t1 Tk 1 не выполнено, то это значит, что 1-я линия в момент Tk 1 занята. Тогда проверяем, свободна ли 2-я линия? Если условие t2 Tk 1 выполнено, то заменяем t2 на Tk 1 t з , добавляем 1 к счетчику выполненных заявок и переходим к следующей заявке. Если t2 Tk 1 , то проверяем t3 Tk 1 и т.д. Если ti Tk 1 , i 1,..., n , то в момент Tk 1 все линии заняты. Тогда надо добавить 1 в счетчик отказов и перейти к рассмотрению следующей заявки. Каждый раз, вычислив Tk 1 , проверяем условие Tk 1 Tкон . Если Tk 1 Tкон , то опыт закончен и в счетчике выполненных заявок будет стоять μ вып , в счетчике отказов μ отк . Такой опыт повторяется N раз (с использованием различных ) и вычисляем Mμ вып Mμ отк
1 N 1 N
N
μвып i , i 1 N
μотк i , i 1
μ вып i , μ отк i – значения выполненных опытов и отказов в i-м
опыте. Возможны более сложные системы: 1)
tз может быть не постоянным, а случайным и также разыг-
рываться;
102
2)
могут рассматриваться системы с ожиданием ( tп – время
пребывания заявки в системе); 3)
рассмотреть системы, где заявки принимает та линия, кото-
рая освободится раньше всех; 4)
можно учесть случайный выход из строя отдельных линий;
5)
поток заявок нестационарный и т.д.
Примеры применения указанной схемы к решению практических задач обслуживания: покупателей в супермаркете, где в качестве линий рассматриваются кассы; клиентов в сбербанке, на почте, в кафе, ресторане; пассажиров при посадке в самолет и после благополучной посадки самолета; больных в поликлинике, скорой помощи и т.д.
4.2. Расчет прохождения нейтронов сквозь пластинку Постановка задачи [14, 20, 24] Пусть на однородную бесконечную пластинку 0 x h падает поток нейтронов с энергией E0 . Угол падения равен 90°. Предположим для простоты, что энергия нейтрона при рассеянии не меняется и любое направление «отскока» нейтрона от атома равновероятно. Возможны случаи, представленные на рис 4.1, где нейтрон: а) проходит сквозь пластинку; б) поглощается; 103
в) отражается.
Требуется определить: p – вероятность прохождения нейтрона сквозь пластинку; p – вероятность отражения нейтрона пластинкой; p0 – вероятность поглощения нейтрона пластинкой.
Используется равенство c s ,
где – полное сечение, c – сечение поглощения (capture), s – сечение рассеяния (scattering). При столкновении нейтрона с атомом вещества вероятность поглощения p1 c , вероятность рассеяния p2 s . Длина свободного пробега нейтрона (т.е. длина пути от столкновения до столкновения) – это случайная величина с плотностью распределения
p x
exp x , x 0 .
Формула для разыгрывания :
104
1 λ ln γ ,
где равномерно распределена в (0,1). Как выбрать случайное направление нейтрона после рассеяния: требование равновероятности любого направления означает, что μ cosθ , 0 θ π , равномерно распределено в (–1,1). Формула
для разыгрывания : μ 2γ 1 , равномерно распределена в (0,1). Моделирование траекторий представлено на рис. 4.2.
Пусть нейтрон испытал k-е рассеяние внутри пластинки в точке xk и начал двигаться в направлении μ k – разыгрываем μ k . Длина
свободного пробега разыгрывается по формуле λk 1 ln γk
и вычисляется xk 1 xk λk μ k .
Проверяем условие прохождения сквозь пластинку. Если xk 1 h , то добавляем 1 к счетчику прошедших частиц; если xk 1 h , то проверяем условие отражения xk 1 0 ; если оно вы-
105
полнено, то добавляем 1 к счетчику отраженных частиц; если условие xk 1 0 тоже не выполнено, то 0 xk 1 h . Следовательно, нейтрон после (k+1)-го столкновения остался внутри пластинки и надо разыграть «судьбу» нейтрона при столкновении. Выбираем очередное значение и проверяем условие поглощения γ p1 . Если оно выполнено, то счет траекторий заканчивается и добавляем 1 к счетчику поглощенных частиц. Если γ p1 , то считаем, что нейтрон испытал рассеяние в точке с абсциссой xk 1 . Тогда
разыгрываем
новое
направление
движения
нейтрона
μ k1 2γ 1 и повторяем весь цикл снова.
Итак, для расчета одного звена цепи разыгрываются три значения : 1)
– длина свободного пробега нейтрона;
2)
направление движения нейтрона после рассеяния;
3)
при столкновении с атомом вещества происходит поглоще-
ние с вероятностью p1 или рассеяние с вероятностью p2 1 p1 . Начальные значения моделирования траекторий x0 0 , μ 0 1 . Пусть рассчитаны N траекторий, из них N нейтронов прошли сквозь пластинку, N – отразились от нее, N 0 – поглощены,
N N N N 0 . Вычисляем приближенные значения вероятностей по частоте событий: p
N N N ; p ; p0 0 . N N N
106
Существуют разновидности метода Монте-Карло при решении данной задачи:
использование весов [24];
могут быть различные вещества (переменные , ),
пластинка – трехмерная, может иметь различную геометри-
ческую структуру;
можно учесть различные физические процессы: деление
атома при столкновении с нейтроном, образование новых нейтронов и т.д.
4.3. Анализ риска при производстве принтеров фирмой Фирма Porta Com производит новый принтер и исследует вопрос получения возможной прибыли от его продажи [32]. Предполагаются следующие цены, y.e:
цена продажи за единицу – 249;
административная цена (зарплата руководителя фирмы, за-
местителя, секретаря и т.д.) – 400 000;
цена рекламы – 600 000.
Введем следующие обозначения: П – прибыль, C1 – рабочая стоимость единиц, C2 – остальные расходы на единицу (хранение, упаковка и т.д.), x – спрос за 1-й год. Предполагаем, что распределение случайной величины C1 дискретно согласно табл. 4.1.
107
Таблица 4.1 Рабочая стоимость единицы, у.е.
Вероятность
Интервал случайных чисел
43
0,1
(0,0; 0,1)
44
0,2
(0,1; 0,3)
45
0,4
(0,3; 0,7)
46
0,2
(0,7; 0,9)
47
0,1
(0,9; 1,0)
Распределение вероятностей остальных расходов C2 – равномерное распределение (80, 100), рис. 4.3.
Формула для разыгрывания C2 80 20γ , равномерно распределена в (0,1). Случайная величина х имеет усеченное нормальное распределение N a,ζ , a=15000, ζ 4500 , x 1500, 28500 , рис. 4.4, формула для разыгрывания η ζξ a , N 0,1 .
108
Моделирование прибыли осуществляется по схеме, изображенной на рис. 4.5.
На рис. 4.6 изображена гистограмма для прибыли при N 500 испытаний.
109
На основании проведенных N 500 испытаний получены результаты:
оценка математического ожидания, у.е.…….
698 457
оценка дисперсии, у.е.………………………..
520 485
минимум, у.е.………………………………......
–785 234
максимум, у.е.………………………………....
2 367 058
число потерь……………………………...........
51
Следовательно, вероятность убытка 0,102.
4.4. Моделирование времени ожидания Имеется автоматическая линия связи (АЛС), которая может иметь несколько каналов [32]. Считаем, что между звонками клиентов распределение времени равномерное – 0,5 мин (рис. 4.7).
110
Полагаем, что время обслуживания клиентов имеет усеченное нормальное распределение N a,ζ , а = 2 мин, ζ 0,5 мин (рис. 4.8).
111
На рис. 4.9 изображена гистограмма времени ожидания для 900 клиентов при наличии 1 канала связи. Получены следующие результаты: 507 (56,3%) клиентов имеют время ожидания не более 1 мин; 393 (43,7%) – более 1 мин; 45 (5%) – более 6 мин.
На рис. 4.10 изображена гистограмма времени ожидания для 900 клиентов при наличии двух каналов связи. Здесь получены такие результаты:
882 клиента (98%) ожидают не более 1 мин;
18 (2%) – более 1 мин.
112
4.5. Трудоемкость метода Монте-Карло, использование неслучайных чисел Пусть для расчета величины m имеется случайная величина , для которой Mξ m и Dξ . Выбрав N независимых значений ξ1,...,ξ N , берем оценку
m
которая
обычно
называется
1 N
N
ξi ,
(4.2)
i 1
оценкой
метода
Монте-Карло.
В главе 3 было изложено, что точность оценки (4.2) зависит от дисперсии Dξ . Формула (4.2) не определяет алгоритма расчета, существует много случайных величин, имеющих заданное математическое ожидание m и конечную дисперсию. Возьмем некоторый метод моделирования случайной величины f γ1 ,γ2 ,... ,
(4.3)
где γ i – равномерно распределенные на (0,1) случайные числа. Формулы (4.2), (4.3) определяют алгоритм Монте-Карло для вычисления m. Пусть t – время расчета одного по формуле (4.3). Полное время расчета оценки (4.2) равно T Nt . Ошибка оценки (4.2) определяется величиной Dξ N
tDξ
T
.
(4.4)
Формула (4.4) показывает, что если полное время расчета T фиксировано, то погрешность вычисления зависит от величины tDξ , ко113
торая называется трудоемкостью алгоритма Монте-Карло (4.2), (4.3). Обычно эту величину оценивают путем численных экспериментов, иногда – теоретически. Рассмотрим алгоритм вида (4.2), (4.3) для расчета величины m Mξ . Если функция f (4.3) зависит от n переменных ξ f γ1,γ2 ,...,γ n , то говорят, что конструктивная размерность ал-
горитма (4.2), (4.3) равна n, сокращенно – к.р. = n. Однако может случиться, что на получение может затрачиваться разное значение n, поэтому следует определить n как максимальное количество. Может оказаться, что число n может быть сколь угодно большим, тогда к.р. =
.
Все алгоритмы Монте-Карло с к.р.=n допускают единую интерпретацию. Рассмотрим случайную n-мерную точку Г с декартовыми координатами γ1 ,...,γ n . Эта точка равномерно распределена в n-мерном единичном кубе
0 x1 1,...,0 xn 1 ,
так как плот-
ность распределения Г равна pГ x1,..., xn pγ1 x1 ... pγn xn 1 . Можно записать ξ f Г . Величина m вычисляется по формуле 1
1
m Mf Г ... f x1 ,..., xn dx1 ... dxn
0
0
1 N
N
f Гi .
(4.5)
i 1
Формула (4.5) показывает, что данный алгоритм есть приближенное вычисление интеграла по n-мерному единичному кубу путем усреднения значений подынтегральной функции в независимых случайных точках Г1 ,..., Г N .
114
При вычислении (4.5) методом Монте-Карло скорость приближения относительно количества испытании имеет порядок 1
N
.
Существуют «квазислучайные» точки, где скорость сходимости порядка
1
N
. Этим условиям удовлетворяют ЛПη -последова-
тельности. Мы не останавливаемся на изложении этого материала, свойства, формулы и программы для расчета точек последовательностей можно найти в книге [26].
115
ЛПη -
… Теория ошибок была разработана Гауссом в основном для нужд в астрономии. И можно считать исторической случайностью, если угодно, что ошибки измерений оказались достаточно малы, так что линейная аппроксимация оказалась приемлемой и Гаусс развил линейную, а не собственно угловую теорию ошибок. К. Мардиа
Глава 5. Специализированный метод Монте-Карло – статистическое моделирование ориентаций на группе вращений SO(3), подчиняющихся нормальному закону распределения Теория вероятностей, математическая статистика, имеющие особенности на алгебраических структурах, отличаются от известных положений в евклидовом пространстве [12]. Для того чтобы иметь некоторое представление о проблемах, возникающих при переходе из евклидова пространства на группы, рассмотрим вопрос об определении нормального распределения на окружности SO(2) [18]. Наиболее известны два нормальных распределения на SO(2): намотанное нормальное распределение с плотностью распределения θ π;π f θ
2 exp 1 θ 2kπ 2 2 ζ k 2 ζ
1
и распределение Мизеса с плотностью распределения
116
(5.1)
g θ,μ, k
1 2πI 0 k
1 I0 k 2π
expk cos θ μ , μ , k 0 ,
π
(5.2)
2r
1 k . exp k cosθ dθ 2 r 0 r ! 2 π
На рис. 5.1 и 5.2 изображены распределения (5.1) и (5.2) соответственно. Намотанное нормальное распределение (5.1) удовлетворяет центральной предельной теореме на окружности, безгранично делимо, свертка двух распределений данного вида приводит к намотанному распределению. Определение броуновского движения также приводит к распределению (5.1). Распределение Мизеса аналогично нормальному распределению на R1 определяется двумя параметрами: и k – аналогами математического ожидания и дисперсии. Далее распределение Мизеса так же, как нормальное распределение на прямой, характеризуется наиболее правдоподобной оцен117
кой для параметра сдвига и свойством максимизировать энтропию при заданных круговом среднем направлении и дисперсии. На самом деле эти два распределения хорошо аппроксимируют друг друга. Поэтому выбор любого из них в качестве модели – в значительной степени дело удобства.
5.1. Определение нормального распределения на группе SO(3) Группа вращений трехмерного евклидова пространства SO(3) – компактная, некоммутативная группа [11], элементами которой являются ортогональные матрицы 3-го порядка с определителем +1. Каждая такая матрица может быть параметризована многими способами [7]. Рассмотрим параметризацию углами Эйлера. Будем выполнять вращения в следующем порядке: 1)
поворот на угол ψ ( 0 ψ 2π ) вокруг оси OZ исходной
системы K; 2)
поворот на угол θ ( 0 θ π ) вокруг оси OX системы K ,
полученной из исходной после первого поворота; 3)
поворот на угол θ ( 0 θ 2π ) вокруг оси OZ системы
K , полученной из исходной после двух поворотов.
Таким образом, любой элемент g SO(3) представляется в виде
g g z θ g x θ g z ψ g θ,θ,ψ gij , i, j 1,2,3 , где g11 cosθcos ψ sin θsin ψcosθ ;
118
(5.3)
g12 cosθsin ψ sin θcos ψcosθ ; g13 sin θsinθ ; g21 sin θcos ψ cosθsin ψcosθ ;
g22 sin θsin ψ cosθcos ψcosθ ; g23 cosθsinθ ; g31 sin ψsin θ ; g32 cos ψsin θ ;
g33 cosθ .
Есть другие варианты углов Эйлера (всего шесть). На группе SO(3) существует инвариантная мера dg
1 8π 2
sin θdθdθdψ
и полная система попарно неэквивалентных унитарных представ-
лений T l g , l 0,1,... [11, 22]. Матричные элементы представl лений tmn g , l 0,1,... , m, n l, l 1,..., l , образуют ортонорми-
рованный базис на SO(3). Для любой интегрируемой по модулю в квадрате функции
f g dg 2
SO(3)
справедливо разложение в ряд Фурье: f g
l
l 0 m,n l
119
l l Cmn tmn g ,
(5.4)
где
l Cmn 2l 1
l f g tmn g dg –
SO(3)
коэффициент Фурье, l l tmn cosθ , g exp imθ inψ Pmn l Pmn x
nm nm 1l m i nm l n ! 2 2 1 x 1 x 2l l n ! l m ! l m !
d l n dx
l n
1 x l m 1 x l m
полиномы Якоби. Существуют различные подходы к определению нормального распределения (НР) на группе SO(3) [23]. Здесь развивается определение НР на группе SO(m), m 1 согласно [7, 34], удовлетворяющее центральной предельной теореме. Определение 5.1. Распределение вероятностей на SO(3) нормально, если безгранично делимо, не является идемпотентной мерой и может быть представлено в виде 3 αij Ai A j Tg dμ g exp i , j 1 SO(3)
3
i 1
αi Ai ,
(5.5)
где Tg – представление группы SO(3), Ai lim
Tgi t E
t
t
инфинитезимальные операторы представлений, отвечающие однопараметрическим подгруппам gi t , i 1,2,3 , αij , i, j 1,2,3 не120
отрицательно определенная симметричная матрица, α i , i 1,2,3 , действительные числа. Для НР dμ g f g dg справедливо разложение в ряд Фурье l (5.4) с коэффициентами Cmn , которые определяются из уравнения
(5.5) для заданных параметров αij , α i , i, j 1,2,3 . Определение 5.2. НР называется каноническим нормальным распределением (КНР), если αij 0 , i j , αi 0 . l КНР вычисляется в виде ряда Фурье (5.4), коэффициенты Cmn
определяются из уравнения (5.5), где Bl
3
αii Ai2 i 1
есть пятидиагональная квадратная матрица порядка (2l+1) с элементами: 1 bml ,m bl m,m 2m 1 m2 α11 α22 l m α33 , 2 m 0,1,..., l , l 0,1,... ,
bml ,m2 bml 2,m bl m,m2 bl m2,m
(5.6)
1 m 1 m 2 2l m 2l m 1 α11 α22 , 4 m 0,1,..., l 2 , l 0,1,... .
Определение 5.3. Центральным нормальным распределением (ЦНР) называется КНР при αii ε 2 , i 1,2,3 . ЦНР может быть записано по характерам представлений 121
1 sin l t 2 , f t 2l 1 exp(l l 1 ε 2 ) t l 0 sin 2
(5.7)
где cos
t θ θψ . cos cos 2 2 2
Рис. 5.3
На рис. 5.3 изображено ЦНР при ε 0,1 , lmax 31 (случай а) и ε 0,5 , lmax 7 (случай б). Инвариантная мера при переходе к ха-
рактерам представлений dg
1 2t sin dt , π t π . π 2
Для ЦНР (5.7) при ε 0,5 справедливо аналитическое приближение [22]: f t
1 ε
2
2 ε t 2 exp ε erfc exp t 2 4ε 2 sin t 2 2 ε 4 π
2
122
sin t 2 t 2 exp t 2 4ε 2 t 2 sin t 2 ε sin t 2 t 2
2
1 sin t 2 cos t 2 t 2 exp t 2 4ε 2 O ε . 3 6 2 t 2
(5.8)
5.2. Алгоритм статистического моделирования нормальных распределений на SO(3) Введем необходимые параметры группы SO(3). Пусть gi t , i 1,2,3 , однопараметрические подгруппы cos t sin t 0 g1 t sin t cos t 0 , 0 0 1 cos t 0 sin t g2 t 0 1 0 , sin t 0 cos t 0 0 1 g3 t 0 cos t sin t . 0 sin t cos t
Касательные матрицы определяются следующим образом: gi t e . t 0 t
ei t lim
Обозначим 1 0 0 1 0 0 0 0 1 2 3 h 0 1 0 , h 0 0 1 , h 0 1 0 . 0 0 1 0 1 0 1 0 0 1
123
Алгоритм моделирования методом Монте-Карло нормальных распределений общего вида на группе SO(3) имеет вид [7]: 1)
задание параметров НР α ij , α i , i, j 1,2,3 ;
2)
задание показателя свертки n;
3)
вычисление собственных значений и собственных векторов
симметричной матрицы 3-го порядка: M
3
α ee
i , j 1
обозначим эту систему как 4)
q
q
λ3 λ 2 λ1 λ λ3 λ1 λ λ λ3 , α 22 2 , α 33 1 2 ; 2 2 2
вычисление матрицы p, q 1,2,3 ;
вычисление матрицы 1 g n0 exp n
7)
,
λ , ν , q 1,2,3 ;
g0 pq ν q p , 6)
j
вычисление величин α ii , i 1,2,3 : α 11
5)
ij i
3
i 1
αi ei ;
вычисление случайной величины, являющейся приближе-
нием нормальной случайной величины: ξ
0 g n g0 j 1 n
6α ii j 1 i 1 1 g hi g1 2 , (5.9) ξ h 0 n i 2 i 1 3
где ξ ij – независимые реализации случайной величины равномерно распределенной на интервале (0,1). 124
По сути своей, окончательная формула для моделирования НР в виде случайной ортогональной матрицы вращения (5.9) подобна формуле (2.6) для моделирования методом Монте-Карло одномерной случайной величины, распределенной по нормальному закону в R1 . И в том и в другом случае используется центральная предельная теорема для получения приближения к НР. Отметим, что углы Эйлера вращения в виде матрицы (5.3) заключены в пределах π θ,ψ π , 0 θ π . На формирование одной матрицы (5.3) используется 3n равномерно распределенных случайных чисел в (0,1). В численных расчетах используется минимальное количество сверток n=6. Таким образом, чтобы получить одну ориентацию g θ,θ,ψ SO(3) , распределенную приближенно по нормальному закону требуется 18 равномерно распределенных на (0,1) случайных чисел. В [7] проводилось некоторое тестирование численных реализаций указанного алгоритма (теоретически справедливость метода строго доказана при n ) с помощью критерия χ 2 . Для рассмотренных примеров достаточно n 20 и N 104 2 104 испытаний для того, чтобы выполнялся уровень значимости 5% χ 2 критерия.
125
На рис. 5.4 изображены результаты вычисления проекции на сферу S 2 КНР с параметрами α11 α22 0,1 , α33 1 тремя способами: 1)
точное распределение (линия 1), полученное путем сумми-
рования ряда Фурье; 2)
получаемое статистическим методом и изображенное в ви-
де гистораммы (линия 2); 3)
средние значения точного метода, полученные усреднением
результатов согласно разбиению отрезка на части по методу гистограмм (линия 3). Из рисунка видим, что визуально результаты близки между собой. В [23] сравниваются три метода вычислений НР на группе SO(3):
метод рядов Фурье (МРФ);
метод аналитических приближений (МАП); 126
метод Монте-Карло (ММК).
МРФ дает непрерывную функцию (теоретически доказано, что эта функция бесконечное число раз дифференцируема), требует подбора подходящего количества членов ряда Фурье для вычисления с требуемой точностью, вычисления коэффициентов разложения в ряд Фурье из уравнения (5.5). МАП разработан для КНР с параметрами αii 0,5 , i 1,2,3 , дает непрерывную и бесконечно дифференцируемую функцию, требует очень мало компьютерного времени для вычислений. Пример подобного приближения здесь дан только для ЦНР – формула (5.8) для функции (5.7). ММК дает дискретные значения для НР в виде набора ориентаций, требует выбора подходящих значений параметров для вычислений – показателя свертки n и количества ориентаций N. Этот метод требует намного больше компьютерного времени для вычислений по сравнению с другими двумя методами. Метод Монте-Карло используется для моделирования ориентаций зерен поликристаллического материала при исследовании точности вычисления функции распределения зерен по ориентациям (ФРО) и других статистических характеристик для изучения физико-механических свойств материалов. В последние годы возросли технические возможности электронной микроскопии, стало возможным измерение 104 107 ориентировок зерен с целью изучения микротекстуры (форма и размеры зерен, границы зерен и т.д.) и макротекстуры (ФРО, функцию разориентаций (углов между зернами) и т.д.). 127
В приложении 2, написанного К.Н.Рогинским, приведены численные примеры использования метода Монте-Карло для моделирования набора ориентаций с целью исследования различных статистических характеристик.
128
Статистические методы анализа явлений основаны на теории вероятностей. Ю.Д. Максимов
Заключение Данное учебное пособие содержит начальные сведения по математической статистике и методу Монте-Карло. Приведены примеры и задачи для самостоятельной работы с целью усвоения рассматриваемого материала. Применение метода Монте-Карло в физике и экономике представлено простейшими моделями с указанием путей их совершенствования. Круг задач, решаемых методами Монте-Карло, быстро расширяется в связи с всѐ возрастающими возможностями вычислительной техники. В частности, решаются задачи:
оптимизации работы фирмы с целью повышения прибыли
путем математического и статистического моделирования функционирования всех звеньев;
изучения физических и механических свойств поликри-
сталлических материалов, включая наноматериалы, путем физикоматематического и статистического моделирования процессов формирования текстуры (кристаллизация, деформация, изменение фазы материала, рекристаллизация и т.д.).
129
Список рекомендуемой литературы 1. Айвазян С.А., Мхитарян В.С. Прикладная статистика. Теория вероятностей и математическая статистика. Т. 1. М.: ЮНИТИ, 2001, с. 656. 2. Айвазян С.А. Прикладная статистика. Основы эконометрики. Т. 2, М.: ЮНИТИ, 2001, с. 432. 3. Айвазян С.А., Мхитарян В.С. Прикладная статистика в задачах и упражнениях. М.: ЮНИТИ, 2001, с. 271. 4. Бахвалов Н.С. Численные методы. Ч. 1. М.: Наука, 1973, с. 631. 5. Беляев Ю.К., Носко В.П. Основные понятия и задачи математической статистики. М.: Изд. МГУ, ЧеРо, 1998, с. 192. 6. Боровков А.А. Математическая статистика. М.: Наука, 1984, с. 472. 7. Боровков М.В., Савелова Т.И. Нормальные распределения на SO(3). М.: МИФИ, 2002, с. 94. 8. Бусленко Н.П., Голенко Д.И., Соболь И.М., Срагович В.Г., Шрейдер Ю.А. Метод статистических испытаний (метод Монте-Карло). М.: ФМЛ, СМБ, 1962, с. 362. 9. Ватутин В.А., Ивченко Г.И., Медведев Ю.И., Чистяков В.П. Теория вероятностей и математическая статистика в задачах. М.: Агар, 2003, с. 326. 10. Вероятностные разделы математики / Под ред. Ю.Д. Максимова. СПб.: Иван Федоров, 2001, с. 589. 11. Виленкин Н.Я. Специальные функции и теория представлений групп. М.: Наука, 1965, с. 588. 130
12. Гренандер И. Вероятности на алгебраических структурах. М.: Мир, 1965, с. 275. 13. Деврой Л., Дьѐрфи Л. Непараметрическое оценивание плотности. М.: Мир, 1988, с. 407. 14. Ермаков С.М. Метод Монте-Карло и смежные вопросы. М.: Наука, 1975, с. 471. 15. Крамер Г. Математические методы статистики. М.: Мир, 1976, с. 648. 16. Крянев А.В., Лукин В.Г. Математические методы обработки неопределенных данных. М.: ФМЛ, 2003, с. 214. 17. Левитан Ю.Л., Соболь И.М. О датчике псевдослучайных чисел для персональных компьютеров // Математическое моделирование,1990, Т. 2, № 8, с. 119–126. 18. Мардиа К. Статистический анализ угловых наблюдений. М.: Наука, 1978, с. 240. 19. Натан А.А., Гобачев О.Г., Гуз С.А. Математическая статистика. М.: М3 Пресс, 2004, с. 157. 20. Панин В.П. Моделирование переноса излучения. М.: Тровант, 2008, с. 212. 21. Пугачев В.С. Теория вероятностей и математическая статистика. М.: Наука, 1979, с. 496. 22. Савелова Т.И., Бухарова Т.И. Представления группы SU(2) и их применение. М.: МИФИ, 1996, с. 114. 23. Савелова Т.И., Иванова Т.М., Сыпченко М.В. Применение нормальных распределений на SO(3) в текстурном анализе. М.: НИЯУ МИФИ, 2010, с. 104. 131
24. Соболь И.М. Численные методы Монте-Карло. М.: Наука, 1973, с. 378. 25) Соболь И.М. Метод Монте-Карло. М.: Наука, 1985, с. 78. 26. Соболь И.М., Статников Р.Б. Выбор оптимальных параметров в задачах со многими критериями. М.: Наука, 1981, с. 110. 27. Сборник задач по теории вероятностей, математической статистике и теории случайных функций / Под ред. А.А. Свешникова, М.: Наука, 1970, с. 656. 28. Хампель Ф., Рончетти Э., Рауссеу П., Штаэль В. Робастность в статистике: подход на основе функции влияния. М.: Мир, 1989, с. 512. 29. Худсон Д. Статистика для физиков. М.: Мир, 1970, с. 296. 30. Чистяков В.П. Курс теории вероятностей. М.: Наука, 1987, с. 240. 31. Хьюбер П. Робастность в статистике. М.: Мир, 1984, с. 303. 32. Hoy M., Livernois J., McKenna Ch., Rees R., Stengos Th. Mathematics for economics. Department for Economics University of Guelph, Addison – Wesley Publishers Limited, 1996, p. 821. 33. Metropolis N., Ulam S. The Monte Carlo method. J. Amer. Assoc., 1949, v. 44, № 247, p. 335–341. 34. Parthasarathy K.P. The central limit theorem for the rotation group. Теория вероятностей и ее применения, 1964, v. 9, No. 9, с. 273–282. 35. Rand Corporation. A million random digits with 1 000 000 normal deviats – Glencoe: The Free Press, 1955.
132
Приложение 1 О датчике псевдослучайных чисел для персональных компьютеров В работе [17] исследуется датчик псевдослучайных чисел, предложенный в [Вичмэн Б.A., Хилл И.Д. An efficient and portable pseudo - random number generator. Appl. Statistics, 1982, v. 31, №2, р. 188 – 190]. Здесь предлагается считать одновременно три последовательности mi 171mi 1 mod30269 , m0 – задано,
mi 172mi1 mod30307 , m0 – задано, mi 170mi1 mod30323 , m0 – задано,
а в качестве псевдослучайных чисел использовать дробные доли: mi m mi γi . 30269 30307 30323
Так как все три модуля – простые числа, то длина периода последовательности γ1, γ 2 ,... равна произведению 30269 30307 30323 2,78 1013 .
Основные достоинства предложенного датчика очевидны – краткость программы, простота реализации, огромный период. Однако авторам [17] некоторые утверждения Вичмэна и Хилла показались недостаточно обоснованными. Для проверки качества исходного датчика использовалась следующая система тестов. 133
Предполагается, что k-мерные случайные точки с независимыми декартовыми координатами
γ1,...,γk , γk 1,..., γ2k , γ2k 1,..., γ3k ,... равномерно распределены в k-мерном единичном кубе при каждом k.
Это свойство необходимо и достаточно для успешной реализации алгоритмов Монте-Карло с конструкторной размерностью
k.
С помощью критерия χ 2 проверялось распределение соответствующих псеводослучайных точек, ограничиваясь размерностями k 1,...,4 . Проверялось также распределение серий.
Так как для моделирования различных задач могут потребоваться группы чисел γ1,..., γ N различной длины, то проверялись группы при N 600 2s , s 0,1,...,11. Для некоторых вариантов начальных значений проверка была продолжена при s =12,13, а для отобранного наилучшего варианта – при s 14. В качестве критерия выбиралось худшее (наибольшее) значений χ 2 при всех рассматриваемых N. Предельные функции распределения lim P
N
t
χ 2N
t kr 1 x dx 0
зависят от количества r областей разбиения каждого куба (здесь
km x – плотность распределения χ 2 с m степенями свободы).
134
В
статистических
таблицах
приведены
корни
уравнения
χ 2 χ 2 m, P :
km x dx P ,
χ2
называемые обычно квантилями. Слишком малые P означают, что данные эксперимента не подтверждают гипотезы. Система тестов Тест 1. Проверяется расположение одномерных точек γ1,...,γ N в интервале 0 x 1. Интервал разбит на 16 равных интервалов. Вычисляется величина χ 2N
где
νi
–
количество
2
16 16 N νi , N i 1 16
точек,
попавших
в
интервал
i 1 /16 x i /16 . Критерий 1 max χ 2N , где N 600 2s . s
Тест 2. Проверяется расположение двумерных точек
γ3 ,γ4 , …, γ2 N 1, γ2 N
γ1,γ2 ,
в квадрате 0 x, y 1 . Квадрат разбит на
82 64 равных квадратов. Вычисляется величина χ 2N
2
64 8 N νij , N i , j 1 64
где ν ij – количество точек, попавших в квадрат i 1 /8 x i /8 ,
j 1 /8 y j /8 . Критерий
2 max χ 2N , где N 300 2s . s
135
Тест
3.
Проверяется
γ1,γ2 ,γ3 , γ4 ,γ5 ,γ6 ,
расположение
трехмерных
точек
…, γ3N 2 , γ3 N 1, γ3 N в кубе 0 x, y, z 1 .
Куб разбит на 53 125 равных кубов. Вычисляется величина χ 2N
2
125 5 N νijk , N i , j ,k 1 125
где ν ijk – количество точек, попавших в куб i 1 / 5 x i / 5 ,
j 1 / 5 y j / 5 , k 1 / 5 z k / 5 .
Критерий 3 max χ 2N , где s
N 200 2s . Тест 4. Проверяется расположение четырехмерных точек
γ1,γ2 ,γ3 ,γ4 , γ5 ,γ6 ,γ7 ,γ8 ,
…, γ4 N 3 , γ4 N 2 , γ4 N 1, γ4 N в гипер-
кубе 0 x, y, z, u 1 . Гиперкуб разбит на 44 256 равных гиперкубов. Вычисляется величина χ 2N
2
256 5 N νijkl , N i , j ,k ,l 1 256
где νijkl – количество точек, попавших в куб i 1 / 4 x i / 4 ,
j 1 / 4 y j / 4 , k 1 / 4 z k / 4 , l 1 / 4 u l / 4 . Критерий 4 max χ 2N , где N 150 2s . s
Тест 5. Проверяется количество серий, образованных первыми десятичными цифрами чисел γ1,γ2 ,...,γ N . Вычисляется величина χ 2N
4
i 1
ni npi 2 ns nps 2 npi
136
nps
,
где ni – количество серий длины i , ns – количество серий длины 5 , а n n1 n2 n3 n4 ns – общее количество серий. Вероят-
ности pi 9 10i , ( 1 i 4 ), ps 104 . Критерий s max χ 2N , где s
N 600 2s . Рассмотрим вопрос выбора начальных значений датчика. В работе Вичмэна и Хилла рекомендуется выбирать начальные значения m0 , m0 , m0 случайно. Было проверено 36 вариантов начальных троек, каждая из которых состояла из натуральных чисел (3, 1, 2), (5, 11, 17), (1, 2, 3),… . Среди них оказалось 17 таких, для которых хотя бы один критерий превышает 1%-ный уровень значимости. Среди этих 17–4 «очень плохих» варианта: в двух более одного критерия, превышающего 1%-ный уровень, в двух других – один из критериев превышает 0,1%-ный уровень (кроме того, в каждом из этих вариантов еще два критерия превышают 10%-ные уровни). Интересно отметить, что среди наихудших троек оказалась тройка (11, 5, 17), в то время как тройки (5, 11, 17) и (5, 17, 11) признаны в [17] наилучшими.
137
Приложение 2 Численные эксперименты использования метода Монте-Карло для моделирования ориентаций зерен поликристаллов в текстурном анализе Многие материалы естественного и искусственного происхождения (минералы, металлы, сплавы, керамики и т. д.) являются поликристаллами. Поликристалл состоит из кристаллов какого-либо вещества, называемых из-за неправильной формы кристаллитами или кристаллическими зернами. В зависимости от того, как расположены атомы в кристаллите, можно выделить различные виды кристаллических структур. Металлы преимущественно кристаллизуются в одном из трѐх типов структур: объемно-центрированной кубической (ОЦК), гранецентрированной кубической (ГЦК) или гексагональной (ГПУ), которые в природе представлены практически равномерно [Готтштайн Г. Физико-химические основы материаловедения. М.: Бином, 2009, с. 400]. Гексагональная решетка состоит из плотноупакованных гексагональных слоев и полностью содержит два атома. Ось c по величине отличается от оси a (рис. П.2.1).
Рис. П.2.1. Утроенная элементарная ячейка при гексагональной структуре
138
Кристаллит обладает шестью степенями свободы, три из которых отвечают за пространственное положение зерна, остальные три определяют его ориентацию (рис.П.2.2)
Рис. П.2.2. Схематическое изображение образца и кристаллита
С математической точки зрения, под ориентацией понимается вращение g ( g SO(3) ), которое совмещает систему координат, связанную с зерном, с системой координат, связанной с поликристаллом. Физические свойства (магнитные, оптические, электрические и т.д.) поликристаллов во многом зависят от свойств зѐрен, в частности объясняются наличием кристаллографической текстуры. Если зѐрна ориентированы хаотически (рис. П. 2.3, а), то в поликристалле не проявляется анизотропия физических свойств, характерная для монокристаллов (рис. П.2.3, б). Если в поликристалле возмож139
но выделить преимущественную кристаллографическую ориентацию зѐрен (рис. П.2.3, в), то поликристалл является текстурированным и, в этом случае, обладает анизотропией свойств[23].
Рис. П.2.3. Модели кристаллографических текстур: а – хаотически расположенные кристаллиты; б – идеально ориентированные кристаллиты (монокристалл); в – многокомпонентная кристаллографическая текстура
Для математического описания текстуры используется трехмерная функция распределения зерен (ФРО) по ориентациям [23]. Данная функция зависит от трех углов Эйлера и определяет вероятность обнаружить в образце зерно с заданной ориентацией g ( g SO(3)). В случае если текстура описывается ЦНР, то ФРО мо-
жет быть представлено в виде (5.7). ФРО даѐт полное представление о кристаллографической ориентации зерен во всем объеме поликристалла, однако из-за многомерности является тяжелой для понимания и представления. Для многих прикладных задач достаточно иметь информацию о проекциях ФРО на некоторые выделенные направления в образце. Данные проекции называются полюсными фигурами (ПФ).
140
ПФ Ph y характеризует вероятность распределения ориента-
ции нормали h к определѐнной кристаллографической плоскости
зерна относительно направления y в образце (рис. П.2.4):
dV ( y ) P y dy V h
(П.2.1)
y||h
где dV ( y ) – объѐм кристаллитов, у которых кристаллографиче-
ское направление h совпадает с направлением y в образце; V – общий объѐм образца.
Рис. П.2.4 Полюсная фигура аналитически может быть записана в виде 1 1l 4π l Cmn Ylm (h )Yln (h ) , 2 l 0 m , n l (2l 1)
Ph y
l
(П.2.2)
l где Cmn – коэффициенты разложения ФРО по обобщенным шаро-
вым функциям (5.4) , Ylm – шаровые функции. Из соотношения (П.2.2) видно, что задача вычисления различных ПФ для поликристалла сводится к нахождению коэффициен141
l l тов Cmn . Очевидно, что для определения Cmn необходима инфор-
мация о конкретном образце. Для получения экспериментальных данных о кристаллических материалах можно использовать электроны, так как они могут вести себя как волны и, следовательно, подвергаются дифракции на кристаллических решетках. На этом принципе основана техника EBSD (дифракция электронов обратного рассеивания) исследования образцов в сканирующем электронном микроскопе (SEM) (рис. П.2.5). Стационарный пучок электронов бомбардирует определенным образом повернутый кристаллический образец, дифрагированные электроны формируют изображение на флуоресцентном экране, которое характеризует кристаллическую структуру исследуемой области в образце. Механизм формирования дифракционных картин достаточно сложен, в его основе лежит закон Брэгга– Вульфа [Готтштайн Г. Физико-химические основы материаловедения. М.: Бином, 2009, с. 400]. Дифракционная картина (рис. П.2.6) может быть использована для определения структуры и ориентации отдельных зерен, исследования границ (рис П.2.7) и углов разориентации кристаллитов (рис. П.2.8.).
142
Рис. П.2.5. Основные компоненты схемы EBSD
Рис. П.2.7. Границы зерен
Рис. П.2.6. Дифракционная картина поликристалла Ni
Рис. П.2.8. Текстура образцa при разных углах мизориентации
143
Методика EBSD – эффективный, но затратный с точки зрения времени и финансов способ исследования текстуры. Разработку и тестирование алгоритмов для восстановления ПФ возможно проводить на математически моделируемых образцах. В этом случае для выполнения численных экспериментов используются выборки ориентировок, получаемые
специализированным методом Монте-
Карло (см. раздел 5.2). Рассмотрим данный подход на примере образца, текстура которого описывается центральным нормальным распределением (ЦНР). В этом случае коэффициенты разложения ФРО по обобщенным шаровым функциям известны и аналитически могут быть записаны в виде l Cmn (2l 1)exp(l (l 1)ε 2 )δmn ,
где ε – параметр ЦНР, являющийся
показателем
(П.2.3) остроты
текстуры. l С другой стороны, проведѐм оценивание коэффициентов Cmn
ядерным методом по набору смоделированных ориентировок. Формула (П.2.3) будет применена для тестирования метода. Введем понятие ядерного метода в одномерном пространстве. Ядерный метод применяется в математической статистике для восстановления плотности распределения по известной выборке значений, подчиняющихся данному распределению. Такой подход предлагает в каждой реализации построить «бугор», вид которого определяется ядром. Искомая оценка является суперпозицией этих
144
«бугров» (рис.П.2.9). В качестве ядра могут рассматриваться различные функции.
Рис. П.2.9. Применение ядерного метода восстановления одномерной плотности распределения. Шесть одномерных гауссовских распределений и их суперпозиция
Очевидно, что чем выше концентрация точек в некоторой области, тем больше абсолютное значение восстанавливаемой плотности. Встаѐт вопрос о выборе оптимального объѐма выборки и параметра ядра для достижения наилучших результатов. Для применения ядерного метода на группе SO(3) выборка ориентировок объемом N моделируется математически. Параметры в формуле (5.9) для моделирования нормальных распределений подбираются таким образом, чтобы получаемые случайные ориентировки являлись приближением ЦНР с заданной остротой текстуры . В качестве оценки ФРО используется функция с ядром Гаусса– Вейерштрасса. Данную оценку можно записать в виде
1 N fˆ ( g ) q( gi1 g ), N i 1
(П.2.4)
где q( g ) – ядро, имеющее вид
l
qα ( g ) (2l 1)exp{l (l 1)α2 } Tnnl ( g ), l 0
n l
145
g1 ,..., g N – выборка ориентировок; g {θ,θ,ψ} , – параметр ядра l (параметр регуляризации); Tmn ( g ) = Tmnl (θ,θ,ψ) – обобщѐнные ша-
ровые функции l -го порядка. l Оценки коэффициентов Cmn имеют вид [23]
2l 1 l Cˆ mn exp l l 1 α 2 Tmnl gi . N i 1 N
(П.2.5)
Выражение (П.2.5) учитывает экспериментальные данные об образце. В нашем случае – ориентировки, разыгранные математически для известной текстуры, однако могут использоваться результаты EBSD измерений для реальных образцов. l Перейдем от оценивания коэффициентов Cmn к восстановлению
ПФ. Подставив поочерѐдно выражения (П.2.3), (П.2.5) в соотношение (П.2.2), получаем Ph y
(2l 1)exp(l (l 1)ε 2 )Pl h , y ,
l (2) 0
(П.2.6)
N 1 Pˆh ( y ) (2l 1)exp(l (l 1)α 2 ) Pl ( g y 1 gi1 g h (3,3)), (П.2.7) N l (2) 0 i 1
где Pl ( x) – полиномы Лежандра, y S 2 , y (α,β) , g y α,β,0 , 0 α 2π , 0 β<π , h (θ,θ) , gh θ,θ,ψ , 0 θ 2π , 0 θ<π , g y 1 gi1 gh (3,3) – элемент с индексом 3х3 матрицы вращения
g y 1 gi1 g h .
Соотношение (П.2.6) – точная формула определения ПФ для
любого направления h в модельном образце с текстурой описы146
ваемой ЦНР. Выражение (П.2.7) представляет оценку ПФ. Для успешного восстановления ПФ по экспериментальным данным необходимо подобрать оптимальные параметры: N – достаточный объѐм выборки измеренных (смоделированных) ориентировок, – значение параметра ядра (параметра регуляризации), Lmax – максимальное количество учитываемых членов ряда. Для наглядного представления оценок ПФ и точных функций можно построить стереографические проекции и линии уровня. Некоторые результаты приведены на рис. П.2.10–П.2.13 для следующих наборов параметров: ε=0,125, α 0,0025, h (0,0), N =1000, Lmax 4 (рис. П.2.10); ε=0,5, α 0,0025, h (0,0), N =1000, Lmax 10 (рис. П.2.11); ε=0,125, α 0,0025, h (0, π 2), N =1000, Lmax 4 (рис. П.2.12); ε=0,5, α 0,0025, h (0, π 2), N =1000, Lmax 10 (рис. П.2.13).
Приведѐнные графики показывают, что выбор оптимальных параметров оценивания ПФ важен. Например, на рис. П.2.11 и П.2.13 видно, что объѐм измеренных ориентировок мал для восстановления.
147
Рис. П.2.10
Рис. П.2.11
148
Рис. П.2.12
Рис. П.2.13
Нахождение оптимальных параметров – сложная задача. Некоторые экспериментаторы выбирают их эмпирически, полагаясь на 149
свой исследовательский опыт. В рассмотренном тривиальном примере точная ПФ известна для образца, поэтому оптимальные параметры можно подбирать из условия близости оценки ПФ к точной функции для различной остроты текстуры. Агрегируя получаемые результаты можно выделить закономерности, которые будут применены при оценивании ПФ для реальных образцов с неизвестной текстурой.
150
