Оптимальные статистические решения (Статистические игры): Учебно-методическое пособие

ТВЕРСКОЙ ГОСУДАРСТВЕННЫЙ УНИВЕРСИТЕТ Кафедра информатики и методов оптимизации

ОПТИМАЛЬНЫЕ СТАТИСТИЧЕСКИЕ РЕШЕНИЯ (Статистические игры)

Учебно-методическое пособие

ТВЕРЬ 2004

УДК 519.2 + 519.8

Автор-составитель кандидат технических наук, доцент В.О. Ашкеназы Оптимальные статистические решения (Статистические игры): Учебнометодическое пособие. - Тверь: Тверской гос. ун-т, 2004. - 26 с. Данное пособие содержит материалы для проведения лабораторных занятий и организации самостоятельной работы по дисциплине специализации "Оптимальные статистические решения (Статистические игры)". Изучается теория математических моделей принятия решений в условиях неопределённости и случайности, или так называемые статистические игры. Обсуждаются принципы построения оптимальных алгоритмов принятия решений на основе минимаксного и байесовского подходов. Пособие предназначается для студентов и специалистов, применяющих оптимальные статистические решения в своей учебной и практической деятельности. Библиогр.: 15 назв.

© Ашкеназы В.О., 2004 © Тверской государственный университет, 2004 2

ПРЕДИСЛОВИЕ Статистические игры как математические модели принятия оптимальных решений в условиях неопределённости и риска находят всё более широкое применение в экономике, технике, математической статистике. Поэтому изучение теории статистических игр и овладение практическими навыками их решения играют важную роль в процессе формирования специалиста по приложениям математики, способствуют глубокому осмысливанию ранее полученных знаний по методам оптимизации. теории вероятностей и математической статистике. Данное пособие содержит материалы к практическим (лабораторным) занятиям по дисциплине специализации "Оптимальные статистические решения (статистические игры)", которые должны сопровождать соответствующий теоретический курс. При проведении этого практикума ставятся следующие основные задачи: 1) углубить знание основных определений и утверждений, изучаемых в лекционном курсе; 2) повторить необходимые разделы курса теории вероятностей и математической статистики, элементы выпуклого анализа; 3) получить практические навыки в решении теоретико-игровых оптимизационных задач, описываемых математическими моделями типа статистических игр. Самостоятельная работа студента при подготовке к практическим занятиям должна включать в себя повторение основных теоретических положений, изучение рекомендованной учебной и научной литературы, решение упражнений. При этом могут быть рекомендованы следующие этапы решения статистической игры: 1) анализ структуры статистической игры и выявление возможностей редукции класса решающих правил на основе использования достаточных статистик, исключения рандомизации, применения принципа инвариантности, использования монотонных решающих правил; 2) выбор подходящего априорного распределения или последовательности априорных распределений, построение соответствующих байесовских решающих правил и вычисление минимальных байесовских рисков; 3

3) определение вида наименее благоприятного априорного распределения или уравнивающего решающего правила; 4) отыскание минимаксного решающего правила, наименее благоприятного априорного распределения и значения игры. Заметим, что здесь необходимо хорошее знание свойств наиболее часто используемых в приложениях дискретных и непрерывных распределений вероятностей и умение пользоваться формулой Байеса для условных распределений. Полезным приёмом, существенно облегчающим решение статистической игры, во многих случаях является применение принципа инвариантности. В задачах с конечным множеством состояний природы может оказаться полезной геометрическая интерпретация статистической игры. В данном пособии рассматриваются статистические игры с фиксированным объёмом выборки; последовательным статистическим играм будет посвящено отдельное пособие. В каждом разделе даётся сводка основных теоретических положений, примеры решения задач и упражнения для практических и самостоятельных занятий, которые сопровождаются необходимыми методическими рекомендациями. При составлении упражнений использовались источники, указанные в списке литературы.

1.

ВВЕДЕНИЕ

1.1. Неопределённость и случайность в задачах принятия решений Математизация знаний связана с научным обоснованием методов принятия решений, наилучшим образом реализующих поставленные цели. Имеется несколько уровней информированности лица, принимающего решение, об обстоятельствах дела и о последствиях принятых решений. 1) Детерминированный уровень – принимается решение, максимизирующее выигрыш (полезность) в заданных, точно известных условиях. Математический аппарат: методы математического анализа, комбинаторики, методы оптимизации (математическое программирование, теория оптимального управления). 4

2) Стохастический (вероятностный) уровень – имеется некоторая информация о вероятностях возможных вариантов обстоятельств и последствий принимаемых решений. При этом обычно руководствуются оптимизацией среднего значения (математического ожидания) характеристики возможных последствий решения (так называемый "байесовский подход"). Принятие решения на вероятностном уровне равносильно принятию решения в условиях риска (получаемый результат – случаен). Математический аппарат: теория вероятностей и математическая статистика. Возможен и более общий подход – использование теории нечётких множеств. В конечном счёте здесь имеет место редукция к решению детерминированной экстремальной задачи. 3) Неопределённый уровень – лицо, принимающее решение, знает лишь множество вариантов обстоятельств дела и последствий своих решений, но не знает того конкретного варианта, который имеет место в действительности. Математический аппарат принятия решений на неопределённом уровне – теория игр. Неопределённость в знании обстоятельств и последствий принятия решений обычно связана с наличием ряда активных сторон, наделённых несовпадающими интересами и способных выбирать те или иные действия. Как правило, стороны заинтересованы в том. Чтобы сохранить в тайне свой образ действий – а это приводит к конфликтным условиям. Поэтому принято говорить, что теория игр есть теория математических (формальных) моделей принятия решений в условиях конфликта. Лицо, принимающее решение на таком неопределённом уровне, обычно ориентируется на наименее благоприятное для себя стечение обстоятельств и последствий (принцип максимина или гарантированного результата) и даже явление, содержательно не имеющее конфликтного характера – например, "борьба" с природой – формально моделируется как явление, наделённое чертами конфликта (в частности, природа может рассматриваться как антагонистический противник!).

5

Оптимальное решение в условиях неопределённости обычно отыскивается путём сведения к стохастическому уровню – допускают, что имеется некоторое априорное распределение вероятностей на множестве вариантов условий и ориентируются на наименее благоприятное распределение. В реальных задачах принятия решения сочетаются все три уровня информированности. Однако, характерным для теории игр является наличие нестохастической неопределённости тех или иных компонент: - прежде всего, решений, принимаемых другими участниками ("стратегическая" неопределённость); - неопределёнными могут быть и "правила игры" – последствия принимаемых решений (целевая функция), структура множества действий (стратегий), имеющихся в распоряжении участников, и даже само число участников…

1.2. Основные понятия теории антагонистических игр Итак, теория игр есть теория математических (формальных) моделей принятия решений в условиях конфликта (см., например [2, 7, 8]). Это – сравнительно молодой раздел математики и история теории игр, по существу, началась с работ фон Неймана и Моргенштерна в 1944 г. Сейчас теоретико-игровые методы находят широкое практическое применение в различных областях – от техники и экономики до медицины. Классификация игровых моделей, рассматриваемых современной теорией игр, весьма разнообразна. Наиболее разработанной является теория антагонистических игр: два игрока выбирают независимо друг от друга свои стратегии (возможные действия), после чего игрок I получает от игрока II некоторый выигрыш, зависящий от пары выбранных стратегий (от ситуации). Антагонистической игрой называется система:

Γ=

X ×Y , H

c

H ( x, y ) ,

x ∈ X , y ∈Y ,

(1)

где X, Y – множества стратегий I и II игроков, соответственно; H : X × Y → E1 – функция выигрыша игрока I (то есть функция потерь игрока II). Это – так называемая нормальная форма игры.

6

Естественный принцип оптимальности для антагонистической игры – принцип максимина (минимакса). Оптимальные стратегии x ∗ ∈ X , y ∗ ∈Y соответствуют седловым точкам функции выигрыша H ( x, y ) :

H ( x, y ∗ ) ≤ H ( x ∗ , y ∗ ) ≤ H ( x ∗ , y )

для ∀x ∈ X , ∀y ∈Y .

(2)

Таким образом, решение игры (седловая точка ( x ∗ , y ∗ ) ) соответствует ситуации равновесия, отклонение от которой невыгодно для любого игрока. Теорема 1. Для того, чтобы функция выигрыша H ( x, y ) имела седловые точки на X × Y , необходимо и достаточно, чтобы выполнялось равенство минимаксов (3) max min H ( x, y ) = min max H ( x, y ) , y

x

y

x

где внешние экстремумы достигаются на седловой точке ( x ∗ , y ∗ ) . Заметим, что для ∀H ( x, y ) , определённой на X × Y , имеет место неравенство (4) sup inf H ( x, y ) = inf sup H ( x, y ) x

y

y

x

Даже в простейших случаях функция выигрыша H ( x, y ) может не иметь седловых точек и принцип максимина оказывается нереализуемым. Тогда можно использовать смешанное расширение игры Γ . Если x ∗ ∈ X , y ∗ ∈Y это чистые стратегии игроков, то смешанные стратегии - это вероятностные меры (распределения вероятностей) ξ ∈ Ξ , ϕ ∈ Φ , заданные на X ,Y , соответственно. Теперь вместо H ( x, y ) рассматривается математическое ожидание

H ( ξ, ϕ) =

∫ ∫ H ( x, y ) dξ( x ) dϕ( y )

(5)

YX

и мы получаем расширенную игру:

Γ = Ξ × Φ, H

c H ( ξ, ϕ) , ξ ∈ Ξ , ϕ ∈ Φ .

(6)

Если имеет место равенство

sup inf H ( ξ, ϕ) = inf sup H ( ξ, ϕ) = v , ξ

ϕ

ϕ

7

ξ

(7)

то общее значение этих смешанных экстремумов называют значением (ценой) игры Γ . Если в (7) внешние экстремумы достигаются, то

v = H ( ξ∗ , ϕ∗ ) ,

(8)

где ( ξ∗ , ϕ∗ ) - седловая точка функции выигрыша H ( ξ, ϕ) . При выполнении (7) принцип максимина называется реализуемым. Если в (7) внешние экстремумы не достигаются, то при ∀ε > 0 существует ε -седловая точка ( ξε , ϕ ε ) такая, что

H ( ξε , ϕ) − ε ≤ H ( ξε , ϕε ) ≤ H ( ξ, ϕε ) + ε для ∀ξ ∈ Ξ , ∀ϕ ∈ Φ .

(9)

В современной теории антагонистических игр показано, что при достаточно слабых условиях на X , Y , H ( x, y ) расширенная игра Ξ × Φ , H имеет значение и существуют оптимальные (или ε -оптимальные) решения в смешанных стратегиях (теоремы о минимаксах). Если в антагонистической игре каждый игрок располагает конечным множеством чистых стратегий, то мы имеем матричную игру (m × n) с матрицей выигрыша I-го игрока A: ⎡ a11 L a1n ⎤ (10) A = ⎢⎢ M O M ⎥⎥ . ⎣⎢am1 L amn ⎦⎥ Смешанные стратегии здесь – вектора:

ξ = ( p1 ,K, pm )T ; pi ≥ 0, i = 1, m ; ϕ = ( q1 ,K, qm )T ; qi ≥ 0, j = 1, n ;

m

∑1 pi = 1; n ∑1 q j = 1;

(11)

Математическое ожидание функции выигрыша I-го игрока теперь равно m n

H (ξ, ϕ) = ∑ ∑ ai j pi q j = ξΤ Α ϕ .

(12)

i =1 j =1

Для любой матричной игры справедлива теорема о минимаксах. Теорема 2. Какова бы ни была матрица игры A, имеют место равенст-

ва

max min ξΤ Α ϕ = v( Α ) = min max ξΤ Α ϕ , ξ

ϕ

ϕ

8

ξ

(13)

или, что эквивалентно – существует седловая точка ( ξ∗ , ϕ∗ ) :

∀ξ : H ( ξ, ϕ∗ ) ≤ v ( Α ) ≤ H ( ξ∗ , ϕ) : ∀ϕ .

(14)

1.3. Статистические игры В этом пособии мы рассмотрим теорию математических моделей принятия решений в условиях неопределённости и риска – класс так называемых статистических игр. Как уже отмечалось, в теоретико-игровых математических моделях неопределённость обычно связана с тем, что лицо, принимающее решение, не знает выборов, сделанных другими активными сторонами, то есть не знает истинной ситуации в известном множестве ситуаций (так называемая стратегическая неопределённость). А риск в статистической игре связан с наличием случайных факторов, влияющих на последствия принимаемых решений. В обычной постановке статистическая игра - это антагонистическая игра (игра 2-х лиц с нулевой суммой) в которой игрок II (Статистик) принимает решение после проведения статистического эксперимента, дающего ему некоторую вероятностную информацию о выборе, сделанном игроком I (Природой). Заметим, что в статистической игре I-м игроком может быть и разумный участник конфликта, и тогда игра будет действительно антагонистической. А если речь идёт о Природе, то следует конечно учитывать, что природа, вообще говоря, не является антагонистическим противником и не стремится к выигрышу. Как говорил Альберт Эйнштейн "Господь Бог изощрён, но не злонамеренен!". Однако, лицо, принимающее решение, - Статистик, не зная истинного выбора природы, может проявить осторожность и рассматривать эту задачу как антагонистическую игру. В случае игры с природой иногда можно рассчитывать на выяснение устойчивого случайного механизма действий природы и, зная априори смешанную стратегию природы, выбирать своё решение на основе оптимизации результата по среднему значению (байесовский подход). Иллюстративный пример. Выделение дополнительных автобусов на пригородных маршрутах в летние выходные дни.

9

Пусть потенциально-возможная дополнительная прибыль автотранспортного предприятия за счёт притока пассажиров, желающих выехать за город в выходные дни, соответствует 1 условной единице в плохую погоду и 10 ед. при хорошей погоде, а резерв пропускной способности обычных рейсовых автобусов равен 4 ед. Если заблаговременно не выделить дополнительные автобусы, то предприятие понесёт убытки, связанные с недополученной прибылью (и с возможными жалобами на плохое обслуживание). В то же время издержки эксплуатации дополнительных автобусов составят 4 ед. Вводя множество состояний природы Θ = { θ1 , θ2 }, где θ1 - плохая погода в выходные дни, θ2 - хорошая погода, и множество решений статистика (руководства автотранспортного предприятия), принимаемых в конце предвыходного дня, A = {a1, a2 }, где a1 - решение сохранить обычный график движения автобусов, a2 - решение выделить дополнительные автобусы, мы получаем исходную антагонистическую игру Θ × A, L с функцией (матрицей) потерь, представленной следующей таблицей:

L(θ, a ) :

A

a1

a2

θ1

-1

3

θ2

2

-6

Θ

Нетрудно убедиться, что эта игра ( 2 × 2) имеет оптимальные смешанные стратегии: 2 1⎫ ⎧ 3 1⎫ ⎧ ⎨ p1 = , p2 = ⎬ , ⎨q1 = , q2 = ⎬ 3 3⎭ ⎩ 4 4⎭ ⎩ и значение игры, то есть минимаксная средняя потеря II-го игрока, vo = 0 . Однако, решение a ∈ A может приниматься II-м игроком (статистиком) на основании некоторого статистического эксперимента, например с учётом прогноза погоды на предстоящие выходные дни. Введём множество возможных исходов статистического эксперимента –

множество выборок X = { x1 , x2 }, где x1 - обещание плохой погоды, x2 обещание хорошей погоды. Величина Χ = x ∈ X случайна и её распределение зависит от состояния природы θ ∈ Θ . Пусть, например, плохая погода правильно предсказывается в 70% случаев, а хорошая – в 80% случаев. Тогда

10

можно представить соответствующую условную функцию вероятностей f X ( x | θ) в виде таблицы:

X

x1

x2

θ1

0,7

0,3

θ2

0,2

0,8

Θ f X ( x | θ) :

Теперь статистик может расширить множество своих стратегий, выбирая действия a ∈ A с учётом результатов статистического эксперимента Χ = x ∈ X . Для этого он задаётся одной из возможных функций a = d (x ) решающих правил. В нашей задаче множество решающих правил D состоит из четырёх элементов D = ( d1 , d 2 , d 3 , d 4 ) :

D

d1

d2

d3

d4

x1

a1

a1

a2

a2

x2

a1

a2

a1

a2

X d (x ) :

Каждая из функций, a = d i ( x ) , i = 1, 4 , указывает одно из возможных правил принятия решения о дополнительных автобусах по данным прогноза погоды. Но теперь функция потерь L( θ, d ( X )) - случайная величина. Заменяя её функцией риска R ( θ, d ) = E L( θ, d ( X )) : R (θi , d j ) =

∑ L(θi , d j ( xk ) ) f X (xk | θi ), 2

k =1

i = 1, 2, j = 1,K, 4 ,

получаем новую антагонистическую игру Θ × D, R - статистическую игру с матрицей потерь:

R (θ, d ) :

D

d1

d2

d3

d4

θ1

-1

0,2

1,8

3

θ2

2

-4,4

0,4

-6

Θ

11

Оптимальная смешанная стратегия руководства автотранспортного предприятия (статистика) теперь имеет вид { q1 = 0,61, q2 = 0,39, q3 = q4 = 0 }, 10 а значение этой игры v = − ≈ −0,53 < vo . 19

2.

СТРУКТУРА СТАТИСТИЧЕСКОЙ ИГРЫ

2.1. Основные определения Итак, статистической игрой (с фиксированным объемом выборки) называют антагонистическую игру Ω × D, R , в которой чистыми стратегиями игрока I (Природы) являются функции распределения FX (x | θ), θ ∈ Ω , случайного вектора выборки X из пространства выборок X , а игрок II (Статистик) наблюдает значения выборки X = x ∈ X и, используя в качестве чистых стратегий решающие правила (решающие функции) d : X → A, d ∈ D , принимает решение d ( x ) = a ∈ A . Средняя потеря статистика при выборе им решающего правила d ∈ D и состоянии природы θ ∈ Ω определяется функцией риска R : Ω × D → E1 ,

R (θ, d ) = E θ L(θ, d ( x ) ) = ∫ L(θ, d ( x ) ) dFX ( x | θ) . X

Здесь L (θ, a ) - функция потерь статистика в исходной антагонистической игре Ω × A, L .

2.2. Смешанные расширения статистической игры В смешанных расширениях статистической игры статистик может использовать два эквивалентных по риску способа рандомизации: а) рандомизированные решающие правила η ∈ H , представляющие собой распределения вероятностей на множестве нерандомизированных решающих правил D , со средним риском ρ(θ, η) = E η R (θ, Ζ ) = ∫ R (θ, d ) d η(d ) . D

б) решающие правила поведения ϕ ∈ Φ , представляющие собой условные (по наблюдаемому значению выборки X = x ) смешанные стратегии статисти-

12

ка в исходной антагонистической игре, то есть условные распределения вероятностей на множестве решений A, со средним риском

ρ(θ, η) = E θ Eϕ L(θ, Ζ ) =

∫ ∫ L(θ, a ) d ϕ(a | x ) d Fx (x | θ).

X A

Очевидно, D ⊂ H , D ⊂ Φ и, с учётом эквивалентности способов рандомизации, можно использовать общее обозначение решающих правил δ ∈ D .

Упражнение Опишите множества нерандомизированных решающих правил d ∈ D , рандомизированных решающих правил η ∈ H и решающих правил поведения ϕ ∈ Φ в статистической игре с множеством решений A = { a1 , a 2 } и множеством выборок X = { x1, x2 }. Смешанные стратегии природы ξ ∈ Ξ , представляющие собой распределения вероятностей на множестве состояний природы Ω , называются априорными распределениями. Байесовский риск решающего правила δ ∈ D относительно априорного распределения ξ ∈ Ξ определяется как r (ξ, δ ) = Eξ ρ (Ζ, δ ) = ∫ ρ (θ, δ ) d ξ(θ) . Ω

3.

ОПТИМАЛЬНЫЕ РЕШАЮЩИЕ ПРАВИЛА

3.1. Принципы выбора оптимальных стратегий в статистической игре Естественное упорядочение решающих правил по величине риска: решающее правило δ1 не хуже правила δ2 , если ρ(θ, δ1 ) ≤ ρ(θ, δ 2 ), ∀θ ∈ Ω ; решающее правило δ1 лучше правила δ2 , если ρ(θ, δ1 ) ≤ ρ(θ, δ 2 ), ∀θ ∈ Ω , и ρ(θ' , δ1 ) < ρ(θ' , δ 2 ), θ'∈ Ω ; решающее правило δ1 эквивалентно правилу δ2 , если ρ(θ, δ1 ) = ρ(θ, δ 2 ), ∀θ ∈ Ω . Класс решающих правил C0 ⊂ D называют полным, если для любого правила, не принадлежащего этому классу, существует лучшее правило в C0 . Класс решающих правил C ⊂ D , C0 ⊂ C называют существенно полным, если для любого δ ∈ D \ C , существует δ'∈ D , которое не хуже, чем δ . Основным теоретико-игровым принципом выбора оптимального решающего правила δ ∈ D на основе упорядочения стратегий статистика по ве13

личине риска ρ(θ, δ) при неизвестной стратегии природы θ ∈ Ω , является выбор правила, минимизирующего максимальный риск. Решающее правило δ 0 называется минимаксным, если

sup ρ (θ, δ0 ) = inf sup ρ (θ, δ ) = v . θ∈Ω

δ∈D θ∈Ω

Оптимальная максиминная стратегия природы, называемая наименее благоприятным априорным распределением, ξ0 ∈ Ξ , имеет место, если

inf r (ξ0 , δ ) = sup inf r (ξ, δ ) = v .

δ∈D

ξ∈Ξ δ∈D

Полезным приёмом при отыскании оптимальных стратегий статистика в статистической игре с природой является упорядочение решающих правил по величине байесовского риска r (ξ, δ ) относительно некоторого априорного распределения ξ ∈ Ξ . Решающее правило δ ξ называется байесовским относительно ξ , если

r (ξ, δ ξ ) = inf r (ξ, δ ) = r * (ξ) . δ∈D

Выражение в правой части называют минимальным байесовским риском. Заметим, что если соответствующие внешние экстремумы не достигаются, то могут рассматриваться подходящие минимизирующие (максимизирующие) последовательности или ε -оптимальные стратегии. Если распределения FX ( x | θ) дискретны или абсолютно непрерывны при любых θ ∈ Ω , а пространства Ω и A компактны в смысле естественной метрики, задаваемой функцией потерь L (θ, a ) , то статистическая игра имеет значение (цену) v :

v = sup inf r (ξ, δ ) = v = inf sup r (ξ, δ ) = v ξ∈Ξ δ∈D

δ∈D ξ∈Ξ

и существуют оптимальные (или ε -оптимальные) стратегии обоих игроков.

Упражнения 1. Используя известные из общего курса теории игр методы решения матричных игр 2 × 2 и 2 × n (см. например [2]), решите задачу, поставленную в иллюстративном примере п.1.3: а) Найдите оптимальные стратегии первого и второго игроков в исход14

ной антагонистической игре Ω × A, L и значение этой игры v0 . б) Найдите минимаксное решающее правило δ 0 , наименее благоприятное априорное распределение ξ0 и значение игры v в статистической игре Ω × D , R ; поясните содержательный смысл различия между v0 и v. в) Используя решение упражнения п.2.2, постройте минимаксное решающее правило поведения ϕ 0 , эквивалентное по риску найденному в (б) минимаксному рандомизированному решающему правилу η0 . г) Пусть по многолетним наблюдениям известно, что в летние дни погода бывает хорошей в 75% случаев; найдите байесовское решающее правило δ ξ относительно соответствующего априорного распределения ξ . Опишите множество априорных распределений Ξ в рассматриваемой задаче, постройте график минимального байесовского риска r * ( ξ), ξ ∈ Ξ , и интерпретируйте результат, полученный в (б). 2. Пусть в условиях задачи, решённой в упр. 1, наблюдение случайной величины X (получение прогноза погоды) стоит 0,2 ед. Затратив 0,4 ед., можно получить прогноз с вероятностью правильного предсказания, равной 0,9 как для плохой, так и для хорошей погоды. Какой из видов прогноза следует предпочесть?

3.2. Геометрическая интерпретация статистической игры при конечном множестве Ω Если множество состояний природы конечно, Ω = {θ1 ,K, θ k }, то каждому решающему правилу δ ∈ D можно поставить в соответствие k -вектор риска y ( δ) = (ρ ( θ1 , δ),K, ρ ( θk , δ) ) T . Множеством рисков в статистической игре называется разбиение

{

}

S = y = ( y1 ,K, yk )T : ∀δ ∈ D , y j = ρ ( θ j , δ) , j = 1, k . Множество рисков S ∈ E k является выпуклой оболочкой множества нерандомизированных рисков

{

S0 = y = ( y1 ,K, y k ) T : ∀d ∈ D , y j = R ( θ j , d ) , j = 1, k

}

и описывает статистическую игру с конечным Ω с точностью до эквивалентных решающих правил. Крайние точки выпуклого множества S соответствуют нерандомизированным решающим правилам. 15

Для конечного Ω любое априорное распределение может быть представлено в виде k -вектора

ξ = ( ξ1 ,K, ξ k ) T с ξ j ≥ 0, j = 1, k , ∑kj =1 ξ j = 1 . Байесовский риск любого правила δ ∈ D относительно априорного распределения ξ равен

r ( ξ, δ) = ∑ j =1 ξ j ρ ( θ j , δ) = (ξ, y ( δ) ) k

и одинаков для всех точек гиперплоскости ( ξ, y ) = b . Байесовскому правилу δ ξ соответствует r * ( ξ) = inf δ∈D r (ξ, y (δ) ) = bξ . Поэтому все байесовские решающие правила относительно заданного ξ могут быть представлены точками границы выпуклого множества рисков S, общими с опорной гиперплоскостью ( ξ, y) = bξ . Величина минимального байесовского риска r * ( ξ) = bξ определяется координатами точки пересечения этой опорной гиперплоскости с прямой y1 = y 2 = K = y k (см. рис. 1). y 2 = ρ ( θ 2 , δ)

y1 = y2

ξ

( ξ, y) = bξ

S

bξ

δξ

0

bξ

y1 = ρ ( θ1 , δ)

Рис. 1 Из этой геометрической интерпретации следует, что для любого байесовского решающего правила δ ξ относительно заданного ξ существует хотя бы одно эквивалентное нерандомизированное байесовское правило d ξ (крайняя точка множества рисков S) относительно того же ξ . Точки пересечения границы множества

{

Q c = y = ( y1 ,K, yk )T : y j ≤ c, j = 1, k 16

}

с множеством рисков S соответствуют решающим правилам δ ∈ D , эквивалентным по максимальному риску max j ρ ( θ j , δ) . Поэтому минимаксные решающие правила δ0 найдутся как точки пересечения множества рисков S с наименьшим множеством Q c 0 , для которого c0 = inf Q c I S ≠ ∅ c (см. рис. 2). y 2 = ρ ( θ 2 , δ)

(ξ, y ) = c0

c0

δo

ξ0

S

Qc 0 0

c0 = bξ0 = maxξ bξ

y1 = ρ ( θ1 , δ)

Рис. 2 Величина c0 есть значение статистической игры (минимаксный риск) v. Из этой геометрической интерпретации следует, что минимаксное решающее правило δ0 , если оно существует, совпадает с байесовским решающим правилом δξ 0 относительно наименее благоприятного априорного распределения

ξ0 , причём c0 = bξ 0 = max ξ bξ , и что может не существовать нерандомизированное решающее правило (точка δ0 может не являться крайней точкой выпуклого множества S). Упражнения 1. Дайте геометрическую интерпретацию статистической игры иллюстративного примера п. 1.3. Покажите на соответствующих рисунках результаты решения упражнений 1 и 2 п.3.1. 2. Для случая Ω = { θ1 , θ2 } покажите на рисунках множества рисков S статистических игр с неединственным байесовским решающим правилом, игр с неединственным минимаксным решающим правилом.

4.

РЕДУКЦИЯ КЛАССА РЕШАЮЩИХ ПРАВИЛ

Существует ряд подходов к редукции общего класса D решающих правил в статистической игре и выделения некоторого полного (или существенно 17

полного) подкласса, в котором затем могут быть найдены оптимальные стратегии статистика. Здесь мы рассмотрим возможности замены в решающих правилах многомерного вектора выборки достаточной статистикой меньшей размерности и условия, при которых можно отказаться от рандомизации решающих правил. Приобретение навыков в построении достаточных статистик и выявления возможностей отказа от рандомизации облегчит последующее овладение практическими приёмами решения упражнений на отыскание байесовских и минимаксных решающих правил. Другим способам редукции класса решающих правил в статистических играх, таким, как применение принципа инвариантности и использование монотонных решающих правил, посвящены отдельные разделы данного пособия.

4.1. Достаточные статистики и их использование в статистических играх Пусть X - случайный вектор с распределением Pθ , θ ∈ Ω . Функция T от X называется достаточной статистикой для θ , если условное распределение X при известном значении T = t не зависит от θ . Говорят, что решающее правило δ (x ) основывается на статистике T (x ) , если δ ( x ) есть функция только от T (x ) , то есть δ ( x ) = δ ( x ' ) , когда T ( x ) = T ( x' ) . Если в статистической игре X есть наблюдаемый статистиком случайный вектор, принимающий значения в выборочном пространстве X , а T = t ( x ) есть достаточная статистика для θ , то множество решающих правил, основанных на T , образует существенно полный класс. Выявление достаточных статистик обеспечивается возможностью их факторизационного представления. Функция T = t ( x ) является достаточной статистикой для θ тогда и только тогда, когда плотность или функция вероятностей f X ( x | θ), θ ∈ Ω случайного вектора X представима в виде

f X ( x | θ) = g (t ( x ) , θ) h( x )

(1)

где g (⋅, ⋅ ) зависит от x только через функцию t ( x ) , а h (⋅) не зависит от θ . При наблюдении повторной выборки X = ( X 1 ,K , X n )T удобно, если распределения Pθ , θ ∈ Ω случайных величин X i , i = 1, n , таковы, что доста18

точная статистика T = (T1 ,K , Tk )T имеет фиксированную размерность k , не зависящую от объёма выборки n . Таким свойством обладают распределения, принадлежащие экспонентному семейству, то есть семейству распределений с плотностью или функцией вероятностей вида

⎡k ⎤ f X i ( xi | θ) = c( θ) h( xi ) exp ⎢ ∑ π j ( θ) u j ( xi )⎥ , i = 1, 2,K ⎣ j =1 ⎦

(2)

При этом, в силу факторизационного представления n ⎛n ⎞ t = (t1 ,K , tk ) = ⎜ ∑ u1 ( xi ) , K, ∑ u1 ( xi ) ⎟ i =1 ⎝ i =1 ⎠

T

T

(3)

Пример. Найдём достаточную статистику для повторной выборки X = ( X 1 ,K , X n )T из последовательности испытаний Бернулли с неизвестной вероятностью успеха θ ∈ [0 , 1] , то есть X i ∈ B (1, θ) , i = 1, n . Здесь f X i ( xi | θ) = θ xi (1 − θ)1− xi , xi = 0, 1 ,

n

f X ( x | θ) = f X 1 ,K, X n ( x1 ,K, xn | θ) = ∏ in=1 f X i ( xi | θ) = θ∑i =1 i (1 − θ) x

n − ∑in=1 x i

Очевидно, что в факторизационном представлении (1) n

g (t ( x ), θ) = θ∑i =1 i (1 − θ) x

n − ∑in=1 x i

, h ( x) ≡ 1

и достаточная статистика для θ имеет вид t ( x1 , K, xn ) = ∑in=1 xi . Легко убедиться также, что распределение Бернулли принадлежит экспонентному семейству (2) с c( θ) = 1 − θ , h ( xi ) ≡ 1, k = 1, πi ( θ) = ln θ − ln (1 − θ) , ui ( xi ) = xi . Следовательно, в силу (3) при любом объёме выборки n достаточная статистика будет скалярной, t = t1 = ∑in=1 xi . Найденная достаточная статистика будет иметь биномиальное распределение B ( n, θ) с f T (t | θ) = Ctn θ t (1 − θ) n − t , t = 0,1,K, n .

Упражнения 1. Пользуясь факторизационным представлением, найдите достаточную статистику для параметра θ в распределении Pθ на выборочном пространстве X , если X = ( X 1 ,K , X n )T есть повторная выборка объёма n : а. из распределения Пуассона P ( θ) , θ > 0 с функцией вероятностей f X i ( xi | θ) = θ xi e − θ / xi !, xi = 0,1, 2,K ;

19

б. из биномиального распределения B ( m , θ) , θ ∈ [0,1] , с известным параметром m и с функцией вероятностей f X i ( xi | θ) = C mxi θ xi (1 − θ) m − xi , xi = 0,1,K, m ; в. из нормального распределения N ( θ , σ2 ) с неизвестным средним θ и известной дисперсией σ 2 ; г. из нормального распределения N (μ , θ) с неизвестной дисперсией θ > 0 и известным средним μ ; д. из нормального распределения N (μ , σ 2 ) с неизвестным векторным параметром θ = (μ , σ2 )Τ , σ 2 > 0 ; е. из равномерного распределения U ( α , β) на интервале [α , β] , с плотностью f X i ( xi | α, β) = ( β − α) −1 при xi ∈ [α , β] и 0 – в остальных случаях. Рассмотрите следующие варианты: - известное значение β , неизвестное α = θ ; - известное значение α , неизвестное β = θ ; - неизвестный векторный параметр θ = ( α , β)Τ Каково будет распределение соответствующих достаточных статистик? 2. Покажите, что следующие семейства распределений являются экспонентными распределениями: а. семейство распределений Пуассона P ( θ) , θ > 0 ; б. семейство биномиальных распределений B ( m , θ) с известным параметром m и с θ ∈ (0,1) ; в. семейство нормальных распределений N (μ , σ 2 ) с неизвестным векторным параметром θ = (μ , σ2 )Τ , σ 2 > 0 . В каждом случае произведите явный выбор функций c ( θ) , h ( xi ) , π j ( θ) и u j (x ) ; найдите вид достаточной статистики T для повторной выборки X = ( X 1 ,K , X n )T объёма n .

4.2. Условия исключения рандомизации в статистических играх Если в статистической игре функция потерь L ( θ , a ) непрерывна и выпукла по a ∈ A при любом θ ∈ Ω и L ( θ , a ) → ∞ при a → ∞ , то класс D нерандомизированных решающих правил является существенно полным. При этом для любого решающего правила δ ( x ) ∈ D можно найти не худшее нерандомизированное правило d ∗ ∈ D как d ∗ ( x ) = E δ ( x ) . Здесь усреднение производится по соответствующей смешанной стратегии статистика:

20

- при δ ≡ η ∈ Η , d ∗ ( x ) = Eη d ( x ) = ∫D d ( x ) d η( d ) ; - при δ ≡ ϕ ∈ Φ , d ∗ ( x ) = E ϕ ( a | x )) = ∫A a d ϕ ( a | x ) .

Пример. Пусть множество выборок X содержит только n точек, невыпуклая функция L ( θ , a ) равна нулю, если a − θ ≤ α и равна единице в остальных случаях, а Ω = A и совпадает с конечным отрезком вещественной прямой, имеющим длину, превышающую 2 n α . Очевидно, здесь для нерандомизированных решающих правил минимаксный риск равен единице, поскольку природа может выбрать θ ∈ Ω так, чтобы ai − θ > α для любого решения статистика ai = d ( xi ) ∈ A, i = 1, n . Однако, допуская рандомизацию, мы можем уменьшить минимаксный риск, даже не используя результаты наблюдений X : если наше случайно выбираемое решение a будет равномерно распределено по всему отрезку A = Ω , то максимальный риск составит 1 − α (длину отрезка A ). Если в статистической игре множества Ω и A конечны, а функции FX ( x | θ) абсолютно непрерывны для любого θ ∈ Ω , то для всякого решающего правила δ∈ D существует эквивалентное нерандомизированное правило d ∈ D , то есть класс нерандомизированных решающих правил является существенно полным.

Упражнения 1. Пусть Ω = A = [0,1) и L ( θ , a ) = ( θ − a ) 2 . Пусть для каждого θ ∈ Ω наблюдаемая случайная величина X имеет геометрическое распределение с функцией вероятностей f X ( x | θ) = (1 − θ) θ x , x = 0,1, 2,K Найдите нерандомизированное решающее правило d ∈ D , которое имеет меньший риск, чем рандомизированное решающее правило η ∈ Η , выбирающее d1 ( x ) = x / 2 и d 2 ( x ) = 1 / 2 с вероятностями 1 / 2 каждое. Найдите функции риска R ( θ, d ) и ρ( θ, η) . 2. Пусть Ω = A = [0,1] и L ( θ , a ) = ( θ − a ) 2 . Наблюдаемая случайная величина имеет распределение Бернулли X ∈ B (1, θ) , с неизвестной вероятностью успеха θ ∈ Ω . Найдите нерандомизированное решающее правило d ∈ D , не худшее рандомизированного правила η ∈ Η из упр. 1. Найдите функции риска R ( θ, d ) и ρ( θ, η) . 3. (Ходжес и Леман [14]). Пусть Ω = A = [0,1] и пусть X = {0, 1, K , n} , причём наблюдаемая случайная величина X имеет биномиальное распределение B ( n , θ) с известным n и неизвестным θ ∈ Ω . Функция по21

s

терь L ( θ , a ) = θ − a , 0 < s < 1 , является вогнутой функцией от θ − a . Покажите, что в такой задаче класс нерандомизированных решающих правил не является существенно полным.

5.

ПОСТРОЕНИЕ ОПТИМАЛЬНЫХ РЕШАЮЩИХ ПРАВИЛ

5.1. Построение байесовских решающих правил Если оптимальные (минимаксные) решающие правила в статистической игре существуют, то они принадлежат классу байесовских решающих правил. Кроме того, байесовские стратегии находят непосредственное применение во многих статистических задачах, содержащих априорную вероятностную информацию о неизвестном состоянии природы. Нерандомизированные байесовские решающие правила d ξ ∈ D составляют существенно полный подкласс в классе всех байесовских правил δξ ∈ D ξ ⊂ D относительно данного априорного распределения ξ ∈ Ξ . Чтобы построить нерандомизированное байесовское решающее правило d ξ относительно данного априорного распределения ξ , то есть обеспечить min d ∈D r ( ξ , d ) , следует при каждом наблюдении случайной величины (случайного вектора) X = x ∈ X выбирать решение aξ = d ξ ( x ) ∈ A , минимизирующего апостериорный условный риск rX ( ξ , a ) = Eξ [L( θ, a ) | x ] = ∫ L( θ , a ) dξ ( θ | x ) Ω

Здесь функция апостериорного распределения ξ ( θ | x ) характеризуется плотностью или функцией вероятностей ζ ( θ | x ) , вычисляемой по формуле Байеса ζ (θ | x ) =

ζ ( θ) f X ( x | θ) , f ( x)

f ( x) =

∫ f X ( x | θ) dξ(θ) ,

Ω

где ζ(θ) , f X ( x | θ) , f (x ) - это плотности или функции вероятностей априорного распределения состояний природы θ , условного распределения наблюдаемой случайной величины X при данном θ ∈ Ω и маргинального (безусловного) распределения X , соответственно. Заметим, что байесовский риск решающего правила a = d (x ) и апостериорный условный риск связаны очевидным соотношением r ( ξ, d ) = ∫ rX (ξ, d ( x ) ) dF ( x ) , X

22

где F (x ) - функция безусловного распределения для X . Минимальный байесовский риск r ∗ ( ξ) = r ( ξ , d ξ ) является вогнутой функцией от ξ ∈ Ξ .

Пример 1. Пусть в исходной антагонистической игре Ω = {θ1 , θ2 } , A = {a1 , a2 } , а функция потерь описывается матрицей

L(θ, a ) :

A

a1

a2

θ1

0

w12

θ2

w21

0

Θ

Распределения вероятностей наблюдаемой случайной величины X характеризуются плотностями или функциями вероятностей f i ( x ) ≡ f X ( x | θi ) , i = 1, 2 . Соответствующая статистическая игра – это задача проверки простой гипотезы H1 : θ = θ1 против простой гипотезы H 2 : θ = θ2 при стоимости ошибок w12 , w21 . Найдём байесовское решающее правило относительно априорного распределения ξ , заданного априорной вероятностью ζ1 ∈ [0,1] состояния природы θ = θ1 . По формуле Байеса ξ{θ = θi } f i ( x ) ξ{θ = θi | x} = , i = 1, 2 , ξ{θ = θ1} f1 ( x ) + ξ{θ = θ2 } f 2 ( x ) то есть ζ{θ1 | x} =

ζ1 f1 ( x ) , ζ1 f1 ( x ) + (1 − ζ1 ) f 2 ( x )

ζ{θ2 | x} =

(1 − ζ1 ) f 2 ( x ) . ζ1 f1 ( x ) + (1 − ζ1 ) f 2 ( x )

Апостериорный условный риск в этой задаче равен rX ( ξ , ai ) = L ( θ1 , ai ) ζ ( θ1 | x ) + L ( θ2 , ai ) ζ ( θ2 | x ) , i = 1, 2 , или rX ( ξ , a1 ) = w21 ζ ( θ2 | x ) , rX ( ξ , a2 ) = w12 ζ ( θ1 | x ) . При любом X = x следует принимать aξ = a1 , если rX ( ξ , a1 ) < rX ( ξ , a2 ) и aξ = a1 в случае обратного неравенства. Таким образом, байесовское решающее правило относительно ξ при любом заданном значении ζ1 ∈ [0,1] имеет вид

23

w12 ζ1 ⎧ ⎪a1 , ïðè Λ ( x ) = f 2 ( x ) / f1 ( x ) < w (1 − ζ ) ≡ Cξ , 21 1 ⎪ = aξ = d ξ ( x ) = ⎨ a1 èëè a2 , ⎪ a , > ⎪ 2 ⎩ Функцию Λ ( x ) = f 2 ( x ) / f1 ( x ) называют отношением правдоподобия. Пример 2. Пусть Ω = A ∈ E1 и необходимо оценить неизвестный параметр θ ∈ Ω семейства распределений FX (x | θ), θ ∈ Ω , объявляя решение a ∈ A при квадратичной функции потерь L ( θ, a ) = c ( θ − a ) 2 , после наблюдения случайной величины X = x ∈ X . Найдём в такой задаче статистического оценивания байесовское решающее правило относительно априорного распределения ξ , характеризуемого плотностью ζ(θ) . При любом значении X = x имеем rX ( ξ , a ) = ∫Ω L( θ , a ) ζ ( θ | x ) d θ , где

ζ( θ | x ) = ζ( θ) f X ( x | θ) / f ( x ), f ( x ) = ∫Ω f X ( x | θ) ζ( θ) d θ . В нашем примере rX ( ξ, a ) = c ∫Ω ( θ − a ) 2 ζ( θ | x ) d θ . Минимизируем эту функцию, дифференцируя по a и приравнивая производную нулю, что даёт aξ = d ξ ( x ) =

∫Ω θ ζ(θ | x ) dθ = θ ζ(θ | x ) d θ = c E (θ | x ) . ξ ∫ ∫Ω ζ(θ | x ) dθ Ω

Из проделанных выкладок следует, что

[ ]

rX ( ξ, a ) = Eξ θ2 | x − c (Eξ [θ | x ]) 2 = Varξ ( θ | x ) , а минимальный байесовский риск равен

[

]

r ∗ ( ξ) = r ( ξ, aξ ) = E Varξ ( θ | x ) , где математическое ожидание берётся по безусловному распределению случайной величины X . Упражнения 1. Пользуясь приведенными соотношениями, найдите байесовское решающее правило в задаче иллюстративного примера п. 1.3, если известна априорная вероятность плохой погоды ζ1 ∈ [0,1] в летние дни. 2. Пусть в статистической игре множества Ω и A конечны, Ω = A = {1,K, k} , а функция потерь имеет вид (так называемая задача 24

классификации): L (i, j ) = 1 при j ≠ i , L (i, j ) = 0 при j = i , i, j = 1, k . Найдите байесовское решающее правило относительно заданного априn орного распределения ξ с ξ(i ) = ζ i , ζ i ≥ 0 , i = 1, k , ∑i =1 ζi = 1 . 3. Контроль качества продукции в текстильном производстве. Нужно оценить среднее число дефектов θ на 1 метр ткани в данной партии продукции на основании подсчёта числа дефектов x на N метрах ткани в случайным образом отобранных рулонах, при квадратичной функции потерь. Здесь Ω = [ 0, ∞ ), A = Ω , L ( θ, a ) = k ( θ − a ) 2 , а наблюдаемая случайная величина X = x ∈ X = 0,1, 2,K имеет распределение Пуассона P ( N θ) с функцией вероятностей f X ( x | θ) = e − Nθ ( Nθ) x / x !, x = 0,1, 2,K Пусть по результатам многолетнего статистического контроля известно среднее число дефектов θ0 на метр ткани, характеризующее данный технологический процесс, и априорное распределение ξ неизвестного параметра θ ∈ Ω имеет плотность ζ( θ) = e − θ / θ0 / θ0 , 0 ≤ θ < ∞ . а. Найдите байесовское решающее правило относительно ξ . б. Пусть потеря L ( θ, a ) исчисляется в рублях, а стоимость подсчёта числа дефектов на каждом метре ткани составляет c рублей. Найдите минимальный байесовский риск r ∗ и определите оптимальный объём контроля N ∗ , при котором суммарные затраты будут минимальными. 4. Найдите байесовское решающее правило относительно заданного в задаче примера 2 априорного распределения, если функция потерь имеет вид: а) L ( θ, a ) = γ ( θ) ( θ − a ) 2 , γ ( θ) > 0 ; б) L ( θ, a ) = θ − a .

5.2. Построение минимаксных решающих правил (решение статистической игры) Непосредственное построение минимаксных решающих правил по определению, приведенному в п. 3.1, обычно бывает затруднительным. Поэтому используют два основных подхода к решению статистической игры. 1. Первый подход к отысканию минимаксных решающих правил основан на свойствах наименее благоприятного априорного распределения. Теорема 1. Если статистическая игра имеет значение и если ξ0 есть наименее благоприятное априорное распределение состояний природы θ ∈ Ω , то каждое минимаксное решающее правило δ0 ∈ D будет байесовским отно-

25

сительно ξ0 . Если множество априорных распределений Ξ имеет достаточно простую структуру - например. при Ω = {θ1 , θ2 } имеем Ξ = { ζ1 , ζ 2 = 1 − ζ1 : ζ1 ∈ [0,1] },

то нетрудно найти наименее благоприятное априорное распределение. используя вогнутость минимального байесовского риска r ∗ (ξ) . Часто можно сделать некоторое разумное предположение относительно ξ0 , найти соответствующее байесовское решающее правило δξ 0 , а затем убедиться, является ли оно минимаксным, пользуясь следующим утверждением. Теорема 2. Если решающее правило δ0 ∈ D является байесовским относительно некоторого априорного распределения ξ0 и для любого θ ∈ Ω имеет место неравенство ρ ( θ, δ0 ) ≤ r ( ξ0 , δ0 ) , то статистическая игра имеет значение v = r ( ξ0 , δ0 ) , δ0 есть минимаксное решающее правило, а ξ0 - наименее благоприятное априорное распределение.

Иногда удобно пользоваться более общей формулировкой этой теоремы. Теорема 2а. Пусть в статистической игре G0 распределения вероятностей Pθ на X принадлежат некоторому подсемейству P0 ⊂ P общего семейства вероятностных мер P = { Pθ , θ ∈ Ω } и пусть для этой игры имеется минимаксное решающее правило δ0 ∈ D , а v0 - значение игры. Тогда, если ρ ( θ, δ0 ) ≤ v0 при любом Pθ ∈P , то решающее правило δ0 будет минимаксным и для более общей статистической игры G , в которой Pθ ∈P .

Если наименее благоприятное априорное распределение ξ0 не существует, то может быть предпринята попытка построить соответствующую максимизирующую последовательность априорных распределений. Теорема 3. Пусть { ξ n , n = 1, 2,K} - последовательность априорных

распределений на Ω и { δ ξ n , n = 1, 2,K} - последовательность соответствующих байесовских решающих правил с байесовскими рисками { rn = r ( ξn , δ ξ n ) } . Если lim n → ∞ rn = r и существует такое решающее правило

δ0 ∈ D , что для любого θ ∈ Ω выполняется неравенство ρ ( θ, δ0 ) ≤ r , то δ0 26

есть минимаксное решающее правило, а v = r есть значение игры. 2. Второй подход к отысканию минимаксных решающих правил основан на понятии уравнивающего решающего правила, то есть такого решающего правила δ0 ∈ D , для которого ρ ( θ, δ0 ) = const при любом θ ∈ Ω . Теорема 4. Если решающее правило δ0 ∈ D является уравнивающим с риском ρ ( θ, δ0 ) = ρ0 и если оно является байесовским относительно некоторого априорного распределения ξ0 , то δ0 есть минимаксное решающее правило, а ξ0 - наименее благоприятное априорное распределение, причём значение игры равно v = ρ0 . Теорема 5. Если решающее правило δ0 ∈ D является уравнивающим с риском ρ0 и если существует последовательность априорных распределений { ξ n } такая, что lim n → ∞ r ( ξn , δξ n ) = ρ0 , то δ0 есть минимаксное решающее

правило. Пример. Вероятность успеха θ ∈ Ω = [0,1] в распределении Бернулли B (1, θ) неизвестна. Требуется выбрать решение a ∈ A = [0,1] на основании одного наблюдения случайной величины X ∈ B (1, θ) при квадратичной функции потерь L ( θ, a ) = ( θ − a ) 2 . Соответствующая статистическая игра может служить, например. математической моделью следующей прикладной задачи: оценить вероятность θ безотказной работы в течение гарантийного срока для некоторых изделий, выпускаемых предприятием, называя оценку a на основании испытания одного образца изделия (с исходом X = x1 - безотказная работа или X = x2 - отказ) при потере, пропорциональной квадрату ошибки оценивания. Таким образом, мы имеем Ω = A = [0, 1], L ( θ, a ) = ( θ − a ) 2 , X = {x1 , x2 } , f X ( x1 | θ) = θ , f X ( x2 | θ) = 1 − θ . Выпуклость функции потерь позволяет сразу исключит рандомизацию (см. п. 5.1). Рассмотрим некоторое нерандомизированное решающее правило a = d (x ) . Здесь любое d ∈ D можно представить точкой ( α, β) в единичном квадрате 0 ≤ α, β ≤ 1 в том смысле, что α = d ( x1 ) ∈ A, β = d ( x2 ) ∈ A . Непосредственный выбор наименее благоприятного априорного распределения ξ0 на Ω = [0, 1] затруднителен. Поэтому будем искать среди d ∈ D уравнивающее решающее правило. Функция риска

27

имеет вид:

R ( θ, d ) ≡ R ( θ, ( α, β)) = ∑ L( θ, d ( x )) f ( x | θ) = x

= L( θ, α) f X ( x1 | θ) + L( θ, β) f X ( x2 | θ) = ( θ − α) 2 θ + ( θ − β) 2 (1 − θ) = = θ2 (1 − 2 α + 2 β) + θ ( α 2 − 2 β − β 2 ) + β 2 . Если решающее правило ( α, β) является уравнивающим, то его риск не зависит от θ ∈ Ω и коэффициенты при θ и θ2 в выражении для R ( θ, ( α, β)) должны быть равны нулю: 1 − 2 α + 2 β = 0 , α2 − 2 β − β2 = 0 . Решая эту систему, находим единственное уравнивающее решающее правило d 0 ( x ) : d 0 ( x1 ) = α0 = 3 / 4 , d 0 ( x2 ) = β0 = 1 / 4 . Оно имеет постоянный риск, равный β02 = 1 / 16 . В силу Теоремы 4 это решающее правило будет минимаксным, если оно является байесовским относительно некоторого априорного распределения ξ . Для любого априорного распределения ξ на Ω = [0, 1] , имеющего первые два момента E θ = m1 и E θ2 = m2 , получим байесовский риск произвольного решающего правила ( α, β) : r ( ξ , ( α , β)) = Eξ R( θ, ( α , β)) = = m2 (1 − 2 α + 2 β) + m1 ( α2 − 2 β − β 2 ) + β 2 . Байесовское решающее правило d ξ (x ) относительно ξ будет описываться точкой ( αξ , β ξ ) , минимизирующей r ( ξ , ( α , β)) . Значения α = α ξ и β = β ξ найдём из системы уравнений ∂r = 2 m1 α − 2 m2 = 0 , ∂α

∂r = 2 (1 − m1 ) β − 2 ( m1 − m2 ) = 0 . ∂β

Таким образом, d ξ ( x ) : d ξ ( x1 ) = α ξ = m2 / m1 , d ξ ( x2 ) = β ξ = ( m1 − m2 ) /(1 − m1 ) . Уравнивающее решающее правило d 0 будет байесовским относительно ξ при d 0 ( x ) = d ξ ( x ) . Для этого необходимо и достаточно, чтобы m1 = 1 / 2 , m2 = 3 / 8 . Итак, минимаксное решающее правило d 0 ( x ) в нашей задаче состоит в том, чтобы при X = x1 оценивать θ как 3 / 4 , а при X = x2 - как 1 / 4 . Значение игры равно v = 1 / 16 и любое априорное распределение ξ на [0, 1] с m1 = 1 / 2 , 28

m2 = 3 / 8 является наименее благоприятным. 1.

2.

3.

4.

Упражнения Дайте геометрическую интерпретацию (при конечном Ω = {θ1 , θ2 } ) Теорем 2 и 3 для случая, когда среди минимаксных решающих правил нет уравнивающих правил. Пусть Ω = {θ1 , θ2 } , A = [0, π / 2] , а функция потерь задаётся соотношениями L ( θ1 , a ) = − cos a , L ( θ2 , a ) = − sin a . Наблюдаемая случайная величина имеет распределение Бернулли, X ∈ B (1, θ) , с θ = θ1 = 1 / 3 или θ = θ2 = 2 / 3 в зависимости от состояния природы. а. Представьте класс нерандомизированных решающих правил d ∈ D как подмножество плоскости α0 β , принимая α = d ( x = 1) , β = d ( x = 0) . б. Найдите R ( θ1, d ) и R ( θ2 , d ) для всех d ∈ D . в. Найдите байесовское решающее правило d 0 относительно априорного распределения ξ0 , дающего вероятность 1 / 2 каждому из состояний природы. г. Покажите, что d 0 есть минимаксное решающее правило и что ξ0 является наименее благоприятным априорным распределением. Найдите значение игры v . Пусть Ω = {θ1 , θ2 } , A = [0, 1] , а функция потерь задаётся соотношениями L ( θ1 , a ) = a 2 , L ( θ2 , a ) = 1 − a . Проводится одно испытание Бернулли X ∈ B (1, θ) с вероятностью успеха θ = θ1 = 1 / 3 или θ = θ2 = 2 / 3 . а. Покажите, что в этой статистической игре класс нерандомизированных решающих правил d ∈ D является существенно полным и представьте его как подмножество плоскости α0 β . б. Найдите риски R(θ1 , ( α , β)) и R( θ2 , ( α , β)) для ( α, β) ∈ D . в. Найдите класс всех нерандомизированных байесовских решающих правил и изобразите его на рисунке, как подмножество в D . г. Найдите минимаксное решающее правило в классе всех байесовских решающих правил. Найдите наименее благоприятное априорное распределение и значение игры. Пусть θ ∈ Ω = [0, 1) , A = [0, 1], L ( θ, a ) = ( θ − a ) 2 / (1 − θ) . Наблюдаемая случайная величина X имеет геометрическое распределение с функцией вероятностей f X ( x | θ) = (1 − θ) θ x , x = 0,1, 2,K а. Запишите функцию риска R ( θ, d ) для решающего правила d ∈ D в

29

виде ряда по степеням θ . б. Покажите, что единственное нерандомизированное уравнивающее правило есть d 0 (0) = 1 / 2 , d 0 (1) = d 0 ( 2) = K = 1 . в. Покажите, что нерандомизированное решающее правило d ∈ D является байесовским относительно априорного распределения ξ тогда и только тогда, когда d (i ) = μi +1 / μi , i = 0,1, 2,K , где μi - начальные моменты распределения ξ . г. Покажите, что решающее правило d 0 в (б) является ε -байесовским, а следовательно – минимаксным. Найдите значение игры. 5. (Г.Н. Дюбин [13]). Задана последовательность испытаний Бернулли с неизвестной статистику вероятностью успеха θ . После первого успеха статистику сообщается, на каком шаге k это произошло. Таким образом, наблюдаемая случайная величина K имеет геометрическое распределение с функцией вероятностей f K ( k | θ) = θ (1 − θ) k , k = 0,1, 2,K и стратегиями природы являются числа θ ∈ Ω = (0, 1] . Статистик должен принять решение a ∈ A = (0, 1] при квадратичной функции потерь L ( θ, a ) = ( θ − a ) 2 . Найдите минимаксное решающее правило. наименее благоприятное априорное распределение и значение игры. 6. Оценка вероятности безотказной работы изделий. Пусть вероятность θ ∈ Ω = (0, 1) безотказной работы в течение гарантийного срока работы изделий, выпускаемых промышленным предприятием, неизвестна. Оценку этой вероятности a ∈ A = [0, 1] при квадратичной функции потерь L ( θ, a ) = k ( θ − a ) 2 необходимо сделать на основании независимых испытаний n экземпляров изделий. Исходы этих испытаний представляют собой повторную выборку объёма n , X = ( X 1 ,K , X n )T из распределения Бернулли, X i ∈ B (1, θ) , i = 1, n , с вероятностью успеха θ . а. Покажите, что T = ∑in=1 X i есть достаточная статистика для θ и что случайная величина T имеет биномиальное распределение B ( n, θ) . б. Найдите байесовское решающее правило d ξ (t ) = d α,β (t ) относительно априорного бета-распределения, имеющего плотность ζ( θ) =

Γ( α + β) α −1 θ (1 − θ) β −1 , α > 0 , β > 0 . Γ( α) Γ(β) 30

Указания. 1. Покажите, что апостериорное распределение, с плотностью ζ( θ | t ) , есть также бета-распределение. 2. Для случайной величины. имеющей бета-распределение с параметрами α > 0 , β > 0 , математическое ожидание равно α / ( α + β) . в. Покажите, что в этой статистической игре класс нерандомизированных решающих правил d (t ) , d ∈ D , основанных на достаточной статистике, является существенно полным. г. Найдите функцию риска R ( θ, d α,β ) и определите параметры α = α0 и

β = β0 , при которых байесовское решающее правило d α,β будет уравнивающим. д. Запишите минимаксное решающее правило d 0 ( x ) . определите наименее благоприятное априорное распределение и значение игры. Сравните полученные результаты при n = 1 с решением задачи, рассмотренной в примере. е. Найдите оптимальный объём выборки n в случае, если стоимость испытания каждого экземпляра изделия равна c . 7. (Ходжес и Леман [14]). Пусть X 1 ,K , X n - независимые случайные величины, одинаково распределённые на [0, 1] , причём их распределение полностью неизвестно, то есть, Pθ ∈ P , где P - общее семейство распределений на [0, 1] . Пусть E X i = θ и задача состоит в получении оценки a неизвестного математического ожидания θ при квадратичной функции потерь L ( θ, a ) = ( θ − a ) 2 . Используя решение упр. 6 и Теорему 2а, покажите, что в этой задаче непараметрического статистического оценивания минимаксное решающее правило имеет вид n ∑ i =1 xi + n / 2 a = d0 ( x) = .

n+ n

8. Пусть Ω = A = Ε1 , L ( θ, a ) = ( θ − a ) 2 и, наблюдая повторную выборку X = ( X 1 ,K , X n )T объёма n из нормального распределения N ( θ , σ 2 ) с известной дисперсией σ 2 , статистик должен принять решение a ∈ A о неизвестном среднем θ ∈ Ω . а. Покажите, что статистика T = ∑in=1 X i является достаточной для θ и

31

найдите её распределение. б. Покажите, что в этой статистической игре класс нерандомизированных решающих правил d (t ) , основанных на достаточной статистике, является существенно полным. в. Найдите байесовские решающие правила {d ξ } относительно последовательности нормальных априорных распределений {ξσ 0 } с нулевым средним и дисперсией σ02 → ∞ . Определите соответствующую последовательность минимальных байесовских рисков {r ∗ ( ξσ 0 )} . г. Найдите минимаксное решающее правило d 0 ( x ) и значение игры v . 9. Пусть θ ∈ Ω = (0, ∞ ) , A = [0, ∞ ) , L ( θ, a ) = ( θ − a ) 2 / θ и статистик должен принять решение a ∈ A после наблюдения повторной выборки X = ( X 1 ,K , X n )T объёма n из распределения Пуассона P (θ) с неизвестным параметром θ ∈ Ω . а. Покажите, что среднее арифметическое d 0 ( x ) = ∑in=1 xi / n есть уравнивающее решающее правило. б. Найдите байесовские решающие правила d ξ (t ) = d α,β (t ) относительно априорных гамма-распределений G ( α, β) с плотностью (для θ > 0 ): ζ( θ) =

β α α −1 −β θ θ e , α > 0, β > 0 . Γ( α)

Указания. 1. Покажите, что апостериорное распределение, с плотностью ζ( θ | x ) , есть также гамма-распределение. 2. Для случайной величины. имеющей гамма-распределение с параметрами G ( α, β) , математическое ожидание равно α / β , а дисперсия равна α / β 2 . в. Покажите, что решающее правило d 0 из (а) есть ε -байесовское, а следовательно – минимаксное решающее правило. Найдите значение игры. 10. Обнаружение радиолокационной цели. Пусть результаты наблюдений величины сигнала на выходе приёмника радиолокационной станции в моменты времени t1 , K, tn описываются случайным вектором X = ( X 1 ,K , X n )T с X i = θ + Z i , где Z i , i = 1, n , это независимые случайные величины ("шум"). имеющие одинаковое нормальное распределе32

ние N ( θ , σ 2 ) с известной дисперсией σ2 и нулевым средним. θ - "полезный" сигнал, причём θ = θ0 = 0 соответствует отсутствию цели в зоне обзора, а θ = θ1 > 0 соответствует наличию цели. Таким образом, здесь Ω = {θ0 , θ1} , а множество решений статистика состоит из двух элементов A = {a0 , a1} , означающих: a0 - цель не обнаружена, a1 - цель обнаружена. Если "ложная тревога" (принятие решения a1 при θ = θ0 ) приводит к потере, равной w > 0 , а пропуск цели (принятие решения a0 при θ = θ1 ) – к потере, равной u > 0 , то функцию потерь можно представить в виде матрицы

L(θ, a ) :

A

a0

a1

θ0

0

w

θ1

u

0

Θ

а. Показать, что достаточной статистикой для неизвестного состояния природы θ будет T = ∑in=1 X i / n = X ; найти распределение случайной величины T . б. Найти байесовское решающее правило d ξ относительно априорного распределения, описываемого вектором ξ = (1 − ζ , ζ )Τ , где ζ ∈ [0 , 1] есть априорная вероятность появления цели , то есть, ζ = ξ( θ1 ) . Выразить это байесовское решающее правило в виде простого "порогового" соотношения для наблюдаемого значения достаточной статистики T = t . в. Найти риск r ∗ ( ξ) = r ( ξ , d ξ ) этого байесовского решающего правила. г. Показать, что нерандомизированные решающие правила, основанные на достаточной статистике, составляют в этой статистической игре существенно полный класс. д. Найти минимаксное решающее правило, наименее благоприятное априорное распределение и значение игры, в частности, для случая w = u .

6.

ПРИНЦИП ИНВАРИАНТНОСТИ В СТАТИСТИЧЕСКИХ ИГРАХ

При выборе оптимальных стратегий в статистических играх, обладающих некоторыми свойствами симметрии, то есть инвариантных относительно 33

подходящей группы преобразований, естественно ограничиться подклассом соответственно симметричных (инвариантных) решающих правил. Множество преобразований g ∈G , определённых на непустом пространстве C , является группой. если оно замкнуто относительно композиции и обратного преобразования. Статистическую игру называют инвариантной относительно некоторой группы преобразований G над выборочным пространством X , если 1. Семейство функций распределения FX (x | θ) , θ ∈ Ω , инвариантно относительно G , то есть для ∀g ∈G и ∀θ ∈ Ω существует единственный элемент θ'∈ Ω , θ' ≡ g ( θ) такой, что FX ( g ( x ) | g ( θ)) = FX ( x | θ) ; преобразования g над пространством Ω составляют группу G . 2. Функция потерь L ( θ , a ) инвариантна относительно G , то есть для

∀g ∈G и ∀a ∈ A существует единственный элемент a '∈ A, a ' ≡ g ( a ) такой, что L ( g ( θ) | g ( a )) = L ( θ , a ) ; преобразования g над пространством A составляют группу G . В инвариантной статистической игре нерандомизированное решающее правило d ∈ D è ⊂ D называется называют инвариантным относительно группы G , если d ( g ( x )) = g ( d ( x )) для ∀g ∈G и ∀x ∈ X . Инвариантным рандомизированным решающим правилом η ∈ Η è ⊂ Η называют соответствующее распределение вероятностей на D è ⊂ D . Наконец, решающее правило поведения ϕ ∈ Φ è ⊂ Φ , описываемое функцией распределения ϕ ( a | x ) на A при x ∈ X , называется инвариантным относительно G , если ϕ ( g ( a ) | g ( x )) = = ϕ (a | x ) . Заметим, что если группа G преобразований над A содержит только линейные преобразования вида g ( a ) = B a + c , то инвариантные нерандомизированные решающие правила образуют существенно полный класс среди всех инвариантных правил. Два состояния природы θ1 , θ2 ∈ Ω называются эквивалентными, если существует такое преобразование g ∈G , что θ1 = g ( θ2 ) . Это соотношение эквивалентности разбивает множество Ω на так называемые орбиты Ω∗ . Если статистическая игра инвариантна относительно группы G , то функция риска 34

любого инвариантного решающего правила δ ∈ D è ⊂ D постоянна на орбитах, то есть ρ ( θ , δ) = ρ ( g ( θ) , δ) для ∀θ ∈ Ω∗ , ∀g ∈G . В ряде случаев Ω∗ ≡ Ω и это делает инвариантные правила уравнивающими, что позволяет отыскивать инвариантное минимаксное решающее правило как наилучшее инвариантное правило, то есть такое δ 0 ∈ D è , что ρ ( θ , δ0 ) = inf δ∈D è ρ ( θ , δ) .

Теорема 1. Пусть статистическая игра инвариантна относительно конечной группы G . Тогда любое инвариантное минимаксное решающее правило является минимаксным. Упражнения 1. Пусть случайная величина X имеет нормальное распределение, X ∈ N (θ ,1) , с неизвестным средним θ и единичной дисперсией, Ω = A = Ε1 и L ( θ, a ) = ( θ − a ) 2 . а. Покажите, что статистическая игра инвариантна относительно конечной группы переносов g c ( x ) = x + c . Найдите g c (θ) и g c ( a ) . б. Найдите вид инвариантных нерандомизированных решающих правил. Покажите, что они являются линейными функциями от x . 2. Пусть случайная величина X имеет биномиальное распределение B (n, θ) , где n известно, а θ ∈ Ω = [0, 1] . Предположим также. что A = [0, 1] и L ( θ, a ) = W ( θ − a ) есть некоторая чётная функция от θ − a . а. Покажите, что статистическая игра инвариантна относительно конечной группы преобразований G = {e, g} , где e - тождественное преобразование и g ( x ) = n − x . Найдите группы G и G . б. Найдите вид инвариантных нерандомизированных решающих правил. 3. (Фергюсон [6]). Вероятность θ ∈ Ω = [0, 1] успеха в единственном испытании Бернулли, X ∈ B (1, θ) , неизвестна. Пусть в этой задаче A = [0, 1] , L ( θ, a ) = θ − a . Найдите минимаксное решающее правило и значение соответствующей статистической игры, используя принцип инвариантности. Указания. 1. Покажите, что эта статистическая игра инвариантна относительно конечной группы G = {e, g} , с g ( x ) = 1 − x ; опишите группы преобразований G и G . 2. Покажите, что при решении этой статистической игры можно ограничиться инвариантными нерандомизированны35

ми правилами. Запишите выражение для риска R ( θ , d ) , определив решающее правило d ∈ D è в виде точки на [0, 1] ; воспользуйтесь симметрией функции риска относительно θ = 1/ 2 . 3. Определите минимаксное решающее правило d 0 ∈ D è в виде точки на [0, 1] , дающей inf d supθ R ( θ , d ) , и запишите значение игры. 4. Пусть в упр. 3 функция потерь L ( θ, a ) = ( θ − a ) 2 (см. Пример п. 4.2). Найдите минимаксное решающее правило и значение игры, используя принцип инвариантности. 5. Пусть по одному разу подбрасываются две монеты: одна правильная (с вероятностью выпадения герба, равной 1 / 2 ), а другая гнутая (с неизвестной вероятностью θ выпадения герба, θ ∈ [0, 1] ). Необходимо оценить θ , как a ∈ A = [0, 1] , при квадратичной функции потерь L ( θ, a ) = ( θ − a ) 2 , не зная, какая из монет гнутая. Найдите минимаксное решающее правило и значение игры, используя принцип инвариантности. Утверждение Теоремы 1 справедливо и тогда, когда G есть компактная топологическая группа. Важным случаем статистической игры, инвариантной относительно бесконечной группы преобразований, является задача оценивания параметра сдвига. Действительный параметр θ ∈ Ω называют параметром сдвига для распределения случайной величины X , если FX ( x | θ) = F ( x − θ) , где F есть некоторая функция распределения. В статистической игре оценивания неизвестного параметра сдвига θ предполагается, что функция потерь зависит только от a − θ , L ( θ, a ) = W ( a − θ) , причём θ ∈ Ω = Ε1 , a ∈ A = Ω .

Упражнение 6. а. Покажите, что статистическая игра оценивания параметра сдвига инвариантна относительно группы G переносов g c ( x ) = x + c . Найдите группы G и G . б. Покажите, что в такой игре можно исключить рандомизацию в классе инвариантных решающих правил и что инвариантные нерандомизированные правила здесь имеют вид d è ( x ) = x − b , где b - произвольное действительное число. 36

в. Покажите, что риск таких инвариантных правил не зависит от θ , то есть R ( θ, d è ) = Eθ W ( X − b − θ) = Eθ = 0 W ( X − b) , ∀θ ∈ Ω .

Теорема 2. Наилучшее инвариантное решающее правило оценивания параметра сдвига d 0è ( x ) = x − b0 , определяемое из условия Eθ = 0 W ( X − b0 ) = inf Eθ = 0 W ( X − b) = R0 , b

является минимаксным в двух важных случаях: а) если функция W ограничена; б) если функция W непрерывна и W (z ) → +∞ при z → ∞ . При этом значение игры равно постоянному риску R0 .

Пример. Если L ( θ, a ) = ( θ − a ) 2 и случайная величина X имеет конечную дисперсию, то Eθ = 0 W ( X − b) = Eθ = 0 ( X − b) 2 = Eθ = 0 X 2 − 2 Eθ = 0 X + b 2 . Минимизируя по b , находим b0 = Eθ = 0 X , то есть d 0 ( x ) = x − Eθ = 0 X . Здесь Eθ = 0 X = ∫X x dFX ( x | θ) . Так, в задаче оценивания неизвестного среднего θ для нормально распределённой случайной величины X ∈ N ( θ , σ 2 ) , мы имеем Eθ = 0 X = 0 и d 0 ( x ) = x .

Упражнение 7. Решите задачу, поставленную в упр. 8, п. 4.2, используя принцип инвариантности.

7.

ПРИМЕНЕНИЕ МОНОТОННЫХ РЕШАЮЩИХ ПРАВИЛ

Статистическая игра с конечным множеством решений A , в которой Ω ⊂ [ω0 , ωk ] есть подмножество вещественной прямой, называется монотонной статистической игрой, если для некоторого упорядочивания A = {1, K, j, K, k } существуют такие числа ω 1 ≤ ω 2 ≤ K ≤ ω k −1 , ω i ∈ Ω , i = 1, k − 1 , что функция потерь удовлетворяет соотношениям: L ( θ , i ) − L ( θ , i + 1) ≤ 0 äëÿ θ < ω i , L ( θ , i ) − L ( θ , i + 1) ≥ 0 äëÿ θ > ω i , i = 1, k − 1 . Эти неравенства означают, что если θ ∈ Ω i = ( ω i −1 , ω i ) , то наиболее предпоч37

тительным является решение a = i ∈ A . Таким свойством обладают, например, многие прикладные задачи проверки статистических гипотез. Для монотонной статистической игры с выборочным пространством X на вещественной прямой решающее правило ϕ ( j | x ) называется монотонным, если существуют такие числа x0 ≤ x1 ≤ K ≤ xk (при допустимых значениях x0 = −∞ , xk = +∞ ), что ϕ ( j | x ) = 1 при x j −1 ≤ x ≤ x j и ϕ ( j | x ) = 0 в остальных случаях, j = 1, k . Таким образом, монотонное решающее правило является нерандомизированным и решение a = j ∈ A принимается лишь тогда, когда X = x , x ∈ [ x j −1 , x j ] . Говорят, что семейство распределений Pθ действительной случайной величины X с действительным θ ∈ Ω имеет монотонное отношение правдоподобия, если для ∀ θ1 , θ2 , θ1 < θ2 , отношение f X ( x | θ2 ) / f X ( x | θ1 ) является монотонно неубывающей функцией от x , то есть, если f X ( x 1 | θ1 ) f X ( x 2 | θ2 ) − − f X ( x 1 | θ2 ) f X ( x 2 | θ1 ) ≥ 0 для любых x1 < x 2 и θ 1 < θ 2 .

Теорема. Если в монотонной статистической игре семейство распределений наблюдаемой случайной величины имеет монотонное отношение правдоподобия, то монотонные решающие правила образуют существенно полный класс. Следствие. В условиях Теоремы байесовское решающее правило относительно любого априорного распределения ξ на Ω может быть описано монотонным решающим правилом. Пример. Пусть Ω = Ε1 , A = {a 1 , a 2 } , функция потерь имеет вид (при заданном θ0 > 0 ):

⎧ 1 äëÿ θ ≤ − θ0 , L ( θ, a2 ) = ⎨ ⎩0 äëÿ θ > − θ0 ,

⎧ 1 äëÿ θ ≥ θ0 , L ( θ, a 1 ) = ⎨ ⎩0 äëÿ θ < θ0 ,

и наблюдается выборка X = ( X 1 ,K , X n )T объёма n из нормального распределения со средним θ и единичной дисперсией. Решим эту статистическую игру. Достаточной статистикой для θ является среднее арифметическое зна1 1 чение выборки Z = n ∑in=1 X i , причём Z ∈ N ( θ , n ) . Игра является монотонной с Ω1 = ( −∞ , 0], Ω 2 = (0 , ∞) и ввиду монотонности отношения правдоподобия 38

для нормальных распределений случайной величины Z (проверьте это!) любое оптимальное решающее правило можно построить, задавая критическую точку z0 , такую, что d ( z ) = a 1 при Z ≤ z0 и d ( z ) = a 2 при Z > z0 . Вычислим риск этого решающего правила:

⎧ ∫ ∞ f Z ( z | θ) dz ïðè θ ≤ θ0 , ∞ ⎪ z0 R ( θ , z0 ) = ∫ L ( θ , d ( z )) f Z ( z | θ) dz = ⎨ 0 ïðè − θ0 < θ < θ0 , z −∞ ⎪ 0 f ( z | θ) dz ïðè θ > θ . 0 ⎩ ∫− ∞ Z Нетрудно убедиться, что для ∀ z0 риск R ( θ , d ) = R ( θ , z0 ) достигает наибольшего значения при θ = −θ0 или θ = θ 0 : z0 ⎧⎪ ∞ ⎫⎪ sup R ( θ , z0 ) = max ⎨ ∫ f Z ( z | − θ0 ) dz , ∫ f Z ( z | θ0 ) dz ⎬ . θ ⎪⎩ z 0 ⎪⎭ −∞

Далее, inf z 0 sup θ R ( θ , z0 ) достигается при ∞

z0

z0

−∞

∫ f Z ( z | − θ0 ) dz = ∫ f Z ( z | θ0 ) dz = v . 1

Подставляя плотность f Z ( z | θ) нормального распределения N ( θ , n ) , получаем минимаксное решающее правило z0 = 0 и значение статистической игры

v = (1 − Φ ( θ0 n )) / 2 , где Φ (u ) - интеграл вероятностей. Наименее благоприятное априорное распределение ξ отдаёт всю свою вероятностную массу двум точкам θ1 = −θ0 и θ2 = θ0 с ξ{θ = θ1} = ξ{θ = θ2 } = 1 / 2 . Заметим, что тот же результат проще получить, используя принцип инвариантности. Наша статистическая игра инвариантна относительно конечной группы преобразований G = {e , g}, g ( x ) = − x , g ( θ) = −θ , g ( a2 ) = a1 , g ( a1 ) = a2 . Поэтому минимаксное решающее правило будет инвариантным монотонным правилом с z0 = 0 . Упражнения 1. Покажите, что любое однопараметрическое экспонентное семейство распределений действительной случайной величины X с плотностью f X ( x | θ) = c( θ) h( x ) exp [ π ( θ) u( x )] , где π ( θ) и u ( x ) - неубывающие функции, имеет монотонное отношение правдоподобия.

39

2. (Фергюсон [6]). Пусть Ω = Ε1 , A = {a 1 , a 2 , a 3} , а функция потерь имеет вид (c θ0 > 0 , L ≥ 1 ): A a3 a1 a2 Θ 0 1 L θ < − θ0 L(θ, a ) : − θ0 ≤ θ ≤ θ0 1 0 1

θ > θ0

L

1

0

Наблюдаемая случайная величина X имеет нормальное распределение со средним θ и единичной дисперсией. а. Покажите, что в этой статистической игре монотонные решающие правила составляют существенно полный класс; определите вид байесовских правил. б. Покажите, что игра инвариантна относительно конечной группы преобразований (какой?); определите вид инвариантных монотонных правил и функцию риска. в. Найдите минимаксные решающие правила и значения игры при L = 2 и L >> 1 . Найдите соответствующие наименее благоприятные априорные распределения. 3. Решите задачу упр. 2, когда наблюдаемая случайная величина имеет логистическое распределение с плотностью f X ( x | θ) = (e − ( x − θ) / (1 + e − ( x − θ) ) 2 , x ∈ ( −∞ , ∞ ) . Найдите минимаксные решающие правила и значение игры при L = 1 и L = 2. 4. Пусть Ω = Ε1 , A = {a 1 , a 2 , a 3 , a4 } , а функция потерь имеет вид:

L(θ, a ) :

A Θ θ ≤ −1

a1

a2

a3

a4

0

1

1

1

−1 < θ < 0

1

0

1

1

0 ≤ θ<1

L

1

0

1

θ ≥1

1

1

1

0

Наблюдается случайная величина X ∈ N ( θ ,1) . Найдите минимаксное решающее правило, учитывая монотонность статистической игры и используя принцип инвариантности. 40

Ответ: d 0 ( x ) = a1 при x ∈ ( −∞ ,− b) , d 0 ( x ) = a2 при x ∈ ( −b , 0) , d 0 ( x ) = a3 при x ∈ (0, b) , d 0 ( x ) = a4 при x ∈ (b, ∞ ) , где значение b определяется из уравнения Pθ = 0 { X < b − 1} + Pθ = 0 { X < b} = 1 / 2 , b = 1,262 K 5. (Закс [5]). Пусть Ω = Ε1 , A = {a 1 , a 2 } , функция потерь имеет вид:

⎧0 äëÿ θ ≤ 0 , L ( θ, a 1 ) = ⎨ ⎩θ äëÿ θ > 0 ,

⎧ θ äëÿ θ ≤ 0 , L ( θ, a2 ) = ⎨ ⎩0 äëÿ θ > 0.

и наблюдается случайная величина X ∈ N ( θ ,1) . Используя монотонность, найдите минимаксное решающее правило и значение игры. Воспользуйтесь принципом инвариантности.

ЛИТЕРАТУРА Основная 1. Ашкеназы В.О. Статистические игры: Материалы к практ. занятиям. Калинин, 1981. 2. Воробьев Н.Н. Теория игр для экономистов-кибернетиков. - М., 1985. 3. Грень Е. Статистические игры и их применение. - М., 1976. 4. Де Гроот М. Оптимальные статистические решения. - М., 1974. 5. Закс Ш. Теория статистических выводов. - М., 1975. 6. Ferguson T.S. Mathematical statistics: A decision theoretic approach. N.Y., 1987.

Дополнительная 7. Воробьёв Н.Н. Основы теории игр. Бескоалиционные игры. - М., 1984. 8. Дюбин Г.Н., Суздаль В.Г. Введение в прикладную теорию игр. - М., 1981. 9. Блекуэлл Д., Гиршик М.А. Теория игр и статистических решений. - М.: 1958. 10. Боровков А.А. Математическая статистика. Дополнительные главы. – М., 1984 (Гл. 2. Теоретико-игровой подход к задачам математической статистики). 11. Леман Э. Проверка статистических гипотез. - М., 1979. 12. Леман Э. Теория точечного оценивания. - М., 1991. 13. Дюбин Г.Н. Статистическая игра оценки параметра геометрического распределения. – В кн.: Теоретико-игровые вопросы принятия решений. Л., 1978, с. 124-125. 41

14. Hodges J.L., Lehmann E.L. Some problems in minimax point estimation. – Ann. Math. Statist., 1950, V. 21, p. 182-197. 15. Вальд А. Статистические решающие функции. - В кн.: Позиционные игры. - М., 1967.

ОГЛАВЛЕНИЕ ПРЕДИСЛОВИЕ .................................................................................................... 3 1. ВВЕДЕНИЕ..................................................................................................... 4 1.1. Неопределённость и случайность в задачах принятия решений .......... 4 1.2. Основные понятия теории антагонистических игр ............................... 6 1.3. Статистические игры................................................................................ 9 2. СТРУКТУРА СТАТИСТИЧЕСКОЙ ИГРЫ............................................... 12 2.1. Основные определения .......................................................................... 12 2.2. Смешанные расширения статистической игры.................................... 12 3. ОПТИМАЛЬНЫЕ РЕШАЮЩИЕ ПРАВИЛА........................................... 13 3.1. Принципы выбора оптимальных стратегий в статистической игре... 13 3.2. Геометрическая интерпретация статистической игры при конечном множестве........................................................................................................... 15 4. РЕДУКЦИЯ КЛАССА РЕШАЮЩИХ ПРАВИЛ...................................... 17 4.1. Достаточные статистики и их использование в статистических играх .................................................................................................................. 18 4.2. Условия исключения рандомизации в статистических играх ............ 20 5. ПОСТРОЕНИЕ ОПТИМАЛЬНЫХ РЕШАЮЩИХ ПРАВИЛ ................. 22 5.1. Построение байесовских решающих правил ....................................... 22 5.2. Построение минимаксных решающих правил (решение статистической игры) ........................................................................................ 25 6. ПРИНЦИП ИНВАРИАНТНОСТИ В СТАТИСТИЧЕСКИХ ИГРАХ...... 33 7. ПРИМЕНЕНИЕ МОНОТОННЫХ РЕШАЮЩИХ ПРАВИЛ................... 37 ЛИТЕРАТУРА...................................................................................................... 41

42