Рандомизированные алгоритмы оптимизации и оценивания при почти произвольных помехах

ÐÎÑÑÈÉÑÊÀß ÀÊÀÄÅÌÈß ÍÀÓÊ ÈÍÑÒÈÒÓÒ ÏÐÎÁËÅÌ ÓÏÐÀÂËÅÍÈß èì. Â.À. ÒÐÀÏÅÇÍÈÊÂÀ

Î.H.ÃÐÀÍÈ×ÈÍ, Á.Ò.ÏÎËßÊ ÐÀHÄÎÌÈÇÈÐÎÂÀHHÛÅ

ÀËÃÎÐÈÒÌÛ ÎÖÅHÈÂÀHÈß È ÎÏÒÈÌÈÇÀÖÈÈ ÏÐÈ ÏÎ×ÒÈ ÏÐÎÈÇÂÎËÜHÛÕ ÏÎÌÅÕÀÕ

ÌÎÑÊÂÀ "ÍÀÓÊÀ" 2003

ÓÄÊ 621.391 ÁÊÊ 32.811 Ã 77

Îòâåòñòâåííûé ðåäàêòîð äîêòîð ôèçèêî-ìàòåìàòè÷åñêèõ íàóê À.Â. ÍÀÇÈÍ Ðåöåíçåíòû: äîêòîð ôèçèêî-ìàòåìàòè÷åñêèõ íàóê À.È. ÊÈÁÇÓÍ äîêòîð ôèçèêî-ìàòåìàòè÷åñêèõ íàóê Ñ.Ì. ÅÐÌÀÊÎÂ

Ãðàíè÷èí Î.H.

Ðàíäîìèçèðîâàííûå àëãîðèòìû îïòèìèçàöèè è îöåíèâàíèÿ ïðè ïî÷òè ïðîèçâîëüíûõ ïîìåõàõ / Î.Í. Ãðàíè÷èí, Á.Ò. Ïîëÿê; Îòâ. ðåä. À.Â. Íàçèí.  Ì.: Íàóêà, 2003.  291 ñ. ISBN 5-02-006525-0 (â ïåð.).  êíèãå äàåòñÿ ñèñòåìàòè÷åñêîå èçëîæåíèå òåîðèè ýôôåêòèâíûõ ïîñëåäîâàòåëüíûõ àëãîðèòìîâ ìíîãîìåðíîé îïòèìèçàöèè è îöåíèâàíèÿ,

äàþùèõ ñîñòîÿòåëüíûå îöåíêè áåç

ñòàíäàðòíûõ ïðåäïîëîæåíèé î íåçàâèñèìîñòè è öåíòðèðîâàííîñòè ïîìåõ íàáëþäåíèÿ. Îñíîâîé íîâîãî ïîäõîäà ÿâëÿåòñÿ èñïîëüçîâàíèå ïðîáíûõ âîçìóùåíèé. Ïðåäëàãàåìûå àëãîðèòìû íàøëè øèðîêîå ïðèìåíåíèå â çàäà÷àõ èäåíòèôèêàöèè, óïðàâëåíèÿ, îáó÷åíèÿ, ýêîíîìèêè. Êíèãà áóäåò ïîëåçíà ïðàêòèêàì-èíæåíåðàì, çàíèìàþùèìñÿ ðàçðàáîòêîé, ïðîãðàììèðîâàíèåì è èçãîòîâëåíèåì ñëîæíûõ óñòðîéñòâ ñâÿçè, èçìåðåíèé èëè óïðàâëåíèÿ, à òàêæå ñòóäåíòàì è àñïèðàíòàì ïî ñïåöèàëüíîñòÿì, ñâÿçàííûì ñ êèáåðíåòèêîé.

ÒÏ-2003-1-81 ISBN 5-02-006525-0

c

Ðîññèéñêàÿ àêàäåìèÿ íàóê, 2003

c Èçäàòåëüñòâî "Íàóêà" (õóäîæåñòâåííîå îôîðìëåíèå) 2003

Îãëàâëåíèå

Ïðåäèñëîâèå

vii

Ñïèñîê îáîçíà÷åíèé

ix

Ââåäåíèå

xiii

1 Ìåòîäû îöåíèâàíèÿ è îïòèìèçàöèè 1.1

1.2

1.3

1.4

Ïðåäâàðèòåëüíûå ïðèìåðû . . . . . . . . . . . . . . . . . 1.1.1 Îöåíèâàíèå âåëè÷èíû ïîñòîÿííîãî ñèãíàëà, íàáëþäàåìîãî íà ôîíå ïîìåõè . . . . . . . . . . . 1.1.2 Çàäà÷à îá îáíàðóæåíèè ñèãíàëà . . . . . . . . . . 1.1.3 Ðàíäîìèçèðîâàííûå àëãîðèòìû . . . . . . . . . . 1.1.4 Ôóíêöèîíàë ñðåäíåãî ðèñêà . . . . . . . . . . . . 1.1.5 Ïðåäñêàçàíèå çíà÷åíèé ñëó÷àéíîãî ïðîöåññà . . Ýëåìåíòû ðåãðåññèîííîãî àíàëèçà, ÌÍÊ . . . . . . . . 1.2.1 Íàèëó÷øàÿ àïïðîêñèìàöèÿ îäíîé ñëó÷àéíîé âåëè÷èíû ñ ïîìîùüþ äðóãîé . . . . . . . . . . . 1.2.2 Îöåíèâàíèå ïî êîíå÷íîìó ÷èñëó íàáëþäåíèé . . 1.2.3 Ðåêóððåíòíûå ìîäèôèêàöèè ÌÍÊ . . . . . . . . Îïòèìàëüíàÿ ôèëüòðàöèÿ . . . . . . . . . . . . . . . . . 1.3.1 Ôèëüòð ÂèíåðàÊîëìîãîðîâà . . . . . . . . . . . 1.3.2 Ôèëüòð ÊàëìàíàÁüþñè . . . . . . . . . . . . . . Ñòîõàñòè÷åñêàÿ àïïðîêñèìàöèè . . . . . . . . . . . . . . 1.4.1 Ïîèñê êîðíÿ íåèçâåñòíîé ôóíêöèè. Àëãîðèòì ÐîááèíñàÌîíðî . . . . . . . . . . . . 1.4.2 Ìèíèìèçàöèÿ ôóíêöèîíàëà ñðåäíåãî ðèñêà . . . 1.4.3 Ïðîöåäóðà ÊèôåðàÂîëüôîâèöà . . . . . . . . . 1.4.4 Ðàíäîìèçèðîâàííûå àëãîðèòìû ñòîõàñòè÷åñêîé àïïðîêñèìàöèè . . . . . . . . . . . . . . . . . . . . iii

. .

27 27

. . . . . .

. . . . . .

27 31 33 34 36 36

. . . . . . .

. . . . . . .

37 39 45 48 49 54 60

. . . . . .

61 63 64

. .

65

ÎÃËÀÂËÅÍÈÅ

iv

1.5 1.6

1.7

1.4.5 Ïàññèâíàÿ ñòîõàñòè÷åñêàÿ àïïðîêñèìàöèÿ . . . . . . 1.4.6 Ìîäèôèêàöèè àëãîðèòìîâ ÑÀ . . . . . . . . . . . . . Àëãîðèòìû ñëó÷àéíîãî ïîèñêà . . . . . . . . . . . . . . . . . Ôîðìóëû Áàéåñà, ÌÌÏ . . . . . . . . . . . . . . . . . . . . 1.6.1 Ìåòîä ýìïèðè÷åñêîãî ôóíêöèîíàëà . . . . . . . . . 1.6.2 Áàéåñîâñêèå îöåíêè . . . . . . . . . . . . . . . . . . . 1.6.3 Ìåòîä ìàêñèìóìà ïðàâäîïîäîáèÿ . . . . . . . . . . . 1.6.4 Äîñòèæèìàÿ òî÷íîñòü îöåíèâàíèÿ . . . . . . . . . . Îöåíèâàíèå ïðè îãðàíè÷åííûõ ïîìåõàõ . . . . . . . . . . . 1.7.1 Ñëó÷àéíûé ñèãíàë, íàáëþäàåìûé íà ôîíå îãðàíè÷åííûõ ïîìåõ . . . . . . . . . . . . . . . . . . 1.7.2 Ìåòîä ðåêóððåíòíûõ öåëåâûõ íåðàâåíñòâ. Êîíå÷íî ñõîäÿùèåñÿ àëãîðèòìû . . . . . . . . . . . . . . . . . 1.7.3 Àëãîðèòì Ïîëîñêà . . . . . . . . . . . . . . . . . . . . 1.7.4 Ñòàáèëèçèðóþùèé àëãîðèòì "ìîäèôèöèðîâàííàÿ ïîëîñêà" ïðè óïðàâëåíèè ëèíåéíûì îáúåêòîì . . . 1.7.5 Ìåòîä ýëëèïñîèäîâ . . . . . . . . . . . . . . . . . . .

2 Ëèíåéíûå çàäà÷è 2.1

2.2

2.3

2.4

Ëèíåéíàÿ ðåãðåññèÿ . . . . . . . . . . . . . . . . . . . . . . . 2.1.1 Ïîñòàíîâêà çàäà÷è, îñíîâíûå ïðåäïîëîæåíèÿ . . . . 2.1.2 Îöåíèâàíèå ïî ìåòîäó ñòîõàñòè÷åñêîé àïïðîêñèìàöèè . . . . . . . . . . . . . . . . . . . . . . 2.1.3 Îöåíêè ïî ìåòîäó íàèìåíüøèõ êâàäðàòîâ . . . . . . Àâòîðåãðåññèÿ, ñêîëüçÿùåå ñðåäíåå . . . . . . . . . . . . . . 2.2.1 Ìîäåëü àâòîðåãðåññèè . . . . . . . . . . . . . . . . . 2.2.2 Ìîäåëü ñêîëüçÿùåãî ñðåäíåãî . . . . . . . . . . . . . 2.2.3 Èäåíòèôèêàöèÿ äèíàìè÷åñêîãî îáúåêòà . . . . . . . 2.2.4 Ïðîáíûé ñèãíàë . . . . . . . . . . . . . . . . . . . . . 2.2.5 Ââåäåíèå ïàðàìåòðà îöåíèâàíèÿ . . . . . . . . . . . 2.2.6 Ðàíäîìèçèðîâàííûé àëãîðèòì èäåíòèôèêàöèè . . . Ôèëüòðàöèÿ ñëó÷àéíûõ ïðîöåññîâ . . . . . . . . . . . . . . . 2.3.1 Ïðåäñêàçàíèå ñëó÷àéíîãî ïðîöåññà, íàáëþäàåìîãî íà ôîíå ïðîèçâîëüíûõ îãðàíè÷åííûõ ïîìåõ . . . . . 2.3.2 Îòñëåæèâàíèå äðåéôà ïàðàìåòðîâ . . . . . . . . . . 2.3.3 Íåîáõîäèìûå è äîñòàòî÷íûå óñëîâèÿ ñòàáèëèçàöèè îöåíîê . . . . . . . . . . . . . . . . . . 2.3.4 Àíàëèç ñâîéñòâ îöåíîê ïðè ðàçëè÷íûõ òèïàõ ïîìåõ Ýêñïåðèìåíòàëüíûå ðåçóëüòàòû . . . . . . . . . . . . . . . .

66 67 73 74 74 76 79 82 85 86 87 90 91 95

97 97 99

101 104 105 107 109 111 113 114 118 120 121 124 125 127 133

ÎÃËÀÂËÅÍÈÅ 2.4.1

2.5

Çàäà÷à îá îáíàðóæåíèè ñèãíàëà ïðè íåèçâåñòíûõ, íî îãðàíè÷åííûõ íåñëó÷àéíûõ ïîìåõàõ . . . . . . . 2.4.2 Ôèëüòðàöèÿ (ïðåäñêàçàíèå) ñëó÷àéíîãî ïðîöåññà . . 2.4.3 Îöåíèâàíèå èçìåíÿþùèõñÿ ïàðàìåòðîâ ñèãíàëà . . Äîêàçàòåëüñòâà òåîðåì 2.12.6 . . . . . . . . . . . . . . . . .

3 Ðàíäîìèçèðîâàííûå àëãîðèòìû ÑÀ 3.1

3.2

3.3

3.4

Ôîðìóëèðîâêè è îáîñíîâàíèÿ . . . . . . . . . . . . . . . . . 3.1.1 Ïîñòàíîâêà çàäà÷è è îñíîâíûå ïðåäïîëîæåíèÿ . . . 3.1.2 Ïðîáíîå âîçìóùåíèå è ðàíäîìèçèðîâàííûå àëãîðèòìû . . . . . . . . . . . . . . . . . . . . . . . . 3.1.3 Ñõîäèìîñòü îöåíîê ñ âåðîÿòíîñòüþ åäèíèöà è â ñðåäíåêâàäðàòè÷íîì ñìûñëå . . . . . . . . . . . . . 3.1.4 Äèôôåðåíöèðóþùèå ÿäðà è âûáîð ðàñïðåäåëåíèÿ ïðîáíîãî âîçìóùåíèÿ . . . . . . . . . 3.1.5 Ñêîðîñòü ñõîäèìîñòè îöåíîê . . . . . . . . . . . . . . Îïòèìàëüíûå ïîðÿäêè òî÷íîñòè . . . . . . . . . . . . . . . 3.2.1 Ìèíèìàêñíûé ïîðÿäîê ñêîðîñòè ñõîäèìîñòè ðàíäîìèçèðîâàííûõ àëãîðèòìîâ ÑÀ . . . . . . . . . 3.2.2 Íèæíÿÿ ãðàíèöà äëÿ àñèìïòîòè÷åñêîé ñêîðîñòè ñõîäèìîñòè . . . . . . . . . . . . . . . . . . Ýêñïåðèìåíòàëüíûå ðåçóëüòàòû . . . . . . . . . . . . . . . . 3.3.1 Ñðàâíèòåëüíîå ìîäåëèðîâàíèå îöåíîê ÊÊ è SPSA àëãîðèòìîâ . . . . . . . . . . . . . . . . . . . . . . . . 3.3.2 Ïîøàãîâîå âûïîëíåíèå àëãîðèòìà . . . . . . . . . . Äîêàçàòåëüñòâà òåîðåì 3.1 è 3.2 . . . . . . . . . . . . . . . .

4 Ïðèìåíåíèÿ àëãîðèòìîâ 4.1 4.2

4.3

Îïðåäåëåíèå õèìè÷åñêîãî ñîñòàâà ìèøåíè . . . . . . . . . . Àäàïòèâíîå óïðàâëåíèå . . . . . . . . . . . . . . . . . . . . . 4.2.1 Ðàíäîìèçèîâàííûé àëãîðèòì èäåíòèôèêàöèè . . . . 4.2.2 Àäàïòèâíàÿ `1 îïòèìèçàöèÿ . . . . . . . . . . . . . . 4.2.3 Àäàïòèâíîå îïòèìàëüíîå óïðàâëåíèå íåìèíèìàëüíîôàçîâûì îáúåêòîì âòîðîãî ïîðÿäêà . . . . . . . Îáó÷àþùèåñÿ ñèñòåìû . . . . . . . . . . . . . . . . . . . . . 4.3.1 Àïïðîêñèìàöèÿ ôóíêöèè ñ ïîìîùüþ ëèíåéíîé êîìáèíàöèè èçâåñòíûõ ôóíêöèé . . . . . . . . . . . 4.3.2 Ìîäåëü îáó÷àåìîé ñèñòåìû. Íåéðîííûå ñåòè . . . . 4.3.3 Çàäà÷à ñàìîîáó÷åíèÿ . . . . . . . . . . . . . . . . . .

v

133 137 140 142

155 157 162 164 165 168 170 173 173 174 175 175 178 179

187 191 194 197 200 206 212 212 214 219

ÎÃËÀÂËÅÍÈÅ

vi 4.3.4

4.4

4.5 4.6

Ñèíõðîíèçàöèÿ ñèãíàëîâ ñâåòîôîðîâ ïðè óïðàâëåíèè äâèæåíèåì íà ñåòè äîðîã . . . . . 4.3.5 Îïòèìàëüíûé âûáîð öåëåé äëÿ ñèñòåì îðóæèÿ 4.3.6 Ïîèñê ñêðûòûõ îáúåêòîâ ñ ïîìîùüþ ÝËÎ . . 4.3.7 Èññëåäîâàíèå ðèòìè÷åñêîé ñòðóêòóðû ñòèõîâ . Ñèñòåìû ðåàëüíîãî âðåìåíè . . . . . . . . . . . . . . . 4.4.1 Îòñëåæèâàíèå äðåéôà ýêñòðåìóìà íåñòàöèîíàðíîãî ôóíêöèîíàëà . . . . . . . . . 4.4.2 Îïòèìèçàöèÿ ðàáîòû ìàðøðóòèçàòîðà . . . . . 4.4.3 Îïòèìèçàöèÿ ðàáîòû ñåðâåðà . . . . . . . . . . 4.4.4 Ðàñ÷åò öåí îïöèîíîâ . . . . . . . . . . . . . . . Êâàíòîâûå êîìïüþòåðû . . . . . . . . . . . . . . . . . Äîêàçàòåëüñòâî ëåìì 4.14.3. . . . . . . . . . . . . . .

Ïðèëîæåíèå. Ìàòåìàòè÷åñêèå îñíîâû

. . . . .

. . . . .

. . . . .

223 224 225 226 228

. . . . . .

. . . . . .

. . . . . .

228 229 233 234 240 242

Ï.1 Òåîðèÿ âåðîÿòíîñòåé . . . . . . . . . . . . . . . . . . . . . . Ï.1.1 Ñëó÷àéíûå âåëè÷èíû . . . . . . . . . . . . . . . . . . Ï.1.2 Íåêîòîðûå íåðàâåíñòâà äëÿ ñëó÷àéíûõ âåëè÷èí . . Ï.1.3 Çàêîí áîëüøèõ ÷èñåë äëÿ íåçàâèñèìûõ ñëó÷àéíûõ âåëè÷èí . . . . . . . . . . . . . . . . . . . Ï.1.4 Ñòàöèîíàðíûå ñëó÷àéíûå ïðîöåññû . . . . . . . . . . Ï.1.5 Ïîñëåäîâàòåëüíîñòè ñëó÷àéíûõ âåëè÷èí, áëèçêèå ê ñóïåðìàðòèíãàëàì . . . . . . . . . . . . . Ï.2 Ñâåäåíèÿ èç ðàçíûõ îáëàñòåé . . . . . . . . . . . . . . . . . Ï.2.1 Ñõîäèìîñòü íåêîòîðûõ ÷èñëîâûõ ïîñëåäîâàòåëüíîñòåé . . . . . . . . . . . . . . . . . . . . . . . . . . . . . Ï.2.2 Íåêîòîðûå ìàòðè÷íûå ñîîòíîøåíèÿ . . . . . . . . . Ï.2.3 Ôàêòîðèçàöèÿ ìàòðè÷íûõ ôóíêöèé . . . . . . . . . Ï.3 Ñõîäèìîñòü ðåêóððåíòíûõ àëãîðèòìîâ . . . . . . . . . . . . Ï.3.1 Ëèíåéíûé ñëó÷àé . . . . . . . . . . . . . . . . . . . . Ï.3.2 Ìåòîä ñòîõàñòè÷åñêîé ôóíêöèè Ëÿïóíîâà . . . . . . Ï.3.3 Ìåòîä ÎÄÓ äëÿ èññëåäîâàíèÿ ñõîäèìîñòè ðåêóððåíòíûõ àëãîðèòìîâ . . . . . . . . . . . . . . .

249 249 249 251 251 252 254 255 255 256 258 259 259 260 263

Çàêëþ÷åíèå

271

Ñïèñîê ëèòåðàòóðû

271

Ïðåäìåòíûé óêàçàòåëü

289

Ïðåäèñëîâèå

 êíèãå äàåòñÿ ñèñòåìàòè÷åñêîå èçëîæåíèå òåîðèè ýôôåêòèâíûõ ïîñëåäîâàòåëüíûõ àëãîðèòìîâ ìíîãîìåðíîé îïòèìèçàöèè, äàþùèõ ñîñòîÿòåëüíûå îöåíêè áåç ñòàíäàðòíûõ ïðåäïîëîæåíèé î íåçàâèñèìîñòè è öåíòðèðîâàííîñòè ïîìåõ íàáëþäåíèÿ. Îñíîâîé íîâîãî ïîäõîäà ÿâëÿåòñÿ èñïîëüçîâàíèå ïðîáíûõ âîçìóùåíèé.  ñèñòåìàõ óïðàâëåíèÿ ïðîáíûå âîçäåéñòâèÿ ìîæíî äîáàâëÿòü ÷åðåç êàíàë óïðàâëåíèÿ, â äðóãèõ ñëó÷àÿõ ðîëü ïðîáíîãî âîçäåéñòâèÿ ìîæåò èãðàòü ðàíäîìèçèðîâàííûé ïëàí íàáëþäåíèé (ýêñïåðèìåíòà) èëè óæå ïðèñóòñòâóþùèé â ñèñòåìå èçìåðÿåìûé ñëó÷àéíûé ïðîöåññ. Îäíà èç çàìå÷àòåëüíûõ õàðàêòåðèñòèê òàêîãî òèïà àëãîðèòìîâ  ñõîäèìîñòü ïðè "ïî÷òè ïðîèçâîëüíûõ" ïîìåõàõ. Ïîä ýòèì ïîíÿòèåì ïîäðàçóìåâàåòñÿ äîñòàòî÷íî øèðîêèé êëàññ ïîìåõ â íàáëþäåíèÿõ, ñîäåðæàùèé, êàê ìèíèìóì, íåèçâåñòíûå, íî îãðàíè÷åííûå äåòåðìèíèðîâàííûå ïîñëåäîâàòåëüíîñòè. Êíèãà ïðåäíàçíà÷åíà äëÿ ñïåöèàëèñòîâ ïî ñòàòèñòè÷åñêèì ìåòîäàì îöåíèâàíèÿ è ñòîõàñòè÷åñêîé îïòèìèçàöèè, ìîæåò èñïîëüçîâàòüñÿ ïðè ïîäãîòîâêå ñòóäåíòîâ è àñïèðàíòîâ ïî ñïåöèàëüíîñòÿì, ñâÿçàííûì ñ êèáåðíåòèêîé. Ðàññìàòðèâàåìûå íîâûå àëãîðèòìû ïîëåçíû ïðàêòèêàì, çàíèìàþùèìñÿ ðàçðàáîòêîé, ïðîãðàììèðîâàíèåì è èçãîòîâëåíèåì ñëîæíûõ óñòðîéñòâ äëÿ ñâÿçè, èçìåðåíèé èëè óïðàâëåíèÿ. Äëÿ ïîíèìàíèÿ îñíîâíûõ èäåé è àëãîðèòìîâ íå òðåáóåòñÿ âûñîêàÿ ìàòåìàòè÷åñêàÿ êâàëèôèêàöèÿ. Îñíîâíîé òåêñò êíèãè ðàçáèò íà ÷åòûðå ãëàâû. Êàæäàÿ èç ãëàâ ñîñòîèò èç íåñêîëüêèõ ðàçäåëîâ, äåëÿùèõñÿ â ñâîþ î÷åðåäü íà ïóíêòû. Ìàòåìàòè÷åñêèå äîêàçàòåëüñòâà òî÷íî ñôîðìóëèðîâàííûõ óòâåðæäåíèé îáû÷íî ïðèâîäÿòñÿ â ïîñëåäíåì ðàçäåëå ñîîòâåòñòâóþùåé ãëàâû.  ïåðâîé ãëàâå äàåòñÿ îáçîð îñíîâíûõ ýëåìåíòîâ òåîðèè îöåíèâàíèÿ è îïòèìèçàöèè. Âî âòîðîé ãëàâå èçó÷àþòñÿ çàäà÷è îöåíèâàíèÿ ïðè ïî÷òè ïðîèçâîëüíûõ ïîìåõàõ â ëèíåéíîé ïîñòàíîâêå.  òðåòüåé  ðàññìàòðèâàþòñÿ ïðåäñòàâëåíèÿ è ñâîéñòâà ðàíäîìèçèðîâàííûõ àëãîðèòìîâ ñòîvii

viii

ÏÐÅÄÈÑËÎÂÈÅ

õàñòè÷åñêîé àïïðîêñèìàöèè ïðè îöåíèâàíèè íåèçâåñòíûõ ïàðàìåòðîâ ôóíêöèè ïîòåðü äîñòàòî÷íî îáùåãî âèäà. ×åòâåðòàÿ ãëàâà ïîñâÿùåíà íåêîòîðûì âîçìîæíûì ïðèìåíåíèÿì ðàíäîìèçèðîâàííûõ àëãîðèòìîâ.  ïðèëîæåíèè, èìåþùåì âñïîìîãàòåëüíûé õàðàêòåð, ïðèâåäåíû íåîáõîäèìûå ìàòåìàòè÷åñêèå ñâåäåíèÿ.  îòäåëüíîì ðàçäåëå ñâåäåíû îáùèå óòâåðæäåíèÿ î ñõîäèìîñòè ðåêóððåíòíûõ àëãîðèòìîâ. Îêàí÷èâàåòñÿ êíèãà àëôàâèòíûì óêàçàòåëåì è ñïèñêîì ëèòåðàòóðû. Îêîí÷àòåëüíàÿ èäåÿ íà÷àòü ïèñàòü ýòó êíèãó ïðèøëà ê àâòîðàì ïîñëå çíàêîìñòâà ñ ñîñòàâëåííûì Äæ.Ñïàëîì äåòàëüíûì ñïèñêîì áîëüøîãî êîëè÷åñòâà ïóáëèêàöèé êîíöà 90-õ ãîäîâ ÕÕ âåêà, â êîòîðûõ ðàíäîìèçèðîâàííûå àëãîðèòìû ñòîõàñòè÷åñêîé àïïðîêñèìàöèè èñïîëüçóþòñÿ â ðàçíîîáðàçíûõ ïðèëîæåíèÿõ (ñì. http://www.jhuapl.edu/SPSA/). Ïîëüçóÿñü ñëó÷àåì, õîòèì âûðàçèòü íàøó ïðèçíàòåëüíîñòü Ñåðãåþ Ìèõàéëîâè÷ó Åðìàêîâó, Àíäðåþ Èâàíîâè÷ó Êèáçóíó, Àíäðåþ Åâãåíüåâè÷ó Áàðàáàíîâó, Îëüãå Ãðàíè÷èíîé, Þëèè Ãåëü è Òàòüÿíå Øòàíåíêî çà ìíîãî÷èñëåííûå çàìå÷àíèÿ ê ïðåäâàðèòåëüíûì âàðèàíòàì ðóêîïèñè.

Ñïèñîê îáîçíà÷åíèé

 òåêñòå êíèãè ïðèíÿòû ñëåäóþùèå îáîçíà÷åíèÿ:

n; t  äèñêðåòíîå âðåìÿ; i; j; k; m; p; N

 öåëûå ÷èñëà (îáû÷íî íåîòðèöàòåëüíûå);

; ; ; Æ; "; ; C

 ñêàëÿðíûå âåëè÷èíû;

a; b; c; d; e; u  âåêòîðíûå èëè ñêàëÿðíûå âåëè÷èíû; x; '  âåêòîðíûå ïåðåìåííûå; yèY

 íàáëþäàåìûå ñêàëÿðíûå è âåêòîðíûå ïåðåìåííûå;

v; w; 

 ïîìåõè (øóìû) â íàáëþäåíèÿõ (èçìåðåíèÿõ);

;   ñëó÷àéíûå âåêòîðû; A; B; D; ; ; H; K; Q; R; S  ìàòðèöû, I  åäèíè÷íàÿ ìàòðèöà;


T  îïåðàöèÿ òðàíñïîíèðîâàíèÿ âåêòîðà èëè ìàòðèöû; A > 0 (A  0 )  ìàòðèöà A  ñèììåòðè÷íàÿ è ïîëîæèòåëüíî (íåîòðèöàòåëüíî) îïðåäåëåííàÿ: A = AT ; xT Ax > 0; (xT Ax  0; ) 8x; max (A)

è min(A)  ìàêñèìàëüíîå è ìèíèìàëüíîå ïî àáñîëþòíîé âåëè÷èíå ñîáñòâåííûå çíà÷åíèÿ ìàòðèöû A;

det A  äåòåðìèíàíò ìàòðèöû A; Tr[A]  ñëåä ìàòðèöû A (ñóììà äèàãîíàëüíûõ ýëåìåíòîâ);

h
;
i  ñêàëÿðíîå ïðîèçâåäåíèå âåêòîðîâ: ha; bi = Pi aibi; ix

x

ÑÏÈÑÎÊ ÎÁÎÇÍÀ×ÅÍÈÉ

k
k  åâêëèäîâà íîðìà: äëÿ âåêòîðà kak =

qP

2 i ai èëè äëÿ ìàòðèöû

q

kAk = kmax kAxk = max(A) = max(AT A); xk=1 f (
); F (
;
); L(
;
); Q(
;
); q(
); K (
)

 âåùåñòâåííûå ôóíêöèè;

L(
;
)  ôóíêöèÿ ïðàâäîïîäîáèÿ; g(
); G(
;
); K(
)

 âåêòîðíûå ôóíêöèè;

U (
)  ñòðàòåãèÿ óïðàâëåíèÿ; f 0 (
); rf (
)  âåêòîðãðàäèåíò ôóíêöèè f (
); `  ïîêàçàòåëü ãëàäêîñòè ôóíêöèè;

O(
)  ôóíêöèÿ òàêîãî æå ïîðÿäêà ìàëîñòè, êàê è åå àðãóìåíò; o (
)  ôóíêöèÿ áîëåå âûñîêîãî ïîðÿäêà ìàëîñòè, ÷åì åå àðãóìåíò; R  ìíîæåñòâî âåùåñòâåííûõ ÷èñåë; N  ìíîæåñòâî íàòóðàëüíûõ ÷èñåë; Z  ìíîæåñòâî öåëûõ ÷èñåë;

r  ðàçìåðíîñòü âåêòîðà îöåíèâàåìûõ ïàðàìåòðîâ;   îöåíèâàåìîå (îïòèìàëüíîå) çíà÷åíèå; ^  âåêòîð (èíîãäà ìàòðèöà) â ïðîñòðàíñòâå îöåíèâàåìûõ ïàðàìåòðîâ (îöåíêà);



 âåêòîð â ïðîñòðàíñòâå ïàðàìåòðîâ èññëåäóåìîé ñèñòåìû;

;

T

 ìíîæåñòâà â ïðîñòðàíñòâå ïàðàìåòðîâ;

Pf
g (
)  ôóíêöèÿ (îïåðàòîð) ïðîåêòèðîâàíèÿ íà ìíîæåñòâî; diam()  åâêëèäîâûé äèàìåòð ìíîæåñòâà ;

fn g,f'n g è fAn g  ïîñëåäîâàòåëüíîñòè ÷èñåë, âåêòîðîâ è ìàòðèö; fxn g  ïîñëåäîâàòåëüíîñòü âåêòîðîâ â ïðîñòðàíñòâå îöåíèâàåìûõ ïàðàìåòðîâ;

xi

xj

 j -àÿ êîîðäèíàòà âåêòîðà x;


n  âåêòîð ïðîáíîãî îäíîâðåìåííîãî âîçìóùåíèÿ â n-ûé ìîìåíò âðåìåíè;

 âåðîÿòíîñòíîå ïðîñòðàíñòâî;

!  ýëåìåíò âåðîÿòíîñòíîãî ïðîñòðàíñòâà; Pf
g  âåðîÿòíîñòü ñîáûòèÿ;

P(
)  ôóíêöèÿ ðàñïðåäåëåíèÿ âåðîÿòíîñòåé;

N (
;
)  íîðìàëüíîå ðàñïðåäåëåíèå ñëó÷àéíîé âåëè÷èíû; Ef
g  çíàê ìàòåìàòè÷åñêîãî îæèäàíèÿ; Ef
j
g, Ew f
g  óñëîâíîå ìàòåìàòè÷åñêîå îæèäàíèå; F  -àëãåáðà âåðîÿòíîñòíûõ ñîáûòèé; M'  ñðåäíåå çíà÷åíèå ñëó÷àéíîé âåëè÷èíû ' (èëè åãî âåðõíÿÿ ãðàíèöà);

v2

 äèñïåðñèÿ ñëó÷àéíîé âåëè÷èíû

M44

v (èëè åå âåðõíÿÿ ãðàíèöà);

 ÷åòâåðòûé ñòàòèñòè÷åñêèé ìîìåíò;

1f
g  õàðàêòåðèñòè÷åñêàÿ ôóíêöèÿ ìíîæåñòâà (ôóíêöèÿ Õåâèñàéäà), ðàâíàÿ íóëþ èëè åäèíèöå;

[
]  ôóíêöèÿ öåëîé ÷àñòè ÷èñëà;

Æij

 ñèìâîë Êðîíåêåðà: Æii

= 1 è Æij = 0, åñëè i 6= j ;

Æ(
)  äåëüòàôóíêöèÿ Äèðàêà (Æ(x) = 0; 8x 6= 0); z

 îïåðàòîð ñäâèãà íà òàêò íàçàä:

8  êâàíòîð "äëÿ âñÿêîãî", 9  êâàíòîð "ñóùåñòâóåò".

zyn = yn

1,

xii

ÑÏÈÑÎÊ ÎÁÎÇÍÀ×ÅÍÈÉ

Ïàìÿòè Âëàäèìèðà Hèêîëàåâè÷à Ôîìèíà è ßêîâà Çàëìàíîâè÷à Öûïêèíà ïîñâÿùàåòñÿ

Ââåäåíèå

 ïîñëåäíåå âðåìÿ ðàçâèòèå ýëåêòðîííîé òåõíèêè ïðèáëèçèëîñü ê ïîðîãó ñîçäàíèÿ óñòðîéñòâ ñ õàðàêòåðèñòèêàìè èñêóññòâåííîãî èíòåëëåêòà. Ïðè ðåøåíèè ìíîãèõ ïðàêòè÷åñêèõ çàäà÷ âîçíèêëà íåîáõîäèìîñòü ýôôåêòèâíîãî èñïîëüçîâàíèÿ íîâûõ ìàòåìàòè÷åñêèõ àëãîðèòìîâ îïòèìèçàöèè, îöåíèâàíèÿ íåèçâåñòíûõ ïàðàìåòðîâ äèíàìè÷åñêèõ ñèñòåì, îïòèìàëüíîãî è àäàïòèâíîãî óïðàâëåíèÿ îáúåêòàìè. Ïðè ýòîì óäàåòñÿ èñïîëüçîâàòü íîâûå àëãîðèòìû îïòèìèçàöèè èëè îöåíèâàíèÿ äëÿ áîëåå òî÷íîãî ðåøåíèÿ ðÿäà ïðîáëåì, â êîòîðûõ ðàíåå äîâîëüñòâîâàëèñü ýâðèñòè÷åñêèìè ïîäõîäàìè. Áîëåå òîãî, ïîÿâèëàñü âîçìîæíîñòü ïðèìåíåíèÿ òåîðåòè÷åñêè îáîñíîâàííûõ àëãîðèòìîâ â íåñòàíäàðòíûõ ñèòóàöèÿõ, âêëþ÷àþùèõ çàäà÷è ñ íåöåíòðèðîâàííûìè è êîððåëèðîâàííûìè ïîìåõàìè. Òî÷íîå ðåøåíèå ëþáîé ïðîáëåìû âîçìîæíî ïðè òî÷íîé ïîñòàíîâêå çàäà÷è, íî ñâÿçè è îòíîøåíèÿ â ðåàëüíî ñóùåñòâóþùåì ìèðå íàñòîëüêî ñëîæíû è ìíîãîîáðàçíû, ÷òî ïðàêòè÷åñêè íåâîçìîæíî ìàòåìàòè÷åñêè ñòðîãî îïèñàòü ìíîãèå ÿâëåíèÿ. Òèïè÷íûì ïîäõîäîì â òåîðèè ÿâëÿåòñÿ âûáîð áëèçêîé ê ðåàëüíûì ïðîöåññàì ìàòåìàòè÷åñêîé ìîäåëè è âêëþ÷åíèå â íåå ðàçëè÷íûõ ïîìåõ, îòíîñÿùèõñÿ, ñ îäíîé ñòîðîíû, ê ãðóáîñòè ìàòåìàòè÷åñêîé ìîäåëè è, ñ äðóãîé ñòîðîíû, õàðàêòåðèçóþùèõ íåêîíòðîëèðóåìûå âíåøíèå âîçìóùåíèÿ íà îáúåêò èëè ñèñòåìó. Äëÿ âñåõ ìàòåìàòè÷åñêèõ ìîäåëåé ðåçóëüòàòîì ýêñïåðèìåíòà ÿâëÿåòñÿ ìàòåìàòè÷åñêèé îáúåêò  ÷èñëî, ìíîæåñòâî ÷èñåë, êðèâàÿ è ò. ï. Ñ ìàòåìàòè÷åñêîé òî÷êè çðåíèÿ çíà÷èòåëüíûé êðóã ïðèêëàäíûõ çàäà÷ èìååò ñâîåé öåëüþ âîññòàíîâëåíèå ïî ýêñïåðèìåíòàëüíûì äàííûì õàðàêòåðèñòèê (ïàðàìåòðîâ) îáúåêòà. Ïðè ýòîì ðåàëüíûå ñèñòåìû ðåäêî èñ÷åðïûâàþùå xiii

xiv

ÂÂÅÄÅÍÈÅ

îïèñûâàþòñÿ îãðàíè÷åííûìè ìàòåìàòè÷åñêèìè ìîäåëÿìè. Âûáèðàÿ ìîäåëü äëÿ ðåøåíèÿ ðåàëüíîé çàäà÷è, ïðèíÿòî ãîâîðèòü î, òàê íàçûâàåìîé, ñèñòåìàòè÷åñêîé ïîãðåøíîñòè (ïîãðåøíîñòè ìîäåëè), êîòîðàÿ ìîæåò áûòü êîëè÷åñòâåííî âûðàæåíà ðàññòîÿíèåì îò ðåàëüíîãî îïåðàòîðà äî âûáðàííîé ìîäåëè. Äðóãîé òèï ïîãðåøíîñòåé (îøèáîê), ñ êîòîðûìè ìîæåò ñòîëêíóòüñÿ ýêñïåðèìåíòàòîð, ñâÿçàí ñ îøèáêàìè èçìåðåíèÿ. Òàêèå îøèáêè íàçûâàþò ñòàòèñòè÷åñêîé ïîãðåøíîñòüþ (ñëó÷àéíîé ïîãðåøíîñòüþ). Ïðîöåññ âûáîðà õàðàêòåðèñòèê (ïàðàìåòðîâ) ìîäåëè èç çàäàííîãî êëàññà äëÿ íàèëó÷øåãî îïèñàíèÿ ðåçóëüòàòîâ ïðåäñòàâëÿåò ñîáîé îäíî èç äîñòàòî÷íî îáùèõ îïðåäåëåíèé ïîíÿòèÿ îöåíèâàíèÿ. Hà ïðàêòèêå ïðîöåññ îöåíèâàíèÿ ÷àñòî óäàåòñÿ ñâÿçàòü ñ êàêîé-íèáóäü êîëè÷åñòâåííîé õàðàêòåðèñòèêîé êà÷åñòâà îöåíèâàíèÿ è, åñòåñòâåííî, ïðè âûáîðå îöåíîê ñòàðàòüñÿ ìèíèìèçèðîâàòü îòðèöàòåëüíîå âëèÿíèå ïîãðåøíîñòåé êàê ñòàòèñòè÷åñêîé, òàê, ïî âîçìîæíîñòè, è ñèñòåìàòè÷åñêîé. Âî ìíîãèõ çàäà÷àõ ïîãðåøíîñòè óäîáíî èíòåðïðåòèðîâàòü êàê ïîìåõè (îøèáêè) íàáëþäåíèÿ (èçìåðåíèÿ ðåçóëüòàòîâ ýêñïåðèìåíòà). Ïðè ðàçðàáîòêå àëãîðèòìîâ îöåíèâàíèÿ â áîëüøèíñòâå ìàòåìàòè÷åñêèõ èññëåäîâàíèé ïîñëåäíèõ 50-òè ëåò ïîìåõàì â èçìåðåíèÿõ èëè îøèáêàì â îïèñàíèè ñâîéñòâ ìîäåëè ïðèïèñûâàþòñÿ êàêèå-ëèáî ïîëåçíûå ñòàòèñòè÷åñêèå õàðàêòåðèñòèêè. Íà èõ îñíîâå òåîðåòè÷åñêè èññëåäóþòñÿ ñâîéñòâà îöåíîê. Hàèáîëåå ÷àñòî ïðåäïîëàãàåòñÿ, íàïðèìåð, öåíòðèðîâàííîñòü ïîìåõ.  èíæåíåðíîé ïðàêòèêå øèðîêî èñïîëüçóþòñÿ àëãîðèòìû, îñíîâàííûå íà èäåÿõ îáûêíîâåííîãî ìåòîäà íàèìåíüøèõ êâàäðàòîâ (ÌÍÊ), ïðåäñòàâëÿþùåãî ñîáîé óñðåäíåíèå äàííûõ íàáëþäåíèÿ. Åñëè ïðè ýòîì ïðåäïîëîæåíèå î öåíòðèðîâàííîñòè ïîìåõ áûëî ñäåëàíî áåç äîñòàòî÷íûõ îáîñíîâàíèé, òî ïðàêòè÷åñêîå èñïîëüçîâàíèå àëãîðèòìîâ òàêîãî òèïà íåöåëåñîîáðàçíî. Òàê îáñòîÿò äåëà, íàïðèìåð, â óñëîâèÿõ âîçìîæíîãî ïðîòèâîäåéñòâèÿ "ïðîòèâíèêà".  ÷àñòíîñòè, åñëè ïîìåõà îïðåäåëÿåòñÿ äåòåðìèíèðîâàííîé (íåñëó÷àéíîé) íåèçâåñòíîé ôóíêöèåé (ïðîòèâíèê ãëóøèò ñèãíàë) èëè ïîìåõè èçìåðåíèÿ  çàâèñèìàÿ ñëó÷àéíàÿ ïîñëåäîâàòåëüíîñòü, òî ðåçóëüòàò ïðèìåíåíèÿ ê íàáëþäåíèÿì îïåðàöèè óñðåäíåíèÿ íèêàêîé ïîëåçíîé èíôîðìàöèè â ñåáå íå íåñåò. Îáû÷íî â òàêîé ñèòóàöèè ïîñëåäîâàòåëüíîñòü íàáëþäåíèé íàçûâàþò âûðîæäåííîé è âîïðîñ î ïîëó÷åíèè "õîðîøåãî" ðåøåíèÿ çàäà÷è íå ðàññìàòðèâàþò. Ýòè òðóäíîñòè â èñïîëüçîâàíèè ñòàíäàðòíûõ ìåòîäîâ ñòîõàñòè÷åñêîé îïòèìèçàöèè ïðèâîäÿò ê íåîáõîäèìîñòè èññëåäîâàòü àëãîðèòìû, îáåñïå÷èâàþùèå âûñîêîå êà÷åñòâî îöåíèâàíèÿ ïðè ìèíèìàëüíûõ ïðåäïîëîæåíèÿõ î ñòàòèñòè÷åñêèõ ñâîéñòâàõ ïîìåõ.

xv Äðóãàÿ áëèçêàÿ ïðîáëåìà, ñ êîòîðîé ñòàëêèâàþòñÿ ïðè ïðàêòè÷åñêîì ïðèìåíåíèè àëãîðèòìîâ îöåíèâàíèÿ è îïòèìèçàöèè,  íåäîñòàòî÷íàÿ âàðèàòèâíîñòü ïîñëåäîâàòåëüíîñòè íàáëþäåíèé. Íàïðèìåð, ïðè ñèíòåçå àäàïòèâíîãî óïðàâëåíèÿ ãëàâíàÿ öåëü ñîñòîèò â ìèíèìèçàöèè îòêëîíåíèÿ âåêòîðà ñîñòîÿíèÿ ñèñòåìû îò çàäàííîé òðàåêòîðèè, ÷òî ÷àñòî ïðèâîäèò ê âûðîæäåííîé ïîñëåäîâàòåëüíîñòè íàáëþäåíèé.  òî âðåìÿ, êàê äëÿ óñïåøíîãî ïðîâåäåíèÿ èäåíòèôèêàöèè íåèçâåñòíûõ ïàðàìåòðîâ ñèñòåìû äîëæíî áûòü îáåñïå÷åíî "ðàçíîîáðàçèå" íàáëþäåíèé. Îñíîâîé äîñòàòî÷íî íîâîãî ïîäõîäà ê ðåøåíèþ çàäà÷ îöåíèâàíèÿ è îïòèìèçàöèè â ïëîõèõ óñëîâèÿõ (íàïðèìåð, ïðè âûðîæäåííîé ïîñëåäîâàòåëüíîñòè íàáëþäåíèé) ÿâëÿåòñÿ èñïîëüçîâàíèå ïðîáíûõ âîçìóùåíèé. Åñëè ïðè ðåøåíèè çàäà÷è ÷åðåç âõîäíûå êàíàëû ñèñòåìû èëè àëãîðèòìà óäàåòñÿ âêëþ÷èòü â ðàññìîòðåíèå íåêîòîðîå íîâîå âîçìóùåíèå ñ çàäàâàåìûìè ýêñïåðèìåíòàòîðîì èëè õîðîøî èçâåñòíûìè ñòàòèñòè÷åñêèìè ñâîéñòâàìè, òî åãî ìîæíî èñïîëüçîâàòü äëÿ "îáîãàùåíèÿ" èíôîðìàöèè â êàíàëå íàáëþäåíèÿ. Èíîãäà ðîëü ïðîáíîãî âîçìóùåíèÿ ìîæåò èãðàòü óæå ïðèñóòñòâóþùèé â ñèñòåìå èçìåðÿåìûé ñëó÷àéíûé ïðîöåññ.  ñèñòåìàõ óïðàâëåíèÿ ïðîáíûå âîçäåéñòâèÿ ìîæíî äîáàâëÿòü ÷åðåç êàíàë óïðàâëåíèÿ, â äðóãèõ ñëó÷àÿõ ðîëü ïðîáíîãî âîçäåéñòâèÿ ìîæåò èãðàòü ðàíäîìèçèðîâàííûé ïëàí íàáëþäåíèé (ýêñïåðèìåíòà). Ïðè èññëåäîâàíèè îáíîâëåííîé ñèñòåìû ñ ïðîáíûì âîçìóùåíèåì, êîòîðàÿ èíîãäà ÿâëÿåòñÿ ïðîñòî â äðóãîé ôîðìå çàïèñàííîé ñòàðîé, äàæå èñïîëüçóÿ òðàäèöèîííûå ìåòîäû, ÷àñòî óäàåòñÿ ïîëó÷èòü îáíàäåæèâàþùèå ðåçóëüòàòû î ñõîäèìîñòè è îáëàñòè ïðèìåíèìîñòè íîâûõ àëãîðèòìîâ. Îäíà èç çàìå÷àòåëüíûõ èõ õàðàêòåðèñòèê  ñîñòîÿòåëüíîñòü îöåíîê ïðè "ïî÷òè ïðîèçâîëüíûõ" ïîìåõàõ. Ñóùåñòâåííîå îãðàíè÷åíèå ïðèìåíèìîñòè íîâîãî ïîäõîäà  ïðåäïîëîæåíèå î íåçàâèñèìîñòè äîáàâëÿåìîãî â ñèñòåìó ïðîáíîãî âîçìóùåíèÿ è ñîáñòâåííî ïîìåõ. Âî ìíîãèõ çàäà÷àõ ýòî îãðàíè÷åíèå íà ñâîéñòâà ïðîáíîãî âîçìóùåíèÿ è ïîìåõ åñòåñòâåííî è âûïîëíèìî. Òàê îáñòîèò äåëî, åñëè ïîìåõè çàäàþòñÿ íåèçâåñòíîé îãðàíè÷åííîé äåòåðìèíèðîâàííîé ôóíêöèåé, ëèáî â åå êà÷åñòâå âûñòóïàåò ïîñòîðîííåå ñëó÷àéíîå âîçìóùåíèå, ãåíåðèðóåìîå íå çíàþùèì ñòàòèñòè÷åñêèõ ñâîéñòâ íàøåãî ïðîáíîãî âîçìóùåíèÿ ïðîòèâíèêîì, ïûòàþùèìñÿ îêàçàòü ïðîòèâîäåéñòâèå íàøèì èññëåäîâàíèÿì. Òåîðèÿ îöåíèâàíèÿ òåñíî ïåðåïëåòàåòñÿ ñ òåîðèåé îïòèìèçàöèè. Èíîãäà äàæå òðóäíî ïðîâåñòè ìåæäó íèìè ÷åòêóþ ãðàíèöó. Íàèáîëåå ÷àñòî ïðîáëåìû òåîðèè îöåíèâàíèÿ è îïòèìèçàöèè ìàòåìàòè÷åñêè ôîðìàëèçóþòñÿ â âèäå çàäà÷è î ïîèñêå äëÿ íåêîòîðîé ôóíêöèè f (
) èç Rr â R ëèáî îäíîãî èç åå êîðíåé (ýëåìåíòà èç îáëàñòè çàäàíèÿ ôóíêöèè, îòâå÷àþùåãî

xvi

ÂÂÅÄÅÍÈÅ

f (x1 ; x2 )

x2

x1

Hà÷.îöåíêà ^0 Òî÷êà ìèíèìóìà



Ðèñ. 1 Ìèíèìèçàöèÿ ôóíêöèè äâóõ ïåðåìåííûõ íóëåâîìó çíà÷åíèþ: f = 0), ëèáî ýëåìåíòà èç îáëàñòè çàäàíèÿ, ìèíèìèçèðóþùåãî (ìàêñèìèçèðóþùåãî) åå çíà÷åíèå: min f èëè rf = 0.  ëèòåðàòóðå è ïðèëîæåíèÿõ ýòó ôóíêöèþ íàçûâàþò ïîðàçíîìó. ×àùå äðóãèõ èñïîëüçóþòñÿ íàçâàíèÿ: ôóíêöèÿ ïîòåðü, öåëåâàÿ ôóíêöèÿ, ôóíêöèîíàë êà÷åñòâà, ôóíêöèîíàë ñðåäíåãî ðèñêà.  ñòàòèñòèêå åå ïðèíÿòî íàçûâàòü ôóíêöèåé ðåãðåññèè. Àðãóìåíò ôóíêöèè, îòíîñèòåëüíî êîòîðîãî ñòàâèòñÿ çàäà÷à, îáû÷íî íàçûâàþò âåêòîðîì ðåãóëèðóåìûõ èëè îöåíèâàåìûõ ïàðàìåòðîâ. Áåç ïîòåðè îáùíîñòè, çàäà÷è îïòèìèçàöèè áóäåì ðàññìàòðèâàòü â êîíòåêñòå ìèíèìèçàöèè, òàê êàê ñëó÷àé ìàêñèìèçàöèè ëåãêî ê íåìó ïðåîáðàçóåòñÿ, èçìåíÿÿ çíàê ôóíêöèè ïîòåðü. Ïîä àëãîðèòìîì îöåíèâàíèÿ èëè îïòèìèçàöèè áóäåì ïîíèìàòü ïðîöåäóðó ïîøàãîâîãî (ïîñëåäîâàòåëüíîãî) èçìåíåíèÿ ðåãóëèðóåìûõ ïàðàìåòðîâ îò íåêîòîðîãî íà÷àëüíîãî çíà÷åíèÿ (èëè ìíîæåñòâà çíà÷åíèé) äî çíà÷åíèÿ, îïòèìèçèðóþùåãî ôóíêöèþ ïîòåðü, ò. å. ìû ðàññìàòðèâàåì ðåêóððåíòíûå (èòåðàòèâíûå) ìåòîäû. Ðèñóíîê 1 èëëþñòðèðóåò ýòîò ïðîöåññ â ïðîñòîì ñëó÷àå, êîãäà ôóíêöèÿ ïîòåðü f (
) çàâèñèò òîëüêî îò äâóõ ïåðåìåííûõ x1 è x2 .  áîëüøèíñòâå ïðàêòè÷åñêèõ çàäà÷ ôóíêöèÿ ïîòåðü ìîæåò çàâèñåòü îò ñóùåñòâåííî áîëüøåãî ÷èñëà ïåðåìåííûõ.  ïðèâåäåííîì ïðèìåðå ïîñëåäîâàòåëüíîñòü çíà÷åíèé ôóíêöèè ïîòåðü íå óáûâàåò ðàâíîìåðíî, íà òðåòüåì øàãå åå çíà÷åíèå âðåìåííî óâåëè÷èâàåòñÿ.

xvii Ýòî òèïè÷íî äëÿ ñòîõàñòè÷åñêîãî ïðîöåññà îïòèìèçàöèè, ïîëó÷àþùåãî âõîäíóþ èíôîðìàöèþ ñ ïîìåõàìè. Îáû÷íî, ïðè êëàññèôèêàöèè ðåêóððåíòíûõ ñòîõàñòè÷åñêèõ àëãîðèòìîâ îöåíèâàíèÿ èëè îïòèìèçàöèè èõ óñëîâíî ðàçäåëÿþò íà äâå ãðóïïû. Îäíà ãðóïïà àëãîðèòìîâ áàçèðóåòñÿ íà ïðÿìûõ èçìåðåíèÿõ (èëè âû÷èñëåíèÿõ) çíà÷åíèé ãðàäèåíòà ôóíêöèè ïîòåðü ïðè ðàçëè÷íûõ îïòèìèçèðóåìûõ ïàðàìåòðàõ, äðóãàÿ  íà àïïðîêñèìàöèÿõ ãðàäèåíòà, âû÷èñëÿåìûõ íà îñíîâàíèè èçìåðåíèé çíà÷åíèé ôóíêöèè ïîòåðü, âîîáùå ãîâîðÿ, ñ ïîìåõàìè. Ïðîòîòèïàìè ïåðâîé ãðóïïû àëãîðèòìîâ ÿâëÿþòñÿ ïðîöåäóðà ÐîááèíñàÌîíðî (ÐÌ), êîòîðóþ ìîæíî ðàññìàòðèâàòü êàê îáîáùåíèå èçâåñòíîãî ãðàäèåíòíîãî ìåòîäà, ìåòîä ñêîðîñòíîãî ãðàäèåíòà, îáðàòíûé ìåòîä äëÿ íåéðîííûõ ñåòåé è ìåòîä âû÷èñëåíèÿ ãðàäèåíòà ôóíêöèè ïîòåðü äëÿ ñèñòåì ðåàëüíîãî âðåìåíè, îñíîâàííûé íà àíàëèçå áåñêîíå÷íî ìàëûõ âîçìóùåíèé. Ñðåäè àëãîðèòìîâ âòîðîãî òèïà êëàññè÷åñêèìè ÿâëÿþòñÿ êîíå÷íîðàçíîñòíûé ìåòîä ñòîõàñòè÷åñêîé àïïðîêñèìàöèè ÊèôåðàÂîëüôîâèöà (ÊÂ) è ìåòîä ñëó÷àéíîãî ïîèñêà. Îñíîâíûì íåäîñòàòêîì àëãîðèòìîâ ïåðâîãî òèïà ÿâëÿåòñÿ òî, ÷òî íà ïðàêòèêå â íèõ èñïîëüçóþòñÿ âìåñòî òî÷íûõ çíà÷åíèé ãðàäèåíòà íåêîòîðûå ïðèáëèæåíèÿ, òàê êàê äàííûå èçìåðåíèé, âîîáùå ãîâîðÿ, íå âñåãäà òî÷íî ñîîòíîñÿòñÿ ñ ðåàëüíûìè õàðàêòåðèñòèêàìè èññëåäóåìîé ñèñòåìû. Êðîìå ñëó÷àÿ ìîäåëè ëèíåéíîé ðåãðåññèè ñõîäèìîñòü àëãîðèòìîâ ýòîãî òèïà îáû÷íî óäàåòñÿ äîêàçàòü òîëüêî ïðè èçâåñòíûõ ñòàòèñòè÷åñêèõ ñâîéñòâàõ ïîìåõ â èçìåðåíèè òåêóùèõ çíà÷åíèé âåêòîðà-ãðàäèåíòà è ñòàíäàðòíûõ ïðåäïîëîæåíèÿõ îá èõ öåíòðèðîâàííîñòè è íåêîððåëèðîâàííîñòè. Íàïðîòèâ, ïîäõîäû, îñíîâàííûå íà àïïðîêñèìàöèè ãðàäèåíòà, òðåáóþò òîëüêî ïðåîáðàçîâàíèÿ îñíîâíûõ èçìåðåíèé âûõîäà ê çíà÷åíèÿì ñêà÷êà ôóíêöèè ïîòåðü, ÷òî íå òðåáóåò ïîëíîãî çíàíèÿ îòíîøåíèé ìåæäó âõîäàìè è âûõîäàìè ñèñòåìû.  íàñòîÿùåå âðåìÿ íàëèöî ðîñò çàèíòåðåñîâàííîñòè ïðàêòèêîâ â òàêîãî ðîäà ðåêóððåíòíûõ àëãîðèòìàõ îïòèìèçàöèè. Ýòî ìîòèâèðóåòñÿ ïðîáëåìàìè, âîçíèêàþùèìè ïðè êîíñòðóèðîâàíèè ñèñòåì, ðàáîòàþùèõ â ðåàëüíîì âðåìåíè è ðåàãèðóþùèõ íà ñëîæíûå ïîñëåäîâàòåëüíûå çàïðîñû, ïðè ñèíòåçå àäàïòèâíûõ ñèñòåì óïðàâëåíèÿ, ïðè îïòèìèçàöèè âû÷èñëèòåëüíûõ ïðîöåññîâ ñ áîëüøèìè îáúåìàìè ìîäåëèðîâàíèÿ ïî ìåòîäó ÌîíòåÊàðëî, ïðè ïðîöåññå îáó÷åíèÿ íåéðîííûõ ñåòåé, â çàäà÷àõ ñòàòèñòè÷åñêîé èäåíòèôèêàöèè ñëîæíûõ ñèñòåì, ðàñïîçíàâàíèÿ èçîáðàæåíèé (îáðàçîâ), ïîëó÷àåìûõ ñ ïîìåõàìè îò ñåíñîðíûõ äàò÷èêîâ. Ñòîèò åùå ðàç ïîä÷åðêíóòü, ãëàâíîå ïðåèìóùåñòâî òàêîãî òèïà àëãîðèòìîâ çàêëþ÷àåòñÿ â òîì, ÷òî îíè íå òðåáóþò äåòàëüíûõ çíàíèé ôóíêöèîíàëüíûõ îòíîøåíèé ìåæäó íàñòðàèâàåìûìè ïàðàìåò-

xviii

ÂÂÅÄÅÍÈÅ

ðàìè è çíà÷åíèåì ôóíêöèè ïîòåðü, êîòîðûå íåîáõîäèìû â àëãîðèòìàõ ïåðâîãî òèïà, îñíîâàííûõ íà èñïîëüçîâàíèè òî÷íîãî çíà÷åíèÿ âåëè÷èíû ãðàäèåíòà. Òàêèå îòíîøåíèÿ ïðè ðåøåíèè íåêîòîðûõ çàäà÷ çà÷àñòóþ òðóäíî ïîëó÷èòü (íàïðèìåð, ïðè êîíñòðóèðîâàíèè íåëèíåéíîãî ðåãóëÿòîðà îáðàòíîé ñâÿçè), à â äðóãèõ çàäà÷àõ (òàêèõ, êàê îïòèìèçàöèÿ ïî ÌîíòåÊàðëî èëè ðåêóððåíòíàÿ ñòàòèñòè÷åñêàÿ îöåíêà ïàðàìåòðîâ) ïðè áîëåå èëè ìåíåå èçâåñòíûõ ñâîéñòâàõ ýòèõ îòíîøåíèé âîçíèêàþò áîëüøèå òðóäíîñòè ïðè âû÷èñëåíèè ãðàäèåíòà, ñâÿçàííûå ñ íåîáõîäèìîñòüþ ìíîãîêðàòíî âû÷èñëÿòü çíà÷åíèÿ ôóíêöèè ïîòåðü. Èç-çà ñóùåñòâåííûõ ðàçëè÷èé â òèïå èñïîëüçóåìîé èíôîðìàöèè òðóäíî âûáðàòü ýôôåêòèâíûé ìåòîä ñðàâíåíèÿ êà÷åñòâà ðàáîòû àëãîðèòìîâ ïåðâîãî è âòîðîãî òèïà. Îáû÷íî àëãîðèòìû, îñíîâàííûå íà èçìåðåíèè ãðàäèåíòà, áûñòðåå ñõîäÿòñÿ ê îïòèìàëüíûì çíà÷åíèÿì ïàðàìåòðîâ. Èíòóèòèâíî ýòîò ðåçóëüòàò íå óäèâëÿåò, òàê êàê àëãîðèòìû ýòîãî òèïà èñïîëüçóþò áîëåå ñîäåðæàòåëüíóþ äîïîëíèòåëüíóþ èíôîðìàöèþ î ãðàäèåíòå ôóíêöèè ïîòåðü. Hà îñíîâàíèè òåîðåòè÷åñêèõ èññëåäîâàíèé àñèìïòîòè÷åñêîãî ïîâåäåíèÿ îòêëîíåíèÿ âåêòîðà îöåíîê îò îïòèìàëüíîãî äëÿ àëãîðèòìîâ ïåðâîãî òèïà ÷àñòî ïîëó÷àþò ñêîðîñòü ñõîäèìîñòè, ïðîïîðöèîíàëüíóþ îáðàòíîé âåëè÷èíå êâàäðàòíîãî êîðíÿ èç êîëè÷åñòâà èòåðàöèé. Ïðè ïîñòðîåíèè àëãîðèòìîâ âòîðîãî òèïà ïî÷òè òó æå ñêîðîñòü ñõîäèìîñòè äîñòèãàþò òîëüêî â ñïåöèàëüíûõ ñëó÷àÿõ. Íà ïðàêòèêå äëÿ îòâåòà íà âîïðîñ, êàêîé àëãîðèòì ÿâëÿåòñÿ ëó÷øèì, êðîìå àñèìïòîòè÷åñêîé îöåíêè êîëè÷åñòâà èòåðàöèé àíàëèçèðóþò è äðóãèå ôàêòîðû, ó÷åò êîòîðûõ ïðè ñðàâíåíèè íåðåäêî îòäàåò ïðåäïî÷òåíèå àëãîðèòìàì âòîðîãî òèïà. Ñðåäè íèõ:

 Íåâîçìîæíîñòü èíîãäà ïîëó÷èòü äîñòîâåðíûå ñâåäåíèÿ î ñèñòåìíûõ

îòíîøåíèÿõ âõîäàâûõîäà. Åñëè ñâåäåíèÿ î ñèñòåìíîé ìîäåëè íåäîñòóïíû èëè íåíàäåæíû, èëè èñïîëüçóåòñÿ íåäîñòàòî÷íàÿ ñèñòåìíàÿ ìîäåëü, òî àëãîðèòìû ïåðâîãî òèïà íåîñóùåñòâèìû íà ïðàêòèêå.

 Îáùàÿ ñòîèìîñòü ñêîðîñòè ñõîäèìîñòè, êîòîðóþ íóæíî ó÷èòûâàòü,

çàâèñèò íå òîëüêî îò òðåáóåìîãî ÷èñëà èòåðàöèé, íî òàêæå è îò çàòðàò, íåîáõîäèìûõ äëÿ âûïîëíåíèÿ îäíîé èòåðàöèè. Ýòè çàòðàòû äëÿ àëãîðèòìîâ, èñïîëüçóþùèõ òî÷íûå çíà÷åíèÿ ãðàäèåíòîâ, ÷àñòî âêëþ÷àþò â ñåáÿ áîëüøèé îáúåì âû÷èñëåíèé, äîïîëíèòåëüíûå ÷åëîâå÷åñêèå óñèëèÿ, íåîáõîäèìûå äëÿ îïðåäåëåíèÿ è êîäèðîâàíèÿ ãðàäèåíòîâ, à òàêæå ïðè íåîáõîäèìîñòè è ìàòåðèàëüíûå çàòðàòû íà ðàçðàáîòêó ìîäåëè è ïðîâåäåíèå ýêñïåðèìåíòîâ: òðóäîçàòðàòû, ìàòåðèàëû, òîïëèâî è ò. ï.

xix

 Àñèìïòîòè÷åñêèå îöåíêè ñêîðîñòè ñõîäèìîñòè íå âñåãäà ïðåäñòàâèòåëüíû ïðè êîíå÷íûõ âûáîðêàõ.

Íåñìîòðÿ íà òî, ÷òî öåíòðàëüíîå ìåñòî â êíèãå çàíèìàþò ðåçóëüòàòû î ñîñòîÿòåëüíîñòè îöåíîê ïðîöåäóð, èñïîëüçóþùèõ àïïðîêñèìàöèè âåêòîðàãðàäèåíòà ôóíêöèè ïîòåðü, â öåëîì íå áóäåò îòäàíî ïðåäïî÷òåíèå ïåðâîìó èëè âòîðîìó òèïó àëãîðèòìîâ. Îñíîâíîå âíèìàíèå áóäåò óäåëåíî òåì è äðóãèì àëãîðèòìàì, ñõîäÿùèìñÿ ïðè ïî÷òè ïðîèçâîëüíûõ ïîìåõàõ, ïîäðàçóìåâàÿ ïðè ýòîì äîñòàòî÷íî øèðîêèé êëàññ ïîìåõ â íàáëþäåíèÿõ, ñîäåðæàùèé, êàê ìèíèìóì, íåèçâåñòíûå, íî îãðàíè÷åííûå äåòåðìèíèðîâàííûå ïîñëåäîâàòåëüíîñòè. Îáû÷íî èññëåäîâàíèÿ îöåíîê àëãîðèòìîâ îáîèõ òèïîâ ïðè òàêèõ ïîìåõàõ íå äàþò îòâåòîâ íà âîïðîñ îá èõ ñîñòîÿòåëüíîñòè, òàê êàê ìåòîäèêà àíàëèçà â òîé èëè èíîé ñòåïåíè îïèðàåòñÿ íà èíôîðìàöèþ î öåíòðèðîâàííîñòè ïîìåõ â èçìåðåíèÿõ ãðàäèåíòà èëè çíà÷åíèé ôóíêöèè ïîòåðü. Êàê íè ñòðàííî, äîëãîå âðåìÿ èññëåäîâàòåëè íå çàìå÷àëè òîãî ôàêòà, ÷òî â ñëó÷àå çàøóìëåííûõ íàáëþäåíèé àëãîðèòìû ïîèñêà ñ ïîñëåäîâàòåëüíûì (n = 1; 2; : : :) èçìåíåíèåì îöåíêè ^n 1 â íàïðàâëåíèè ïî îñè íåêîòîðîãî ñëó÷àéíîãî öåíòðèðîâàííîãî âåêòîðà
n :

^n = ^n

1


n yn;

ìîãóò ñõîäèòüñÿ ê èñòèííîìó âåêòîðó ðåãóëèðóåìûõ ïàðàìåòðîâ  íå òîëüêî ïðè "õîðîøèõ" ïîìåõàõ, íî è ïðè ïî÷òè ïðîèçâîëüíûõ. Ýòî äîñòèãàåòñÿ â óñëîâèÿõ, êîãäà íàáëþäåíèÿ yn ïðîèçâîäÿòñÿ â íåêîòîðîé òî÷êå, îïðåäåëÿåìîé ïðåäûäóùåé îöåíêîé ^n 1 è âåêòîðîì
n , íàçûâàåìûì ïðîáíûì îäíîâðåìåííûì âîçìóùåíèåì. Àëãîðèòìû òàêîãî òèïà áóäåì íàçûâàòü ðàíäîìèçèðîâàííûìè àëãîðèòìàìè îöåíèâàíèÿ, òàê êàê îáîñíîâàíèå èõ ñõîäèìîñòè ïðè ïî÷òè ïðîèçâîëüíûõ ïîìåõàõ ñóùåñòâåííî èñïîëüçóåò ñòîõàñòè÷åñêóþ (âåðîÿòíîñòíóþ) ïðèðîäó ïðîáíîãî âîçìóùåíèÿ.  íåäàëåêîì áóäóùåì íåñêîëüêî íàñòîðîæåííîå îòíîøåíèå ïðàêòèêîâ ê ñòîõàñòè÷åñêèì àëãîðèòìàì è ê èõ ðåçóëüòàòàì êàðäèíàëüíî èçìåíèòñÿ. Íà ñìåíó ñîâðåìåííîìó ïîêîëåíèþ âû÷èñëèòåëüíîé òåõíèêè ïðèäóò êâàíòóìêîìïüþòåðû, ðàáîòàþùèå êàê ñòîõàñòè÷åñêèå ñèñòåìû èççà îòñóòñòâèÿ äåòåðìèíèçìà â ìèêðîìèðå, â ñèëó êâàíòîâîìåõàíè÷åñêîãî ïðèíöèïà íåîïðåäåëåííîñòè Ãåéçåíáåðãà . Ñ ó÷åòîì âîçìîæíîñòåé êâàíòîâîãî ïàðàëëåëèçìà ïðåäëàãàåìûå â êíèãå àëãîðèòìû, íàâåðíîå, ïðîñòî è åñòåñòâåííî ëÿãóò â îñíîâó áóäóùèõ êâàíòîâûõ âû÷èñëèòåëüíûõ óñòðîéñòâ.  ýòîé êíèãå ñäåëàíà ïîïûòêà ñèñòåìàòè÷åñêè, ó÷èòûâàÿ íîâûå ïîäõîäû ê ðåøåíèþ çàäà÷ ïðè ïðîèçâîëüíûõ ïîìåõàõ, îïèñàòü ñîâðåìåííîå

xx

ÂÂÅÄÅÍÈÅ

ñîñòîÿíèå íåêîòîðûõ ðàçäåëîâ òåîðèè îöåíèâàíèÿ è òåñíî ñâÿçàííûõ ñ íèìè ïðîáëåì îïòèìèçàöèè. Âî ââåäåíèè ê èçâåñòíîé ìîíîãðàôèè Â.Í.Ôîìèíà. "Ðåêóððåíòíîå îöåíèâàíèå è àäàïòèâíàÿ ôèëüòðàöèÿ" [85] äàí êðàòêèé èñòîðè÷åñêèé îáçîð ðàçâèòèÿ òåîðèè îöåíèâàíèÿ ê íà÷àëó 80-õ ãîäîâ ÕÕ âåêà. Çà ïðîøåäøèå äâàäöàòü ëåò ýòà ðàáîòà íå ïîòåðÿëà ñâîþ àêòóàëüíîñòü, íî â ïîñëåäíåå âðåìÿ òåîðèÿ îáîãàòèëàñü íîâûìè çàäà÷àìè, àëãîðèòìàìè è áîëåå ñîäåðæàòåëüíûì ìàòåìàòè÷åñêèì îáîñíîâàíèåì. Îñòàíîâèìñÿ íåñêîëüêî ïîäðîáíåå íà ïåðå÷èñëåíèè ýòàïîâ, çíàìåíàòåëüíûõ âåõ â ðàçâèòèè òåîðèè îöåíèâàíèÿ. Íàâåðíîå, êàê ìàòåìàòè÷åñêàÿ íàóêà îíà áûëà îñíîâàíà â 1806 ã., êîãäà ïîÿâèëàñü ðàáîòà À.Ì.Ëåæàíäðà î íàèìåíüøèõ êâàäðàòàõ. ×åñòü îñíîâàòåëÿ ïðèíàäëåæèò è Ê.Ô.Ãàóññó, îïóáëèêîâàâøåìó ñâîþ âåðñèþ ìåòîäà íàèìåíüøèõ êâàäðàòîâ (ÌÍÊ) â 1809 ãîäó.  1821 ãîäó îí ïðåäëîæèë ðåêóððåíòíûé âàðèàíò ïðîöåäóðû, ïîçâîëÿþùèé êîððåêòèðîâàòü ðàíåå âû÷èñëåííóþ îöåíêó ñ ó÷åòîì âíîâü ïîñòóïèâøèõ äîïîëíèòåëüíûõ èçìåðåíèé áåç íåîáõîäèìîñòè ïîâòîðà âñåõ ïðåäøåñòâóþùèõ âû÷èñëåíèé.  ýòîò ïåðèîä ñòèìóëîì ðàçâèòèÿ ÌÍÊ ñëóæèëè çàïðîñû ðàçâèòèÿ íåáåñíîé ìåõàíèêè, è ìåòîä áûñòðî ñòàë ñòàíäàðòíûì äëÿ îïðåäåëåíèÿ îðáèò íåáåñíûõ òåë. Íåóäèâèòåëüíî, ÷òî â ðÿäó àâòîðîâ ðàáîò ïî íåáåñíîé ìåõàíèêå íàõîäÿòñÿ èìåíà Ô.À.Áåññåëÿ, Æ.Ë.Ëàãðàíæà, Ï.Ñ.Ëàïëàñà, Ñ.Ä.Ïóàññîíà, èçâåñòíûõ ñâîèì âêëàäîì â îñíîâàíèÿ ñòàòèñòèêè.  íà÷àëå ÕÕ âåêà òåîðåòè÷åñêèå îáîñíîâàíèÿ ìåòîäà íàèìåíüøèõ êâàäðàòîâ ïîëó÷èëè çíà÷èòåëüíîå ðàçâèòèå â òðóäàõ À.À.Ìàðêîâà [55]. Ïîñòåïåííî ìåòîäèêà îöåíèâàíèÿ áûëà ïîãëîùåíà ñòàòèñòèêîé, íî íå ñðàçó â äîñòàòî÷íî ñòðîãîé ìàòåìàòè÷åñêîé ôîðìå. Ëèøü â ñåðåäèíå ÕÕ âåêà òåîðèÿ âåðîÿòíîñòåé è âàæíåéøèå ðàçäåëû ñòàòèñòèêè ïîëó÷èëè ñîîòâåòñòâóþùåå ìàòåìàòè÷åñêîå îôîðìëåíèå, ïðåæäå âñåãî, áëàãîäàðÿ èñïîëüçîâàíèþ êîíöåïöèé òåîðèè ìåðû. Ôóíäàìåíò ñîâðåìåííîãî ñîñòîÿíèÿ òåîðèè îöåíèâàíèÿ çàëîæåí Ð.Ôèøåðîì â 2030-õ ãîäàõ ïðîøëîãî âåêà [129]. Ð.Ôèøåð ïðåäëîæèë ìåòîä ìàêñèìóìà ïðàâäîïîäîáèÿ è ïîêàçàë, ÷òî äîñòàâëÿåìûå èì îöåíêè íå ìîãóò áûòü ñóùåñòâåííî óëó÷øåíû. Ð.Ôèøåðîì òàêæå ââåäåíû ñòàâøèå îáùåïðèíÿòûìè ïîíÿòèÿ íåñìåùåííîñòè, äîñòàòî÷íîñòè, ñîñòîÿòåëüíîñòè, ýôôåêòèâíîñòè è àñèìïòîòè÷åñêîé ýôôåêòèâíîñòè îöåíîê. Òùàòåëüíî ðàññìàòðèâàÿ îñíîâàíèÿ òåîðèè îöåíèâàíèÿ, Ð.Ôèøåð èçáàâèë åå îò æåñòêèõ îãðàíè÷åíèé, ñóùåñòâîâàâøèõ ñ ìîìåíòà ïîÿâëåíèÿ ðàáîò Ê.Ô.Ãàóññà. Îáîáùåíèÿ åãî òåîðèè ïðèâåëè, â ÷àñòíîñòè, ê ðàçâèòèþ ñîâðåìåííûõ ìåòîäîâ íåïàðàìåòðè÷åñêîãî è ðîáàñòíîãî îöåíèâàíèÿ, â êîòîðûõ òî÷íàÿ ïðèðî-

xxi äà ðàñïðåäåëåíèÿ âåðîÿòíîñòåé îöåíèâàåìûõ ñëó÷àéíûõ âåëè÷èí íå ïðåäïîëàãàåòñÿ èçâåñòíîé. Îäíîâðåìåííî ñ ôîðìàëèçàöèåé è ðàçâèòèåì ìàòåìàòè÷åñêîé ñòàòèñòèêè ïðîâîäèëèñü èññëåäîâàíèÿ â, êàçàëîñü áû, äàëåêèõ îò íèõ îáëàñòÿõ. Äî 1940 ãîäà îöåíèâàíèå êàñàëîñü, ïðåæäå âñåãî, êëàññè÷åñêèõ ïðîáëåì îïðåäåëåíèÿ íàèëó÷øèõ îöåíîê ïàðàìåòðîâ ðàñïðåäåëåíèé íà îñíîâå âûáîðêè èç ãåíåðàëüíîé ñîâîêóïíîñòè. Ìåæäó òåì, ñïåöèàëèñòû ïî ëèíèÿì ñâÿçè èìåëè äåëî ñ çàäà÷åé ñèíòåçà óñòðîéñòâ, ïîçâîëÿþùèõ ýôôåêòèâíî îáíàðóæèâàòü ïðèñóòñòâèå èëè îòñóòñòâèå ñèãíàëà, íàáëþäàåìîãî íà ôîíå ïîìåõè. Èìåííî èõ èññëåäîâàíèÿ ñîñòàâèëè êîíêóðåíöèþ ñòàòèñòè÷åñêèì èññëåäîâàíèÿì Ð.Ôèøåðà. Áûñòðîå ðàçâèòèå òåîðèè ñâÿçè ïðèâåëî ê íåîáõîäèìîñòè ó÷åòà âîçäåéñòâèÿ ïîìåõ íà ðàñïðîñòðàíåíèå è ïðèåì ñèãíàëîâ. Ïåðâûå ïîïûòêè óìåíüøèòü íåæåëàòåëüíîå âîçäåéñòâèå ïîìåõ áûëè ñâÿçàíû ñ ââåäåíèåì ìåòîäîâ ðàñ÷åòà ôèëüòðîâ, ïîçâîëÿþùèõ îöåíèòü ñïåêòð ìîùíîñòè ïîëåçíîãî ñèãíàëà. Ýòè ïîïûòêè äåëàëèñü â ïåðñïåêòèâíîì íàïðàâëåíèè, íî èõ îãðàíè÷èâàëà íåðàçâèòîñòü òåîðèè ôèëüòðàöèè. Ìàòåìàòè÷åñêèå îñíîâû ýòîé òåîðèè òîëüêî çàêëàäûâàëèñü: â íà÷àëå 30-õ ãîäîâ ÕÕ âåêà À.ß.Õèí÷èí è Í.Âèíåð ñîçäàëè òåîðèþ ãàðìîíè÷åñêîãî àíàëèçà ñëó÷àéíûõ ôóíêöèé, öåíòðàëüíîå ìåñòî â êîòîðîé çàíèìàåò òåîðåìà î ñïåêòðàëüíîì ïðåäñòàâëåíèè ñòàöèîíàðíûõ ïðîöåññîâ. Îñíîâû òåîðèè îïòèìàëüíîé ôèëüòðàöèè ñòàöèîíàðíûõ ïðîöåññîâ áûëè çàëîæåíû â ðàáîòàõ À.Í.Êîëìîãîðîâà [43] è çàêðûòîì îò÷åòå Í.Âèíåðà [215], íàïèñàííîì â 1942 ãîäó ïî çàäàíèþ Íàöèîíàëüíîãî Ñîâåòà îáîðîííûõ èññëåäîâàíèé ÑØÀ. Í.Âèíåð, â ÷àñòíîñòè, ïîêàçàë, ÷òî òåîðèÿ îöåíèâàíèÿ ìîæåò áûòü ïðèìåíåíà äëÿ ñèíòåçà ýëåêòðè÷åñêîãî ôèëüòðà, êîòîðûé îáåñïå÷èâàåò íàèëó÷øåå âûäåëåíèå ñèãíàëà ïðè íàëè÷èè ñòàöèîíàðíîé ïîìåõè. Îñíîâíîé àêöåíò îí äåëàë íå ñòîëüêî íà ðàññìîòðåíèå ÷àñòîòíûõ ñïåêòðîâ ñèãíàëîâ, ñêîëüêî íà èõ îáðàáîòêó êàê ñòîõàñòè÷åñêèõ ïðîöåññîâ. Öåíòðàëüíûì ìåñòîì òåîðèè îïòèìàëüíîé ôèëüòðàöèè ÂèíåðàÊîëìîãîðîâà ÿâëÿåòñÿ óðàâíåíèå ÂèíåðàÕîïôà, ðåøåíèå êîòîðîãî íåïîñðåäñòâåííî ñâÿçàíî ñ ñèíòåçîì îïòèìàëüíîãî ôèëüòðà. Àíàëèòè÷åñêèå òðóäíîñòè ðåøåíèÿ ýòîãî óðàâíåíèÿ (â ÷àñòíîñòè, ïðîáëåìà ôàêòîðèçàöèè) ÿâèëèñü ãëàâíûì ïðåïÿòñòâèåì íà ïóòè øèðîêîãî âíåäðåíèÿ ìåòîäîâ ôèëüòðàöèè â ïðàêòèêó. Êðîìå òîãî, çíà÷èòåëüíûì îãðàíè÷åíèåì äëÿ ìíîãèõ ïðèëîæåíèé áûëî âàæíîå ïðåäïîëîæåíèå î ñòàöèîíàðíîñòè îáðàáàòûâàåìîãî ñèãíàëà.  êîíöå 40-õ ãîäîâ ÕÕ âåêà çàêëàäûâàþòñÿ îñíîâû ñòàòèñòè÷åñêîé òåîðèè ñâÿçè èëè òåîðèè èíôîðìàöèè.  1947 ãîäó â äîêòîðñêîé äèññåðòàöèè Â.À.Êîòåëüíèêîâà [46] "Òåîðèÿ ïîòåíöèàëüíîé ïîìåõîóñòîé÷èâîñ-

xxii

ÂÂÅÄÅÍÈÅ

òè" âïåðâûå ñôîðìóëèðîâàíà çàäà÷à îïòèìàëüíîãî ñòàòèñòè÷åñêîãî ñèíòåçà ïðèåìíûõ óñòðîéñòâ è äàåòñÿ ðåøåíèå çàäà÷è îáíàðóæåíèÿ è ðàçëè÷åíèÿ äåòåðìèíèðîâàííûõ ñèãíàëîâ íà ôîíå êîððåëèðîâàííîé ïîìåõè.  ýòîé ðàáîòå ñ íîâûõ ïîçèöèé àíàëèçèðóþòñÿ ìíîãèå ôóíäàìåíòàëüíûå ïîíÿòèÿ. Ñïóñòÿ íåìíîãèì áîëåå ãîäà ïîÿâëÿåòñÿ øèðîêî èçâåñòíàÿ ðàáîòà Ê.Øåííîíà, ñîäåðæàùàÿ çíàìåíèòûå òåîðåìû î êîäèðîâàíèè ïåðåäàâàåìûõ ñèãíàëîâ ñ öåëüþ óñòðàíåíèÿ èçáûòî÷íîé èíôîðìàöèè è î ïðîïóñêíîé ñïîñîáíîñòè êàíàëîâ ñî ñëó÷àéíûìè ïîìåõàìè. Øèðîêîå ïðèçíàíèå ñðåäè èíæåíåðîâïðîåêòèðîâùèêîâ ñèñòåì ñâÿçè ïîëó÷èëà èíòåðïðåòàöèÿ ÁîäåØåííîíà [114] ïðîöåäóðû ñèíòåçà îïòèìàëüíîãî ôèëüòðà.  òî æå âðåìÿ Í.Âèíåð ïóáëèêóåò êíèãó "Êèáåðíåòèêà, èëè óïðàâëåíèå è ñâÿçü â æèâîòíîì è ìàøèíå" [14], âîçâåñòèâøóþ î ñòàíîâëåíèè íîâîé íàóêè Êèáåðíåòèêè, â êîòîðîé èíôîðìàöèîííîóïðàâëåí÷åñêàÿ ñâÿçü â ÿâëåíèÿõ ìàòåðèàëüíîãî ìèðà âûñòóïàåò êàê ôóíäàìåíòàëüíîå åãî ñâîéñòâî. Ïîçæå òåîðèÿ îïòèìàëüíîé ôèëüòðàöèè îáîãàùàåòñÿ áàéåñîâñêîé èäåîëîãèåé. Ñòðóêòóðó îïòèìàëüíîãî ïðèåìíèêà-îáíàðóæèòåëÿ íà÷àëè îïðåäåëÿòü èç àíàëèçà îòíîøåíèÿ ïðàâäîïîäîáèÿ è ïðè îïðåäåëåííûõ óñëîâèÿõ íàó÷èëèñü ïîëó÷àòü ñîãëàñîâàííûé ôèëüòð, ìàêñèìèçèðóþùèé îòíîøåíèå "ñèãíàë/øóì" íà âõîäå ðåøàþùåãî óñòðîéñòâà. Íàðÿäó ñ ïðîáëåìîé îáíàðóæåíèÿ íà ïåðâûé ïëàí â ñòàòèñòè÷åñêîé òåîðèè ñâÿçè âûäâèãàþòñÿ ïðîáëåìû ðàçëè÷åíèÿ ñèãíàëîâ è âîññòàíîâëåíèÿ ñîîáùåíèé. Ýòè ïðîáëåìû îêàçûâàþòñÿ òåñíî ñâÿçàííûìè ñ îöåíêîé ïàðàìåòðîâ, îò êîòîðûõ ìîãóò çàâèñåòü ïðèíèìàåìûå ñèãíàëû. Òàê, íàïðèìåð, ïðîåêòèðîâùèêè ðàäèîëîêàòîðà óæå íå óäîâëåòâîðÿþòñÿ ðåøåíèåì òîëüêî ïðîáëåìû äåòåêòèðîâàíèÿ ñèãíàëà. Äëÿ íèõ âàæíî ïîëó÷èòü äîïîëíèòåëüíóþ èíôîðìàöèþ îá àìïëèòóäå è ôàçå ïðèíÿòûõ ðàäèîëîêàòîðîì ñèãíàëîâ. Õîòÿ ïåðâîíà÷àëüíî ïðåîáðàçîâàíèå ñèãíàëîâ è îöåíèâàíèå èõ ïàðàìåòðîâ èçó÷àëîñü ñî ñïåöèàëüíûìè öåëÿìè, âñêîðå áûëî óñòàíîâëåíî, ÷òî ïîñëå ñîîòâåòñòâóþùåé èíòåðïðåòàöèè ýòè ïðîáëåìû åñòåñòâåííî óêëàäûâàþòñÿ â ðàìêè ñòàòèñòèêè.  êîíöå 50-õ ãîäîâ ÕÕ âåêà ïðè èññëåäîâàíèè îïòèìàëüíûõ ôèëüòðîâ, ñèíòåçèðóåìûõ äëÿ îáðàáîòêè ðåçóëüòàòîâ íàáëþäåíèÿ íà êîíå÷íîì èíòåðâàëå âðåìåíè, áûëè ïðåäëîæåíû ïîäõîäû, íå èñïîëüçóþùèå èíòåãðàëüíîå óðàâíåíèå ÂèíåðàÕîïôà. Ð.Êàëìàí è Ð.Áüþñè [37] ïîíÿëè, ÷òî âìåñòî åãî èññëåäîâàíèÿ ÷àñòî áûâàåò æåëàòåëüíî (è âîçìîæíî) ïðåâðàòèòü èíòåãðàëüíîå óðàâíåíèå â íåëèíåéíîå äèôôåðåíöèàëüíîå, ðåøåíèå êîòîðîãî äàåò êîâàðèàöèþ îøèáêè îïòèìàëüíîãî ôèëüòðà.  ñâîþ î÷åðåäü, ýòà êîâàðèàöèÿ ñîäåðæèò âñþ íåîáõîäèìóþ èíôîðìàöèþ

xxiii äëÿ ïðîåêòèðîâàíèÿ. Ýòîò ïîäõîä, ïî ñóùåñòâó ïðåäñòàâëÿþùèé ñîáîé ðåêóððåíòíûé âàðèàíò ÌÍÊ, â ÷àñòíûõ ñëó÷àÿõ èññëåäîâàëñÿ ðàíåå è äðóãèìè àâòîðàìè, íî èìåííî ñ ðàáîò Ð.Êàëìàíà è Ð.Áüþñè â íà÷àëå 60-õ ãîäîâ ÕÕ âåêà íà÷àëîñü øèðîêîå ðàçâèòèå ìåòîäîâ òåîðèè ðåêóððåíòíîãî (ïîñëåäîâàòåëüíîãî) îöåíèâàíèÿ, â ðàìêàõ êîòîðîé çàäà÷à îïòèìàëüíîé ôèëüòðàöèè ïîëó÷èëà ñóùåñòâåííîå ïðîäâèæåíèå. Âîçìîæíîñòü ñèíòåçà îïòèìàëüíîãî ôèëüòðà ðåêóððåíòíûì ñïîñîáîì ïðåäñòàâëÿåò è áîëüøîé ïðàêòè÷åñêèé èíòåðåñ â ñâÿçè ñ óäîáñòâîì ðåàëèçàöèè ôèëüòðà íà áàçå ñîâðåìåííîé âû÷èñëèòåëüíîé òåõíèêè. Ðåêóððåíòíûå ïðîöåäóðû îöåíèâàíèÿ (ôèëüòð ÊàëìàíàÁüþñè) îêàçàëèñü ïðèìåíèìûìè è â ñëó÷àå íåñòàöèîíàðíûõ ïðîöåññîâ. Ðàáîòû Ð.Êàëìàíà ïî ðåêóððåíòíîìó îöåíèâàíèþ ïîÿâèëèñü â ñâÿçè ñ íåîáõîäèìîñòüþ îïòèìàëüíîãî îöåíèâàíèÿ âåêòîðà ñîñòîÿíèÿ ëèíåéíûõ íåñòàöèîíàðíûõ ñèñòåì. Îöåíèâàíèå ïðîèçâîäèëîñü ïî íàáëþäåíèÿì çà çàøóìëåííîé êîìïîíåíòîé âåêòîðà ñîñòîÿíèÿ. Ïðè ýòîì â òåîðåòè÷åñêîì ïëàíå ñóùåñòâåííûì ìîìåíòîì ÿâëÿåòñÿ ëèíåéíàÿ çàâèñèìîñòü íàáëþäàåìîãî ïðîöåññà îò îöåíèâàåìîãî ïàðàìåòðà (ëèíåéíàÿ ôèëüòðàöèÿ). Âìåñòå ñ òåì, ìíîãèå ïðàêòè÷åñêèå çàäà÷è ïðèâîäÿò ê íåëèíåéíîé çàâèñèìîñòè äàííûõ íàáëþäåíèÿ îò îöåíèâàåìîãî ïàðàìåòðà. Ýòîò ðàçäåë òåîðèè îöåíèâàíèÿ  íåëèíåéíàÿ ôèëüòðàöèÿ  ðàçâèò çíà÷èòåëüíî ìåíüøå, îñíîâíûå èäåè áûëè âûäâèíóòû â 1960 ãîäó Ð.Ë.Ñòðàòîíîâè÷åì [78, 79]. Ïðåäëîæåííàÿ èì ðåêóððåíòíàÿ ïðîöåäóðà îöåíèâàíèÿ â ëèíåéíîì ñëó÷àå ïðåîáðàçóåòñÿ â ôèëüòð ÊàëìàíàÁüþñè. Ïîçäíåå ðåçóëüòàòû òåîðèè ÂèíåðàÊîëìîãîðîâà îïòèìàëüíîé ôèëüòðàöèè è òåîðèè ÊàëìàíàÁüþñè ðåêóððåíòíîé ôèëüòðàöèè ñòàëè øèðîêî èñïîëüçîâàòüñÿ â òåîðèè îïòèìàëüíîãî óïðàâëåíèÿ, â ÷àñòíîñòè, â çàäà÷àõ ëèíåéíî êâàäðàòè÷íîé îïòèìèçàöèè ïðè íåïîëíûõ è çàøóìëåííûõ íàáëþäåíèÿõ çà âåêòîðîì ñîñòîÿíèé îáúåêòà óïðàâëåíèÿ.  êîíöå ÕÕ âåêà Â.Í.Ôîìèíó [87, 88] óäàëîñü ñóùåñòâåííî îáîáùèòü êëàññè÷åñêèå èññëåäîâàíèÿ â ýòîé îáëàñòè, ðàçâèâàÿ îïåðàòîðíûé ïîäõîä ê ðåøåíèþ çàäà÷ ëèíåéíîé ôèëüòðàöèè. Òåîðèÿ îöåíèâàíèÿ â ïîñëåäíåé ÷åòâåðòè ïðîøëîãî âåêà ïîëó÷èëà äîïîëíèòåëüíûé èìïóëüñ â ðàçâèòèè ïðè ñèíòåçå àäàïòèâíûõ ñèñòåì, ñïîñîáíûõ óñïåøíî ôóíêöèîíèðîâàòü â óñëîâèÿõ àïðèîðíîé íåîïðåäåëåííîñòè î ñâîéñòâàõ âíåøíåé ñðåäû. Àëãîðèòìû ïîñòðîåíèÿ îïòèìàëüíîãî óïðàâëåíèÿ îáû÷íî ïðåäïîëàãàþò èçâåñòíûìè íåêîòîðûå àïðèîðíûå äàííûå î ñâîéñòâàõ ñèñòåìû óïðàâëåíèÿ è ïîìåõ.  áîëüøèíñòâå ïðàêòè÷åñêèõ çàäà÷ ýòà èíôîðìàöèÿ íåäîñòóïíà ïðîåêòèðîâùèêó, íî åå ìîæíî â òîé èëè èíîé ñòåïåíè âîññòàíîâèòü èç àíàëèçà ïîëó÷àåìûõ

xxiv

ÂÂÅÄÅÍÈÅ

íàáëþäåíèé. Åñëè òàêàÿ âîçìîæíîñòü èìååòñÿ, òî ìîæíî ñèíòåçèðîâàòü àëãîðèòìû, â êîòîðûõ ñîâìåùåíû ïðîöåññû óïðàâëåíèÿ è âîñïîëíåíèÿ íåäîñòàþùåé èíôîðìàöèè. Ýòîò ïîäõîä áëèçîê ïîíÿòèþ äóàëüíîãî (äâîéñòâåííîãî) óïðàâëåíèÿ À.À.Ôåëüäáàóìà [82]: "óïðàâëÿþùèå âîçäåéñòâèÿ äîëæíû áûòü â èçâåñòíîé ìåðå èçó÷àþùèìè, íî â èçâåñòíîé ìåðå íàïðàâëÿþùèìè". Ïðè äîñòàòî÷íî ýôôåêòèâíîì âîñïîëíåíèè íåäîñòàþùèõ ñâåäåíèé ñèñòåìà óïðàâëåíèÿ ïðèîáðåòàåò îïòèìàëüíûå ñâîéñòâà, ëèáî áëèçêèå ê íèì. Òàêèå ñèñòåìû íàçûâàþò àäàïòèâíûìè, ïîñêîëüêó â ïðîöåññå ôóíêöèîíèðîâàíèÿ îíè ïðîÿâëÿþò ñâîéñòâî ïðèñïîñàáëèâàíèÿ ê çàðàíåå íåèçâåñòíûì ïîìåõîñèãíàëüíûì óñëîâèÿì (ñì. [5, 49, 48, 62, 58, 77, 84, 86, 89]). Ñêàçàííîå â ðàâíîé ñòåïåíè îòíîñèòñÿ è ê äðóãèì àäàïòèâíûì óñòðîéñòâàì, â ÷àñòíîñòè, ê îáó÷àþùèìñÿ ìàøèíàì è àäàïòèâíûì ôèëüòðàì (ñì., íàïðèìåð, [58, 85, 88, 98]).  ïîñëåäíåå âðåìÿ áîëüøîå âíèìàíèå óäåëÿåòñÿ âîïðîñàì ðîáàñòíîé óñòîé÷èâîñòè ñèñòåì óïðàâëåíèÿ [74, 212, 213]. Ïðè ñèíòåçå òàêèõ óñòðîéñòâ òåîðèÿ îöåíèâàíèÿ èãðàåò âàæíóþ ðîëü, ïðåäîñòàâëÿÿ ðåêóððåíòíûå àëãîðèòìû àäàïòàöèè.  êîíöå ÕÕ âåêà ðîñò ïðîèçâîäèòåëüíîñòè âû÷èñëèòåëüíûõ ìàøèí è óñëîæíåíèå ðåøàåìûõ ïðàêòè÷åñêèõ çàäà÷ ïðèâåëè ê âñå áîëåå øèðîêîìó èñïîëüçîâàíèþ íåéðîííûõ ñåòåé ñ áîëüøèì êîëè÷åñòâîì óçëîâ [145, 181, 213, 216]. Îêàçàëîñü, ÷òî è ïðè íàñòðîéêå ïàðàìåòðîâ íåéðîííûõ ñåòåé ñîâðåìåííûå ðåçóëüòàòû òåîðèé îöåíèâàíèÿ è îïòèìèçàöèè äàþò â ðàñïîðÿæåíèå ðàçðàáîò÷èêîâ óäîáíûå äëÿ èñïîëüçîâàíèÿ àëãîðèòìû. Ðàçâèòèå è äîñòóïíîñòü âû÷èñëèòåëüíîé òåõíèêè îêàçàëè âîçäåéñòâèå è íà êëàññè÷åñêèå ðàçäåëû ìàòåìàòè÷åñêîé ñòàòèñòèêè, ñòèìóëèðóÿ ðàçðàáîòêó è äàâàÿ ïðèîðèòåò ðåêóððåíòíûì ñõåìàì îöåíèâàíèÿ. Òàê ïîëó÷èëè øèðîêîå ïðèçíàíèå ïðîöåäóðû ñòîõàñòè÷åñêîé àïïðîêñèìàöèè ÐîááèíñàÌîíðî (1951) [186] è ÊèôåðàÂîëüôîâèöà (1952) [154]. Áîëüøóþ ðîëü â ïðîïàãàíäå ïîäîáíûõ ìåòîäîâ ñûãðàë ß.Ç.Öûïêèí.  ñâîèõ êíèãàõ "Àäàïòàöèÿ è îáó÷åíèå â àâòîìàòè÷åñêèõ ñèñòåìàõ" [89] è "Îñíîâû òåîðèè îáó÷àþùèõñÿ ñèñòåì" [90] îí ïîêàçàë øèðîêóþ ïðèìåíèìîñòü ðåêóððåíòíûõ ñòîõàñòè÷åñêèõ àëãîðèòìîâ â çàäà÷àõ îöåíèâàíèÿ, èäåíòèôèêàöèè, ðàñïîçíàâàíèÿ îáðàçîâ, îïòèìèçàöèè, óïðàâëåíèÿ. Ïîçæå, â ðàáîòàõ [64, 67, 68, 69, 71, 91, 92, 93, 94, 95] áûëà îöåíåíà ýôôåêòèâíîñòü òàêèõ àëãîðèòìîâ è íàéäåíû èõ îïòèìàëüíûå è ðîáàñòíûå âàðèàíòû. Ê íàñòîÿùåìó âðåìåíè ìåòîäèêà èññëåäîâàíèÿ ñâîéñòâ îöåíîê, äîñòàâëÿåìûõ ðåêóððåíòíûìè àëãîðèòìàìè îöåíèâàíèÿ è îïòèìèçàöèè ïðè çàøóìëåííûõ íàáëþäåíèÿõ, ïðèîáðåëà â öåëîì äîñòàòî÷íî çàêîí÷åííûé âèä. Îñíîâîé ìíîãèõ ðàáîò ïî îïòèìèçàöèè ñõîäèìîñòè àëãîðèòìîâ

xxv ÿâëÿþòñÿ ðàáîòû Ì.Âàçàíà [11], Ì.Á.Håâåëüñîíà è Ð.Ç.Õàñüìèíñêîãî [61], Â.ß.Êàòêîâíèêà [39, 40], ß.Ç.Öûïêèíà è À.Ñ.Ïîçíÿêà [92], â êîòîðûõ ïðè ïðåäïîëîæåíèè î öåíòðèðîâàííîñòè è íåçàâèñèìîñòè ïîìåõ äëÿ àíàëèçà ñâîéñòâ ñõîäèìîñòè îöåíîê è îïðåäåëåíèÿ îïòèìàëüíûõ ñïîñîáîâ âûáîðà ïàðàìåòðîâ àëãîðèòìîâ èñïîëüçîâàëèñü ìåòîäû, îñíîâûâàþùèåñÿ íà ñòîõàñòè÷åñêîì ìåòîäå Ëÿïóíîâà èëè íåïîñðåäñòâåííî îöåíèâàþùèå íàèõóäøèå çíà÷åíèÿ ñòàòèñòè÷åñêèõ ìîìåíòîâ îøèáîê îöåíèâàíèÿ. Ïðè êîððåëèðîâàííûõ ñòàòèñòè÷åñêèõ ïîìåõàõ â ðàáîòàõ Ë.Ëüþíãà è Ã.Êóøíåðà ñ ñîàâòîðàìè (ñì., íàïðèìåð, [54, 157, 158, 161]) íà îñíîâå èññëåäîâàíèÿ õàðàêòåðèñòèê ñëàáîé ñõîäèìîñòè ðàçðàáîòàíà ìåòîäèêà àíàëèçà àñèìïòîòè÷åñêèõ ñâîéñòâ îöåíîê ðåêóððåíòíûõ àëãîðèòìîâ, îïèðàþùàÿñÿ íà èçó÷åíèå óñòîé÷èâîñòè ðåøåíèé ñîîòâåòñòâóþùèõ îáûêíîâåííûõ äèôôåðåíöèàëüíûõ óðàâíåíèé (ÎÄÓ). Àñèìïòîòè÷åñêèå õàðàêòåðèñòèêè ïðåäåëüíûõ ðàñïðåäåëåíèé îøèáîê îöåíèâàíèÿ àëãîðèòìîâ ñòîõàñòè÷åñêîé àïïðîêñèìàöèè ÷àñòî èññëåäóþòñÿ, îñíîâûâàÿñü íà ðàáîòå Â.Ôàáèàíà [128]. Ñòîõàñòè÷åñêèå êâàçèãðàäèåíòíûå àëãîðèòìû äëÿ ðåøåíèÿ çàäà÷ íåâûïóêëîé îïòèìèçàöèè ðàññìàòðèâàëèñü Þ.Ì.Åðìîëüåâûì, À.Ì.Ãóïàëîì, Ñ.Ï.Óðÿñüåâûì è äð. [34, 56, 80]. Â.Ã.Ãàïîøêèí è Ò.Ï.Êðàñóëèíà â [15] ïðåäëîæèëè ñïîñîá èçó÷åíèÿ àñèìïòîòè÷åñêîãî ïîâåäåíèÿ òðàåêòîðèé, áàçèðóþùèéñÿ íà çàêîíå ïîâòîðíîãî ëîãàðèôìà.  ðàáîòå Ý.Âàëêåéëû è À.Â.Ìåëüíèêîâà [12] àñèìïòîòè÷åñêèå ñâîéñòâà äèôôóçèîííûõ è äèñêðåòíûõ ìîäåëåé ñòîõàñòè÷åñêîé àïïðîêñèìàöèè èçó÷àþòñÿ íà åäèíîé îñíîâå. Ïðè íåðåãóëÿðíûõ ïîìåõàõ â íàáëþäåíèè (íàïðèìåð, îãðàíè÷åííûõ, à â îñòàëüíîì ïðîèçâîëüíûõ) â êíèãàõ Â.Í.Ôîìèíà, À.Ë.Ôðàäêîâà, Â.À.ßêóáîâè÷à [84], À.Á.Êóðæàíñêîãî [52], Ô.Ë.×åðíîóñüêî [97], Â.Ì.Êóíöåâè÷à, Ì.Ì.Ëû÷àêà [51] èñïîëüçóþòñÿ ìåòîäû ïîëó÷åíèÿ ãàðàíòèðîâàííûõ ìíîæåñòâ, ñîäåðæàùèõ îöåíèâàåìûå ïàðàìåòðû. Ñèñòåìàòè÷åñêîå ïàðàëëåëüíîå èçëîæåíèå ìåòîäîâ îöåíèâàíèÿ ïðè ñòàòèñòè÷åñêèõ è íåðåãóëÿðíûõ ïîìåõàõ ïðîâåäåíî Ô.Øâåïïå [195]. Äðóãèå ñïîñîáû îïèñàíèÿ ñâîéñòâ íåîïðåäåëåííîñòåé îáñóæäàþòñÿ Ï.Å.Ýëüÿñáåðãîì â [102]. Ïðåäëàãàåìûé â ýòîé êíèãå íîâûé òèï àëãîðèòìîâ, îñíîâàííûõ íà èñïîëüçîâàíèè ñòàòèñòè÷åñêîé èíôîðìàöèè î âêëþ÷àåìîì â ðàññìîòðåíèå ïðîáíîì îäíîâðåìåííîì âîçìóùåíèè, îòíîñèòñÿ ê áîëåå øèðîêîìó êëàññó àëãîðèòìîâ ñëó÷àéíîãî ïîèñêà. Çíà÷èòåëüíîå èñïîëüçîâàíèå íà ïðàêòèêå àëãîðèòìîâ ñëó÷àéíîãî ïîèñêà âûçâàíî ïîòðåáíîñòüþ â ðåøåíèè çàäà÷ îïòèìèçàöèè â óñëîâèÿõ, êîãäà ñâîéñòâà èññëåäóåìîé ôóíêöèè ïîòåðü íåèçâåñòíû, à èçìåðåíèå çíà÷åíèé ñàìîé ôóíêöèè äîñòóïíû ÷àùå âñåãî ñ ïîìåõàìè.  ðóññêîÿçû÷íîé ëèòåðàòóðå ýòè àëãîðèòìû èññëåäî-

xxvi

ÂÂÅÄÅÍÈÅ

âàëèñü, íàïðèìåð, â ðàáîòàõ Ë.À.Ðàñòðèãèíà [75, 76], À.Æèëèíñêàñà [36], Ñ.Ì.Åðìàêîâà è À.À.Æèãëÿâñêîãî [33] ïðè óñëîâèè öåíòðèðîâàííîñòè è íåçàâèñèìîñòè ïîìåõ íàáëþäåíèÿ. Âîîáùå ãîâîðÿ, â óñëîâèÿõ, êîãäà èíôîðìàöèè î ôóíêöèè ïîòåðü ìàëî, äëÿ ïîèñêà òî÷êè ìèíèìóìà íàäî ïîñëåäîâàòåëüíî ïåðåáðàòü âñå âîçìîæíûå âàðèàíòû âåêòîðîâ ðåãóëèðóåìûõ ïàðàìåòðîâ. Ïðè âûñîêîé ðàçìåðíîñòè çàäà÷è ýòî ñäåëàòü çà ðàçóìíîå âðåìÿ íåâîçìîæíî. Hà îñíîâàíèè òåõ èëè èíûõ ïðåäïîëîæåíèé î ñâîéñòâàõ ôóíêöèè ïîòåðü èñïîëüçîâàíèå àëãîðèòìîâ ñëó÷àéíîãî ïîèñêà ïîçâîëÿåò çàìåíèòü ïîëíûé ïåðåáîð íà, â íåêîòîðîì ñìûñëå, çäðàâîå (îñìûñëåííîå) áëóæäàíèå â ìíîæåñòâå ðåãóëèðóåìûõ ïàðàìåòðîâ.  îòëè÷èå îò ðàññìàòðèâàåìûõ â áîëåå ðàííåé ëèòåðàòóðå ïðåäëàãàåìûå â ýòîé êíèãå àëãîðèòìû îáåñïå÷èâàþò ñîñòîÿòåëüíîñòü îöåíîê ïðè ñóùåñòâåííî ìåíåå çíà÷èòåëüíûõ ïðåäïîëîæåíèÿõ î ñâîéñòâàõ íåèçâåñòíîé ôóíêöèè ïîòåðü è ïîìåõ â èçìåðåíèè åå çíà÷åíèé. Èíòåðåñíà èñòîðèÿ ïîÿâëåíèÿ íà ñâåò ïåðâûõ ñóùåñòâåííûõ òåîðåòè÷åñêèõ ðåçóëüòàòîâ î ñâîéñòâàõ ðàíäîìèçèðîâàííûõ àëãîðèòìîâ ñòîõàñòè÷åñêîé àïïðîêñèìàöèè, äëÿ êîòîðûõ áûëà äîêàçàíà ñõîäèìîñòü ïðè ïðîèçâîëüíûõ ïîìåõàõ. Ïåðåä ðàçðàáîò÷èêàìè ïîñëåäîâàòåëüíûõ àëãîðèòìîâ îöåíèâàíèÿ èëè îïòèìèçàöèè â òîé èëè èíîé ôîðìå âñåãäà ñòîÿò òðè âîïðîñà: 1. Êàêîâ ñàìûé áûñòðûé àëãîðèòì ïî ÷èñëó èòåðàöèé? 2. Êàê ìèíèìèçèðîâàòü êîëè÷åñòâî èçìåðåíèé è äðóãèõ âû÷èñëåíèé íà êàæäîé èòåðàöèè? 3. Êàêîé àëãîðèòì áóäåò ñõîäèòüñÿ ïðè ïî÷òè ïðîèçâîëüíûõ ïîìåõàõ? Èìåííî ïîïûòêè ïîèñêà îòâåòîâ íà ýòè âîïðîñû ïðèâåëè ê òîìó, ÷òî íà ðóáåæå 8090-õ ãîäîâ ïðîøëîãî âåêà íà÷àëèñü àêòèâíûå èññëåäîâàíèÿ ñâîéñòâ ðàíäîìèçèðîâàííûõ àëãîðèòìîâ îöåíèâàíèÿ è îïòèìèçàöèè. Îñíîâû ýòèõ èññëåäîâàíèé áàçèðóþòñÿ íà ðàáîòàõ Äæ.Ñïàëà [199, 200], ïîêàçàâøåãî ñóùåñòâåííîå ñîêðàùåíèå íåîáõîäèìîãî äëÿ îïòèìèçàöèè êîëè÷åñòâà èçìåðåíèé èññëåäóåìîé ôóíêöèè ïî ñðàâíåíèþ ñ êëàññè÷åñêèìè ñõåìàìè, è àâòîðîâ ñ À.Á.Öûáàêîâûì è À.Â.Ãîëüäåíøëþãåðîì [19, 20, 22, 23, 72, 133], ïðåäëîæèâøèõ ñàìûå ýôôåêòèâíûå â øèðîêîì êëàññå àëãîðèòìû, ñîñòîÿòåëüíîñòü êîòîðûõ îáîñíîâàíà ïðè ïî÷òè ïðîèçâîëüíûõ ïîìåõàõ. Íîâûé àëãîðèòì â àíãëîÿçû÷íîé ëèòåðàòóðå ïîëó÷èë íàçâàíèå oäíîâðåìåííî âîçìóùàåìàÿ ñòîõàñòè÷åñêàÿ àïïðîêñèìàöèÿ (Simultaneous Perturbation Stochastic Approximation, SPSA), â ðóññêîÿçû÷íîé  ðàíäîìèçèðîâàííûé àëãîðèòì ñòîõàñòè÷åñêîé àïïðîêñèìàöèè, àëãîðèòì ñòîõàñòè÷åñêîé àïïðîêñèìàöèè ñ âîçìóùåíèåì íà âõîäå

xxvii èëè ïîèñêîâûé àëãîðèòì ñòîõàñòè÷åñêîé àïïðîêñèìàöèè.  1993 ãîäó ïðè ðàçðàáîòêå ñïîñîáîâ íàñòðîéêè ïàðàìåòðîâ íåéðîííûõ ñåòåé ïîõîæèå àëãîðèòìû áûëè ïðåäëîæåíû â ðàáîòàõ Äæ.Àëñïåêòîðà [108] è Þ.Ìàåäû [164] ñ ñîàâòîðàìè. Ñîñòîÿòåëüíîñòü ðàíäîìèçèðîâàííûõ àëãîðèòìîâ ïðè ïî÷òè ïðîèçâîëüíûõ ïîìåõàõ ïîçæå èññëåäîâàëàñü â ðàáîòàõ Ë.Ëüþíãà ñ Ë.Ãàî [162] è Õ.-Ô.×åíà, Ò.Äóíêàíà, Á.ÏàññèêÄóíêàí [119]. Ñòîèò äîïîëíèòåëüíî îòìåòèòü, ÷òî îáîñíîâàííîå âêëþ÷åíèå ïðîáíîãî âîçìóùåíèÿ â êàíàë óïðàâëåíèÿ ïðè ñèíòåçå àäàïòèâíîãî îïòèìàëüíîãî óïðàâëåíèÿ âïåðâûå áûëî îäíîâðåìåííî ïðåäëîæåíî â 1986 ãîäó Õ.-Ô.×åíîì ñ Ë.Ãàî [117], èñïîëüçîâàâøèìè äëÿ îöåíèâàíèÿ ìîäèôèöèðîâàííûé ÌHÊ, è â ðàáîòå îäíîãî èç àâòîðîâ ñ Â.Í.Ôîìèíûì [17], áàçèðóþùåéñÿ íà ìåòîäå ñòîõàñòè÷åñêîé àïïðîêñèìàöèè. Ïðè ðàçðàáîòêå íîâîãî àëãîðèòìà ê ïîëîæèòåëüíûì îòâåòàì íà ïîñòàâëåííûå âûøå òðè âîïðîñà æåëàòåëüíî áûëî áû äîáàâèòü è ÷åòâåðòûé àñïåêò: ïðåäñòàâëåíèå àëãîðèòìà äîëæíî áûòü äîñòàòî÷íî ïðîñòûì äëÿ ïîíèìàíèÿ è ðåàëèçàöèè â âèäå ýëåêòðîííîãî óñòðîéñòâà. Òàêèìè è ïîëó÷èëèñü íîâûå ðàíäîìèçèðîâàííûå àëãîðèòìû ñòîõàñòè÷åñêîé àïïðîêñèìàöèè.

xxviii

ÂÂÅÄÅÍÈÅ

Ãëàâà 1 Íåêîòîðûå çàäà÷è è ìåòîäû òåîðèè îöåíèâàíèÿ

Ïîä ïîíÿòèåì îöåíèâàíèå îáû÷íî ïîäðàçóìåâàåòñÿ ñïîñîá óòî÷íåíèÿ çíà÷åíèé ïàðàìåòðîâ íåêîòîðîé ôóíêöèè (â òåîðèè ñâÿçè  ñèãíàëà), èçìåðÿåìîé (íàáëþäàåìîãî) ñ îøèáêàìè (íà ôîíå ïîìåõ).  ìàòåìàòè÷åñêîé ñòàòèñòèêå îñíîâíûì èíñòðóìåíòîì îöåíèâàíèÿ ÿâëÿåòñÿ ðåãðåññèîííûé àíàëèç, îñíîâàííûé íà ìåòîäå íàèìåíüøèõ êâàäðàòîâ.  ýòîé ãëàâå îïèñûâàþòñÿ íåêîòîðûå èç ìåòîäîâ ñòàòèñòè÷åñêîãî îöåíèâàíèÿ. Ïðè ýòîì, êàê ïðàâèëî, ïðè ôîðìóëèðîâàíèè êàêèõ-ëèáî óòâåðæäåíèé íå äàåòñÿ ñòðîãîå ìàòåìàòè÷åñêîå îáîñíîâàíèå, òàê êàê ãëàâíîå âíèìàíèå óäåëÿåòñÿ ñîäåðæàòåëüíîé ñòîðîíå âîïðîñîâ.  ïîñëåäóþùèõ ãëàâàõ óòâåðæäåíèÿ ïðèâîäÿòñÿ ñ îáîñíîâàíèÿìè è äîêàçàòåëüñòâàìè.

1.1 Ïðåäâàðèòåëüíûå ïðèìåðû Ðàññìàòðèâàåìûå âî âñåì òåêñòå êíèãè ïðèìåðû íå ïðåäñòàâëÿþò ñîáîé íàáîð êîíêðåòíûõ ïðàêòè÷åñêèõ çàäà÷. Ìíîãèå èç íèõ çàäàíû â äîñòàòî÷íî îáùåé ìîäåëüíîé ôîðìå, íî, íà âçãëÿä àâòîðîâ, äëÿ ïðàêòèêîâ íå ñîñòàâèò òðóäà ïðè íåîáõîäèìîñòè êîíêðåòèçèðîâàòü ëþáîé èç íèõ.

1.1.1

Îöåíèâàíèå âåëè÷èíû ïîñòîÿííîãî ñèãíàëà, íàáëþäàåìîãî íà ôîíå ïîìåõè

Ïðåäïîëîæèì, ÷òî íàáëþäàåìûé (ðåãèñòðèðóåìûé èçìåðèòåëüíûì ïðèáîðîì) ñèãíàë fyn g èìååò âèä

yn =  + vn ; 27

28ÃËÀÂÀ 1. ÌÅÒÎÄÛ ÎÖÅÍÈÂÀÍÈß È ÎÏÒÈÌÈÇÀÖÈÈ ãäå   íåèçâåñòíàÿ ïîñòîÿííàÿ âåëè÷èíà (ïîëåçíûé ñèãíàë), fvn g  íåèçâåñòíàÿ ïîìåõà íàáëþäåíèÿ, èçìåíÿþùàÿñÿ âî âðåìåíè, n = 1; 2; : : : : Èíòåðâàë âðåìåíè íàáëþäåíèÿ ìîæåò áûòü ëèáî íåîãðàíè÷åííûì, ëèáî êîíå÷íûì. Ïðè ðàññìîòðåíèè âòîðîãî ñëó÷àÿ ìû áóäåì ïèñàòü n =

1; 2; : : : ; N:

Òðåáóåòñÿ ïî íàáîðó âåëè÷èí y1 ; : : : ; yN , ñîñòîÿùåìó èç íàáëþäåíèé, ïîëó÷åííûõ ê ìîìåíòó âðåìåíè N , îöåíèòü çíà÷åíèå âåëè÷èíû  .  òàêîé îáùåé ïîñòàíîâêå íåò âîçìîæíîñòè ïîëó÷èòü êàêîåíèáóäü óäîâëåòâîðèòåëüíîå ðåøåíèå çàäà÷è. Äëÿ áîëüøåé ñîäåðæàòåëüíîñòè â ïîñòàíîâêó çàäà÷è âíîñÿò óòî÷íÿþùèå äîïîëíåíèÿ. Íàïðèìåð, ïðè ñòàòèñòè÷åñêîì ïîäõîäå äåëàþò òå èëè èíûå ïðåäïîëîæåíèÿ î âåðîÿòíîñòíûõ ñâîéñòâàõ ïîìåõ fvn g. Äîñòàòî÷íî õàðàêòåðíûì ÿâëÿåòñÿ ïðåäïîëîæåíèå î öåíòðèðîâàííîñòè (ñðåäíåå çíà÷åíèå ðàâíî íóëþ) è íåçàâèñèìîñòè (â óïðîùåííîì ñìûñëå, íåò çàâèñèìîñòè ìåæäó çíà÷åíèÿìè â ðàçëè÷íûå ìîìåíòû âðåìåíè) ïîìåõè.  ýòîé ñèòóàöèè, ïðîñóììèðîâàâ è óñðåäíèâ N çíà÷åíèé íàáëþäåíèé, ïîëó÷àåì

1 N

N X n=1

yn =  +

1 N

N X n=1

vn :

 çàâèñèìîñòè îò ñäåëàííûõ ñòàòèñòè÷åñêèõ ïðåäïîëîæåíèé,Pâ ñèëó çàêîíà áîëüøèõ ÷èñåë (ñì. ïóíêò Ï.1.3 íà ñòð. 251), âåëè÷èíû N n=1 vn =N ìîãóò ñõîäèòñÿ â íåêîòîðîì âåðîÿòíîñòíîì ñìûñëå ê íóëþ. Òîãäà îöåíêè f^N g íåèçâåñòíîãî çíà÷åíèÿ , âû÷èñëåííûå ïî ôîðìóëå:

1 ^N = N

N X n=1

yn ;

áóäóò ñõîäèòüñÿ â òîì æå âåðîÿòíîñòíîì ñìûñëå ê çíà÷åíèþ íåèçâåñòíîé âåëè÷èíû  . Ñ ïðàêòè÷åñêîé òî÷êè çðåíèÿ äëÿ óäîáñòâà ðåàëèçàöèè àëãîðèòìà îöåíèâàíèÿ íà ÝÂÌ åãî öåëåñîîáðàçíî ïåðåïèñàòü â ðåêóððåíòíîé ôîðìå, èñïîëüçóþùåé íà êàæäîì øàãå êîíå÷íóþ ïàìÿòü (ôèêñèðîâàííîå êîëè÷åñòâî çíà÷åíèé). Ïóñòü ^0 = 0. Ïðîèçâåäÿ íåñëîæíûå ïðåîáðàçîâàíèÿ: n n 1 1 nX1 1 1X ^n = yk = y + y ; n k=1 n n 1 k=1 k n n

1.1. ÏÐÅÄÂÀÐÈÒÅËÜÍÛÅ ÏÐÈÌÅÐÛ

29

ïîëó÷àåì ðåêóððåíòíûé âàðèàíò àëãîðèòìà äëÿ âû÷èñëåíèÿ îöåíîê

^n = ^n

1 ^n ( n

1

1

yn ):

Îáðàòèì âíèìàíèå íà òî, ÷òî äëÿ âû÷èñëåíèÿ î÷åðåäíîé îöåíêè èñïîëüçóåòñÿ òîëüêî íîâîå íàáëþäåíèå è ïðåäûäóùàÿ îöåíêà. Êðîìå âû÷èñëåíèÿ ñðåäíåàðèôìåòè÷åñêîãî çíà÷åíèÿ äàííûõ íàáëþäåíèÿ øèðîêî èñïîëüçóåòñÿ ìåòîä ìàêñèìàëüíîãî ïðàâäîïîäîáèÿ. Îáîçíà÷èì 0

y1 1 B y2 C B C

Y =@

.. A : . yN

 òîì ñëó÷àå, êîãäà ïîìåõè  ñëó÷àéíûå âåëè÷èíû, âåêòîð íàáëþäåíèé Y èìååò ñëó÷àéíóþ ïðèðîäó. Åñëè ñóùåñòâóåò ïëîòíîñòü ó åãî ôóíêöèè ðàñïðåäåëåíèÿ, òî åå îáû÷íî íàçûâàþò ôóíêöèåé ïðàâäîïîäîáèÿ è îáîçíà÷àþò L(Y;  ), ïîä÷åðêèâàÿ çàâèñèìîñòü îò  .  òàêîé ñèòóàöèè îäíèì èç åñòåñòâåííûõ ñïîñîáîâ âûáîðà îöåíêè ÿâëÿåòñÿ îïðåäåëåíèå òîé òî÷êè, â êîòîðîé ôóíêöèÿ ïðàâäîïîäîáèÿ äîñòèãàåò ìàêñèìàëüíîãî çíà÷åíèÿ. Íàïðèìåð, ïóñòü ïîìåõè íàáëþäåíèÿ íåçàâèñèìûå ãàóññîâñêèå ñ íóëåâûì ñðåäíèì è íåâûðîæäåííîé äèñïåðñèåé n2 > 0: vn  N (0; n2 ) Òàê êàê yn  N (; n2 ), òî â ýòîì ïðèìåðå ôóíêöèÿ ïðàâäîïîäîáèÿ èìååò âèä

L(Y; ) =

(2)N=2

1

e QN k=1 k

Óäîáíåå ðåøàòü çàäà÷ó ìàêñèìèçàöèè ïî

ln L(Y; ) =

N ln 2 2

N X k=1

PNk=1 (yk 2)2 2k

:

 ôóíêöèè

ln k

N X (yk k=1

)2

2k2

(ëîãàðèôìà ïðàâäîïîäîáèÿ). Ïðèðàâíèâàÿ ê íóëþ ðåçóëüòàò äèôôåðåíöèðîâàíèÿ ïî  , ïîëó÷àåì óðàâíåíèå äëÿ ^N N X yk k=1

k2

^N

= 0;

30ÃËÀÂÀ 1. ÌÅÒÎÄÛ ÎÖÅÍÈÂÀÍÈß È ÎÏÒÈÌÈÇÀÖÈÈ êîòîðîå èìååò ðåøåíèå

^N =

PN 2 k=1 yk k ; PN 2 k=1 k

íàçûâàåìîå óñðåäíåíèåì ñ âåñàìè. Ïîñëåäíÿÿ ôîðìóëà ëåãêî îáîñíîâûâàåòñÿ è íà èíòóèòèâíîì óðîâíå: â ôîðìèðîâàíèå îöåíêè íàèáîëüøèé âêëàä âíîñÿò òå íàáëþäåíèÿ, êîòîðûå äåëàëèñü ñ íàèìåíüøèìè îøèáêàìè. Åñëè äîïîëíèòåëüíî ïðåäïîëîæèòü îäèíàêîâóþ ðàñïðåäåëåííîñòü ïîìåõ íàáëþäåíèé fvn g, òî, êàê è âûøå, ïîëó÷àåì ñðåäíåàðèôìåòè÷åñêîå çíà÷åíèå äàííûõ íàáëþäåíèÿ. Äëÿ ðåøåíèÿ ïîñòàâëåííîé çàäà÷è ìîæíî âûáðàòü è êàêîéíèáóäü äðóãîé ñïîñîá ïîñòðîåíèÿ îöåíîê èñêîìîé âåëè÷èíû  , íî âñå èçâåñòíûå ñîäåðæàòåëüíûå àëãîðèòìû îïèðàþòñÿ íà ñóùåñòâåííûå ïðåäïîëîæåíèÿ î ñòàòèñòè÷åñêèõ ñâîéñòâàõ ïîìåõ íàáëþäåíèÿ. Îáû÷íî, êàê è â ðàññìîòðåííîì ïðèìåðå, ïðåäïîëàãàþòñÿ èõ öåíòðèðîâàííîñòü è íåêîððåëèðîâàííîñòü. Íèæå â ðàçäåëå 1.6 ðàçáèðàþòñÿ åùå íåñêîëüêî ïðèìåðîâ òàêîãî æå òèïà. Èíòåðåñíà ïîñòàíîâêà çàäà÷è î âûáîðå â òîì èëè èíîì ñìûñëå íàèëó÷øèõ îöåíîê. Èçâåñòíî, ÷òî ïðèâåäåííûé ïåðâûì àëãîðèòì ÿâëÿåòñÿ îïòèìàëüíûì â ñëó÷àå íåçàâèñèìûõ îäèíàêîâî ðàñïðåäåëåííûõ ãàóññîâûõ ïîìåõ â íàáëþäåíèÿõ. Äëÿ äðóãèõ òèïîâ ðàñïðåäåëåíèé ñòàòèñòè÷åñêèõ ïîìåõ îïòèìàëüíûì ìîæåò áûòü äðóãîé ìåòîä ïîñòðîåíèÿ îöåíîê. Ïðè èññëåäîâàíèè âûáðàííîãî àëãîðèòìà ñòàðàþòñÿ äîïîëíèòåëüíî ïîëó÷èòü îòâåò íà âîïðîñ î ñêîðîñòè ñõîäèìîñòè äîñòàâëÿåìûõ èì îöåíîê, åñëè îíè ñõîäÿòñÿ ê çíà÷åíèþ íåèçâåñòíîé âåëè÷èíû  , ò. å. èññëåäîâàòü ñêîðîñòü ñõîäèìîñòè ê íóëþ ïîñëåäîâàòåëüíîñòè f^N  g. Ê ñîæàëåíèþ, ïðè ïðîèçâîëüíûõ ïîìåõàõ â íàáëþäåíèè ïðèâåäåííûå âûøå ðàññóæäåíèÿ íå ïðèâîäÿò ê óäîâëåòâîðèòåëüíîìó ðåøåíèþ çàäà÷è. Õîðîøî îöåíèòü âåëè÷èíó ïîñòîÿííîãî ñèãíàëà íà ôîíå äåòåðìèíèðîâàííîé (íåñëó÷àéíîé) íåèçâåñòíîé ïîìåõè ïðèíöèïèàëüíî íåâîçìîæíî. Ýòà çàäà÷à ïðåäñòàâëÿåò ñîáîé ïðèìåð îãðàíè÷åííîñòè âîçìîæíîñòåé ïðèìåíåíèÿ ðàíäîìèçèðîâàííûõ àëãîðèòìîâ îöåíèâàíèÿ è îïòèìèçàöèè, ðå÷ü î êîòîðûõ ïîéäåò äàëåå.

1.1. ÏÐÅÄÂÀÐÈÒÅËÜÍÛÅ ÏÐÈÌÅÐÛ

1.1.2

31

Çàäà÷à îá îáíàðóæåíèè ñèãíàëà

Ðàññìîòðèì çàäà÷ó îáíàðóæåíèÿ (äåòåêòèðîâàíèÿ) ñèãíàëà f'n g, êîòîðûé ìîæåò áûòü ïîïàäàåò, à ìîæåò áûòü è íåò â çàøóìëåííûé êàíàë íàáëþäåíèÿ (èçìåðåíèÿ ïðîèçâîäÿòñÿ ñ ïîìåõàìè). Çäåñü äëÿ ïðîñòîòû áóäåì ñ÷èòàòü ñèãíàë f'n g ñêàëÿðíûì.  çàäà÷àõ îáíàðóæåíèÿ ñèãíàëà îöåíèâàåìàÿ âåëè÷èíà  îáû÷íî ïðèíèìàåò êîíå÷íîå ÷èñëî çíà÷åíèé è ÷àñòî ïðåäñòàâëÿåò èç ñåáÿ õàðàêòåðèñòèêó òèïà "äà  íåò". Áóäåì ñ÷èòàòü, ÷òî ñëó÷àé f = 1g ñîîòâåòñòâóåò íàëè÷èþ ñèãíàëà â ïðèåìíèêå, à f = 0g  åãî îòñóòñòâèþ. Ñ ó÷åòîì ýòîãî, äëÿ íàáëþäàåìûõ âåëè÷èí fyn g ìîæíî çàïèñàòü ñîîòíîøåíèÿ:

yn = 'n  + vn ; n = 1; 2; : : : : Ñ èñòîðè÷åñêîé òî÷êè çðåíèÿ ýòà çàäà÷à ÿâëÿåòñÿ êëàññè÷åñêîé. Áîëüøèíñòâî ìåòîäîâ òåîðèè îöåíèâàíèÿ ïðåæäå âñåãî àïðîáèðîâàëèñü íà íåé, ïîýòîìó íàáîð âîçìîæíûõ ñïîñîáîâ åå ðåøåíèÿ ïðè ðàçëè÷íûõ ïðåäïîëîæåíèÿõ î ñòàòèñòè÷åñêèõ ñâîéñòâàõ ñèãíàëà f'n g è "õîðîøèõ" ïîìåõàõ fvn g äîñòàòî÷íî îáøèðåí (ñì., íàïðèìåð, [85]). Ïðè ðåøåíèè âàæíî çíàòü: èçâåñòíû ëè çíà÷åíèÿ âåëè÷èí f'n g â êàæäûé ìîìåíò âðåìåíè èëè íåò. Áóäåì ðàññìàòðèâàòü ñëó÷àé, êîãäà â êàæäûé ìîìåíò âðåìåíè n çíà÷åíèå îáíàðóæèâàåìîãî ñèãíàëà èçâåñòíî. Êðîìå ýòîãî, ïóñòü ïîëåçíûé ñèãíàë  îãðàíè÷åííûé è èìååò ñòàòèñòè÷åñêóþ ïðèðîäó, ïðåäñòàâëÿÿ ñîáîé ïîñëåäîâàòåëüíîñòü íåçàâèñèìûõ ìåæäó ñîáîé ñëó÷àéíûõ âåëè÷èí ñ èçâåñòíûì íåíóëåâûì ñðåäíèì çíà÷åíèåì M' 6= 0 è ïîëîæèòåëüíîé îãðàíè÷åííîé äèñïåðñèåé '2 > 0. Êàê è ðàíåå, ïðîñóììèðîâàâ è óñðåäíèâ n ïîñëåäîâàòåëüíûõ äàííûõ íàáëþäåíèÿ, ïîëó÷àåì n n n 1X 1X 1X yk = 'k  + v: n k=1 n k=1 n k=1 k  ñèëó óñèëåííîãî çàêîíà áîëüøèõ ÷èñåë (ñì. ïóíêò Ï.1.3 íà ñòð. 251), P ïîñëåäîâàòåëüíîñòü âåëè÷èí n1 nk=1 'k ñòðåìèòñÿ ê ñðåäíåìó çíà÷åíèþ M' . Åñëè âçÿòü ^0 = 0 è â êà÷åñòâå î÷åðåäíîé îöåíêè âûáðàòü n 1 X ^n = y; nM' k=1 k òî, ïðåäïîëàãàÿ íåçàâèñèìîñòü ïîìåõ íàáëþäåíèÿ, èõ îäèíàêîâóþ ðàñïðåäåëåííîñòü è îãðàíè÷åííîñòü âòîðûõ ñòàòèñòè÷åñêèõ ìîìåíòîâ, ìîæ-

32ÃËÀÂÀ 1. ÌÅÒÎÄÛ ÎÖÅÍÈÂÀÍÈß È ÎÏÒÈÌÈÇÀÖÈÈ íî äîêàçàòü ñõîäèìîñòü ñ âåðîÿòíîñòüþ åäèíèöà ïîñëåäîâàòåëüíîñòè îöåíîê f^n g ê çíà÷åíèþ M + v; M' ãäå Mv  ñðåäíåå çíà÷åíèå ïîìåõè.  ìîìåíò âðåìåíè n ïðè âûáîðå ãèïîòåçû î íàëè÷èè ïîëåçíîãî ñèãíàëà â êàíàëå íàáëþäåíèÿ èëè îá åãî îòñóòñòâèè ðàçóìíî âçÿòü îïåðàöèþ ñðàâíåíèÿ âåëè÷èíû òåêóùåé îöåíêè ^n ñ íåêîòîðûì ïîðîãîâûì çíà÷åíèåì Æ . Åñëè ^n < Æ , òî ïðèíèìàåòñÿ ãèïîòåçà ñèãíàëà íåò, â ïðîòèâíîì ñëó÷àå  ñèãíàë åñòü. Ïðè èçâåñòíîé âåëè÷èíå Mv åñòåñòâåííî â ðåøàþùåì ïðàâèëå çàäàòü ïîðîãîMv . âîå çíà÷åíèå Æ = 21 + M ' Ïðè ïðîèçâîëüíûõ ïîìåõàõ â íàáëþäåíèè ýòîò ïðîñòîé àëãîðèòì íå ãîäèòñÿ. Äàæå åñëè ïîìåõè ñëó÷àéíûå, íåçàâèñèìûå, îäèíàêîâî ðàñMv j > 1 ïðåäåëåííûå, íî ñ íåèçâåñòíûì ñðåäíèì çíà÷åíèåì, òî ïðè j M 2 ' ðàññìîòðåííûé âûøå àëãîðèòì â ïðåäåëå áóäåò äàâàòü íåïðàâèëüíûå îòâåòû. Êàê âñåòàêè ïîäñòóïèòüñÿ ê ðåøåíèþ òàêîé çàäà÷è? Ïóñòü ïîìåõè çàäàþòñÿ íåèçâåñòíîé, íî îãðàíè÷åííîé äåòåðìèíèðîâàííîé ôóíêöèåé jvn j  Cv ; n = 1; 2; : : : . Îáîçíà÷èì
n = 'n M' , n = 1; 2; : : :  öåíòðèðîâàííûå âõîäû. Ïðåäïîëîæèì äîïîëíèòåëüíî îãðàíè÷åííîñòü ÷åòâåðòîãî öåíòðàëüíîãî ìîìåíòà ïîëåçíîãî ñèãíàëà: Efj
n j4 g < 1. Äîìíîæèì íà
n îáå ÷àñòè ñîîòíîøåíèÿ, îïðåäåëÿþùåãî íàáëþäàåìûå âåëè÷èíû yn , è, ïðîèçâåäÿ íåñëîæíûå ïðåîáðàçîâàíèÿ, ïîëó÷àåì


n yn =
2n +
nM'  +
n vn ; n = 1; 2; : : : : Ïðîñóììèðîâàâ è óñðåäíèâ, èìååì n n n n 1X 1X 1X 1X 2
y =
+
M +
v ; n = 1; 2; : : : : n k=1 k k n k=1 k n k=1 k ' n k=1 k k Ïåðâîå è âòîðîå ñëàãàåìîå â ïðàâîé ÷àñòè ïðè ñäåëàííûõ ïðåäïîëîæåíèÿõ, â ñèëó óñèëåííîãî çàêîíà áîëüøèõ ÷èñåë (ñì. ïóíêò Ï.1.3 íà ñòð. 251), ïðè n ! 1 ñ âåðîÿòíîñòüþ åäèíèöà ñòðåìÿòñÿ ê '2  è íóëþ ñîîòâåòñòâåííî. Ìîæíî ïîêàçàòü, ÷òî ïî òîé æå ïðè÷èíå è ïîñëåäíåå ñëàãàåìîå ñ âåðîÿòíîñòüþ åäèíèöà ïðè n ! 1 ñòðåìèòñÿ ê íóëþ. Îòñþäà ñëåäóåò, ÷òî ïðè
1 6= 0 ïîñëåäîâàòåëüíîñòü îöåíîê f^n g, ôîðìèðóåìûõ ïî ïðàâèëó

^n

=

Pn k=1
k yk ; P n
2 k=1 k

n = 1; 2; : : :

1.1. ÏÐÅÄÂÀÐÈÒÅËÜÍÛÅ ÏÐÈÌÅÐÛ

33

ñõîäèòñÿ ñ âåðîÿòíîñòüþ åäèíèöà ê  . Çàäàäèì íåêîòîðîå ïîðîãîâîå çíà÷åíèå Æ 2 (0; 1), íàïðèìåð, Æ = 1=2.  êà÷åñòâå ðåøàþùåãî ïðàâèëà â ìîìåíò âðåìåíè n ìîæíî âûáðàòü îïåðàöèþ ñðàâíåíèÿ âåëè÷èíû òåêóùåé îöåíêè ^n ñ âûáðàííûì ïîðîãîâûì çíà÷åíèåì Æ . Åñëè ^n < Æ , òî ïðèíèìàåòñÿ ãèïîòåçà ñèãíàëà íåò, â ïðîòèâíîì ñëó÷àå  ñèãíàë åñòü.

1.1.3

Ðàíäîìèçèðîâàííûå àëãîðèòìû

Îñòàíîâèìñÿ ïîäðîáíåå íà ïîñëåäíåì ñïîñîáå ïîñòðîåíèÿ îöåíîê èç ïðåäûäóùåãî ïóíêòà. Èç åãî âèäà ñëåäóåò, ÷òî åñëè îáîçíà÷èòü n

n X

=(

k=1


2k ) 1 ; n = 1; 2; : : : ;

òî äâå ïîñëåäîâàòåëüíûå îöåíêè ñâÿçàíû ñîîòíîøåíèåì

^n

=

n

^n

1

n 1

+
nyn :

Ñëåäîâàòåëüíî, ïðè âûáîðå ^0 = 0 ðàññìàòðèâàåìûé àëãîðèòì ìîæåò áûòü çàïèñàí â ðåêóððåíòíîé ôîðìå:

^n = ^n

1

n

=(


n n (
n ^n

1

yn);

1 2 1 n 1 +
n ) :

Íàïîìíèì, ÷òî ïðè ñäåëàííûõ ïðåäïîëîæåíèÿõ
n  íåçàâèñèìûå öåíòðèðîâàííûå ñëó÷àéíûå âåëè÷èíû. Îáîçíà÷èâ ÷åðåç yn = n (
n ^n 1 yn ) âåëè÷èíû, âû÷èñëÿåìûå ïî íàáëþäàåìûì ê ìîìåíó âðåìåíè n äàííûì, ïîëó÷åííûé ðåêóððåíòíûé àëãîðèòì îöåíèâàíèÿ ìîæíî ïåðåïèñàòü â âèäå ^n = ^n 1
n yn:  ýòîì àëãîðèòìå ñëó÷àéíûå âåëè÷èíû
n áóäåì íàçûâàòü ïðîáíûì îäíîâðåìåííûì âîçìóùåíèåì. Äëÿ ïðèìåðà èç ïðåäûäóùåãî ïóíêòà áûëî ïðèâåäåíî èíòóèòèâíîå îáîñíîâàíèå ñõîäèìîñòè ïîñëåäîâàòåëüíîñòè îöåíîê f^n g ê èñòèííîìó çíà÷åíèþ íåèçâåñòíîãî ïàðàìåòðà ïðè íåñëó÷àéíîé íåèçâåñòíîé, íî îãðàíè÷åííîé ïîñëåäîâàòåëüíîñòè ïîìåõ â íàáëþäåíèè. Àëãîðèòìû òàêîãî òèïà â äàëüíåéøåì áóäåì íàçûâàòü ðàíäîìèçèðîâàííûìè, òàê êàê îáîñíîâàíèå èõ ñõîäèìîñòè ïðè ïî÷òè ïðîèçâîëüíûõ ïîìåõàõ ñóùåñòâåííî èñïîëüçóåò ñòîõàñòè÷åñêóþ (âåðîÿòíîñòíóþ) ïðèðîäó ïðîáíîãî îäíîâðåìåííîãî âîçìóùåíèÿ.

34ÃËÀÂÀ 1. ÌÅÒÎÄÛ ÎÖÅÍÈÂÀÍÈß È ÎÏÒÈÌÈÇÀÖÈÈ

1.1.4

Ôóíêöèîíàë ñðåäíåãî ðèñêà

Ïðèâåäåííûå â ïóíêòàõ 1.1.1 è 1.1.2 ïðèìåðû îòíîñÿòñÿ ê áîëåå øèðîêîìó êëàññó çàäà÷ ìèíèìèçàöèè ôóíêöèîíàëîâ ñðåäíåãî ðèñêà. Ïóñòü çàäàíà ïîñëåäîâàòåëüíîñòü p-ìåðíûõ ñëó÷àéíûõ âåêòîðîâ fwn g èç R p , ïîðîæäåííàÿ ðàñïðåäåëåíèåì âåðîÿòíîñòåé Pw (
). Çàäà÷à ìèíèìèçàöèè ôóíêöèîíàëà ñðåäíåãî ðèñêà ñîñòîèò â íàõîæäåíèè òî÷êè ìèíèìóìà ôóíêöèè f (
), èìåþùåé âèä

f (x) = Ew fF (w; x)g =

Z

Rp

F (w; x)Pw (dw);

ãäå F (w; x) : Rp  R r ! R  çàäàííàÿ øòðàôíàÿ ôóíêöèÿ (ôóíêöèÿ ïîòåðü). Ôóíêöèþ f (
) îáû÷íî íàçûâàþò ôóíêöèåé ñðåäíèõ ïîòåðü.  òîì ñëó÷àå, êîãäà ôóíêöèÿ ðàñïðåäåëåíèÿ Pw (
) íåèçâåñòíà, ýòà çàäà÷à âûõîäèò çà ðàìêè êëàññè÷åñêîé òåîðèè îïòèìèçàöèè, íî åå ìîæíî ïîïûòàòüñÿ ðåøèòü â òåõ ñëó÷àÿõ, êîãäà â çàäàííûõ òî÷êàõ f(wn ; xn )g äîñòóïíû íàáëþäåíèþ (ìîæåò áûòü ñ ïîìåõàìè) èëè âåëè÷èíû F (wn ; xn )  çíà÷åíèÿ ôóíêöèè, èëè çíà÷åíèÿ âåêòîðàãðàäèåíòà rx F (wn ; xn ). Ïðè ýòîì îáû÷íî ïðåäïîëàãàþò, ÷òî ýêñïåðèìåíòàòîðó äîñòóïíû òîëüêî ïðîöåññû ôîðìèðîâàíèÿ è (èëè) íàáëþäåíèÿ ïîñëåäîâàòåëüíîñòè fxn g, à ñîîòâåòñòâóþùèå çíà÷åíèÿ fwn g ïîðîæäàþòñÿ ðàñïðåäåëåíèåì Pw (
) è íåïîäêîíòðîëüíû è äàæå, ìîæåò áûòü, íåèçâåñòíû.  ïðèìåðàõ ïï. 1.1.1 è 1.1.2 ìîæíî âçÿòü p = r = 1. Åñëè ïîìåõà íàáëþäåíèÿ fvn g èìååò ñëó÷àéíóþ ïðèðîäó è åå ôóíêöèÿ ðàñïðåäåëåíèÿ  Pv (
), òîãäà çàäà÷à èç ï. 1.1.1 îá îöåíèâàíèè âåëè÷èíû ïîñòîÿííîãî ñèãíàëà ýêâèâàëåíòíà çàäà÷å ìèíèìèçàöèè ôóíêöèîíàëà ñðåäíåãî ðèñêà

f (x) =

Z

1 ( x + w)2 Pv (dw); R2

à âòîðàÿ çàäà÷à èç ï. 1.1.2 ñâÿçàíà ñ ôóíêöèîíàëîì

f (x) =

Z Z

R

1 (w1 ( x) + w2 )2 P';v (dw); 2 R

ãäå 







' 1 w= w w2 = v ; à P';v (
)  ôóíêöèÿ ñîâìåñòíîãî ðàñïðåäåëåíèÿ ïîëåçíîãî ñèãíàëà è ïîìåõè. Íàáëþäåíèþ â êàæäûé ìîìåíò âðåìåíè n äîñòóïíû çíà÷åíèÿ

1.1. ÏÐÅÄÂÀÐÈÒÅËÜÍÛÅ ÏÐÈÌÅÐÛ

35

rxF (wn ; xn),

ðàâíûå â ïåðâîì ñëó÷àå xn yn èëè 'n ('n xn yn ) âî âòîðîì, ïðè ýòîì â ïåðâîé çàäà÷å çíà÷åíèÿ wn ; n = 1; 2; : : : íåèçâåñòíû ïîëíîñòüþ, à âî âòîðîé  ïîëíîñòüþ íåèçâåñòíû òîëüêî âòîðûå êîìïîíåíòû âåêòîðîâ wn ; n = 1; 2; : : : . Åñëè èçìåðåíèÿ çíà÷åíèé ôóíêöèè F (wn ; xn ) ôàêòè÷åñêè äåëàþòñÿ ñ íåêîòîðîé àääèòèâíîé ñëó÷àéíîé öåíòðèðîâàííîé íåçàâèñèìîé îøèáêîé vn 2 R, òî, â ñèëó îáùíîñòè ïîñòàâëåííîé çàäà÷è, ýòî óñëîæíåíèå íåïðèíöèïèàëüíî. Ðàñøèðèâ âåêòîð w äîïîëíèòåëüíîé êîìïîíåíòîé v è îáîçíà÷èâ 



w = wv ; ìîæíî ðàññìàòðèâàòü âìåñòî

F (w; x) íîâóþ ôóíêöèþ

F (w;  x) = F (w; x) + v ñî ñõåìîé íàáëþäåíèÿ áåç ïîìåõ è íîâîå ñîâìåñòíîå íåèçâåñòíîå ðàñïðåäåëåíèå Pw;v (
) âìåñòî Pw (
), êîòîðîå âñå ðàâíî è ðàíåå ïðåäïîëàãàëîñü íåèçâåñòíûì. Åñëè îøèáêè èçìåðåíèÿ íå îáëàäàþò õîðîøèìè ñòàòèñòè÷åñêèìè ñâîéñòâàìè, òî óïðîùàòü çàäà÷ó íåëüçÿ. Íàäî ðàññìàòðèâàòü ìîäåëü íàáëþäåíèé ñ ïîìåõàìè:

yn = F (wn ; xn ) + vn ; n = 1; 2; : : : :

36ÃËÀÂÀ 1. ÌÅÒÎÄÛ ÎÖÅÍÈÂÀÍÈß È ÎÏÒÈÌÈÇÀÖÈÈ

1.1.5

Ïðåäñêàçàíèå çíà÷åíèé ñëó÷àéíîãî ïðîöåññà

Îïèñàíèå ïðåäâàðèòåëüíûõ ïðèìåðîâ çàêîí÷èì çàäà÷åé î ïðåäñêàçàíèè çíà÷åíèé ñêàëÿðíîãî ñëó÷àéíîãî ïðîöåññà f n g, ïîðîæäàþùåãîñÿ óñòîé÷èâûì ëèíåéíûì ôèëüòðîì n+1 = a n + wn+1 ; n = 1; 2; : : : ; 0 = 0;

ãäå jaj < 1 è ïîñëåäîâàòåëüíîñòü fwn g ïðåäñòàâëÿåò ñîáîé íåêîòîðóþ ðåàëèçàöèþ íåçàâèñèìûõ ñëó÷àéíûõ âåëè÷èí. Íàáëþäåíèþ â êàæäûé ìîìåíò âðåìåíè äîñòóïíû âåëè÷èíû yn = 'n n + vn ; ÿâëÿþùèåñÿ ñìåñüþ ïðåîáðàçîâàííîãî ïðîöåññà f n g è íåèçâåñòíîé ïîìåõè fvn g. Òðåáóåòñÿ íàéòè îöåíêè ^n+1 çíà÷åíèé ïðîöåññà f n g â ìîìåíò âðåìåíè n +1 ïî íàáëþäåíèÿì yi ; 'i ; i  n. Êà÷åñòâî ïðåäñêàçàíèÿ îïðåäåëÿåòñÿ ñðåäíåé âåëè÷èíîé êâàäðàòà íåâÿçêè

Efk^n+1

n+1k2 g:

Îáû÷íî ñ÷èòàþò, ÷òî â ìîäåëè íàáëþäåíèé âåêòîðû f'n g îïðåäåëÿþòñÿ äåòåðìèíèðîâàííîé ïîñëåäîâàòåëüíîñòüþ. Åñëè 'n  ', à fwn g è fvn g  ñòàöèîíàðíûå è ñòàöèîíàðíî ñâÿçàííûå öåíòðèðîâàííûå ñëó÷àéíûå ïðîöåññû (ñì. ïóíêò Ï.1.4 íà ñòð. 252) ñ èçâåñòíûìè ñïåêòðàëüíûìè õàðàêòåðèñòèêàìè, òî ðàññìàòðèâàìàÿ çàäà÷à èìååò îïòèìàëüíîå ðåøåíèå â ðàìêàõ òåîðèè îïòèìàëüíîé ôèëüòðàöèè ÂèíåðàÊîëìîãîðîâà.  íåñòàöèîíàðíîì ñëó÷àå ïðè 'n 6 ' è íåçàâèñèìûõ ãàóññîâûõ ñëó÷àéíûõ ïðîöåññàõ fwn g, fvn g îïòèìàëüíûé ïðîãíîç âû÷èñëÿåòñÿ ðåêóððåíòíî ïî ôèëüòðó ÊàëìàíàÁüþñè.  ñëó÷àå ïðîèçâîëüíûõ ïîìåõ íàáëþäåíèÿ fvn g ðåøåíèå çàäà÷è îá îïòèìàëüíîì ïðîãíîçå ñ ïîìîùüþ ôèëüòðà ÊàëìàíàÁüþñè è, òåì áîëåå, â ðàìêàõ òåîðèè ÂèíåðàÊîëìîãîðîâà íå ïîëó÷àåòñÿ. Âî âòîðîé ãëàâå ïðè íåèçâåñòíûõ, íî îãðàíè÷åííûõ äåòåðìèíèðîâàííûõ ïîìåõàõ íàáëþäåíèÿ fvn g äëÿ ðåøåíèÿ çàäà÷è áóäåò ïðåäëîæåí íîâûé ðàäîìèçèðîâàííûé àëãîðèòì, ÿâëÿþùèéñÿ ìîäèôèêàöèåé óïðîùåííîãî âàðèàíòà ôèëüòðà ÊàëìàíàÁüþñè. Ïðè îáîñíîâàíèè åãî îòíîñèòåëüíîé ýôôåêòèâíîñòè áóäåò ïðåäïîëàãàòüñÿ ñëó÷àéíàÿ ïðèðîäà ôîðìèðîâàíèÿ ïîñëåäîâàòåëüíîñòè f'n g.

1.2 Ýëåìåíòû ðåãðåññèîííîãî àíàëèçà, ÌÍÊ Îäíèì èç íàèáîëåå ÷àñòî âñòðå÷àþùèõñÿ âîïðîñîâ, âñòàþùèõ ïåðåä èññëåäîâàòåëÿìè ðàçëè÷íûõ ñïåöèàëüíîñòåé, ÿâëÿåòñÿ ïðîáëåìà íàõîæäå-

1.2. ÝËÅÌÅÍÒÛ ÐÅÃÐÅÑÑÈÎÍÍÎÃÎ ÀÍÀËÈÇÀ, ÌÍÊ

37

íèÿ çàâèñèìîñòè ìåæäó íåêîòîðûì íàáîðîì âåëè÷èí. Ýòà çàâèñèìîñòü ìîæåò áûòü âûâåäåíà èç òåîðèè è (èëè) ìîæåò áûòü ïîëó÷åíà íà îñíîâàíèè ýêñïåðèìåíòàëüíûõ èññëåäîâàíèé. Åñëè çàâèñèìîñòü ïîëó÷åíà èç òåîðåòè÷åñêèõ ñîîáðàæåíèé, òî äîâîëüíî ÷àñòî åå ìîæíî ïðèáëèæåííî ïðåäñòàâèòü â àíàëèòè÷åñêîì âèäå, çàäàííîì ñ òî÷íîñòüþ äî íåñêîëüêèõ íåèçâåñòíûõ ïàðàìåòðîâ. Åñëè æå â îñíîâå ïîñòðîåíèÿ çàâèñèìîñòè ëåæàò ýêñïåðèìåíòàëüíûå èññëåäîâàíèÿ, òî ïàðàìåòðè÷åñêàÿ çàâèñèìîñòü ïîñòóëèðóåòñÿ.  îáîèõ ñëó÷àÿõ ïðè ïîñòðîåíèè ìàòåìàòè÷åñêîé ìîäåëè äîëæíû èñïîëüçîâàòüñÿ îïðåäåëåííûå ñâåäåíèÿ îá èññëåäóåìîì îáúåêòå, íà îñíîâàíèè êîòîðûõ ìîã áû áûòü ñäåëàí âûâîä î ñòåïåíè òî÷íîñòè åãî îïèñàíèÿ ýòîé ìîäåëüþ.

1.2.1

Íàèëó÷øàÿ àïïðîêñèìàöèÿ îäíîé ñëó÷àéíîé âåëè÷èíû ñ ïîìîùüþ äðóãîé

Çàäà÷à ðåãðåññèîííîãî àíàëèçà ñîñòîèò â ïîëó÷åíèè íàèëó÷øåé àïïðîêñèìàöèè (ðåãðåññèè) îäíîé ñëó÷àéíîé âåëè÷èíû ñ ïîìîùüþ ñåìåéñòâà ôóíêöèé îò äðóãîé ñëó÷àéíîé âåëè÷èíû. Íàèëó÷øàÿ àïïðîêñèìàöèÿ ïîíèìàåòñÿ â ñìûñëå íàèìåíüøèõ êâàäðàòîâ. Ïóñòü  è   ïðîèçâîëüíûå ñëó÷àéíûå âåëè÷èíû (âåêòîðû), ïðèíèìàþùèå çíà÷åíèÿ ñîîòâåòñòâåííî â R è Rs , îïðåäåëåííûå íà íåêîòîðîì âåðîÿòíîñòíîì ïðîñòðàíñòâå , è G  íåêîòîðîå ñåìåéñòâî ôóíêöèé, îòîáðàæàþùèõ R s â R , çàäàííûõ ñ òî÷íîñòüþ äî êîíå÷íîìåðíîãî íàáîðà ïàðàìåòðîâ, íàçûâàåìîå ðåãðåññèîííîé ìîäåëüþ. Òðåáóåòñÿ íàéòè ôóíêöèþ g (
) 2 G , ìèíèìèçèðóþùóþ

Efk

g()k2 g:

Åñëè G  êëàññ âñåõ èçìåðèìûõ ôóíêöèé èç Rs â R , òî ñîîòâåòñòâóþùåé ìèíèìèçèðóþùåé ôóíêöèåé g (
) ÿâëÿåòñÿ g ( ) = Ef j g  óñëîâíîå (ïðè óñëîâèè  ) ñðåäíåå ñëó÷àéíîé âåëè÷èíû  , íàçûâàåìîå ðåãðåññèåé  ïî . Hàèáîëåå ðàñïðîñòðàíåííîé ÿâëÿåòñÿ ëèíåéíàÿ ðåãðåññèîííàÿ ìîäåëü, êîãäà òðåáóåòñÿ íàéòè íàèëó÷øóþ â ñðåäíåêâàäðàòè÷íîì ñìûñëå àïïðîêñèìàöèþ ñëó÷àéíîé âåëè÷èíû  ñ ïîìîùüþ ëèíåéíîé ôóíêöèè îò ñëó÷àéíîé âåëè÷èíû  . Âåêòîðíûé è ÷èñëîâîé êîýôôèöèåíòû ìîäåëè ëèíåéíîé ðåãðåññèè îïðåäåëÿþòñÿ èç óñëîâèÿ ìèíèìèçàöèè ôóíêöèîíàëà f ( ; ) = Efk  k2 g

38ÃËÀÂÀ 1. ÌÅÒÎÄÛ ÎÖÅÍÈÂÀÍÈß È ÎÏÒÈÌÈÇÀÖÈÈ òèïà ñðåäíåãî ðèñêà èç ï. 1.1.4, åñëè îáîçíà÷èòü 



x= : Ââåäÿ ìàòðèöû êîâàðèàöèè

B = covf; g = Ef(

Ef g)(

Efg)T g;

B = covf; g = Ef( Efg)( Efg)T g è ïðåäïîëîæèâ, ÷òî ìàòðèöà B èìååò îáðàòíóþ, íåòðóäíî ìàëüíûõ çíà÷åíèé è ïîëó÷èòü ñëåäóþùèå ôîðìóëû:

äëÿ îïòè-

= Ef g B B1 Efg; = B B1 : Ôóíêöèÿ

g() = Ef g + B B1 ( Efg)

íàçûâàåòñÿ ëèíèåé ðåãðåññèè. Ïîíÿòèå ëèíåéíîé ðåãðåññèè äîïóñêàåò ÿñíóþ ãåîìåòðè÷åñêóþ èíòåðïðåòàöèþ. Äâà ñëó÷àéíûõ âåêòîðà  è  íàçûâàþòñÿ ñòðîãî îðòîãîíàëüíûìè, åñëè èõ ìàòðèöà êîâàðèàöèè ðàâíà íóëþ: covf;  g = 0: Òàê êàê covfg(); g = covf; g, òî ñëó÷àéíûå âåêòîðû  =  g() è  ñòðîãî îðòîãîíàëüíû. Ñëåäîâàòåëüíî, ëèíåéíàÿ ðåãðåññèÿ ñîîòâåòñòâóåò ñòðîãî îðòîãîíàëüíîé ïðîåêöèè  íà  . Ïðè ñëó÷àéíûõ âåêòîðàõ  è  îäíîé ðàçìåðíîñòè ýòî ñîâïàäàåò ñ ïðèâû÷íûì ãåîìåòðè÷åñêèì ïðåäñòàâëåíèåì îá îðòîãîíàëüíîì ïðîåêòèðîâàíèè. Îïðåäåëåííûå ïîíÿòèÿ ðåãðåññèè è ëèíåéíîé ðåãðåññèè ñîîòíîñÿòñÿ ïðèìåðíî òàêæå, êàê ïîíÿòèÿ ôóíêöèè è ëèíåéíîé ôóíêöèè.  òåîðèè âåðîÿòíîñòåé è ìàòåìàòè÷åñêîé ñòàòèñòèêè îñîáîå âíèìàíèå óäåëÿåòñÿ ãàóññîâñêèì ñëó÷àéíûì âåëè÷èíàì (ñì. ïóíêò Ï.1.1 íà ñòð. 249). Ýòî îáîñíîâàíî íå òîëüêî óïðîùåíèåì ìíîãèõ òåîðåòè÷åñêèõ âûêëàäîê ïðè èññëåäîâàíèè ñâîéñòâ èìåííî ãàóññîâñêèõ ñëó÷àéíûõ âåëè÷èí, íî è âàæíåéøèì òåîðåòè÷åñêèì ðåçóëüòàòîì öåíòðàëüíîé ïðåäåëüíîé òåîðåìû òåîðèè âåðîÿòíîñòåé, óòâåðæäàþùèì ïðè äîñòàòî÷íî îáùèõ ïðåäïîëîæåíèÿõ, ÷òî áåñêîíå÷íàÿ ñóììà ñëó÷àéíûõ âåëè÷èí ñ âåðîÿòíîñòüþ åäèíèöà ñòðåìèòñÿ ê íåêîòîðîé ãàóññîâñêîé ñëó÷àéíîé âåëè÷èíå. Îäíèì èç âàæíûõ ðåçóëüòàòîâ ðåãðåññèîííîãî àíàëèçà ÿâëÿåòñÿ çàêëþ÷åíèå î òîì, ÷òî åñëè âåêòîð, ñîñòàâëåííûé èç êîìïîíåíò ñëó÷àéíûõ âåëè÷èí  è   ãàóññîâñêèé, òî ðåãðåññèÿ Ef j g ñëó÷àéíîé âåëè÷èíû  ïî  ñîâïàäàåò ñ ëèíåéíîé ðåãðåññèåé. Äîêàçàòåëüñòâî ýòîãî ôàêòà îñíîâàíî íà òîì, ÷òî

1.2. ÝËÅÌÅÍÒÛ ÐÅÃÐÅÑÑÈÎÍÍÎÃÎ ÀÍÀËÈÇÀ, ÌÍÊ

39

ñòðîãî îðòîãîíàëüíûå ãàóññîâñêèå âåëè÷èíû ñòîõàñòè÷åñêè íåçàâèñèìû.  ñëó÷àå ãàóññîâñêèõ ñëó÷àéíûõ âåëè÷èí óñëîâíàÿ êîâàðèàöèÿ ñëó÷àéíîé âåëè÷èíû  (ïðè óñëîâèè  ) îêàçûâàåòñÿ íåçàâèñèìîé îò ñëó÷àÿ:

covf;  jg = B

B B1 BT :

Äëÿ ìèíèìàëüíîãî çíà÷åíèÿ êâàäðàòè÷íîãî ôóíêöèîíàëà, îïðåäåëÿþùåãî ðåãðåññèþ, èç ïîñëåäíåé ôîðìóëû ïîëó÷àåì

Efk 1.2.2

Ef jgk2 g = Tr[B

B B1 BT ]:

Îöåíèâàíèå ïî êîíå÷íîìó ÷èñëó íàáëþäåíèé

Hà ïðàêòèêå áûâàåò òàê, ÷òî âåðîÿòíîñòíûå õàðàêòåðèñòèêè ñëó÷àéíûõ âåëè÷èí  è  èçâåñòíû íå ïîëíîñòüþ, íî çàòî èìåþòñÿ âûáîðî÷íûå çíà÷åíèÿ ýòèõ ñëó÷àéíûõ âåëè÷èí, êîòîðûå ôàêòè÷åñêè ïðåäñòàâëÿþò ñîáîé íàáëþäàåìûå çíà÷åíèÿ ðåàëèçàöèé ñîîòâåòñòâóþùèõ ñëó÷àéíûõ âåëè÷èí. Îöåíêà îäíîé ñëó÷àéíîé âåëè÷èíû ñ ïîìîùüþ âûáîðî÷íûõ çíà÷åíèé äðóãîé òàêæå ÿâëÿåòñÿ ñëó÷àéíîé âåëè÷èíîé, è åå êà÷åñòâî îáû÷íî õàðàêòåðèçóåòñÿ ñðåäíèì çíà÷åíèåì, äèñïåðñèåé è ò. ï. Åñëè èìååòñÿ âûáîðî÷íàÿ ïîñëåäîâàòåëüíîñòü d1 ; d2 ; : : : ; dN ðåàëèçàöèé ñëó÷àéíîé âåëè÷èíû  , òî â ðàìêàõ ëèíåéíîé ðåãðåññèîííîé ìîäåëè ðåàëèçàöèè y1 ; y2 ; : : : ; yN ñëó÷àéíîé âåëè÷èíû  óäîáíî ïðåäñòàâèòü â âèäå yn = 'Tn  + vn ; n = 1; 2; : : : ; N; ãäå îáîçíà÷åíû:   âåêòîð êîýôôèöèåíòîâ, è 'n = dn , åñëè, íàïðèìåð, èçâåñòíà öåíòðèðîâàííîñòü ñëó÷àéíûõ âåëè÷èí  è  , èëè 



'n = d1 : n íåâÿçêè vn ; n = 1; 2; : : : ; N ,

 ýòîì ïðåäñòàâëåíèè êàê îøèáêè íàáëþäåíèÿ. Îáîçíà÷èì

èíòåðïðåòèðóþòñÿ

0

y1 1 B y2 C B C

Y =YN =@

.. A . yN

 íàáëþäàåìûé â ìîìåíò âðåìåíè N âåêòîð, ÿâëÿþùèéñÿ ôóíêöèåé âõîäíûõ âîçäåéñòâèé, ïîìåõ â êàíàëå èçìåðåíèÿ è íåêîòîðîãî âåêòîðíîãî ïàðàìåòðà  . Òðåáóåòñÿ ïî çíà÷åíèþ âåêòîðà Y ïîëó÷èòü õîðîøóþ îöåíêó ^ = ^N âåêòîðà  .

40ÃËÀÂÀ 1. ÌÅÒÎÄÛ ÎÖÅÍÈÂÀÍÈß È ÎÏÒÈÌÈÇÀÖÈÈ

 Îöåíêà ^ íàçûâàåòñÿ ëèíåéíîé, åñëè îíà èìååò âèä ^ = Y ðîé ìàòðèöåé êîýôôèöèåíòîâ .

c íåêîòî-

 Îöåíêà ^ íàçûâàåòñÿ íåñìåùåííîé, åñëè Ef^g = :  Ïîñëåäîâàòåëüíîñòü îöåíîê f^N g1 N =1 íàçûâàåòñÿ ñîñòîÿòåëüíîé, åñëè äëÿ ëþáîãî

">0

lim Pfk^N

N !1

k2 > "g = 0;

 è íàçûâàåòñÿ ñèëüíîñîñòîÿòåëüíîé, åñëè ñ âåðîÿòíîñòüþ åäèíèöà lim ^N = :

N !1

Äëÿ õàðàêòåðèñòèêè êà÷åñòâà îöåíêè ^ èñïîëüçóåòñÿ òåîðåòè÷åñêè ïðåäñêàçûâàåìûé âûáðàííîé ìîäåëüþ âûõîäíîé ñèãíàë Z , ò. å. âûõîä ïðèíÿòîé ìîäåëè, êîòîðûé çàâèñèò îò ^. Ýòà çàâèñèìîñòü, âîîáùå ãîâîðÿ, ìîæåò áûòü âûáðàíà ðàçëè÷íûìè ñïîñîáàìè. Ïðîñòåéøåé ÿâëÿåòñÿ ëèíåéíàÿ: ^ Z = T; â êîòîðîé ìàòðèöà

 ñîñòîèò èç âåêòîðîâ '1 ; '2 ; : : : ; 'N  = ('1 ; '2 ; : : : ; 'N ):

Îøèáêó îöåíèâàíèÿ åñòåñòâåííî îïðåäåëèòü êàê V = Y Z . Îöåíêè ^, ìèíèìèçèðóþùèå ôóíêöèîíàë êà÷åñòâà (ôóíêöèþ ïîòåðü)

fN (x) = kV k2 =

N X n=1

kyn 'Tn xk2 =

N X n=1

kvnk2 ;

íàçûâàþòñÿ îöåíêàìè ìåòîäà íàèìåíüøèõ êâàäðàòîâ (ÌHÊ). Ôóíêöèîíàë fN (x) çàâèñèò îò âûáîðî÷íûõ çíà÷åíèé ðåàëèçàöèé ñëó÷àéíûõ âåëè÷èí è íàçûâàåòñÿ ýìïèðè÷åñêèì.  ñèòóàöèè èñïîëüçîâàíèÿ áåñêîíå÷íîé âûáîðêè ïîñëåäîâàòåëüíîñòü âåëè÷èí fN (x)=N ìîæåò â òîì èëè èíîì âåðîÿòíîñòíîì ñìûñëå ñòðåìèòüñÿ, â ñèëó çàêîíà áîëüøèõ ÷èñåë (ñì. ï. Ï.1.3), ïðè N ! 1 ê çíà÷åíèþ êâàäðàòè÷íîãî ôóíêöèîíàëà, îïðåäåëÿþùåãî ëèíåéíóþ ðåãðåññèþ.  ÷àñòíîñòè, åñëè ïðåäïîëîæèòü íåçàâèñèìîñòü îøèáîê íàáëþäåíèÿ è îãðàíè÷åííîñòü èõ âòîðûõ ìîìåíòîâ, òî ñõîäèìîñòü áóäåò ñ âåðîÿòíîñòüþ åäèíèöà.

1.2. ÝËÅÌÅÍÒÛ ÐÅÃÐÅÑÑÈÎÍÍÎÃÎ ÀÍÀËÈÇÀ, ÌÍÊ

41

Íåñëîæíî óáåäèòüñÿ, ÷òî îöåíêè ÌÍÊ äîëæíû óäîâëåòâîðÿòü ñèñòåìå óðàâíåíèé T^ = Y: Åñëè ìàòðèöà ðåøåíèå

T

íåâûðîæäåíà, òî ýòà ñèñòåìà èìååò åäèíñòâåííîå

^ = (T) 1 Y:

Ìîæíî ðàññìîòðåòü áîëåå îáùåå ïðàâèëî âûáîðà îöåíêè. Ïóñòü R  íåêîòîðàÿ ñèììåòðè÷íàÿ íåîòðèöàòåëüíàÿ ìàòðèöà âåñîâûõ êîýôôèöèåíòîâ. Ââåäåì ôóíêöèîíàë êà÷åñòâà ïî ïðàâèëó

fN (x) = V T R V: Äëÿ ëèíåéíîé ìîäåëè ñ ìàòðèöåé  ïðè íåâûðîæäåííîé (èìåþùåé îáðàòíóþ) ìàòðèöå RT îïòèìàëüíàÿ îöåíêà èìååò âèä

^ = (RT ) 1 RY = Y;

= (RT ) 1 R;

è íàçûâàåòñÿ îáîáùåííîé îöåíêîé ÌHÊ. Ïðè ýòîì, åñëè ïðèíÿòü, ÷òî

Y = T  + V; òî âåêòîðû

 è ^ ñâÿçàíû ñîîòíîøåíèåì  = ^ V:

Ïîñëåäíåå ñîîòíîøåíèå ñïðàâåäëèâî ïðè ëþáîé ïðèðîäå îøèáêè îöåíèâàíèÿ. Åñëè ïðåäïîëîæèòü, ÷òî óñëîâíîå ìàòåìàòè÷åñêîå îæèäàíèå EfV jg = 0, òî ïîëó÷åííàÿ îöåíêà ÿâëÿåòñÿ íåñìåùåííîé. Ïðè ýòîì æå ïðåäïîëîæåíèè íåòðóäíî ïîëó÷èòü ôîðìóëû äëÿ óñëîâíûõ äèñïåðñèè è ìàòðèöû êîâàðèàöèè îöåíêè

Efk^ k2 jg = Tr[ Bv ãäå

T ];

covf^^T jg = Bv

T;

Bv = EfV V T jg. Åñëè ìàòðèöà Bv èìååò îáðàòíóþ, òî ìîæíî âûáðàòü R = Bv 1 .

ëó÷àåìûå îöåíêè

Ïî-

^ = (Bv 1 T) 1 Bv 1 Y

íàçûâàþòñÿ ìàðêîâñêèìè. Óñëîâíàÿ êîâàðèàöèÿ ìàðêîâñêîé îöåíêè ïðè EfV jg = 0 ðàâíà cov(^T ^j) = (Bv 1 T ) 1 ; ïðè ýòîì ñðåäè âñåõ ëèíåéíûõ îöåíîê ìàðêîâñêèå îáëàäàþò çàìå÷àòåëüíûì îïòèìàëüíûì ñâîéñòâîì.

42ÃËÀÂÀ 1. ÌÅÒÎÄÛ ÎÖÅÍÈÂÀÍÈß È ÎÏÒÈÌÈÇÀÖÈÈ

Ò å î ð å ì à 1.1 (ÃàóññàÌàðêîâà)

Åñëè EfV jg = 0 è ìàòðèöà Bv îáðàòèìà, òî ñðåäè âñåõ ëèíåéíûõ îöåíîê âèäà ~ = (RT ) 1 RY óñëîâíàÿ êîâàðèàöèÿ äëÿ ìàðêîâñêîé îöåíêè ^ ìèíèìàëüíà â òîì ñìûñëå, ÷òî

cov(^T ^j)  cov(~T ~j): Äëÿ äîêàçàòåëüñòâà òåîðåìû 1.1 ìîæíî âîñïîëüçîâàòüñÿ ìàòðè÷íûì 1= 2 íåðàâåíñòâîì èç ïóíêòà Ï.2.2 íà ñòð. 256. Ïîäñòàâèâ â íåãî A = Bv T ; 1 = 2 BT = Bv , ïîëó÷àåì çàêëþ÷åíèå òåîðåìû:

cov(~T~j) = Bv

 B1v=2 Bv 1=2 T(Bv 1=2 Bv 1=2 T) 1Bv 1=2 B1v=2 = T (Bv 1 T) 1  T = cov(^T ^j):

T

=

Ïðèìåð. Ðàññìîòðèì çàäà÷ó îá îöåíèâàíèè íåèçâåñòíîãî êîýôôèöèåíòà óñèëåíèÿ  èçâåñòíîãî ñêàëÿðíîãî ñèãíàëà f'n gN n=1 , íàáëþäàåìîãî íà ôîíå ïîìåõ. Ïóñòü ïîëåçíûé ñèãíàë, ïîìåõè è íàáëþäàåìûå âåëè÷èíû ñâÿçàíû ñèñòåìîé óðàâíåíèé:

yn = 'n  + vn ; n = 1; 2; : : : ; N; â êîòîðîé y1 ; y2 ; : : : ; yN  íàáëþäåíèÿ è v1 ; v2 ; : : : ; vN  ïîìåõè. Ïðåäïîëîæèì, ÷òî ïîìåõè fvn gN n=1 ïðåäñòàâëÿþò ñîáîé ðåàëèçàöèþ ñòîõàñòè÷åñêè íåçàâèñèìûõ îäèíàêîâî ðàñïðåäåëåííûõ öåíòðèðîâàííûõ ñëó÷àéíûõ âåëè÷èí ñ äèñïåðñèåé v2 :

Efvn g = 0; Efvn2 g = v2 > 0: Îáîçíà÷èâ

y1 1 B y2 C B C

v1 1 B v2 C C B

0

Y =@ ïîëó÷àåì Åñëè

PN 2 n=1 'n

.. A ; . yN

0

 = ('1 ; '2 ; : : : ; 'N ); V = @

Y = T  + V: > 0, òî îöåíêà ÌHÊ èìååò âèä ^ =

PN n=1 'n yn : PN 2 n=1 'n

.. A ; . vN

1.2. ÝËÅÌÅÍÒÛ ÐÅÃÐÅÑÑÈÎÍÍÎÃÎ ÀÍÀËÈÇÀ, ÌÍÊ

43

Ìàðêîâñêèå îöåíêè â äàííîì ñëó÷àå ñîâïàäàþò ñ îöåíêàìè ÌHÊ, ÷òî ÿâëÿåòñÿ ñëåäñòâèåì íåêîððåëèðîâàííîñòè è îäèíàêîâîé ðàñïðåäåëåííîñòè ñëó÷àéíûõ âåëè÷èí fvn gN n=1 .  òîé ñèòóàöèè, êîãäà ïîëåçíûé N íåçàâèñèìû, äèñïåðñèÿ îöåíêè ðàâíà ñèãíàë f'n gN è ïîìåõè f v g n n=1 n=1

N2 =

v2 : PN 2 n=1 'n

Ïóñòü N ! 1. Åñëè ïðåäïîëîæèòü, ÷òî ïîëåçíûé ñèãíàë èìååò ñòàòèñòè÷åñêóþ ïðèðîäó, ïðåäñòàâëÿÿ ñîáîé ðåàëèçàöèþ íåçàâèñèìûõ îäèíàêîâî ðàñïðåäåëåííûõ ñëó÷àéíûõ âåëè÷èí ñ êîíå÷íûì ÷åòâåðòûì ìîìåíòîì, íåçàâèñèìûõ ñ ïîìåõàìè íàáëþäåíèÿ:

Ef'n g = M' ; Ef('n

M' )2 g = '2 > 0; Ef'4n g < 1; Ef'n vn g = 0;

òî, â ñèëó óñèëåííîãî çàêîíà áîëüøèõ ÷èñåë (ñì. ïóíêò Ï.1.3 íà ñòð. 251), ìîæíî ñäåëàòü çàêëþ÷åíèå î ñõîäèìîñòè

1 N

N X n=1

'2n ! '2

2 ! 0, ò. å. îöåíêè ÌÍÊ ñ âåðîÿòíîñòüþ åäèíèöà. Ñëåäîâàòåëüíî, N ñèëüíîñîñòîÿòåëüíûå. Ïðè öåíòðèðîâàííûõ âõîäíûõ ñèãíàëàõ (M' = 0) îöåíêè ÌÍÊ ñîâïàäàþò ñ ïðåäëîæåííûì â ïï. 1.1.21.1.3 ðàíäîìèçèðîâàííûì àëãîðèòìîì ïîñòðîåíèÿ îöåíîê. Çíà÷èò, â ýòîì ñëó÷àå ïðè äîêàçàòåëüñòâå ñèëüíîé ñîñòîÿòåëüíîñòè îöåíîê ÌÍÊ óñëîâèå î öåíòðèðîâàííîñòè è íåçàâèñèìîñòè ïîìåõ ìîæåò áûòü çíà÷èòåëüíî îñëàáëåíî. Êàê è â ðàññìîòðåííîì ïðèìåðå, â ëèòåðàòóðå (ñì., íàïðèìåð, [4, 33, 54, 85]) îáû÷íî èçó÷àþò çàäà÷ó îá îöåíêå ïàðàìåòðîâ ëèíåéíîé ðåãðåññèè ïðè "õîðîøèõ" ïîìåõàõ.  ñëåäóþùåé ãëàâå ýòà çàäà÷à áóäåò ðàññìàòðèâàòüñÿ ïðè ïî÷òè ïðîèçâîëüíûõ ïîìåõàõ, äëÿ êîòîðûõ, ìîæåò áûòü, ñðåäíåå çíà÷åíèå íåèçâåñòíî è îòëè÷íî îò íóëÿ, èëè îíè, ìîæåò áûòü, ïðåäñòàâëÿþò ñîáîé ðåàëèçàöèþ êîððåëèðîâàííîãî ñëó÷àéíîãî ïðîöåññà, èëè îíè, ìîæåò áûòü, äàæå íåñëó÷àéíûå, íî îãðàíè÷åííûå. Ñóùåñòâåííîå ïðåäïîëîæåíèå, êîòîðîå áóäåò ñäåëàíî, çàêëþ÷àåòñÿ â òîì, ÷òî âõîäû ÿâëÿþòñÿ ñëó÷àéíûìè, ñ èçâåñòíûìè ñðåäíèìè çíà÷åíèÿìè è íåçàâèñèìûìè îò ïîìåõè. Áóäóò óñòàíîâëåíû ñèëüíàÿ ñîñòîÿòåëüíîñòü è ïîðÿäîê ñðåäíåêâàäðàòè÷íîé ñêîðîñòè ñõîäèìîñòè äëÿ îöåíîê ðàíäîìèçèðîâàííûõ àëãîðèòìîâ òèïà ÌÍÊ è òèïà ñòîõàñòè÷åñêîé àïïðîêñèìàöèè.

44ÃËÀÂÀ 1. ÌÅÒÎÄÛ ÎÖÅÍÈÂÀÍÈß È ÎÏÒÈÌÈÇÀÖÈÈ Êðîìå ðàññìîòðåííîé âûøå ëèíåéíîé ðåãðåññèè ÷àñòî èçó÷àþò áîëåå îáùèå ìîäåëè: ñêîëüçÿùåãî ñðåäíåãî

yn =

p X i=0

'Tn i i + vn ; n = 1; 2; : : : ; N ;

àâòîðåãðåññèè p X i=0

ai yn i = 'Tn 0 + vn ; n = 1; 2; : : : ; N

è àâòîðåãðåññèè ñêîëüçÿùåãî ñðåäíåãî p X i=0

ai yn i =

p X i=0

'Tn i i + vn ; n = 1; 2; : : : ; N

ñ ïîìåõàìè vn , ÷èñëîâûìè ai ; i = 0; 1; : : : ; p è âåêòîðíûìè êîýôôèöèåíòàìè  i ; i = 0; 1; : : : ; p. Ìîäåëü àâòîðåãðåññèè âîçíèêàåò â òåõ ñëó÷àÿõ, êîãäà ïûòàþòñÿ îïðåäåëèòü ëèíåéíîå óðàâíåíèå, êîòîðîìó óäîâëåòâîðÿþò âûáîðî÷íûå ðåàëèçàöèè ñëó÷àéíîé âåëè÷èíû  . Ìîäåëü àâòîðåãðåññèè ñêîëüçÿùåãî ñðåäíåãî èñïîëüçóåòñÿ äëÿ îïèñàíèÿ ïîâåäåíèÿ ëèíåéíûõ äèíàìè÷åñêèõ îáúåêòîâ óïðàâëåíèÿ. Âî âòîðîé ãëàâå çàäà÷è îá îöåíèâàíèè ïàðàìåòðîâ òàêîãî òèïà ìîäåëåé áóäóò äåòàëüíî ðàññìîòðåíû ïðè îãðàíè÷åííûõ ïî÷òè ïðîèçâîëüíûõ ïîìåõàõ â íàáëþäåíèè fvn g.

1.2. ÝËÅÌÅÍÒÛ ÐÅÃÐÅÑÑÈÎÍÍÎÃÎ ÀÍÀËÈÇÀ, ÌÍÊ

45

1.2.3

Ðåêóððåíòíûå ìîäèôèêàöèè ÌÍÊ Ðàññìîòðèì çàäà÷ó î ïîñòðîåíèè îöåíêè ^N 2 Rr , ìèíèìèçèðóþùåé

îïðåäåëåííûé â ïðåäûäóùåì ïóíêòå ýìïèðè÷åñêèé ôóíêöèîíàë êà÷åñòâà fN (x) ïðè áëî÷íîäèàãîíàëüíîé ìàòðèöå âåñîâûõ êîýôôèöèåíòîâ R, ñ áëîêàìè R1 ; R2 ; : : : ; Rn ðàçìåðíîñòè p  p: N = np. Îáúåäèíèâ â íàáîðû ïî p íàáëþäåíèÿ è â (r  p)-ìàòðèöû ñîîòâåòñòâóþùèå âõîäû ìîäåëè, ïåðåîáîçíà÷èâ èõ îïÿòü yi è 'i , âûðàæåíèå äëÿ ôóíêöèîíàë êà÷åñòâà ìîæíî ïåðåïèñàòü â âèäå

fn(x) =

n X k=1

('Tk x yk )T Rk ('Tk x yk );

ãäå ìàòðèöû 'i è âåêòîðû yi ìîæíî èíòåðïðåòèðîâàòü êàê äàííûå íàáëþäåíèÿ â ìîìåíò âðåìåíè i = 1; 2; : : : ; n. Âåêòîðãðàäèåíò ôóíêöèè fn (x) ìîæíî âû÷èñëèòü

rfn(x) = 2

n X k=1

'k Rk ('Tk x yk ):

Ïîñëå âòîðîãî äèôôåðåíöèðîâàíèÿ ïîëó÷àåì íåçàâèñÿùóþ îò x ìàòðèöó ãåññèàí n X 2 Hn = r fn (x) = 2 'k Rk 'Tk : k=1 Åñëè îöåíêà ^n 1 îáåñïå÷èâàåò íàèìåíüøåå çíà÷åíèå ôóíêöèîíàëó êà÷åñòâà fn 1 (x), òî rfn 1 (^n 1 ) = 0. Ïî ôîðìóëå Òåéëîðà äëÿ rfn (^n ) èìååì

0 = rfn(^n) =

rfn(^n 1) + Hn(^n ^n 1) = rfn 1(^n 1) +

+ 2'n Rn ('Tn ^n 1 yn) + Hn (^n ^n 1 ): Îòñþäà, îáîçíà÷èâ n = ( 12 Hn ) 1 ; ëåãêî âûïèñàòü ôîðìóëó äëÿ âû÷èñëåíèÿ ñëåäóþùåé îöåíêè ïî ^n 1 :

^n = ^n

1

T n 1 n 'n Rn ('n ^

yn):

Èñïîëüçóÿ ìàòðè÷íîå òîæäåñòâî èç ïóíêòà Ï.2.2 íà ñòð. 256, äëÿ ìàòðèö n ìîæíî âûâåñòè ðåêóððåíòíóþ ôîðìóëó n

=

n 1

n 1 'n (Rn

1 + 'T 1 T n n 1 'n ) 'n n 1 :

46ÃËÀÂÀ 1. ÌÅÒÎÄÛ ÎÖÅÍÈÂÀÍÈß È ÎÏÒÈÌÈÇÀÖÈÈ Ïîëó÷åííûå ðåêóððåíòíûå ñîîòíîøåíèÿ äëÿ ïåðåñ÷åòà ^n è n íàçûâàþòñÿ îáîáùåííûì ðåêóððåíòíûì ìåòîäîì íàèìåíüøèõ êâàäðàòîâ. ×òîáû âîñïîëüçîâàòüñÿ ðåêóððåíòíîé ôîðìîé ïîëó÷åíèÿ îöåíîê, ñëåäóåò íåêîòîðûì îáðàçîì çàäàòü íà÷àëüíûå çíà÷åíèÿ ^0 è 0 . Ïðè èõ ïðîèçâîëüíîì âûáîðå, îïðåäåëÿåìûå ïîëó÷åííûìè ðåêóððåíòíûìè ôîðìóëàìè îöåíêè, âîîáùå ãîâîðÿ, íå îáÿçàíû îáåñïå÷èâàòü ìèíèìóì ñîîòâåòñòâóþùèì ôóíêöèîíàëàì êà÷åñòâà. Ïðè çàäàíèè íà÷àëüíûõ çíà÷åíèé åñòåñòâåííî âûáèðàòü îáðàòèìóþ ìàòðèöó 0 . Äëÿ ïðèëîæåíèé íàèáîëåå èíòåðåñåí ñëó÷àé, êîãäà p = 1, ò. å. yk è Rk > 0  ñêàëÿðíûå âåëè÷èíû, à 'k ; k = 1; 2; : : :  âåêòîðû. Ýìïèðè÷åñêèé ôóíêöèîíàë êà÷åñòâà â ýòîì ñëó÷àå èìååò âèä

fn (x) =

n X k=1

Rk ('Tk x yk )2

è ôîðìóëû äëÿ çàïèñè îöåíîê îáîáùåííîãî ðåêóððåíòíîãî ÌHÊ ñ ÷èñëîâûìè ïîëîæèòåëüíûìè âåñîâûìè êîýôôèöèåíòàìè:

^n = ^n n Ïîëàãàÿ Rk = 1; ðåíòíîãî ÌHÊ

=

T n 1 n 'n Rn ('n ^

1

n 1

yn );

T n 1 'n 'n n 1 : Rn 1 + 'Tn n 1 'n

k = 1; 2; : : :, ïîëó÷àåì ôîðìóëû îáûêíîâåííîãî ðåêóð^n = ^n n=

1

n 1

T n 1 n 'n ('n ^

yn ); ^0 = 0;

T n 1 'n 'n n 1 ; 1 + 'Tn n 1 'n

0

= 0 1 I;

ãäå 0 > 0  ìàëûé ïàðàìåòð ðåãóëÿðèçàöèè. Ýòîò àëãîðèòì  ÷àñòíûé âèä ôèëüòðà ÊàëìàíàÁüþñè (ñì. ï. 1.3.2).  ñëó÷àå íåçàâèñèìûõ íàáëþäåíèé è ãàóññîâûõ ïîìåõ îí îáëàäàåò îïòèìàëüíûìè ñâîéñòâàìè. Âî ìíîãèõ çàäà÷àõ ýôôåêòèâíî èñïîëüçóþò ìîäèôèöèðîâàííûé ÌHÊ, ïîëó÷àþùèéñÿ ïðè ôóíêöèîíàëå êà÷åñòâà ñ Rk = N k ; k = 1; 2; : : : ; N;

n

^n = ^n

1

= 1(

n 1

T n 1 n 'n ('n ^

yn ); ^0 = 0;

T n 1 'n 'n n 1 );

+ 'Tn n 1'n

0

= 1 I;

1.2. ÝËÅÌÅÍÒÛ ÐÅÃÐÅÑÑÈÎÍÍÎÃÎ ÀÍÀËÈÇÀ, ÌÍÊ

47

ãäå 2 (0; 1)  çàáûâàþùèé ìíîæèòåëü.  òîé ñèòóàöèè, êîãäà íåëüçÿ ïðåäïîëàãàòü íåçàâèñèìîñòü íàáëþäåíèé, â [142] ïðè ñèíòåçå àäàïòèâíîãî óïðàâëåíèÿ ñòîõàñòè÷åñêèì ëèíåéíûì îáúåêòîì èñïîëüçîâàëñÿ ðåêóððåíòíûé ÌHÊ, ñîîòâåòñòâóþùèé âûáîðó âåñîâûõ êîýôôèöèåíòîâ

Rn =

ln(

1

1 + Pn i=1

k'i k2 ) :

Ðåêóððåíòíàÿ ïðîöåäóðà ÌHÊ, ÿâëÿÿñü îïòèìàëüíîé ïðè ñîîòâåòñòâóþùåì âûáîðå íà÷àëüíûõ ñòàòèñòèê, ñòàíîâèòñÿ ïðàêòè÷åñêè ìàëîïðèãîäíîé, åñëè ïðèõîäèòñÿ îöåíèâàòü âåêòîð ïàðàìåòðîâ âûñîêîé ðàçìåðíîñòè: îñíîâíîé îáúåì âû÷èñëåíèé ñâÿçàí ñ ïåðåñ÷åòîì ìàòðèö n . Åñòåñòâåííî ïîïûòàòüñÿ åå óïðîñòèòü, äàæå åñëè ïðèäåòñÿ ïîñòóïèòüñÿ îïòèìàëüíûìè ñâîéñòâàìè. Âïðî÷åì, ïîñëåäíåå îáñòîÿòåëüñòâî íå ÿâëÿåòñÿ îïðåäåëÿþùèì, òàê êàê íóæíûå íà÷àëüíûå äàííûå îáû÷íî íåèçâåñòíû, à ïðîèçâîëüíûé âûáîð íà÷àëüíûõ äàííûõ äåëàåò ïðîöåäóðó òîëüêî ïðåäåëüíî îïòèìàëüíîé. Ñëåäóþùèå óïðîùåíèÿ ðåêóððåíòíîé ïðîöåäóðû ÌHÊ â òèïè÷íûõ ñëó÷àÿõ íå ñêàçûâàþòñÿ íà ïðåäåëüíûõ ñâîéñòâàõ îöåíîê. Ìàòðèöû n ìîíîòîííî óáûâàþò åñëè âûïîëíåíî óñëîâèå ïîñòîÿííîãî âîçáóæäåíèÿ äëÿ ïîñëåäîâàòåëüíîñòè f'n g: ñó > 0 è ïîñòîÿííàÿ Æ > 0 òàêèå, ÷òî ùåñòâóåò öåëîå ÷èñëî N nX +N k=n

Ef'k 'Tk g  ÆI; n = 1; 2; : : : :

Åñëè n ! 0 ïðè n ! 1, òî â òîì ñëó÷àå, êîãäà 'n ðàâíîìåðíî îãðàíè÷å1 íû, ïðè äîñòàòî÷íî áîëüøèõ n ñïðàâåäëèâî: (Rn 1 + 'T n n 1 'n )  Rn . Ñëåäîâàòåëüíî, ðåêóððåíòíûé àëãîðèòì äëÿ ïåðåñ÷åòà îöåíîê ìîæíî çàïèñàòü â âèäå

^n = ^n n

=

1

n 1

T n 1 n 'n Rn ('n ^

yn);

T n 1 'n Rn 'n n 1 :

Äðóãèì ñóùåñòâåííûì óïðîùåíèåì â ðåêóððåíòíîé ïðîöåäóðå ÌHÊ ÿâëÿåòñÿ èñïîëüçîâàíèå â àëãîðèòìå âìåñòî ìàòðèö n ÷èñëîâûõ êîýôôèöèåíòîâ.  îáùåì ñëó÷àå, ïðè ïî÷òè ïðîèçâîëüíûõ ïîìåõàõ â íàáëþäåíèè óäàåòñÿ äîêàçàòü ñîñòîÿòåëüíîñòü îöåíîê, äîñòàâëÿåìûõ ïðèâåäåííûìè âûøå ðåêóððåíòíûìè àëãîðèòìàìè ÌHÊ, òîëüêî â íåêîòîðûõ ñïåöèàëüíûõ ñëó÷àÿõ [133, 143, 162]. Ïðè ïðåäïîëîæåíèè, ÷òî âõîäû f'n g èìåþò ñòàòèñòè÷åñêóþ ïðèðîäó è èçâåñòíû èõ ñðåäíèå çíà÷åíèÿ, âî âòîðîé

48ÃËÀÂÀ 1. ÌÅÒÎÄÛ ÎÖÅÍÈÂÀÍÈß È ÎÏÒÈÌÈÇÀÖÈÈ ãëàâå â óñëîâèÿõ ïî÷òè ïðîèçâîëüíûõ ïîìåõ â íàáëþäåíèÿõ áóäóò äåòàëüíî ðàññìîòðåíû óñëîâèÿ ñõîäèìîñòè îöåíîê ðàíäîìèçèðîâàííîãî ðåêóððåíòíîãî ÌHÊ, èìåþùåãî ïðè 0 > 0 âèä

^n = ^n n ãäå


n = 'n

=

1

n 1

T n 1 n
n ('n ^

yn ); ^0 = 0;

T n 1
n
n n 1 ; 1 +
Tn n 1
n

0

= 0 1 I;

Ef'n g; n = 1; 2; : : :  öåíòðèðîâàííûå âõîäû.

1.3 Îïòèìàëüíàÿ ôèëüòðàöèÿ ñëó÷àéíûõ ïðîöåññîâ Ïîä îïòèìàëüíîé ôèëüòðàöèåé ïîíèìàþòñÿ àëãîðèòìû îáðàáîòêè ðåàëèçàöèé ñëó÷àéíûõ ïðîöåññîâ, íàïðàâëåííûå íà ìàêñèìàëüíîå â ñìûñëå íåêîòîðîãî êðèòåðèÿ ïîäàâëåíèå ïîìåõ, çàøóìëÿþùèõ (îáû÷íî àääèòèâíî) ïîëåçíûé ñèãíàë.  ôóíäàìåíòå òåîðèè îïòèìàëüíîé ôèëüòðàöèè ëåæèò ìåòîä ÂèíåðàÊîëìîãîðîâà [43, 215] è åãî ðåêóððåíòíûå ìîäèôèêàöèè, èçâåñòíûå ïîä îáùèì íàçâàíèåì ôèëüòðà ÊàëìàíàÁüþñè [9, 37, 85]. Òåîðèÿ ÂèíåðàÊîëìîãîðîâà â ñóùåñòâåííîé ñòåïåíè áàçèðóåòñÿ íà ìåòîäå íàèìåíüøèõ êâàäðàòîâ. Îöåíèâàíèå ïàðàìåòðîâ â ýòîé òåîðèè ïðîèñõîäèò íà îñíîâå îáðàáîòêè ïîñëåäîâàòåëüíî ïîñòóïàþùèõ âõîäíûõ äàííûõ, ÿâëÿþùèõñÿ íåêîòîðîé òðàåêòîðèåé ñòîõàñòè÷åñêîãî ïðîöåññà. Ýòî ïðèâîäèò ê âàæíûì êîíöåïöèÿì ôèçè÷åñêîé ðåàëèçóåìîñòè è îïòèìàëüíîñòè ñèíòåçèðóåìîãî ôèëüòðà. Çäåñü áóäåò îïèñûâàòüñÿ òîëüêî ñëó÷àé äèñêðåòíîãî âðåìåíè.

1.3. ÎÏÒÈÌÀËÜÍÀß ÔÈËÜÒÐÀÖÈß

1.3.1

49

Ôèëüòð ÂèíåðàÊîëìîãîðîâà

Îãðàíè÷èìñÿ ðàññìîòðåíèåì ñëåäóþùåé ïîñòàíîâêè çàäà÷è: ïîñëåäîâàòåëüíîñòü íàáëþäåíèé óäîâëåòâîðÿåò óðàâíåíèþ

yn = 'T n + vn ; n = : : : ; 1; 0; 1; : : : ; â êîòîðîì f n g è fvn g  âåùåñòâåííûå âåêòîðíûå ïðîöåññû:  n 2 R r ; vn 2 Rp ; '  ïðÿìîóãîëüíàÿ ìàòðèöà ðàçìåðíîñòè r  p. Òðåáóåòñÿ ïîëó÷èòü îöåíêó ^n ïðîöåññà  n â ìîìåíò âðåìåíè n ïî íàáëþäåíèÿì çà ïðîöåññîì fyn g äî ìîìåíòà âðåìåíè n l; l  çàäàííîå öåëîå ÷èñëî. Îöåíêà èùåòñÿ ñ ïîìîùüþ ëèíåéíîãî óñòîé÷èâîãî ñòàöèîíàðíîãî ôèëüòðà, óðàâíåíèå êîòîðîãî èìååò âèä

^n =

1 X i=l

H(i l)yn i ;

ãäå H(i)  âåñîâàÿ ôóíêöèÿ ôèëüòðà. Ââåäåì ïåðåäàòî÷íóþ ôóíêöèþ ôèëüòðà

H () = l

1 X

H(i)i :

i=0 Äëÿ óïðîùåíèÿ îãðàíè÷èìñÿ ðàññìîòðåíèåì ôèëüòðîâ ñ äðîáíîðàöèîíàëüíûìè ïåðåäàòî÷íûìè ôóíêöèÿìè. Äðîáíîðàöèîíàëüíóþ ôóíêöèþ  l H () áóäåì íàçûâàòü óñòîé÷èâîé, åñëè ó íåå íåò ïîëþñîâ, êîòîðûå ïî àáñîëþòíîé âåëè÷èíå ìåíüøå ëèáî ðàâíû åäèíèöå. Ñâîéñòâî óñòîé÷èâîñòè ôèëüòðà ðàâíîñèëüíî óñòîé÷èâîñòè ôóíêöèè  l H (). Çàäà÷à ôèëüòðàöèè íàçûâàåòñÿ ïî-ðàçíîìó â çàâèñèìîñòè îò ÷èñëà l â óðàâíåíèè ôèëüòðà. Ïðè l > 0 åå íàçûâàþò çàäà÷åé ýêñòðàïîëÿöèè (ïðîãíîçà) íà l ìîìåíòîâ âðåìåíè, ïðè l < 0  çàäà÷åé èíòåðïîëÿöèè (ñãëàæèâàíèÿ), ïðè l = 0  ñîáñòâåííî ôèëüòðàöèåé. Òàêèì îáðàçîì, ïðè ñãëàæèâàíèè îöåíêà ìîæåò çàâèñåòü îò íåêîòîðîãî ÷èñëà "áóäóùèõ" íàáëþäåíèé, à ïåðåäàòî÷íàÿ ôóíêöèÿ ôèëüòðà èìååò ïîëþñ ïîðÿäêà l â íà÷àëå êîîðäèíàò.  êëàññè÷åñêîé ïîñòàíîâêå çàäà÷è ðàññìàòðèâàþòñÿ ñòàöèîíàðíûå ñëó÷àéíûå ïðîöåññû fyn g è f n g, êîòîðûå âäîáàâîê ñòàöèîíàðíî ñâÿçàíû, è èõ ìàòðèöû êîâàðèàöèé âìåñòå ñî ñïåêòðàëüíûìè ïëîòíîñòÿìè: Byy (n), Syy (), By (n), Sy (), B (n), S (), ñóùåñòâóþò è èçâåñòíû (ñì. ï. Ï.1.4 íà ñòð. 252). Îöåíêà ^n äîëæíà áûòü îïòèìàëüíîé â ñìûñëå ìèíèìóìà ñðåäíåêâàäðàòè÷íîãî ôóíêöèîíàëà

fl = Efk^n nk2 g (= fl (H ())):

50ÃËÀÂÀ 1. ÌÅÒÎÄÛ ÎÖÅÍÈÂÀÍÈß È ÎÏÒÈÌÈÇÀÖÈÈ Â ñèëó ñòàöèîíàðíîñòè ïðîöåññîâ ýòîò ôóíêöèîíàë íå çàâèñèò îò âðåìåíè. Ïåðåïèøåì íà îñíîâàíèè îïðåäåëåíèé ìàòðèö êîâàðèàöèè ôóíêöèîíàë êà÷åñòâà fl â âèäå:

fl = Tr[Ef(^n 1 X

(

j =l

H(j

l)yn

n)(^n

n)T g] = Tr[B (0) +

j

1 X i=l

1 X

n )T g] = Tr[Ef(

H(i)By ( i l)

1 X i=l

i=l

H(i l)yn

1 X 1 X i=l j =l

H(i)Byy (j

n)

i

i)H(j )T

By (i + l)H(j )T ]:

Èçâåñòíî, ÷òî ïðåîáðàçîâàíèå ñïåêòðàëüíîé ïëîòíîñòè â ëèíåéíîì ôèëüòðå ïîçâîëÿåò çàïèñàòü ôóíêöèîíàë êà÷åñòâà fl êàê êâàäðàòè÷íóþ ôîðìó îò ïåðåäàòî÷íîé ôóíêöèè ôèëüòðà:

fl = Tr[B (0)+ +

1 2i

I

(H ()Syy ()H ( 1 )T

H ()Sy () Sy ()H ( 1 )T )

d ]: 

Ìàòðèöà ñïåêòðàëüíûõ ïëîòíîñòåé Syy () íåîòðèöàòåëüíî îïðåäåëåííàÿ ïðè jj = 1. Èçâåñòíî, ÷òî òàêàÿ ìàòðè÷íàÿ ôóíêöèÿ (ñì. ïóíêò Ï.2.3 íà ñòð. 258) äîïóñêàåò ôàêòîðèçàöèþ, ò. å. ïðåäñòàâëåíèå â âèäå

Syy () = ()( 1 )T ; ãäå ()  óñòîé÷èâàÿ ìàòðè÷íàÿ ôóíêöèÿ (åå ýëåìåíòû íå èìåþò ïîëþñîâ ïðè jj  1). Ïðåäïîëîæèì, ÷òî ìàòðèöà Syy ()  ïîëîæèòåëüíî îïðåäåëåííàÿ ïðè jj = 1.  ýòîì ñëó÷àå ìîæíî âûáðàòü òàêóþ ìàòðèöó (), ÷òîáû () 1 áûëà óñòîé÷èâîé. Ñ ïîìîùüþ ôîðìóëû ôàêòîðèçàöèè, ó÷èòûâàÿ âûïîëíåíèå ïðè jj = 1 ñîîòíîøåíèÿ

Sy () = Sy ( 1 )T ; ïîëó÷àåì ôîðìóëó

1 fl = Tr[Q + 2i

I

(H ()() R())(H ()()

R())T

d ]; 

1.3. ÎÏÒÈÌÀËÜÍÀß ÔÈËÜÒÐÀÖÈß

51

â êîòîðîé èñïîëüçîâàíû îáîçíà÷åíèÿ:

R() = Sy ()((

1 )T ) 1 ;

Q = B (0)

1 2i

I

R()R( 1 )T

d : 

Òàê êàê ìàòðèöà Q íå çàâèñèò îò H (), à âòîðîå ñëàãàåìîå â ïðàâîé ÷àñòè ïîëó÷åííîé äëÿ fl ôîðìóëû  íåîòðèöàòåëüíàÿ ìàòðèöà, òî ìèíèìóì ôóíêöèîíàëà êà÷åñòâà fl äîñòèãàåòñÿ ïðè

H () = R()()

1

= Sy ()Syy () 1 ;

ïðè÷åì ìèíèìàëüíîå çíà÷åíèå ôóíêöèîíàëà êà÷åñòâà ðàâíî

min f = Tr[Q]: fH ()g l Îäíàêî, íàéäåííîå ðåøåíèå íåóäîâëåòâîðèòåëüíî, ïîñêîëüêó, âîîáùå ãîâîðÿ, íå âûïîëíÿåòñÿ óñëîâèå óñòîé÷èâîñòè ôèëüòðà, òàê êàê ìàòðèöà Syy () 1 ìîæåò èìåòü îñîáåííîñòè ïðè jj  1 è ýòî ñâîéñòâî ïåðåäàåòñÿ H (). Äëÿ ïîëó÷åíèÿ óñòîé÷èâîãî ôèëüòðà íàäî ïðîèçâåñòè ñåïàðàöèþ ôóíêöèè R(), ò. å. ïðåäñòàâèòü åå â âèäå

 l R() = R+ () + R (); â êîòîðîì

R+ (); R ( 1 )  óñòîé÷èâûå ìàòðè÷íûå ôóíêöèè è lim R () = 0: jj!1

Îñíîâíîé ðåçóëüòàò òåîðèè îïòèìàëüíîé ôèëüòðàöèè ÂèíåðàÊîëìîãîðîâà çàêëþ÷àåòñÿ â òîì, ÷òî ïðè ñäåëàííûõ âûøå ïðåäïîëîæåíèÿõ è ââåäåííûõ îáîçíà÷åíèÿõ ïåðåäàòî÷íàÿ ôóíêöèÿ îïòèìàëüíîãî óñòîé÷èâîãî ôèëüòðà, ìèíèìèçèðóþùåãî ôóíêöèîíàë êà÷åñòâà fl , îïðåäåëÿåòñÿ ïî ôîðìóëå H () = l R+ ()() 1 ;

è ñîîòâåòñòâóþùåå ìèíèìàëüíîå çíà÷åíèå ôóíêöèîíàëà êà÷åñòâà ðàâíî I d 1 Tr[R ()R ( 1 )T ] : min f = Tr[Q] + 2i  fH ()g l  ñëó÷àå ñêàëÿðíîãî ïðîöåññà yn c äðîáíîðàöèîíàëüíîé ñïåêòðàëüíîé ïëîòíîñòüþ ïðîöåäóðà ïîñòðîåíèÿ ôóíêöèè () ñâîäèòñÿ, ïî ñóùåñòâó, ê íàõîæäåíèþ êîðíåé è ïîëþñîâ äðîáíîðàöèîíàëüíîé ôóíêöèè

52ÃËÀÂÀ 1. ÌÅÒÎÄÛ ÎÖÅÍÈÂÀÍÈß È ÎÏÒÈÌÈÇÀÖÈÈ

Syy (), êîòîðûå ïî àáñîëþòíîé âåëè÷èíå áîëüøå åäèíèöû. Ñåïàðàöèÿ ôóíêöèè  l R() â ýòîì ñëó÷àå ñîñòîèò â âûäåëåíèè öåëîé ÷àñòè ôóíêöèè ñ ïîñëåäóþùèì îïðåäåëåíèåì "óñòîé÷èâûõ" è "íåóñòîé÷èâûõ" ïîëþñîâ ó ïîëó÷åííîé â ðåçóëüòàòå äðîáíîðàöèîíàëüíîé ôóíêöèè. Ïðèìåð: îïòèìàëüíûé ïðîãíîç ïðîöåññà. Ïðåäïîëîæèì, ÷òî íàáëþäàåòñÿ ñêàëÿðíûé ïðîöåññ fyn g: yn = 'n + vn ; ãäå f n g è fvn g  ñòîõàñòè÷åñêè íåçàâèñèìûå ñòàöèîíàðíî ñâÿçàííûå ïðîöåññû: Efvn g = 0, Efvn2 g = v2 , ïðè÷åì f n g îïðåäåëÿåòñÿ óðàâíåíèåì n+1 = a n + wn+1 ; n = 1; 2; : : : ; 0 = 0; â êîòîðîì 0 < jaj < 1,  äàííîì ñëó÷àå

Efwn g = 0 , Efwi wj g = w2 Æij .

Svv = v2 ; S () =

w2 ; S () = Svv + '2 S (): (1 a)(1 a 1 ) yy

Äëÿ ïðîâåäåíèÿ ôàêòîðèçàöèè ôóíêöèè ïîñòîÿííûå c1 è c2 èç óðàâíåíèÿ

Syy ()

íàéäåì âåùåñòâåííûå

v2 (1 a)(1 a 1 ) + '2 w2 = (c1 + c2 )(c1 + c2  1 ): Íåñëîæíûå ðàñ÷åòû äàþò

1 1 c1 = (1 + 2 ); c2 = (1 2 2 ãäå

1 =

p

'2 w2 + v2 (1 a)2 ; 2 =

Îáîçíà÷èâ

() =

2 );

p

'2 w2 + v2 (1 + a)2 :

c1 + c2  ; 1 a

ñ ó÷åòîì ââåäåííûõ îáîçíà÷åíèé, èìååì

Syy () = ()( 1 )T : Ïðè ýòîì ôóíêöèè Äàëåå, ïîñêîëüêó

()

è

()

Sy () =

1  óñòîé÷èâûå, òàê êàê

'w2 ; (1 a)(1 a 1 )

jc1 j > jc2 j.

1.3. ÎÏÒÈÌÀËÜÍÀß ÔÈËÜÒÐÀÖÈß òî

R() =

53

'w2  : (1 a)(c1  + c2 )

Ðàññìîòðèì çàäà÷ó îá îïòèìàëüíîì ïðîãíîçå íà îäèí øàã, ò. å. ñëó÷àé l = 1. Äëÿ åå ðåøåíèÿ íàäî ïðîèçâåñòè ñåïàðàöèþ ôóíêöèè

 1 R() =

'w2 : (1 a)(c1  + c2 )

 ðåçóëüòàòå ñåïàðàöèè ïîëó÷àåì

R+ () =

1 'w2 c1 'w2 a
; R () =
1 : c1 + c2 a 1 a c1 + c2 a c1  + c2

Ñëåäîâàòåëüíî, ïåðåäàòî÷íàÿ ôóíêöèÿ îïòèìàëüíîãî ôèëüòðà èìååò âèä

H () =

'w2 a
 : c1 + c2 a c1 + c2 

Îòñþäà âûâîäèì, ÷òî äâå ïîñëåäîâàòåëüíûå îïòèìàëüíûå îöåíêè ^n+1 è ^n ñâÿçàíû ñîîòíîøåíèåì

'w2 a y: c1 ^n+1 + c2 ^n = c1 + c2 a n Îòìåòèì, ÷òî ïîñëåäíåå óðàâíåíèå ìîæíî ïåðåïèñàòü â âèäå

^n+1 = a^n a'('^n yn); ãäå

w2 = c1 (c1 + c2 a)







1 c2 ( + a) : a'2 c1

54ÃËÀÂÀ 1. ÌÅÒÎÄÛ ÎÖÅÍÈÂÀÍÈß È ÎÏÒÈÌÈÇÀÖÈÈ

1.3.2

Ôèëüòð ÊàëìàíàÁüþñè

Òåîðèÿ ÂèíåðàÊîëìîãîðîâà îïòèìàëüíîé ôèëüòðàöèè ïîñëóæèëà ìîùíûì ñòèìóëîì ïîèñêà íîâûõ ïóòåé îïðåäåëåíèÿ êîíêðåòíûõ ñïîñîáîâ ñèíòåçà òåîðåòè÷åñêè îïòèìàëüíîãî ôèëüòðà. Áîëüøîé ïðàêòè÷åñêèé èíòåðåñ ïðåäñòàâëÿåò âîçìîæíîñòü ñèíòåçèðîâàòü îïòèìàëüíûé ôèëüòð ðåêóððåíòíûì ñïîñîáîì, îáåñïå÷èâàÿ óäîáñòâî åãî ðåàëèçàöèè ïðè èñïîëüçîâàíèè ÝÂÌ. Ïðåäïîëîæèì, ÷òî íàáëþäàåòñÿ ñëó÷àéíûé ïðîöåññ yn = 'Tn n + vn ; n = 1; 2; : : : ; ïðåäñòàâëÿþùèé ñîáîé ñìåñü ïðåîáðàçîâàííîãî âåêòîðíîãî ïðîöåññà f n g è âåêòîðíîé ïîìåõè fvn g. Ïðÿìîóãîëüíûå ìàòðèöû 'n ýòîãî ïðåîáðàçîâàíèÿ ñ÷èòàþòñÿ èçâåñòíûìè è â îòëè÷èå îò òåîðèè ÂèíåðàÊîëìîãîðîâà ìîãóò èçìåíÿòüñÿ âî âðåìåíè. Âåêòîðíûé ïðîöåññ f n g ïîðîæäàåòñÿ ñîîòíîøåíèåì n+1 = An n + wn+1 ; â êîòîðîì 0 = 0 è An  èçâåñòíàÿ ìàòðè÷íàÿ ôóíêöèÿ âðåìåíè, à fwn g  ïîñëåäîâàòåëüíîñòü öåíòðèðîâàííûõ íåçàâèñèìûõ ñëó÷àéíûõ âåêòîðîâ ñ èçâåñòíûìè ìàòðèöàìè êîâàðèàöèè: T Efwn wj g = Qw (n)Ænj : Îáû÷íî ñ÷èòàþò, ÷òî ïîìåõà fvn g òàêæå ïðåäñòàâëÿåò ñîáîé ïîñëåäîâàòåëüíîñòü öåíòðèðîâàííûõ íåçàâèñèìûõ ñëó÷àéíûõ âåêòîðîâ ñ èçâåñòíûìè ìàòðèöàìè êîâàðèàöèè Efvn vjT g = Bv (n)Ænj ; êîòîðûå ïðè âñåõ n íåâûðîæäåííûå, è f'n g  äåòåðìèíèðîâàííàÿ ïîñëåäîâàòåëüíîñòü ìàòðèö. Îãðàíè÷èìñÿ ðàññìîòðåíèåì çàäà÷è îá îïòèìàëüíîì îäíîøàãîâîì ïðîãíîçå. Äëÿ n = 1; 2; : : : òðåáóåòñÿ ïî íàáëþäåíèÿì y1 ; y2 ; : : : ; yn íàéòè ëèíåéíûå îöåíêè ^n+1 çíà÷åíèé ïðîöåññà f n g â ìîìåíòû âðåìåíè n + 1, ìèíèìèçèðóþùèå ñðåäíåêâàäðàòè÷íûå îòêëîíåíèÿ fn = Efk^n+1 n+1k2 g:

Âûïèøåì íåîáõîäèìûå è äîñòàòî÷íûå óñëîâèÿ îïòèìàëüíîñòè ëèíåéíîé îöåíêè â òåðìèíàõ êîððåëÿöèîííûõ ìàòðèö ðàññìàòðèâàåìûõ ïðîöåññîâ. Ïðåäïîëîæèì, ÷òî îïòèìàëüíàÿ îöåíêà èìååò âèä: n X ^n+1 = Hn (i)yi : i=1

1.3. ÎÏÒÈÌÀËÜÍÀß ÔÈËÜÒÐÀÖÈß

55

Åñëè îöåíêà ^n+1 ìèíèìèçèðóåò ôóíêöèîíàë êà÷åñòâà fn , òî äëÿ ëþáîãî j = 1; 2; : : : ; n âûïîëíåíî óñëîâèå

Ef(^n+1 èëè

n+1)yjT g = 0

Efn+1 yjT g =

n X

Hn (i)Efyi yjT g:

i=1 Ïîñëåäíåå âûðàæåíèå ïðåäñòàâëÿåò ñîáîé íåñòàöèîíàðíûé âàðèàíò óðàâíåíèÿ ÂèíåðàÕîïôà (â äèñêðåòíîì âðåìåíè) îòíîñèòåëüíî âåñîâûõ ôóíêöèé Hn (i). Ýòî ñîîòíîøåíèå èìååò ïðîñòîé ãåîìåòðè÷åñêèé ñìûñë: ñëó÷àéíàÿ âåëè÷èíà ^n+1 , ÿâëÿþùàÿñÿ ëèíåéíîé êîìáèíàöèåé ñëó÷àéíûõ âåëè÷èí y1 ; : : : ; yn , äîëæíà áûòü ñòðîãî îðòîãîíàëüíîé ïðîåêöèåé âåêòîðà  n+1 íà ïîäïðîñòðàíñòâî, íàòÿíóòîå íà ñîîòâåòñòâóþùèå âåêòîðû íàáëþäåíèé. Îáîçíà÷èâ Bij = Efyi yjT g è Kn = Hn (n), èç ïîñëåäíåãî óðàâíåíèÿ, çàïèñàííîãî äëÿ äâóõ ïîñëåäîâàòåëüíûõ çíà÷åíèé âðåìåíè n è n + 1, ñ îäíîé ñòîðîíû, ïîëó÷àåì

Ef(n+1

n)yjT g =

nX1 i=1

(Hn (i) Hn 1 (i))Bij + Kn Bnj :

Ñ äðóãîé ñòîðîíû, ó÷èòûâàÿ âèä ôèëüòðà, ïîðîæäàþùåãî ïðîöåññ èìååì nX1 Ef(n+1 n)yjT g = (An I) Hn 1 (i)Bij : i=1 Èç ïîñëåäíèõ äâóõ óðàâíåíèé ñëåäóåò, ÷òî nX1 i=1




fng,

An Hn 1 (i) Kn 'Tn Hn 1 (i) Hn (i) Bij = 0; j = 1; 2; : : : ; n 1;

òàê êàê â ñèëó óðàâíåíèÿ íàáëþäåíèé

Bnj = Ef

yn yjT

g

= 'Tn E

À çíà÷èò, îöåíêà

~n =

fnyjTg + Efvn yjTg = 'Tn

nX1 i=1

(Hn 1 (i) Dn (i))yi ;

nX1 i=1

Hn 1 (i)Bij :

56ÃËÀÂÀ 1. ÌÅÒÎÄÛ ÎÖÅÍÈÂÀÍÈß È ÎÏÒÈÌÈÇÀÖÈÈ ãäå

Dn (i) = An Hn 1 (i) Kn 'Tn Hn 1 (i) Hn (i);

òàêæå ÿâëÿåòñÿ îïòèìàëüíîé â ñðåäíåêâàäðàòè÷íîì ñìûñëå îöåíêîé âåêòîðà  n ïî íàáëþäåíèÿì y1 ; y2 ; : : : ; yn 1 . Ïîýòîìó

Efk~n èëè

Efk Òàê êàê

nX1 i=1

^nk2 g = 0

k g+

Dn (i)'Ti i 2

nX1 i=1

Dn (i)T Bv (i)Dn (i) = 0:

Bv (i) > 0 ïðè i = 1; 2; : : : ; n 1, òî Dn (i) = 0, ò. å. Hn (i) = An Hn 1 (i) Kn 'Tn Hn 1 (i):

Ýòî è åñòü èñêîìîå ñîîòíîøåíèå, êîòîðîìó äîëæíà óäîâëåòâîðÿòü âåñîâàÿ ôóíêöèÿ îïòèìàëüíîãî ôèëüòðà. Ó÷èòûâàÿ åãî, íåñëîæíî íàéòè ðàçíîñòíîå óðàâíåíèå äëÿ ïîñëåäîâàòåëüíîñòè îïòèìàëüíûõ îöåíîê f^n g:

^n+1 = Knyn +

nX1 i=1

Hn (i)yi = Knyn +

= Kn yn + (An

nX1 i=1




An Hn 1 (i) Kn'Tn Hn 1 (i) yi =

Kn 'Tn )^n = An ^n Kn('Tn ^n yn ): Kn, íàçûâàåìûå êàëìàíîâñêèìè êîýôôèöèåí-

Ìàòðè÷íûå ôóíêöèè òàìè óñèëåíèÿ, íåïîñðåäñòâåííî ñâÿçàíû ñ êîâàðèàöèîííûìè ìàòðèöàìè îøèáîê îöåíèâàíèÿ n

= Ef(^n

n)(^n n)T g;

òàê êàê èç óðàâíåíèÿ ÂèíåðàÕîïôà ñëåäóåò:

0 = Ef(^n+1

n+1)(yn 'Tn ^n)T g = (An Kn'Tn ) n 'n + Kn Bv (n):

Ñôîðìóëèðóåì îêîí÷àòåëüíûé ðåçóëüòàò. Êàëìàíîâñêèé êîýôôèöèåíò óñèëåíèÿ Kn îïðåäåëÿåòñÿ ïî ôîðìóëå

Kn = An n 'n (Bv (n) + 'Tn n 'n ) 1 ; ãäå n  êîâàðèàöèîííàÿ ìàòðèöà îøèáêè îöåíèâàíèÿ, ïîñëåäîâàòåëüíîñòü êîòîðûõ óäîâëåòâîðÿåò ðåêóððåíòíîìó ñîîòíîøåíèþ n+1

= (An

Kn'Tn ) n (An

Kn'Tn )T + Kn Bv (n)KTn + Qw (n + 1):

1.3. ÎÏÒÈÌÀËÜÍÀß ÔÈËÜÒÐÀÖÈß

57

Ïîñëåäíÿÿ ôîðìóëà ëåãêî âûâîäèòñÿ èç ðàçíîñòíîãî óðàâíåíèÿ, ñâÿçûâàþùåãî äâå ïîñëåäîâàòåëüíûå îöåíêè. Èñïîëüçóÿ ìàòðè÷íîå òîæäåñòâî èç ïóíêòà Ï.2.2 íà ñòð. 256, ðåêóððåíòíûå ñîîòíîøåíèÿ äëÿ ìàòðèö n ìîæíî ïåðåïèñàòü â âèäå n+1

= An nATn

Kn 'Tn n ATn + Qw (n + 1)

èëè n+1

= An (

n

T 1 T T n 'n (Bv (n) + 'n n 'n ) 'n n )An + Qw (n + 1):

Ïîñëå çàäàíèÿ íà÷àëüíûõ çíà÷åíèé ^0 è 0 âìåñòå ñ ôîðìóëîé äëÿ ïîñëåäîâàòåëüíîãî ïåðåñ÷åòà îöåíîê

^n+1 = An ^n An n 'n (Bv (n) + 'Tn n 'n ) 1 ('Tn ^n yn ) ýòè ñîîòíîøåíèÿ, íàçûâàåìûå ôèëüòðîì ÊàëìàíàÁüþñè, îïðåäåëÿþò çàìêíóòóþ ñèñòåìó äëÿ ðåêóððåíòíîãî âû÷èñëåíèÿ ^n è n âî âñå ìîìåíòû âðåìåíè n. Òàêèå æå ôîðìóëû ìîæíî ïîëó÷èòü è ïðè ðàññìîòðåíèè íå òîëüêî äåòåðìèíèðîâàííîé ïîñëåäîâàòåëüíîñòè f'n g, íî è ñ÷èòàÿ åå ðåàëèçàöèåé íåêîòîðîãî ìàòðè÷íîãî íåçàâèñèìîãî ñëó÷àéíîãî ïðîöåññà, íåêîððåëèðîâàííîãî ñ ïîìåõàìè fvn g è ñ ïîðîæäàþùèì ïðîöåññîì fwn g. Ñòîèò çàìåòèòü, ÷òî ïðè An  I; Qw (n)  0 è âûáîðå ìàòðèöû âåñîâûõ êîýôôèöèåíòîâ Rn = Bv (n) 1 ôèëüòð ÊàëìàíàÁüþñè â òî÷íîñòè ñîâïàäàåò ñ îáîáùåííûì ðåêóððåíòíûì ÌÍÊ èç ï. 1.2.3, ÷òî è íåóäèâèòåëüíî. Íà ïðàêòèêå ïîëó÷åííûå ñîîòíîøåíèÿ ÷àñòî óïðîùàþò, èñïîëüçóÿ äëÿ âû÷èñëåíèÿ îöåíîê ôîðìóëó

^n+1 = An ^n An 'n ('Tn ^n yn ) ñ çàäàííûìè ïîëîæèòåëüíî îïðåäåëåííûìè ìàòðèöàìè è . Äàëüíåéøåå óïðîùåíèå âîçìîæíî ïðè âûáîðå ñêàëÿðíîãî çíà÷åíèÿ  > 0.  ñëó÷àå âûðîæäåííûõ ïîìåõ íàáëþäåíèÿ fvn g, â ÷àñòíîñòè, ïðè çàäàíèè èõ íåèçâåñòíûìè äåòåðìèíèðîâàííûìè îãðàíè÷åííûìè ôóíêöèÿìè, î êà÷åñòâå îöåíîê ôèëüòðà ÊàëìàíàÁüþñè òðóäíî ÷òîëèáî óòâåðæäàòü. Åñëè ïðåäïîëîæèòü, ÷òî f'n g  ïîñëåäîâàòåëüíîñòü íåçàâèñèìûõ îäèíàêîâî ðàñïðåäåëåííûõ ñëó÷àéíûõ âåëè÷èí ñ èçâåñòíûì ñðåäíèì çíà÷åíèåì è ïîëîæèòåëüíîé îãðàíè÷åííîé äèñïåðñèåé, òî äëÿ ðåøåíèÿ çàäà÷è î ïðîãíîçèðîâàíèè âî âòîðîé ãëàâå áóäåò ïðåäëîæåíî âîñïîëüçîâàòüñÿ ðàíäîìèçèðîâàííûì àëãîðèòìîì âèäà

^n+1 = An ^n An ('n

Ef'n g)('Tn ^n

yn):

58ÃËÀÂÀ 1. ÌÅÒÎÄÛ ÎÖÅÍÈÂÀÍÈß È ÎÏÒÈÌÈÇÀÖÈÈ Òàì æå áóäåò ïîêàçàíî, ÷òî â óñëîâèÿõ ñêàëÿðíûõ íàáëþäåíèé íà ôîíå íåèçâåñòíîé, íî îãðàíè÷åííîé íåñëó÷àéíîé ïîìåõè ïîëó÷àåìûå ïî ýòîìó àëãîðèòìó îöåíêè ìîãóò äàâàòü äîñòàòî÷íî õîðîøåå êà÷åñòâî ïðåäñêàçàíèÿ ïðè An  A : kAk < 1. Ïðèìåð: îïòèìàëüíûé ïðîãíîç ïðîöåññà. Ïðåäïîëîæèì, ÷òî íàáëþäàåòñÿ ñêàëÿðíûé ïðîöåññ fyn g

yn = 'n n + vn ; ãäå f'n g, f n g è fvn g  ñòîõàñòè÷åñêè íåçàâèñèìûå ïðîöåññû: Efvn2 g = v2 > 0, fng îïðåäåëÿåòñÿ óðàâíåíèåì:

Efvn g = 0,

n+1 = a n + wn+1 ; n = 1; 2; : : : ; 0 = 0; â êîòîðîì 0 < jaj  1,  äàííîì ñëó÷àå

Efwn g = 0 , Efwn g = w2 > 0. 2

Bv (n)  v2 ; Qw (n)  w2 è ïðè çàäàíèè ^0 = 0; 0 = 0 îïòèìàëüíàÿ ïîñëåäîâàòåëüíîñòü ïðîãíîçèðóþùèõ îöåíîê âû÷èñëÿåòñÿ ïî ôîðìóëàì n ' (' ^n 2 v + n '2n n n   a2 v4 2 a n '2n (v2 + n'2n )

^n+1 = a^n a 2 n+1 = w +

a2 v2 '2n



yn);  2 '2  n n 2 +w : v2 + n '2n

 ñòàöèîíàðíîì ñëó÷àå ïðè 'n  ' èëè â òîé ñèòóàöèè, êîãäà f'n g  áåðíóëëèåâñêèé ïðîöåññ: 'n = ', Ef'n g = 0, ïîñëåäîâàòåëüíîñòü f n g ñõîäèòñÿ ê ïðåäåëó 1 , êîòîðûé ìîæíî íàéòè èç óðàâíåíèÿ

a2 2

1 = w2 + '2 v

a2 v4 ; '2 (v2 + 1'2 )

ðåøåíèå êîòîðîãî

1=

'2 w2 + (a2

p

1)v2 + ('2 w2 + (a2 2'2

Îáîçíà÷èâ

=

c21 + c1 c2 =a 1 = v2 + 1 '2 '2 c21

1)v2 )2 + 4'2 w2 v2





 a'1 2 ( cc2 + a) ; 1

:

1.3. ÎÏÒÈÌÀËÜÍÀß ÔÈËÜÒÐÀÖÈß

59

ãäå

1 1 c1 = (1 + 2 ); c2 = (1 2 ); 2 2 p p 1 = '2 w2 + v2 (1 a)2 ; 2 = '2 w2 + v2 (1 + a)2 ; â ïðåäåëå ïðè n ! 1 ïîëó÷àåì

^n+1  a^n a'n ('n ^n yn): Òàêèì îáðàçîì, â ñòàöèîíàðíîì ñëó÷àå ('n  ') îöåíêè ôèëüòðà ÊàëìàíàÁüþñè â ïðåäåëå ñîâïàäàþò ñ îöåíêàìè ôèëüòðà ÂèíåðàÊîëìîãîðîâà. Ýòà ñâÿçü îáóñëîâëåíà ìåòîäîì íàèìåíüøèõ êâàäðàòîâ, çàëîæåííûì â îñíîâó îáîèõ ôèëüòðîâ. Ïîñëåäíÿÿ ôîðìóëà òàêæå èëëþñòðèðóåò îáîñíîâàííîñòü çàìåíû â íåêîòîðûõ ñëó÷àÿõ îöåíîê ôèëüòðà Êàëìàíà Áüþñè íà îöåíêè, äîñòàâëÿåìûå àëãîðèòìîì óïðîùåííîãî òèïà. Êðîìå òîãî, åñëè f'n g  áåðíóëëèåâñêèé íåçàâèñèìûé ïðîöåññ, òî àëãîðèòì

^n+1 = a^n a'n ('n ^n yn ) îòíîñèòñÿ ê òèïó ðàíäîìèçèðîâàííûõ. Êàê áóäåò ïîêàçàíî âî âòîðîé ãëàâå, îí ìîæåò äàâàòü óäîâëåòâîðèòåëüíûå îöåíêè íå òîëüêî â ñëó÷àå íåçàâèñèìûõ öåíòðèðîâàííûõ ïîìåõ íàáëþäåíèÿ, íî è ïðè íåèçâåñòíûõ îãðàíè÷åííûõ äåòåðìèíèðîâàííûõ ïîìåõàõ. Çàìåòèì, ÷òî ïðè a  1 è w << v   w : 'v

60ÃËÀÂÀ 1. ÌÅÒÎÄÛ ÎÖÅÍÈÂÀÍÈß È ÎÏÒÈÌÈÇÀÖÈÈ

1.4 Ìåòîä ñòîõàñòè÷åñêîé àïïðîêñèìàöèè  øèðîêîì ñìûñëå ìåòîäîì ñòîõàñòè÷åñêîé àïïðîêñèìàöèè íàçûâàþò ïîñëåäîâàòåëüíûé ñïîñîá óëó÷øåíèÿ îöåíêè ìèíèìèçèðóþùåé ôóíêöèîíàë ñðåäíåãî ðèñêà f (x) = Ew fF (w; x)g èç ïóíêòà 1.1.4, èñïîëüçóþùèé íà êàæäîì øàãå íîâûå íàáëþäåíèÿ è ïðåäøåñòâóþùóþ îöåíêó. Åñëè øòðàôíàÿ ôóíêöèÿ F (w; x) äèôôåðåíöèðóåìà ïî x, òî ìèíèìèçèðóþùèå ýòîò ôóíêöèîíàë âåêòîðà  íàõîäÿòñÿ ñðåäè ðåøåíèé óðàâíåíèÿ ðåãðåññèè Z

rxF (w; x)Pw (dw) = 0: Ïóñòü ðàñïðåäåëåíèå âåðîÿòíîñòåé Pw (
) íåèçâåñòíî, íî çàäàíà îáó÷àþg(x) =

ùàÿ ïîñëåäîâàòåëüíîñòü w1 ; w2 ; : : :, èì ïîðîæäåííàÿ, è â êàæäûé ìîìåíò âðåìåíè n (n = 1; 2; : : :) äîñòóïíû èçìåðåíèþ âåëè÷èíû yn , ÿâëÿþùèåñÿ ïðè îïðåäåëåííîì âûáîðå òî÷åê xn ëèáî çíà÷åíèÿìè ôóíêöèè F (wn ; xn ), ëèáî çíà÷åíèÿìè åå âåêòîðàãðàäèåíòà rx F (wn ; xn ), èçìåðåííûìè, ìîæåò áûòü, ñ ïîìåõàìè.  òàêîé ñèòóàöèè äëÿ ïîèñêà ðåøåíèé óðàâíåíèÿ ðåãðåññèè ìîæíî èñïîëüçîâàòü ðåêóððåíòíóþ ïðîöåäóðó òèïà

^n = ^n

1

n g^n (n 1 ); n = 1; 2; : : : ;

ãäå fn g  ñïåöèàëüíûì îáðàçîì ïîäáèðàåìàÿ ïîñëåäîâàòåëüíîñòü íåîòðèöàòåëüíûõ ÷èñåë, íàçûâàåìûõ âåëè÷èíàìè ðàáî÷åãî øàãà, à g^n (^n 1 ) = g~n (yn; yn 1 ; : : : ; y1 ; xn ; xn 1 ; : : : ; x1 ; ^n 1 )  íåêîòîðàÿ "õîðîøàÿ" àïïðîêñèìàöèÿ â òî÷êå ^n 1 äëÿ âåêòîðàãðàäèåíòà ôóíêöèè f (
). Àëãîðèòìû òàêîãî òèïà ÿâëÿþòñÿ òèïè÷íûìè äëÿ ìåòîäà ñòîõàñòè÷åñêîé àïïðîêñèìàöèè. Èíîãäà ôîðìàëüíîå îïðåäåëåíèå ìåòîäà ñòîõàñòè÷åñêîé àïïðîêñèìàöèè îïèðàåòñÿ èìåííî íà ïîñëåäíþþ ôîðìóëó, â êîòîðîé ÷àñòî ïðåäïîëàãàåòñÿ, ÷òî fn g  çàäàííàÿ äåòåðìèíèðîâàííàÿ ïîñëåäîâàòåëüíîñòü íåîòðèöàòåëüíûõ ÷èñåë.

1.4. ÑÒÎÕÀÑÒÈ×ÅÑÊÀß ÀÏÏÐÎÊÑÈÌÀÖÈÈ

1.4.1

61

Ïîèñê êîðíÿ íåèçâåñòíîé ôóíêöèè. Àëãîðèòì ÐîááèíñàÌîíðî

Ïåðâîé ïî ðåêóððåíòíûì ñòîõàñòè÷åñêèì àëãîðèòìàì áûëà ðàáîòà Ðîááèíñà è Ìîíðî [186], â êîòîðîé èññëåäîâàëàñü çàäà÷à î íàõîæäåíèè êîðíÿ âåùåñòâåííîé ôóíêöèè g (x) îò âåùåñòâåííîãî àðãóìåíòà x. Ïðåäïîëàãàëîñü, ÷òî ôóíêöèÿ íå èçâåñòíà, íî äëÿ ýêñïåðèìåíòàòîðà äîñòóïíû íàáëþäåíèþ åå çíà÷åíèÿ â âûáèðàåìûõ èì òî÷êàõ, ìîæåò áûòü, ñ ïîìåõàìè. Åñëè ôóíêöèÿ g (x) íàì èçâåñòíà è íåïðåðûâíî äèôôåðåíöèðóåìà, òî çàäà÷à ïðåâðàùàåòñÿ â êëàññè÷åñêóþ èç ÷èñëåííîãî àíàëèçà. Äëÿ åå ðåøåíèÿ ìîæíî âîñïîëüçîâàòüñÿ ìåòîäîì Íüþòîíà, êîòîðûé ãåíåðèðóåò ïîñëåäîâàòåëüíîñòü îöåíîê f^n g êîðíÿ  ôóíêöèè g (x)

^n = ^n

1

[g0 (^n 1 )] 1 g(^n 1 ); n = 1; 2; : : : ;

èëè áîëåå ïðîñòîé, íî ìåíåå ýôôåêòèâíîé, ïðîöåäóðîé

^n = ^n

1

g(^n 1 )

ñ ôèêñèðîâàííûì äîñòàòî÷íî ìàëûì êîýôôèöèåíòîì  > 0, êîòîðàÿ íå òðåáóåò óìåíèÿ âû÷èñëÿòü ïðîèçâîäíóþ ôóíêöèè. Åñëè íà÷àëüíîå çíà÷åíèå ^0 âûáðàíî äîñòàòî÷íî áëèçêî ê  , òî îíà ãàðàíòèðóåò ñõîäèìîñòü îöåíîê ê êîðíþ  ôóíêöèè g (x) ïðè ïðåäïîëîæåíèÿõ î òîì, ÷òî g(x) < 0 ïðè x < , g(x) > 0 ïðè x > , ïðîèçâîäíàÿ ôóíêöèè îãðàíè÷åíà è g 0 (x) > 0 â íåêîòîðîé îêðåñòíîñòè òî÷êè  . Âîîáùå ãîâîðÿ, ýòà ïðîöåäóðà íå òðåáóåò è äèôôåðåíöèðóåìîñòè ôóíêöèè g (x). Òåïåðü ïðåäïîëîæèì, ÷òî òî÷íûå çíà÷åíèÿ ôóíêöèè g (x) è åå ïðîèçâîäíîé íå èçâåñòíû, à äîñòóïíû òîëüêî çíà÷åíèÿ ôóíêöèè â âûáèðàåìûõ òî÷êàõ x, íî èñêàæåííûå ïîìåõàìè. Áîëåå òî÷íî, ïóñòü êàæäîìó âåùåñòâåííîìó x ñîîòâåòñòâóåò íåêîòîðàÿ âåùåñòâåííàÿ ñëó÷àéíàÿ âåëè÷èíà G(w; x) ñ íåèçâåñòíûì ðàñïðåäåëåíèåì âåðîÿòíîñòåé è ñðåäíèì çíà÷åíèåì Z +1 g(x) = Ew fG(w; X )g = G(w; x)Pw (dw):

1

Òðåáóåòñÿ íàéòè çíà÷åíèå  , ïðè êîòîðîì g ( ) = 0; íà îñíîâàíèè íàáëþäåíèé ðåàëèçîâàííûõ çíà÷åíèé ñëó÷àéíûõ âåëè÷èí G(w1 ; x1 ); G(w1 ; x2 ); : : : ïðè âûáîðå ïàðàìåòðîâ èñïûòàíèé x1 ; x2 ; : : :. Äëÿ óïðîùåíèÿ áóäåì ñ÷èòàòü, ÷òî ôóíêöèÿ g (x)  íåóáûâàþùàÿ è èìååò åäèíñòâåííûé êîðåíü. Ïðè íàáëþäåíèÿõ ñ ïîìåõàìè ìåòîä Íüþòîíà íå ïðèìåíèì, íî âòîðîé (óïðîùåííîé) ïðîöåäóðîé âîñïîëüçîâàòüñÿ ìîæíî, çàìåíèâ, ê ïðèìåðó,

62ÃËÀÂÀ 1. ÌÅÒÎÄÛ ÎÖÅÍÈÂÀÍÈß È ÎÏÒÈÌÈÇÀÖÈÈ çíà÷åíèÿ ôóíêöèè íà èõ "õîðîøèå" ïðèáëèæåíèÿ, ïîëó÷àåìûå óñðåäíåíèåì íåñêîëüêèõ íàáëþäåíèé. Íà ñàìîì äåëå, êàê óñòàíîâèëè Ã.Ðîááèíñ è Ñ.Ìîíðî [186], íåò íåîáõîäèìîñòè ïðîèçâîäèòü ñåðèþ íàáëþäåíèé äëÿ êàæäîãî ðàíåå âûáðàííîãî ïàðàìåòðà èñïûòàíèé ^n 1 , ïîñêîëüêó âåëè÷èíû ^n 1 èãðàþò â âû÷èñëåíèÿõ ïðîìåæóòî÷íóþ ðîëü è çíà÷åíèÿ ôóíêöèè â ýòèõ òî÷êàõ ïðåäñòàâëÿþò èíòåðåñ íå ñàìè ïî ñåáå, à òîëüêî â òîé ñòåïåíè, íàñêîëüêî îíè âåäóò íàñ â íàïðàâëåíèè ê êîðíþ ôóíêöèè. Áûë ïðåäëîæåí íîâûé àëãîðèòì

^n = ^n

1

n Y n

ñ íåêîòîðîé âûáèðàåìîé ïîëüçîâàòåëåì ïîñëåäîâàòåëüíîñòüþ ïîëîæèòåëüíûõ ÷èñåë fn g, ñòðåìÿùåéñÿ ê íóëþ ïðè n ! 1 è óäîâëåòâîðÿþùåé óñëîâèÿì X X n = 1; 2n < 1: n n Ýòîò àëãîðèòì èñïîëüçóåò íà n-íîì øàãå íàáëþäåíèå Y n , ïðåäñòàâëÿþùåå ñîáîé çàøóìëåííîå çíà÷åíèå g (^n 1 ), ðàâíîå G(wn ; ^n 1 ).  ìíîãîìåðíîì ñëó÷àå: X 2 Rr , àëãîðèòì èìååò òàêîé æå âèä è Yn 2 R r . Îí ïîëó÷èë îáùåïðèçíàííîå íàçâàíèå ïðîöåäóðà ÐîááèíñàÌîíðî. Ê íàñòîÿùåìó âðåìåíè ðàçâèòû ìåòîäû, äîêàçûâàþùèå ñõîäèìîñòü ïîëó÷àåìîé òàêèì îáðàçîì ïîñëåäîâàòåëüíîñòè îöåíîê ê êîðíþ ôóíêöèè g (x) ïðè áîëåå îáùèõ ïðåäïîëîæåíèÿõ î ñâîéñòâàõ íåèçâåñòíîé ôóíêöèè è ìåíüøèõ îãðàíè÷åíèÿõ íà ïîñëåäîâàòåëüíîñòü fn g (ñì. ï. Ï.3.2 èëè ï. Ï.3.3). Âñå ñïîñîáû äîêàçàòåëüñòâà ñîñòîÿòåëüíîñòè îöåíîê èñïîëüçóþò ïðåäâàðèòåëüíóþ èíôîðìàöèþ î ïîìåõàõ, ïðåäïîëàãàÿ èõ öåíòðèðîâàííîñòü â òîì èëè èíîì ñìûñëå.

1.4. ÑÒÎÕÀÑÒÈ×ÅÑÊÀß ÀÏÏÐÎÊÑÈÌÀÖÈÈ

1.4.2

63

Ìèíèìèçàöèÿ ôóíêöèîíàëà ñðåäíåãî ðèñêà

Ðàññìîòðèì çàäà÷ó ìèíèìèçàöèè ôóíêöèè f (x) = Ew fF (w; x)g (òèïà ôóíêöèîíàëà ñðåäíåãî ðèñêà èç ïóíêòà 1.1.4), çàâèñÿùåé îò âåêòîðíîãî r-ìåðíîãî àðãóìåíòà x. Ïðåäïîëîæèì, ÷òî w  ñëó÷àéíûé âåêòîð è Ew f
g  îïåðàöèÿ óñðåäíåíèÿ ïî åãî ðàñïðåäåëåíèþ. Ïóñòü f (
)  íåïðåðûâíî äèôôåðåíöèðóåìàÿ ôóíêöèÿ. Íåîáõîäèìûì óñëîâèåì òîãî, ÷òî   òî÷êà ìèíèìóìà ôóíêöèè f (
), ÿâëÿåòñÿ ðàâåíñòâî íóëþ â ýòîé òî÷êå åå âåêòîðàãðàäèåíòà rf ( ) = 0. Ïðåäïîëîæèì, ÷òî èçâåñòíû çíà÷åíèÿ âåêòîðàãðàäèåíòà ôóíêöèè f (
) è åå ìàòèöûãåññèàíà. Äëÿ íàõîæäåíèÿ òî÷êè ìèíèìóìà ìîæíî âîñïîëüçîâàòüñÿ êëàññè÷åñêîé ñõåìîé âû÷èñëåíèé ïî ìåòîäó Íüþòîíà

^n = ^n

1

[r2 f (^n 1)]

1

rf (^n 1); n = 1; 2; : : : :

Åñëè ìàòðèöàãåññèàí r2 f (^n 1 ) â íåêîòîðîé îêðåñòíîñòè òî÷êè  çàäàåò ñòðîãîïîëîæèòåëüíûé îãðàíè÷åííûé îïåðàòîð è íà÷àëüíîå çíà÷åíèå ^0 âûáðàíî äîñòàòî÷íî áëèçêî ê òî÷êå ëîêàëüíîãî ìèíèìóìà  , òî ïîñëåäîâàòåëüíîñòü îöåíîê f^n g ñõîäèòñÿ ê  . Íåäîñòàòêîì ýòîãî àëãîðèòìà ÿâëÿåòñÿ íåîáõîäèìîñòü îáðàùàòü ìàòðèöóãåññèàí íà êàæäîì øàãå, ÷òî ìîæåò ïðåäñòàâëÿòü ñîáîé îïðåäåëåííóþ òðóäíîñòü ïðè áîëüøîé ðàçìåðíîñòè.  íåêîòîðûõ ñëó÷àÿõ óäàåòñÿ âûáðàòü ðåêóððåíòíûé ñïîñîá äëÿ ïåðåñ÷åòà ìàòðèö, îáðàòíûõ ê ãåññèàíó. Äëÿ óïðîùåíèÿ àëãîðèòìà, ìàòðèöû [r2 f (^n 1 )] 1 èíîãäà îáîñíîâàííî çàìåíÿþò íà ïîëîæèòåëüíûå ÷èñëà n , ïîëó÷àÿ â ðåçóëüòàòå àëãîðèòì òèïà ïðîöåäóðû ÐîááèíñàÌîíðî. Åñëè çíà÷åíèÿ ãðàäèåíòà ôóíêöèè f (
) íåèçâåñòíû, òî ñòàíäàðòíûì ïîäõîäîì ê ðåøåíèþ çàäà÷è ÿâëÿåòñÿ èñïîëüçîâàíèå êîíå÷íûõ ðàçíîñòåé äëÿ àïïðîêñèìàöèè ãðàäèåíòà. Ïóñòü f n g  íåêîòîðàÿ ïîñëåäîâàòåëüíîñòü ïîëîæèòåëüíûõ ÷èñåë. Îáîçíà÷èì ei  ñòàíäàðòíûé åäèíè÷íûé âåêòîð â íàïðàâëåíèè i-îé êîîðäèíàòû.  êà÷åñòâå àïïðîêñèìàöèè i-îé êîìïîíåíòû âåêòîðàãðàäèåíòà ìîæíî èñïîëüçîâàòü

^n 1 + n ei ) f (^n 2 n

rf (^n 1)i  f (

1

n ei )

:

Îòìåòèì, ÷òî ýòîò ñòàíäàðòíûé ïîäõîä ê àïïðîêñèìàöèè âåêòîðàãðàäèåíòà òðåáóåò íà êàæäîì øàãå àëãîðèòìà îöåíèâàíèÿ ïðîèçâåñòè 2r èçìåðåíèé çíà÷åíèé ìèíèìèçèðóåìîé ôóíêöèè ïðè ðàçìåðíîñòè èñêîìîãî ìèíèìèçèðóþùåãî âåêòîðà, ðàâíîé r .

64ÃËÀÂÀ 1. ÌÅÒÎÄÛ ÎÖÅÍÈÂÀÍÈß È ÎÏÒÈÌÈÇÀÖÈÈ

1.4.3

Ïðîöåäóðà ÊèôåðàÂîëüôîâèöà

Êàê ïîñòóïèòü, åñëè íåëüçÿ èñïîëüçîâàòü â àëãîðèòìå íå òîëüêî ãðàäèåíò ôóíêöèè f (
) íî è åå òî÷íûå çíà÷åíèÿ? Òàêàÿ ïðîáëåìà âîçíèêàåò, åñëè âèä ôóíêöèé f (
) è F (
;
) èçâåñòåí íåïîëíîñòüþ, ëèáî íà âû÷èñëåíèå ñîîòâåòñòâóþùèõ çíà÷åíèé çàòðà÷èâàåòñÿ ÷ðåçìåðíîå êîëè÷åñòâî óñèëèé ïðè äîðîãîâèçíå ýêñïåðèìåíòîâ èëè áîëüøîé ðàçìåðíîñòè âåêòîðà íåèçâåñòíûõ ïàðàìåòðîâ.  çàäà÷àõ îïòèìèçàöèè äîñòàòî÷íî ÷àñòî ìîæíî âîñïîëüçîâàòüñÿ òîëüêî çàøóìëåííîé èíôîðìàöèåé î çíà÷åíèÿõ ôóíêöèè F (w; x) â âûáèðàåìûõ òî÷êàõ x ñ íåêîíòðîëèðóåìûìè ïðè ýòîì çíà÷åíèÿìè ñëó÷àéíîé âåëè÷èíû w. Äæ.Êèôåð ñ Äæ.Âîëüôîâèöåì [154] ïðè r = 1 è Äæ.Áëþì â ìíîãîìåðíîì ñëó÷àå [113] äëÿ ïîñòðîåíèÿ ïîñëåäîâàòåëüíîñòè îöåíîê ïðåäëîæèëè èñïîëüçîâàòü ïðîöåäóðó ñëåäóþùåãî âèäà:

^n = ^n

1

n

Y+n Y n ; 2 n

ãäå îáîçíà÷åíî: 1)+ 32 1 ; ^n 1 1)+ 72 1 ; ^n 1 Yn = B .. @ . 1 1 2 rn 2 F (w ; ^n 1 0

F (w2r(n B F (w2r(n B

1

 n e1)  n e2) C C C:  ner )

A

Îíè îáîñíîâàëè ñîñòîÿòåëüíîñòü îöåíîê ïðè îïðåäåëåííûõ ïðåäïîëîæåíèÿõ î ðàñïðåäåëåíèÿõ ñîîòâåòñòâóþùèõ ñëó÷àéíûõ âåëè÷èí, ñâîéñòâàõ ôóíêöèè F (
;
) è ÷èñëîâûõ ïîñëåäîâàòåëüíîñòåé fn g è f n g. Èç íàêëàäûâàåìûõ óñëîâèé îáû÷íî ñëåäóåò, ÷òî â ñðåäíåì ïî âñåâîçìîæíûì ðåàëèçàöèÿì w çíà÷åíèå (Y+n Y n )=(2 n ) ñîâïàäàåò ñî çíà÷åíèåì ãðàäèåíòà ôóíêöèè f (
) â òî÷êå ^n 1 è àñèìïòîòè÷åñêîå ïîâåäåíèå îöåíîê (ñì. ï. Ï.3.3), ïîëó÷àåìûõ ñ ïîìîùüþ ïðîöåäóðû ÊèôåðàÂîëüôîâèöà, õàðàêòåðèçóåòñÿ ñâîéñòâàìè ðåøåíèé ñèñòåìû îáûêíîâåííûõ äèôôåðåíöèàëüíûõ óðàâíåíèé (ÎÄÓ)

_ =

rf ():

 áîëåå øèðîêîì ñìûñëå àëãîðèòìû òàêîãî òèïà ïðèíÿòî íàçûâàòü ïñåâäîãðàäèåíòíûìè [64]. Ïðè âíåøíåé ïðîñòîòå, îðèãèíàëüíàÿ ïðîöåäóðà ÊèôåðàÂîëüôîâèöà èìååò ðÿä ñóùåñòâåííûõ íåäîñòàòêîâ. Äëÿ äîêàçàòåëüñòâà ñîñòîÿòåëüíîñòè îöåíîê ïðèõîäèòñÿ íàêëàäûâàòü äîñòàòî÷íî

1.4. ÑÒÎÕÀÑÒÈ×ÅÑÊÀß ÀÏÏÐÎÊÑÈÌÀÖÈÈ

65

îãðàíè÷èòåëüíûå óñëîâèÿ íà íåêîíòðîëèðóåìûå âîçìóùåíèÿ; ïðè èçìåðåíèÿõ çíà÷åíèé ôóíêöèè ñ ïî÷òè ïðîèçâîëüíûìè ïîìåõàìè ñîñòîÿòåëüíîñòü îöåíîê íå ïîëó÷àåòñÿ; è äàæå â òåõ ñëó÷àÿõ, êîãäà îãðàíè÷åíèÿìè íà íåêîíòðîëèðóåìûå âîçìóùåíèÿ è ïîìåõè â íàáëþäåíèè ìîæíî ïðåíåáðå÷ü, íà êàæäîì øàãå àëãîðèòìà ïðèõîäèòñÿ äåëàòü 2r íàáëþäåíèé, ÷òî â ìíîãîìåðíîì ñëó÷àå ïðè äîñòàòî÷íî áîëüøîì r ìîæåò îêàçàòüñÿ òðóäíî îñóùåñòâèìûì.

1.4.4

Ðàíäîìèçèðîâàííûå àëãîðèòìû ñòîõàñòè÷åñêîé àïïðîêñèìàöèè

Êëàññè÷åñêóþ ïðîöåäóðó ÊèôåðàÂîëüôîâèöà (ÊÊÂ) â ïîñëåäíåå âðåìÿ ÷àñòî íàçûâàþò àëãîðèòìîì ñòîõàñòè÷åñêîé àïïðîêñèìàöèåé ñ ôèêñèðîâàííûìè íàïðàâëåíèÿìè. Ñóùåñòâåííî óëó÷øèòü õàðàêòåðèñòèêè åå îöåíîê ïîçâîëÿåò âêëþ÷åíèå îäíîâðåìåííî â êàíàë íàáëþäåíèÿ, ÷åðåç âûáèðàåìûé ïàðàìåòð, è â íàïðàâëåíèå âåêòîðà èçìåíåíèÿ î÷åðåäíîé îöåíêè, òàê íàçûâàåìîãî, ïðîáíîãî îäíîâðåìåííîãî âîçìóùåíèÿ.  îòëè÷èå îò ÊÊ ïðè âûáîðå î÷åðåäíîé òî÷êè èçìåðåíèÿ ôóíêöèè ñëó÷àéíîìó âîçìóùåíèþ ïîäâåðãàþòñÿ îäíîâðåìåííî âñå êîîðäèíàòû. Ïóñòü f
n g  ïîñëåäîâàòåëüíîñòü íàáëþäàåìûõ, îäèíàêîâî ñèììåòðè÷íî ðàñïðåäåëåííûõ ñëó÷àéíûõ âåêòîðîâ ñ ìàòðèöåé êîâàðèàöèé

covf
n
Tj g = Ænj 
2 I; 
> 0 è îãðàíè÷åííûì âòîðûì ñòàòèñòè÷åñêèì ìîìåíòîì. Íàïðèìåð, äëÿ çàäàíèÿ ïðîáíîãî îäíîâðåìåííîãî âîçìóùåíèÿ óäîáíî èñïîëüçîâàòü áåðíóëëèåâñêèå ñëó÷àéíûå âåêòîðà (êîîðäèíàòû âåêòîðà
n íåçàâèñèìû äðóã îò äðóãà è ïðèíèìàþò ñ ðàâíîé âåðîÿòíîñòüþ çíà÷åíèÿ ïëþñ/ìèíóñ åäèíèöà). Îêàçûâàåòñÿ, ÷òî ïðè çàøóìëåííûõ íàáëþäåíèÿõ áåç ñóùåñòâåííûõ ïîòåðü â ñêîðîñòè ñõîäèìîñòè äëÿ ïîñòðîåíèÿ ñîñòîÿòåëüíîé ïîñëåäîâàòåëüíîñòè îöåíîê ìîæíî âîñïîëüçîâàòüñÿ àëãîðèòìîì, ïîõîæèì âíåøíå íà ÊÊÂ, íî èñïîëüçóþùåì âñåãî äâà çàøóìëåííûõ èçìåðåíèÿ ôóíêöèè F (
;
) íà êàæäîé èòåðàöèè:

^n = ^n

1

n
n

yn+ yn ; 2 n

yn = F (wn ; ^n

1

 n
n) + vn :

Áîëåå òîãî, àíàëîãè÷íûìè ñâîéñòâàìè îáëàäàåò àëãîðèòì ñ îäíèì çàøóìëåííûì íàáëþäåíèåì íà êàæäîé èòåðàöèè

^n = ^n

1

n
y ; n n n

yn = F (wn ; ^n 1 + n
n) + vn :

66ÃËÀÂÀ 1. ÌÅÒÎÄÛ ÎÖÅÍÈÂÀÍÈß È ÎÏÒÈÌÈÇÀÖÈÈ Ýòè ðåêóððåíòíûå ïðîöåäóðû áóäåì íàçûâàòü ðàíäîìèçèðîâàííûìè àëãîðèòìàìè ñòîõàñòè÷åñêîé àïïðîêñèìàöèè, òàê êàê â èõ ñòðóêòóðó íåîòúåìëåìîé ÷àñòüþ âõîäèò ñëó÷àéíîå ïðîáíîå îäíîâðåìåííîå ïî âñåì êîîðäèíàòàì âîçìóùåíèå, êîòîðîå òàêæå îäíîâðåìåííî èñïîëüçóåòñÿ è â çàäàíèè íàïðàâëåíèÿ î÷åðåäíîãî èçìåíåíèÿ îöåíêè è ïðè âûáîðå íîâîé òî÷êè èçìåðåíèÿ. Èíîãäà âñòðå÷àþòñÿ íàçâàíèÿ ñòîõàñòè÷åñêàÿ àïïðîêñèìàöèÿ ñî ñëó÷àéíûìè íàïðàâëåíèÿìè, ïîèñêîâûé àëãîðèòì ñòîõàñòè÷åñêîé àïïðîêñèìàöèè èëè ñòîõàñòè÷åñêàÿ àïïðîêñèìàöèÿ ñ âîçìóùåíèåì íà âõîäå.  àíãëîÿçû÷íîé ëèòåðàòóðå øèðîêî èñïîëüçóåòñÿ íàçâàíèå îäíîâðåìåííî âîçìóùàåìàÿ ñòîõàñòè÷åñêàÿ àïïðîêñèìàöèÿ (simultaneous perturbation stochastic approximation, SPSA).  òðåòüåé ãëàâå áóäóò ïðèâåäåíû òî÷íûå óñëîâèÿ, îáåñïå÷èâàþùèå ñîñòîÿòåëüíîñòü îöåíîê ðàíäîìèçèðîâàííûõ àëãîðèòìîâ ñòîõàñòè÷åñêîé àïïðîêñèìàöèè, èç êîòîðûõ íàèáîëåå ñóùåñòâåííûì ÿâëÿåòñÿ óñëîâèå î ñëàáîé êîððåëèðîâàííîñòè ïðîáíîãî âîçìóùåíèÿ f
n g è ïîñëåäîâàòåëüíîñòåé íåîïðåäåëåííîñòåé fwn g è fvn g.  îòëè÷èå îò îöåíèâàíèÿ ïî ÊÊ ïðèìåíåíèå ðàíäîìèçèðîâàííûõ àëãîðèòìîâ ýôôåêòèâíî è ïðè ïî÷òè ïðîèçâîëüíûõ àääèòèâíûõ ïîìåõàõ â íàáëþäåíèè fvn g. Åñòåñòâåííî, ÷òî ñðåäíåêâàäðàòè÷íàÿ ñêîðîñòü ñõîäèìîñòè ïåðâîãî ðàíäîìèçèðîâàííîãî àëãîðèòìà ñ äâóìÿ èçìåðåíèÿìè îáû÷íî âûøå, ÷åì ó âòîðîãî. Íî ñòîèò çàìåòèòü, ÷òî â öåëîì ðÿäå ïðàêòè÷åñêèõ çàäà÷ îïòèìèçàöèè ñèñòåì ðåàëüíîãî âðåìåíè, îáíàðóæåíèÿ ñèãíàëîâ è àäàïòèâíîãî óïðàâëåíèÿ âàæíî èìåòü âîçìîæíîñòü èñïîëüçîâàòü àëãîðèòì òîëüêî ñ îäíèì íàáëþäåíèåì íà êàæäîì øàãå, òàê êàê â ýòèõ çàäà÷àõ òðóäíî ñäåëàòü íå òîëüêî 2r íàáëþäåíèé, êàê â êëàññè÷åñêîé ïðîöåäóðå ÊèôåðàÂîëüôîâèöà, íî äàæå äâà íàáëþäåíèÿ ñ íåçàâèñèìûìè îò
n ïîìåõàìè íåäîñòóïíû.

1.4.5

Ïàññèâíàÿ ñòîõàñòè÷åñêàÿ àïïðîêñèìàöèÿ

Ïóñòü xn è Y n  çíà÷åíèÿ èç r -ìåðíîãî âåùåñòâåííîãî ïðîñòðàíñòâà.  îñíîâíîé ôîðìå àëãîðèòìà ÐîááèíñàÌîíðî Y n = G(wn ; xn )  íàáëþäàåìûå c ïîìåõîé wn â òî÷êàõ xn çíà÷åíèÿ íåêîòîðîé âåêòîðôóíêöèè îò x. Ïîñëåäîâàòåëüíîñòü fxn g âûáèðàåòñÿ ýêñïåðèìåíòàòîðîì (àêòèâíûé ýêñïåðèìåíò). Öåëü çàêëþ÷àåòñÿ â íàõîæäåíèè òî÷êè  , â êîòîðîé çíà÷åíèå ôóíêöèè g (x) = Ew fG(w; x)g ðàâíî íóëþ.  íåêîòîðûõ ïðèëîæåíèÿõ çíà÷åíèÿ òî÷åê xn , â êîòîðûõ ïðîèçâîäÿòñÿ íàáëþäåíèÿ, ãåíåðèðóþòñÿ èçâíå è íå ìîãóò áûòü âûáðàíû ýêñïåðèìåíòàòîðîì, êîòîðîìó íåîáõîäèìî íàéòè êîðåíü ôóíêöèè g (x). Ðàññìîòðèì çàäà÷ó: ïî çàøóìëåííûì íàáëþäåíèÿì Y n = g (xn ) +

1.4. ÑÒÎÕÀÑÒÈ×ÅÑÊÀß ÀÏÏÐÎÊÑÈÌÀÖÈÈ

67

çíà÷åíèé ôóíêöèè g (
) â çàäàâàåìûõ èçâíå òî÷êàõ fxn g (ïàññèâíûé ýêñïåðèìåíò) îïðåäåëèòü íåèçâåñòíûé êîðåíü  ôóíêöèè g (x) (äëÿ ïðîñòîòû ïðåäïîëîæèì  åäèíñòâåííûé). Çäåñü fwn g  ïîñëåäîâàòåëüíîñòü ïîìåõ (øóìîâ) è G(w; x) = g (x) + w. Äëÿ ðåøåíèÿ ýòîé çàäà÷è â [57, 144] ïðåäëàãàåòñÿ âîñïîëüçîâàòüñÿ àëãîðèòìîì ïàññèâíîé ñòîõàñòè÷åñêîé àïïðîêñèìàöèè  ìåòîäîì ñòîõàñòè÷åñêîé àïïðîêñèìàöèè â êîìáèíàöèè ñ ïðîöåäóðîé íåïàðàìåòðè÷åñêîãî îöåíèâàíèÿ ñ íåêîòîðûì âåùåñòâåííîçíà÷íûì ÿäðîì K (
)

wn

xn ^n 1 n )Y ; n = 1; 2; : : : ; ^0 = 0; n ãäå êîíñòàíòû n ïðåäñòàâëÿþò øèðèíó îêíà. ßäðî K (
) èãðàåò êðèòèn ^n 1 äàëåêè äðóã îò äðóãà, òî âåëè÷èíà ÷åñêóþ  n nðîëü.  Åñëè òî÷êè x è  1 ^ K x n î÷åíü ìàëà, è òåêóùåå íàáëþäåíèå Y n îêàæåò ìàëîå âëèÿíèå íà èòåðàöèþ. Äëÿ öåëåé ðîáàñòíîñòè ÷èñëîâûå ïîñëåäîâàòåëüíîñòè n è n ìîæíî âûáðàòü ïîñòîÿííûìè. Ñêîðîñòü ñõîäèìîñòè ýòîãî àëãîðèòìà ^n = ^n

1

n n 1 K (

çàâèñèò îò ãëàäêîñòè èññëåäóåìîé ôóíêöèè è â îáùåì ñëó÷àå õóæå, ÷åì ó êëàññè÷åñêîé ïðîöåäóðû ÐîááèíñàÌîíðî.

1.4.6

Ìîäèôèêàöèè àëãîðèòìîâ ÑÀ

 ýòîì ðàçäåëå îáñóæäàþòñÿ íåêîòîðûå ìîäèôèêàöèè àëãîðèòìîâ ñòîõàñòè÷åñêîé àïïðîêñèìàöèè, ìîòèâèðîâàííûå ïðàêòè÷åñêèìè ïðèëîæåíèÿìè.

Ìåòîä ïîíèæåíèÿ äèñïåðñèè Îïèøåì â ñïåöèàëüíîì ñëó÷àå ìåòîä, êîòîðûé â ñòàòèñòèêå íîñèò íàçâàíèå ïîñëîéíàÿ âûáîðêà [185]. Ïðåäïîëîæèì, ÷òî ìû îöåíèâàåì ñðåäíåå çíà÷åíèå íåêîòîðîé ÷àñòíîé õàðàêòåðèñòèêè ïîïóëÿöèè æèâîòíûõ  : ñêàæåì, âåñ. Ýòî ìîæíî ñäåëàòü ïî ñëó÷àéíîé âûáîðêå: ñëó÷àéíûì îáðàçîì áåðåì ýêçåìïëÿðû èíäèâèäóóìîâ, âçâåøèâàåì èõ è óñðåäíÿåì. Ïðåäñòàâèì ñåáå îñîáóþ ñèòóàöèþ, êîãäà ïîïóëÿöèþ ðàçáèëè íà äâå ãðóïïû îäèíàêîâîãî ðàçìåðà, âñå èíäèâèäóóìû â êàæäîé ãðóïïå èìåþò îäèíàêîâûé âåñ. Ïóñòü ýêñïåðèìåíòàòîð èìååò âîçìîæíîñòü âûáðàòü ãðóïïó, èç êîòîðîé äåëàåòñÿ èíäèâèäóàëüíàÿ âûáîðêà. Òîãäà äëÿ ïîëó÷åíèÿ ñðåäíåãî çíà÷åíèÿ äîñòàòî÷íî âûáðàòü ïî îäíîìó ýêçåìïëÿðó èç êàæäîé ãðóïïû è óñðåäíèòü ðåçóëüòàò. Íåìíîãî îáîáùèì ñèòóàöèþ. Ïðåäïîëîæèì, ÷òî èññëåäóåìûå îáúåêòû ðàçäåëåíû íà äâå íåïåðåñåêàþùèåñÿ ãðóïïû, êîòîðûå îáîçíà÷èì L

68ÃËÀÂÀ 1. ÌÅÒÎÄÛ ÎÖÅÍÈÂÀÍÈß È ÎÏÒÈÌÈÇÀÖÈÈ (ëåãêèå) è H (òÿæåëûå). Ïóñòü çàäàíî àïðèîðíîå ðàñïðåäåëåíèå îáúåêòîâ ïî êëàññàì, ò. å. çàäàíû âåðîÿòíîñòè PL , PH = 1 PL ïðèíàäëåæíîñòè ñîîòâåòñòâóþùèì êëàññàì è ñâÿçàííûå ñ íèìè, íî íåèçâåñòíûå ôóíêöèè ðàñïðåäåëåíèÿ GL (
; x) è GH (
; x) c íåèçâåñòíûìè ñðåäíèìè çíà÷åíèÿìè gL (x); gH (x), êîòîðûå ÿâëÿþòñÿ íåóáûâàþùèìè ôóíêöèÿìè. Äëÿ ïîñëåäîâàòåëüíîé îöåíêè ïàðàìåòðà ñîîòâåòñòâóþùåãî çàäàííîé ñðåäíåé õàðàêòåðèñòèêå âñåãî ìíîæåñòâà ìîæíî âîñïîëüçîâàòüñÿ ïðîöåäóðîé ÐîááèíñàÌîíðî äëÿ îáùåé ôóíêöèè ðàñïðåäåëåíèÿ G(
; x) = PL GL(
; x)+PH GH (
; x), íî ëó÷øå èñïîëüçîâàòü àëãîðèòì ñ ñîçíàòåëüíûì 2 ( ) è  2 ( ) ñîîòâåòñòâóþùèå óñëîââûáîðîì ãðóïïû. Åñëè îáîçíà÷èòü L H íûå äèñïåðñèè îøèáîê, òî ïðè áîëüøèõ n äèñïåðñèÿ îøèáîê äëÿ àëüòåðíàòèâíîãî àëãîðèòìà ïðèáëèçèòåëüíî ðàâíà

PL L2 () + PH H2 (): Ýòà âåëè÷èíà íå ïðåâîñõîäèò çíà÷åíèÿ äèñïåðñèè îøèáîê äëÿ îðèãèíàëüíîé ïðîöåäóðû ñ âûáîðîì îáúåêòîâ ñëó÷àéíûì îáðàçîì èç âñåé ïîïóëÿöèè

PL L2 () + PH H2 () + PL (gL () g())2 + PH (gH () g())2 : Òàêèì îáðàçîì, äèñïåðñèÿ îøèáêè ïðè àëüòåðíàòèâíîé ïðîöåäóðå âñåãäà íå õóæå äèñïåðñèè îøèáêè îðèãèíàëüíîãî àëãîðèòìà è ðàâíà åé òîëüêî â ñëó÷àå gL ( ) = gH ( ). Ïóñòü PH = 2=7. Âîçìîæíû íåñêîëüêî âàðèàíòîâ èçìåíåíèÿ îñíîâíîãî àëãîðèòìà äëÿ ïîíèæåíèÿ äèñïåðñèè. Íàïðèìåð, ìîæíî îðãàíèçîâàòü ðàáîòó ñ ãðóïïàìè ïî ñåìü èñïûòàíèé, èñïîëüçóÿ HHLLLLL, èëè ñ ãðóïïàìè ïî ÷åòûðå, êîãäà ïåðâûå òðè âûáèðàþòñÿ ïî ñõåìå HLL, à ÷åòâåðòîå  ñëó÷àéíûì îáðàçîì èç âñåãî íàáîðà âàðèàíòîâ. Åñëè îäíà èç ôîðì àëãîðèòìà õîðîøî îáîñíîâàíà è ñõîäèòñÿ, òî è îñòàëüíûå ðàáîòîñïîñîáíû. Àëüòåðíàòèâíûé âûáîð ïîäïîïóëÿöèè äåìîíñòðèðóåò âàæíóþ îñîáåííîñòü â ïðèìåíåíèÿõ ïðîöåäóðû ÐîááèíñàÌîíðî, à, â äåéñòâèòåëüíîñòè, è âñåõ ïðèìåíåíèé ñòîõàñòè÷åñêîé àïïðîêñèìàöèè. Cêîðîñòü ñõîäèìîñòè è äèñïåðñèÿ ñðåäíåãî îòêëîíåíèÿ îöåíîê î÷åíü ñèëüíî çàâèñÿò îò óðîâíÿ ïîìåõ, è âñå óñèëèÿ, íàïðàâëåííûå íà åãî óìåíüøåíèå, ïîâûøàþò ýôôåêòèâíîñòü àëãîðèòìà.

Óñðåäíåíèå ïî èòåðàöèÿì Åñëè óñòàíîâëåíà ñõîäèìîñòü îöåíîê ê æåëàåìîé òî÷êå  , òî â [73, 178] áûëî ïðåäëîæåíî äëÿ óëó÷øåíèÿ ïðîöåññà ñõîäèìîñòè ðàññìîòðåòü

1.4. ÑÒÎÕÀÑÒÈ×ÅÑÊÀß ÀÏÏÐÎÊÑÈÌÀÖÈÈ

69

ïîñëåäîâàòåëüíîñòü óñðåäíåííûõ îöåíîê n X 1 ~n = ^i; Nn i=n Nn +1 ãäå fNn g  íåêîòîðàÿ ÷èñëîâàÿ ïîñëåäîâàòåëüíîñòü, ñòðåìÿùàÿñÿ ê áåñêîíå÷íîñòè, è n Nn  0. Òàêàÿ ïîïûòêà çàìåíû ìîæåò óëó÷øèòü îöåíêè, à ìîæåò è íåò, â çàâèñèìîñòè ïðåæäå âñåãî îò âûáîðà ÷èñëîâîé ïîñëåäîâàòåëüíîñòè âåëè÷èí ðàçìåðîâ øàãîâ àëãîðèòìà fn g. Ìîæíî ïîêàçàòü, ÷òî åñëè ïîðÿäîê óáûâàíèÿ n = O (1=n), òî àñèìïòîòè÷åñêîå ïîâåäåíèå îöåíîê f~n g íå ëó÷øå, ÷åì ó f^n g è ìîæåò áûòü õóæå â ñìûñëå ñðåäíåêâàäðàòè÷íîé ñêîðîñòè ñõîäèìîñòè.  òîì ñëó÷àå, êîãäà ïîðÿäîê óáûâàíèÿ n íèæå, ÷åì O (1=n) â [59, 73, 178] ïîêàçàíî, ÷òî àëãîðèòì ñ óñðåäíåíèåì èñïîëüçîâàòü ïðåäïî÷òèòåëüíåå. Êîãäà èñïîëüçóþò àëãîðèòì ñ óñðåäíåíèåì, âåëè÷èíó ðàçìåðà øàãà n âûáèðàþò áîëüøå, ÷åì â ñîîòâåòñòâóþùåì îáû÷íîì àëãîðèòìå. Ýòî ïðèâîäèò ê ïåðåñêîêó âîêðóã  ïîñëåäîâàòåëüíîñòè îöåíîê f^n g. Óñðåäíåíèÿ êîìïåíñèðóþò ýòè ïåðåñêîêè, è ïðè äîñòàòî÷íî îáùèõ óñëîâèÿõ ñêîðîñòü ñõîäèìîñòè îöåíîê f~ng ñîâïàäàåò ñ ìàêñèìàëüíî âîçìîæíîé ñêîðîñòüþ ñõîäèìîñòè äëÿ îöåíîê f^n g ïðè îïòèìàëüíîì âûáîðå ìàòðè÷íûõ êîýôôèöèåíòîâ àëãîðèòìà, ÷òî ñóùåñòâåííî îáëåã÷àåò ðåøåíèå ñëîæíîé ïðîáëåìû èõ îïðåäåëåíèÿ. Ïðè÷åì âàæíî çàìåòèòü, ÷òî ýòî ñâîéñòâî óíèâåðñàëüíî äëÿ âñåõ àëãîðèòìîâ ñòîõàñòè÷åñêîé àïïðîêñèìàöèè.

Îãðàíè÷åíèÿ Íà ïðàêòèêå äîïóñòèìûå çíà÷åíèÿ ïàðàìåòðà  ÷àñòî ïðèíàäëåæàò íåêîòîðîìó íåèçìåííîìó ìíîæåñòâó , çàäàííîìó ÿâíî èëè íåÿâíî. Èíîãäà â ïðîöåññå îöåíèâàíèÿ èíôîðìàöèÿ îá ýòîì ìíîæåñòâå îáîãàùàåòñÿ, è åãî îïèñàíèå ìîæåò èçìåíÿòüñÿ. Íåñêîëüêî ñîîòâåòñòâóþùèõ ïðèìåðîâ áóäåò ïðèâåäåíî â ïîñëåäíåì ðàçäåëå ýòîé ãëàâû. Åñëè êîìïîíåíòû âåêòîðà   ôèçè÷åñêèå èëè ýêîíîìè÷åñêèå âåëè÷èíû, òî åñòåñòâåííî ñ÷èòàòü èõ çàêëþ÷åííûìè â ãðàíèöû ìåæäó íèæíèì è âåðõíèì çíà÷åíèÿìè. Äàæå, åñëè ôèçè÷åñêèé èëè ýêîíîìè÷åñêèé ñìûñë ïàðàìåòðîâ íå íàêëàäûâàåò àïðèîðíûõ îãðàíè÷åíèé íà èõ çíà÷åíèÿ, òî âñå ðàâíî åñòåñòâåííî ñ ïîäîçðåíèåì îòíîñèòüñÿ ê ïîëó÷àþùèìñÿ â ðåçóëüòàòå ðàáîòû àëãîðèòìà îòíîñèòåëüíî áîëüøèì çíà÷åíèÿì îöåíîê â ñðàâíåíèè ñ îæèäàâøèìèñÿ. Ïðîñòåéøàÿ íàèáîëåå ÷àñòî èñïîëüçóåìàÿ ìîäèôèêàöèÿ àëãîðèòìîâ çàêëþ÷àåòñÿ â óñå÷åíèè îöåíîê, êîãäà îíè ñòàíîâÿòñÿ ñëèøêîì áîëüøèìè

70ÃËÀÂÀ 1. ÌÅÒÎÄÛ ÎÖÅÍÈÂÀÍÈß È ÎÏÒÈÌÈÇÀÖÈÈ èëè ñëèøêîì ìàëûìè. Ïðåäïîëîæèì, ÷òî çàäàíû êîíå÷íûå Ai < Bi ; i = 1; : : : ; r òàêèå, ÷òî åñëè i-àÿ êîìïîíåíòà âåêòîðà ^n â àëãîðèòìå ïîëó÷àåòñÿ áîëüøå Bi (èëè ñîîòâåòñòâåííî  ìåíüøå Ai ), òî áåðåòñÿ ^in = Bi (èëè ^in = Ai ). Åñëè íàøà öåëü ñîñòîèò â ìèíèìèçàöèè íåêîòîðîé ôóíêöèè ïîòåðü f (
) ïðè óñëîâèè îáåñïå÷åíèÿ öåëåâîãî íåðàâåíñòâà f ()  C0 ñ íåêîòîðûì ìàêñèìàëüíî äîïóñòèìûì óðîâíåì C0 , òî äëÿ ýòîãî ïðèìåðà çàäàäèì ìíîæåñòâî îãðàíè÷åíèé  = f : Ai  i  Bi ; f ( ) C0  0g. Îïðåäåëèì P (x)  îïåðàòîð ïðîåêòèðîâàíèÿ â ìíîæåñòâî   êàê ðåçóëüòàò âûáîðà áëèæàéøåé ê x òî÷êè èç . Åñëè x 2 , òî P (x) = x. Ïîäõîäÿùèé àëãîðèòì ñ îãðàíè÷åíèÿìè (èëè ñ ïðîåêöèåé) èìååò âèä

^n = P (^n

1

n Y n );

ãäå Y n êàêàÿíèáóäü àïïðîêñèìàöèÿ âåêòîðàãðàäèåíòà ôóíêöèè òî÷êå ^n 1 .

f (
) â

Ðîáàñòíûå àëãîðèòìû Ïðè ïðàêòè÷åñêîì èñïîëüçîâàíèè òîãî èëè èíîãî àëãîðèòìà âîçìîæíà ñèòóàöèÿ, êîãäà îïðåäåëåííûå íàáëþäåíèÿ ðåàëèçàöèè ñëó÷àéíîé âåëè÷èíû äàþò î÷åíü áîëüøèå çíà÷åíèÿ. Êàê ïðàâèëî, â ðåàëüíûõ ñèñòåìàõ ïðè áîëüøèõ çíà÷åíèÿõ ïàðàìåòðîâ ìàëîèçâåñòíû ìîäåëè äèíàìèêè, èëè òðóäíî ÷òî-ëèáî ïðåäïîëîæèòü î ñòàòèñòè÷åñêèõ ñâîéñòâàõ ïîìåõ.  òàêèõ ñèòóàöèÿõ ìîäåëü ÷àñòî îïðåäåëÿþò èç ñîîáðàæåíèé óäîáñòâà èñïîëüçîâàíèÿ èëè òðàäèöèé. Îäíàêî íåæåëàòåëüíî, ÷òîáû îäíî áîëüøîå ïî âåëè÷èíå íàáëþäåíèå ñóùåñòâåííî ñêàçàëîñü íà âû÷èñëåíèè òåêóùåé îöåíêè. Äëÿ ýòîãî íàäî èñïîëüçîâàòü áîëåå ðîáàñòíûå ïðîöåäóðû ïî àíàëîãèè ñ ïðîöåäóðàìè ðîáàñòíîãî ñòàòèñòè÷åñêîãî àíàëèçà. Îïèøåì îäèí èç âîçìîæíûõ ïîäõîäîâ. Ïóñòü i (
); i = 1; : : : ; r îãðàíè÷åííûå âåùåñòâåííûå ôóíêöèè, çàäàííûå íà âåùåñòâåííîé îñè, íåóáûâàþùèå è óäîâëåòâîðÿþùèå óñëîâèÿì: i (0) = 0; i (u) = i ( u) è i (u)=u ! 0 ïðè u ! 1. Îäèí èç íàèáîëåå ÷àñòî èñïîëüçóåìûõ âàðèàíòîâ ôóíêöèé i (u) = minfu; Ki g äëÿ u  0, ãäå Ki  çàäàííûå êîíñòàíòû. Îáîçíà÷èì 0

1 1 (Y1 ) B 2 (Y2 ) C (Y ) = B : .. C @ . A

r (Yr )

1.4. ÑÒÎÕÀÑÒÈ×ÅÑÊÀß ÀÏÏÐÎÊÑÈÌÀÖÈÈ

71

Ïóñòü, êàê è ðàíåå, Y n  êàêàÿíèáóäü àïïðîêñèìàöèÿ âåêòîðàãðàäèåíòà ôóíêöèè ïîòåðü f (
) â òî÷êå ^n 1 . Àëãîðèòì

^n = ^n

1

n (Y n )

ÿâëÿåòñÿ ïîäõîäÿùåé ïðîöåäóðîé èç ðîáàñòíîé ñòàòèñòèêè. Åãî âàæíîå ïðåèìóùåñòâî ñîñòîèò â òîì, ÷òî îãðàíè÷åí ýôôåêò áîëüøèõ çíà÷åíèé â ïîìåõàõ íàáëþäåíèÿ. Äåéñòâèòåëüíî, åñëè ÷ðåçìåðíîå çíà÷åíèå ïîìåõè ðåàëèçîâàëîñü â íàáëþäåíèÿõ, òî ýòî íàáëþäåíèå áóäåò ïðîèãíîðèðîâàíî. Ýòî îòëè÷àåòñÿ îò àëãîðèòìà c ïðîåêòèðîâàíèåì, ãäå ñðåçàåòñÿ çíà÷åíèå ïîëó÷àåìîé òåêóùåé îöåíêè. Åñëè àëãîðèòì ñòîõàñòè÷åñêîé àïïðîêñèìàöèè èñïîëüçóåòñÿ â ðåàëüíîé ñèñòåìå, à íå â ïðîöåññå êîìïüþòåðíîãî ìîäåëèðîâàíèÿ, è ïîÿâèëèñü íàáëþäåíèÿ ñ áîëüøèìè çíà÷åíèÿìè, òî, âîîáùå ãîâîðÿ, íàäî ïîñòàðàòüñÿ îïðåäåëèòü ôèçè÷åñêóþ ïðè÷èíó òàêîãî çíà÷åíèÿ, à íå îòêàçûâàòüñÿ îò ó÷åòà ýòîãî íàáëþäåíèÿ áåç âñÿêèõ âîïðîñîâ. Åñëè èçâåñòíî, ÷òî Y n  ðåçóëüòàò èçìåðåíèÿ (èëè âû÷èñëåíèÿ) âåêòîðàãðàäèåíòà ôóíêöèè ïîòåðü f (
) â òî÷êå ^n 1 , ïðîèçâåäåííîãî ñ àääèòèâíîé ïîìåõîé, òî â [68] èññëåäîâàëñÿ âîïðîñ î ñâÿçè êà÷åñòâà îöåíîê ñ âûáîðîì ôóíêöèè (
) â çàâèñèìîñòè îò âèäà ôóíêöèè ðàñïðåäåëåíèÿ ïîìåõè.  ÷àñòíîñòè, ïðè ïðåäïîëîæåíèè î òîì, ÷òî íåçàâèñèìûå öåíòðèðîâàííûå ïîìåõè èìåþò ïëîòíîñòü ðàñïðåäåëåíèÿ p(
), îáîñíîâûâàåòñÿ îïòèìàëüíûé âèä ôóíêöèè (
):

(Y n ) = r lnfp(Y n )g: Â [69] ïîõîæèé ñïîñîá âûáîðà ôóíêöèè (
) ïðåäëàãàåòñÿ êàê îïòèìàëüíûé â íåêîòîðîì ìèíèìàêñíîì ñìûñëå äëÿ îïðåäåëåííîãî êëàññà àëãîðèòìîâ.

Âûïóêëàÿ íåäèôôåðåíöèðóåìàÿ îïòèìèçàöèÿ Ïóñòü f (
)  âåùåñòâåííàÿ âûïóêëàÿ ôóíêöèÿ âåêòîðíîãî àðãóìåíòà ðàçìåðíîñòè r . Âåêòîð g íàçûâàåòñÿ ñóáãðàäèåíòîì ôóíêöèè f (
) â òî÷êå  , åñëè f ( + x) f ( )  g T x äëÿ âñåõ x 2 Rr . Îáîçíà÷èì ÷åðåç @f (x) ìíîæåñòâî ñóáãðàäèåíòîâ ôóíêöèè f (
) â òî÷êå x. Ýòî ìíîæåñòâî çàìêíóòîå è âûïóêëîå. Ðàññìîòðèì çàäà÷ó ìèíèìèçàöèè ôóíêöèè f (
). Ïóñòü f^n g  ïîñëåäîâàòåëüíîñòü îöåíîê íåêîòîðîãî ìèíèìèçèðóþùåãî àëãîðèòìà. Ïðåäïîëîæèì, ÷òî äëÿ êàæäîãî ^n 1 íàáëþäàåòñÿ âåêòîð Y n = gn + wn , ãäå wn  ïîìåõè íàáëþäåíèÿ è gn 2 @f (^n 1). Â ýòîé

72ÃËÀÂÀ 1. ÌÅÒÎÄÛ ÎÖÅÍÈÂÀÍÈß È ÎÏÒÈÌÈÇÀÖÈÈ ñèòóàöèè äëÿ ìèíèìèçàöèè ôóíêöèè âàòüñÿ àëãîðèòìîì ÐîááèíñàÌîíðî

n = n

1

f (
) â [35] ïðåäëàãàåòñÿ âîñïîëüçî-

n Y n = n

1

n (gn + wn ):

Åñëè f (
)  íåïðåðûâíî äèôôåðåíöèðóåìàÿ ôóíêöèÿ, òîãäà âåêòîð ãðàäèåíò rf (x) ÿâëÿåòñÿ åäèíñòâåííûì ýëåìåíòîì ìíîæåñòâà @f (x), èíà÷å â àëãîðèòìå èñïîëüçóåòñÿ ñóáãðàäèåíò, âûáèðàåìûé íåêîòîðûì îáðàçîì èç ìíîæåñòâà @f (x).

Îäíîñòîðîííÿÿ ñõîäèìîñòü  íåêîòîðûõ ïðàêòè÷åñêèõ ïðèëîæåíèÿõ ïðè íàõîæäåíèè êîðíÿ íåèçâåñòíîé ôóíêöèè âàæíî ïîñòðîèòü òàêóþ ïîñëåäîâàòåëüíîñòü îöåíîê, êîòîðàÿ ñõîäèëàñü áû ê èñêîìîé òî÷êå ñ îäíîé ñòîðîíû. Íàïðèìåð, â áèîëîãè÷åñêèõ èñïûòàíèÿõ æèâîòíûì äàþò ôèêñèðîâàííûå äîçû xn íåêîòîðîãî ïðåïàðàòà ñ öåëüþ îöåíêè èíòåíñèâíîñòè ðåàêöèè îïðåäåëåííîãî âèäà íà åãî ïðèåì. Äëÿ êàæäîãî èñïûòóåìîãî ìîæíî íàáëþäàòü òîëüêî äâà èñõîäà: ëèáî ãèáåëü yn = 0, ëèáî âûæèâàíèå yn = 1. Âñÿêîìó ïîäîïûòíîìó æèâîòíîìó ñîîòâåòñòâóåò íåêîòîðàÿ ìèíèìàëüíàÿ ëåòàëüíàÿ äîçà, ïðåâûøåíèå êîòîðîé âûçûâàåò ãèáåëü æèâîòíîãî. Ïðè ìåíüøåé äîçå æèâîòíîå âûæèâàåò. Ïóñòü G(w; X )  ôóíêöèÿ ðàñïðåäåëåíèÿ èñõîäîâ èñïûòàíèé ñ äîçîé ïðåïàðàòà, ðàâíîé X , è g (X )  ñðåäíåå çíà÷åíèå èñõîäîâ ñîîòâåòñòâóþùèõ èñïûòàíèé. Ïðè çàäàííîì óðîâíå g òðåáóåòñÿ íàéòè ñîîòâåòñòâóþùóþ åìó äîçó . Äëÿ ðåøåíèÿ çàäà÷è ìîæíî áûëî áû âîñïîëüçîâàòüñÿ îáûêíîâåííûì àëãîðèòìîì ÐîááèíñàÌîíðî, íî èç ýêîíîìè÷åñêèõ è ãóìàííûõ ñîîáðàæåíèé õî÷åòñÿ óìåíüøèòü êîëè÷åñòâî ñìåðòåëüíûõ èñõîäîâ èñïûòàíèé. Ýòî äîñòèãàåòñÿ çà ñ÷åò ìîäèôèêàöèè îñíîâíîé ïðîöåäóðû:

^n = ^n

1

n (g + n yn );

èñïîëüçóþùåé äîïîëíèòåëüíóþ ÷èñëîâóþ ïîñëåäîâàòåëüíîñòü f n g.  ðàáîòå Ò.Ï.Êðàñóëèíîé [50] îáîñíîâûâàåòñÿ äëÿ ëþáîãî, ñêîëü óãîäíî ìàëîãî "; ñïåöèàëüíûé ñïîñîá âûáîðà ïîñëåäîâàòåëüíîñòåé fn g è f n g, îáåñïå÷èâàþùèé c âåðîÿòíîñòüþ 1 " íåïðåâûøåíèå çàäàííîãî óðîâíÿ ñìåðòíîñòè g ïðè èñïîëüçîâàíèè îöåíîê f^n g.

1.5. ÀËÃÎÐÈÒÌÛ ÑËÓ×ÀÉÍÎÃÎ ÏÎÈÑÊÀ

73

1.5 Àëãîðèòìû ñëó÷àéíîãî ïîèñêà Àëãîðèòìû ñòîõàñòè÷åñêîé àïïðîêñèìàöèè îòíîñÿòñÿ ê áîëåå øèðîêîìó êëàññó àëãîðèòìîâ ñëó÷àéíîãî ïîèñêà [32, 75, 76].  óïðîùåííîì âàðèàíòå ñóòü ìåòîäà ñëó÷àéíîãî ïîèñêà â ïðèìåíåíèè ê çàäà÷å î íàõîæäåíèè òî÷êè ìèíèìóìà  ôóíêöèè f (
) ñîñòîèò â ñëåäóþùåì. Çàäàåòñÿ ñëó÷àéíûì èëè äåòåðìèíèðîâàííûì ñïîñîáîì íà÷àëüíîå ïðèáëèæåíèå ^0 . Íà øàãå ñ íîìåðîì n âûáèðàåòñÿ ñëó÷àéíûì îáðàçîì
n  âåêòîð íàïðàâëåíèÿ èçìåíåíèÿ ïðåäûäóùåé îöåíêè ^n 1. Îáû÷íî èñïîëüçóþòñÿ ñëó÷àéíûå âåêòîðà ðàâíîìåðíî ðàñïðåäåëåííûå íà åäèíè÷íîé ñôåðå. Âû÷èñëÿåòñÿ çíà÷åíèå ôóíêöèè â òî÷êå ^n 1 +
n è ñðàâíèâàåòñÿ ñ f (^n 1 ). Î÷åðåäíàÿ îöåíêà ôîðìèðóåòñÿ ïî ïðàâèëó: 

^n 1 ^n = ^n 1 +
n ; 

åñëè f (^n 1 +
n ) < f (^n 1 ),  â ïðîòèâíîì ñëó÷àå.

Äëÿ âû÷èñëåíèÿ î÷åðåäíîé îöåíêè ïî ýòîìó àëãîðèòìó ïðåäïîëàãàåòñÿ âîçìîæíîñòü òî÷íîãî âû÷èñëåíèÿ çíà÷åíèÿ ìèíèìèçèðóåìîé ôóíêöèè â çàäàâàåìûõ òî÷êàõ.  îáîáùàþùåé ôîðìå âèä ïîèñêîâûõ àëãîðèòìîâ äëÿ ìèíèìèçàöèè ôóíêöèîíàëîâ òèïà ñðåäíåãî ðèñêà è äëÿ ðåøåíèÿ ðÿäà äðóãèõ áëèçêèõ çàäà÷ ìîæåò áûòü îïèñàí òàê. Âûáèðàåì ñëó÷àéíûì èëè äåòåðìèíèðîâàííûì ñïîñîáîì íà÷àëüíîå ïðèáëèæåíèå ^0 . Íà n-îì øàãå òàêæå ñëó÷àéíûì èëè äåòåðìèíèðîâàííûì ñïîñîáîì âûáèðàþòñÿ l âåêòîðîâ
1n ;
2n ; : : : ;
ln è â l + 1 òî÷êàõ ^n 1; ^n 1 + n
1n; ^n 1 + n
2n; : : : ; ^n 1 + n
ln âû÷èñëÿþòñÿ çíà÷åíèÿ øòðàôíîé ôóíêöèè F (
;
)

yn;i = F (wn;i ; ^n 1 + n
in ) + vn;i; i = 0; 1; : : : ; l; (
0n = 0): Ïîñëå ýòèõ ïðåäâàðèòåëüíûõ âû÷èñëåíèé íîâóþ îöåíêó ^n ïîëó÷àåì ïî ïðàâèëó: l X ^n = ^n 1 n n 1
in (yn;i yn;0 ): i=1 Îòëè÷èòåëüíàÿ îñîáåííîñòü ýòèõ àëãîðèòìîâ  âîçìîæíîñòü èñïîëüçîâàíèÿ ïðè îòñóòñòâèè àïðèîðíûõ æåñòêèõ îãðàíè÷åíèé íà òèï ôóíêöèè F (
;
).  ÷àñòíîñòè, îáû÷íî òðóäíîïðîâåðÿåìûì ÿâëÿþòñÿ óñëîâèÿ íåïðåðûâíîñòè è äèôôåðåíöèðóåìîñòè. Âî ìíîãèõ ïðàêòè÷åñêèõ ñëó÷àÿõ ýòèìè àëãîðèòìàìè ïîëüçóþòñÿ áåç ñòðîãîãî ìàòåìàòè÷åñêîãî îáîñíîâàíèÿ, óäîâëåòâîðÿÿñü ïîëó÷àåìûì êà÷åñòâîì îöåíèâàíèÿ, êîòîðîå äîñòàòî÷íî ÷àñòî óäàåòñÿ ïîâûñèòü çà ñ÷åò àäàïòàöèè (ïðèñïîñàáëèâàíèÿ)

74ÃËÀÂÀ 1. ÌÅÒÎÄÛ ÎÖÅÍÈÂÀÍÈß È ÎÏÒÈÌÈÇÀÖÈÈ ïàðàìåòðîâ àëãîðèòìîâ ê êîíêðåòíîé ñèòóàöèè. Àäàïòàöèÿ âåëè÷èíû ðàáî÷åãî øàãà fn g ñâÿçàíà ñ äâóìÿ ïðîòèâîðå÷èâûìè ôàêòîðàìè: îí äîëæåí áûòü äîñòàòî÷íî áîëüøèì â òî âðåìÿ, êîãäà òåêóùàÿ îöåíêà äàëåêà îò èñêîìîé, è íåîáõîäèìî åãî óìåíüøàòü ïî ìåðå ïðèáëèæåíèÿ ê ïîëîæåíèþ ýêñòðåìóìà. Î÷åíü ïëîäîòâîðíîé îêàçûâàåòñÿ ñëåäóþùàÿ ýâðèñòèêà: íóæíî óìåíüøàòü n ïðè "íåóäà÷íîì" øàãå è óâåëè÷èâàòü ïðè "óäà÷íîì". Êðîìå ýòîãî âîçìîæíà àäàïòàöèÿ ïàðàìåòðîâ ðàñïðåäåëåíèé âåêòîðîâ f
in g â çàâèñèìîñòè îò ïîñòóïàþùåé íà êàæäîì øàãå ïîèñêà èíôîðìàöèè îá óñïåõå èëè íåóñïåõå òîãî èëè èíîãî ñëó÷àéíîãî øàãà.

1.6 Ýëåìåíòû òåîðèè îöåíèâàíèÿ  ðàìêàõ òåîðèè îöåíèâàíèÿ îñíîâíûì ÿâëÿåòñÿ âîïðîñ î ñîñòîÿòåëüíîñòè, ýôôåêòèâíîñòè è àñèìïòîòè÷åñêîé ýôôåêòèâíîñòè îöåíîê. Âàæíåéøèìè ìåòîäàìè ïîëó÷åíèÿ îöåíîê ÿâëÿþòñÿ ìåòîä ýìïèðè÷åñêîãî ôóíêöèîíàëà [13], áàéåñîâñêèé ïîäõîä è ìåòîä ìàêñèìóìà ïðàâäîïîäîáèÿ [101].

1.6.1

Ìåòîä ýìïèðè÷åñêîãî ôóíêöèîíàëà

Ðàññìîòðèì çàäà÷ó ìèíèìèçàöèè ôóíêöèîíàëà ñðåäíåãî ðèñêà

f (x) =

Z

F (w; x)Pw (dw);

â êîòîðîì Pw (
) ôóíêöèÿ ðàñïðåäåëåíèÿ, çàäàííàÿ íà íåêîòîðîì âåðîÿòíîñòíîì ïðîñòðàíñòâå ñîáûòèé. Âîçìîæíîñòü àíàëèòè÷åñêîãî ðåøåíèÿ ýòîé çàäà÷è ïðåäïîëàãàåò çíàíèå ðàñïðåäåëåíèÿ Pw (
). Âìåñòå ñ òåì, â ðÿäå ïðàêòè÷åñêèõ çàäà÷ ðàñïðåäåëåíèå Pw (
) íå èçâåñòíî, íî â ðàñïîðÿæåíèè ýêñïåðèìåíòàòîðà ìîæåò áûòü îïðåäåëÿåìàÿ èì íåçàâèñèìàÿ âûáîðêà w1 ; w2 ; : : : ; wN . Îäíèì èç åñòåñòâåííûõ ïîäõîäîâ ê çàäà÷å íàõîæäåíèÿ ìèíèìóìà ÿâëÿåòñÿ âîññòàíîâëåíèå ïî ýòîé âûáîðêå ðàñïðåäåëåíèÿ Pw (
), òî÷íåå ïîñòðîåíèå ýìïèðè÷åñêîãî ôóíêöèîíàëà

fN (x) =

1 N

N X k=1

F (wk ; x);

êîòîðûé ñîîòâåòñòâóåò âû÷èñëåíèþ ìåòîäîì ÌîíòåÊàðëî èíòåãðàëà çàäàþùåãî èñõîäíûé ôóíêöèîíàë f (x). Ïóñòü âåëè÷èíû F (wk ; x); k = 1; 2; : : : ; N  ñëó÷àéíûå, íåçàâèñèìûå, îäèíàêîâî ðàñïðåäåëåííûå, è çàäàíî íåêîòîðîå ìíîæåñòâî  3 x. Åñëè ïîäûíòåãðàëüíàÿ ôóíêöèÿ

1.6. ÔÎÐÌÓËÛ ÁÀÉÅÑÀ, ÌÌÏ

75

F (w; x) ðàâíîìåðíî îãðàíè÷åíà, èëè óäîâëåòâîðÿåò áîëåå ñëàáîìó óñëîâèþ

sup x2

Z

kF (w; x)k2 Pw (dw) < 1;

òî â ñîîòâåòñòâèè ñ çàêîíîì áîëüøèõ ÷èñåë (ñì. ïóíêò Ï.1.3 íà ñòð. 251) ñ âåðîÿòíîñòüþ åäèíèöà è â ñðåäíåêâàäðàòè÷íîì ïðè N ! 1 çíà÷åíèÿ ýìïèðè÷åñêîãî ôóíêöèîíàëà ñõîäÿòñÿ ê ñîîòâåòñòâóþùèì çíà÷åíèÿì èñõîäíîãî lim fN (x) = f (x); N !1 ïðè÷åì ñõîäèìîñòü â ñðåäíåêâàäðàòè÷íîì ñìûñëå èìååò ìåñòî ðàâíîìåðíî ïî x 2 . Îöåíêîé ìåòîäà ýìïèðè÷åñêîãî ôóíêöèîíàëà íàçûâàåòñÿ

^n = arg min fN (x) x2

ëþáàÿ èç òî÷åê ìíîæåñòâà , ñîîòâåòñòâóþùàÿ íàèìåíüøåìó çíà÷åíèþ ôóíêöèîíàëà fN (x). Ïðè ñäåëàííûõ ïðåäïîëîæåíèÿõ ïîñëåäîâàòåëüíîñòü îöåíîê f^n g â ñðåäíåêâàäðàòè÷íîì ñìûñëå è ñ âåðîÿòíîñòüþ åäèíèöà ñõîäèòñÿ ê ìíîæåñòâó òî÷åê , ìèíèìèçèðóþùèõ ôóíêöèîíàë f (x).  ÷àñòíîñòè, åñëè ýòî ìíîæåñòâî  ñîñòîèò âñåãî èç îäíîé òî÷êè, òî ïîñëåäîâàòåëüíîñòü f^n g ñîñòîÿòåëüíàÿ.  çàäà÷àõ èäåíòèôèêàöèè äèíàìè÷åñêèõ îáúåêòîâ è àäàïòèâíîãî óïðàâëåíèÿ ïîÿâëÿþòñÿ áîëåå ñëîæíûå ýìïèðè÷åñêèå ôóíêöèîíàëû âèäà

1 fN (x) = N

N X k=1

F (k; wk ; x);

â êîòîðîì øòðàôíàÿ ôóíêöèÿ F (
;
;
) çàâèñèò ÿâíî îò âðåìåíè, à ñëó÷àéíûå âåëè÷èíû fwk g íå ÿâëÿþòñÿ íåçàâèñèìûìè.

76ÃËÀÂÀ 1. ÌÅÒÎÄÛ ÎÖÅÍÈÂÀÍÈß È ÎÏÒÈÌÈÇÀÖÈÈ

1.6.2

Áàéåñîâñêèå îöåíêè

Ìàðêîâñêèå îöåíêè è îöåíêè ÌHÊ îáëàäàþò òåì ïðåèìóùåñòâîì, ÷òî íå òðåáóþò çíàíèÿ çíà÷èòåëüíîé àïðèîðíîé èíôîðìàöèè. Hî åñëè èìååòñÿ àïðèîðíàÿ èíôîðìàöèÿ î âîçìîæíûõ çíà÷åíèÿõ îöåíèâàåìûõ ïàðàìåòðîâ, òî èíòóèòèâíî ïîíÿòíî, ÷òî ó÷åò ýòîé èíôîðìàöèè ìîæåò ïîçâîëèòü óëó÷øèòü îöåíêó. Ïðè èñïîëüçîâàíèè ðåêóððåíòíûõ ìîäèôèêàöèé ÌHÊ ìîæíî â íàñòðàèâàåìûõ ìîäåëÿõ óñòàíàâëèâàòü íà÷àëüíûå çíà÷åíèÿ ïàðàìåòðîâ â ñîîòâåòñòâèè ñ àïðèîðíûìè çíàíèÿìè è ïðåäïîëîæåíèÿìè. Ïðè ýòîì, îäíàêî, íå óäàåòñÿ äîñòàòî÷íî ïðîñòî ââåñòè â ñõåìó îöåíèâàíèÿ ñòåïåíü äîñòîâåðíîñòè ýòèõ äàííûõ.  òàêîé ñèòóàöèè îêàçûâàåòñÿ ïîëåçíûì áàéåñîâñêèé ïîäõîä ê çàäà÷å îöåíèâàíèÿ. Ñóùåñòâåííûì ìîìåíòîì áàéåñîâñêîé ïðîöåäóðû îöåíèâàíèÿ ïàðàìåòðîâ ÿâëÿåòñÿ îïðåäåëåíèå àïîñòåðèîðíîé ïëîòíîñòè p( jY ) óñëîâíîãî ðàñïðåäåëåíèÿ ïàðàìåòðà  îòíîñèòåëüíî íàáëþäåíèé Y , âû÷èñëÿåìîé îáû÷íî ïî ôîðìóëå îáðàòíîé âåðîÿòíîñòè (Áàéåñà)

p(jY ) = p(Y j)

p() : p(Y )

 ýòîé ïëîòíîñòè çàêëþ÷åíà âñÿ èíôîðìàöèÿ, ïðåäñòàâëÿþùàÿ èíòåðåñ äëÿ ýêñïåðèìåíòàòîðà. Çíàÿ ôóíêöèþ p( jY ), ìîæíî ïî òåì èëè èíûì ïðèçíàêàì ïðèíÿòü ðåøåíèå, êàêóþ îöåíêó ïàðàìåòðà  ñ÷èòàòü íàèëó÷øåé. Ïðåäñòàâëåíèå àïîñòåðèîðíîé ïëîòíîñòè â óäîáíîì äëÿ ïðèíÿòèÿ ðåøåíèé âèäå  äåëî íåïðîñòîå. Îáû÷íî íàèëó÷øàÿ îöåíêà îïðåäåëÿåòñÿ âûáîðîì ôóíêöèè øòðàôà, êîòîðûé áîëåå èëè ìåíåå ïðîèçâîëüíûé, è òîëüêî â ðåäêèõ ñëó÷àÿõ äèêòóåòñÿ ñàìîé ïîñòàíîâêîé çàäà÷è. Ïóñòü  2  è Q(x;  )  íåêîòîðàÿ ôóíêöèÿ øòðàôà (ïîòåðü ïðè îøèáî÷íîì âûáîðå âåêòîðà x âìåñòî  ), îïðåäåëåííàÿ íà ìíîæåñòâå   . Áàéåñîâñêàÿ îöåíêà ^ = ^(Y ) êàê ôóíêöèÿ ïðîèçâåäåííûõ íàáëþäåíèé Y âûáèðàåòñÿ èç óñëîâèÿ ìèíèìèçàöèè ôóíêöèîíàëà óñëîâíîãî ñðåäíåãî ðèñêà Z

f (x) =

Q(x; )p(jY )d:

 Hà ïðàêòèêå ÷àùå âñåãî ðàññìàòðèâàåòñÿ îäíà èç ñëåäóþùèõ òðåõ ôóíêöèé øòðàôà. 1. Êâàäðàòè÷íàÿ ôóíêöèÿ : Q(x;  ) = (x  )T R(x  ) ñ ïîëîæèòåëüíî

îïðåäåëåííîé ñèììåòðè÷íîé âåñîâîé ìàòðèöåé R.  ýòîì ñëó÷àå íàèëó÷øàÿ îöåíêà ïðåäñòàâëÿåò ñîáîé óñëîâíîå ñðåäíåå

^(Y ) =

Z



p(jY )d:

1.6. ÔÎÐÌÓËÛ ÁÀÉÅÑÀ, ÌÌÏ

77

2. Àáñîëþòíàÿ âåëè÷èíà îòêëîíåíèÿ: Q(x;  ) = kx  k. Ñîîòâåòñòâóþùàÿ íàèëó÷øàÿ îöåíêà ^(Y ) ÿâëÿåòñÿ ìåäèàíîé ïëîòíîñòè p(jY ), ò. å. óäîâëåòâîðÿåò óñëîâèþ Z

^  p(jY )d = 0:  k^  k

3. Hàèáîëåå âåðîÿòíîå çíà÷åíèå: Q(x;  ) ôóíêöèÿ Äèðàêà. Íàèëó÷øàÿ îöåíêà

= Æ(x

), Æ(
)

 äåëüòà

^(Y ) = arg max p(jY )

 ÿâëÿåòñÿ ìîäîé óñëîâíîãî ðàñïðåäåëåíèÿ.

Åñëè ïðåäïîëîæèòü, ÷òî àïîñòåðèîðíàÿ ïëîòíîñòü ðàñïðåäåëåíèÿ p( jY ) ñèììåòðè÷íà îòíîñèòåëüíî íåêîòîðîé òî÷êè ~ = ~(Y ), ò. å. p(~(Y ) + xjY ) = p(~(Y ) xjY ) äëÿ ïðîèçâîëüíîãî âåêòîðà x, òî âñå ýòè òðè îöåíêè ñîâïàäàþò ñ ~(Y ). Áîëåå òîãî (ñì. [85], ëåììà 1.4.1), îïòèìàëüíûå îöåíêè ïðè ñèììåòðè÷íîé àïîñòåðèîðíîé ïëîòíîñòè ñîâïàäàþò ñ òî÷êîé ñèììåòðèè äëÿ âñåõ ôóíêöèé øòðàôà âèäà Q(x;  ) = q (x  ), ãäå q(
)  ñèììåòðè÷íûå îòíîñèòåëüíî íóëÿ âûïóêëûå äèôôåðåíöèðóåìûå ôóíêöèè. Ýòîò ôàêò âàæåí äëÿ ïðèëîæåíèé, òàê êàê èçáàâëÿåò îò íåîáõîäèìîñòè îáîñíîâûâàòü âûáîð ôóíêöèè øòðàôà. Ðàññìîòðèì äëÿ ïðèìåðà çàäà÷ó îá îöåíèâàíèè âåêòîðíîãî ïàðàìåòðà  ëèíåéíîé ðåãðåññèè ïî íàáëþäåíèÿì âåëè÷èíû Y = T  + V: Ïðåäïîëîæèì, ÷òî ñëó÷àéíûå âåëè÷èíû  è V  ñòîõàñòè÷åñêè íåçàâèñèìûå ãàóññîâñêèå ñ íîðìàëüíûìè çàêîíàìè ðàñïðåäåëåíèÿ N (M ; B ) è N (0; Bv ) ñîîòâåòñòâåííî. Ïðè ýòîì áóäåì ñ÷èòàòü èçâåñòíîé ìàòðèöó . Ïëîòíîñòü ðàñïðåäåëåíèÿ ñëó÷àéíîé âåëè÷èíû  , îòâå÷àþùàÿ çàêîíó N (M ; B ), íàçûâàåòñÿ àïðèîðíîé (äîîïûòíîé), ïëîòíîñòü ðàñïðåäåëåíèÿ p( jY )  àïîñòåðèîðíîé. Èç óñëîâèé çàäà÷è ñëåäóåò, ÷òî ñëó÷àéíàÿ âåëè÷èíà Y ÿâëÿåòñÿ ãàóññîâñêîé ñëó÷àéíîé âåëè÷èíîé ñ ïàðàìåòðàìè N (TM ; T B +Bv ), ïðè÷åì óñëîâíàÿ ïëîòíîñòü p(Y j)  ãàóññîâñêàÿ ñ ïàðàìåòðàìè EfY jg = T ; cov(Y Y T j) = Ef(Y T )(Y T)T jg = Bv ; ò. å. p(Y j ) = pv (Y T  ), ãäå pv (
)  ïëîòíîñòü ðàñïðåäåëåíèÿ ñëó÷àéíîé âåëè÷èíû V . Ñîãëàñíî ôîðìóëå Áàéåñà èìååì

p(jY ) = pv (Y

T)

p() p(Y )

78ÃËÀÂÀ 1. ÌÅÒÎÄÛ ÎÖÅÍÈÂÀÍÈß È ÎÏÒÈÌÈÇÀÖÈÈ è, ñëåäîâàòåëüíî, äëÿ êâàäðàòè÷íîé ôóíêöèè øòðàôîâ Q(x;  ) = kx ïîëó÷àåì îöåíêó

^(Y ) =

R

 p( )pv (Y

p(Y )

k2

T)d

êàê ôóíêöèþ íàáëþäåíèé Y . Âû÷èñëåíèå ïî ïîñëåäíåé ôîðìóëå äîñòàòî÷íî çàòðóäíèòåëüíî. Äðóãîé, áîëåå ïðîñòîé ñïîñîá çàêëþ÷àåòñÿ â íàõîæäåíèè òî÷êè ñèììåòðèè ïëîòíîñòè ðàñïðåäåëåíèÿ p( jY ). Äëÿ ýòîãî ìîæíî âûäåëèòü ïîëíûé êâàäðàò ïî  â âûðàæåíèè äëÿ ïîêàçàòåëÿ ýêñïîíåíòû ôóíêöèè p( jY ). Íåñëîæíûå âû÷èñëåíèÿ ïðèâîäÿò ê ôîðìóëå ^(Y ) = (B 1 + Bv 1 T ) 1 (B 1 M + Bv 1 Y ):

Ïðèìåð. Ïðèìåíèì ïîëó÷åííûé ðåçóëüòàò ê çàäà÷å èç ï. 1.1.1 îá îöåíèâàíèè âåëè÷èíû ïîñòîÿííîãî ñèãíàëà

yn =  + vn ; n = 1; 2; : : : ; N; ïðåäïîëàãàÿ, ÷òî  è ïîìåõè fvn g  ñêàëÿðíûå ãàóññîâñêèå ñëó÷àéíûå âåëè÷èíû ñ ïàðàìåòðàìè N (M ; 2 ) è N (0; v2 ) ñîîòâåòñòâåííî:  > 0; v > 0. Îáîçíà÷èâ 0

y1 1 B y2 C B C

Y =@

0

.. A ; . yN

v1 1 B v2 C B C

 = (1; 1; : : : ; 1); V = @

.. A ; . vN

äëÿ áàéåñîâñêîé îöåíêè ïîëó÷àåì âûðàæåíèå

^(Y ) =

N X 1 2M +  2 (  y ):  2 + Nv 2   v k=1 k

Ïðè N ! 1 îïòèìàëüíàÿ (áàéåñîâñêàÿ) îöåíêà ñîâïàäàåò ñ ïîëó÷åííîé ðàíåå ñðåäíåàðèôìåòè÷åñêîé îöåíêîé. Ïðè êîíå÷íûõ n îöåíêà çàâèñèò îò àïðèîðíûõ äàííûõ M è  .

1.6. ÔÎÐÌÓËÛ ÁÀÉÅÑÀ, ÌÌÏ

1.6.3

79

Ìåòîä ìàêñèìóìà ïðàâäîïîäîáèÿ

Åñëè àïîñòåðèîðíàÿ ïëîòíîñòü ðàñïðåäåëåíèÿ p( jY ) ñèììåòðè÷íà îòíîñèòåëüíî íåêîòîðîé òî÷êè ~ = ~(Y ), òî óæå óïîìèíàëîñü, ÷òî äëÿ âñåõ ôóíêöèé øòðàôà âèäà Q(x;  ) = q (x  ), ãäå q (
)  ñèììåòðè÷íûå îòíîñèòåëüíî íóëÿ âûïóêëûå äèôôåðåíöèðóåìûå ôóíêöèè, îïòèìàëüíûå îöåíêè ñîâïàäàþò ñ ~(Y ). Ò. å. îïòèìàëüíàÿ îöåíêà íå çàâèñèò îò òî÷íîãî âèäà ôóíêöèè øòðàôà è àïîñòåðèîðíîé ïëîòíîñòè. Äëÿ ìíîãèõ âñòðå÷àþùèõñÿ â ïðèëîæåíèÿõ ðàñïðåäåëåíèé òî÷êà ñèììåòðèè ~(Y ) ÿâëÿåòñÿ îäíîâðåìåííî è òî÷êîé ìàêñèìóìà àïîñòåðèîðíîé ïëîòíîñòè p(jY ). Ýòîò ôàêò óêàçûâàåò íà äîñòàòî÷íî óíèâåðñàëüíûé ñïîñîá íàõîæäåíèÿ îïòèìàëüíûõ îöåíîê, à èìåííî, èç óñëîâèÿ ìàêñèìèçàöèè àïîñòåðèîðíîé ïëîòíîñòè âåðîÿòíîñòè îöåíèâàåìûõ ïàðàìåòðîâ

^(Y ) = arg max p(jY ): 

 ñèëó ôîðìóëû Áàéåñà ñîîòíîøåíèå

p(^(Y )jY ) = max p(jY ) 

ýêâèâàëåíòíî ñëåäóþùåìó

p(Y j^(Y ))p(^(Y )) = max p(Y j)p(); 

â êîòîðîì p( )  àïðèîðíàÿ ïëîòíîñòü ðàñïðåäåëåíèÿ ïàðàìåòðà  è p(Y j)  óñëîâíàÿ ïëîòíîñòü ðàñïðåäåëåíèÿ ñëó÷àéíîé âåëè÷èíû Y . Ïðè äîñòàòî÷íî âûñîêîé èíôîðìàòèâíîñòè äàííûõ íàáëþäåíèÿ Y è îòñóòñòâèè êàêèõëèáî ñïåöèôè÷åñêèõ îãðàíè÷åíèé íà âçàèìîñâÿçü êîìïîíåíò âåêòîðà  àïðèîðíàÿ ñòàòèñòèêà p( ) ñëàáî âëèÿåò íà ñòðóêòóðó è âèä îïòèìàëüíîãî ðåøåíèÿ. Ïîýòîìó ïîñëåäíåå ñîîòíîøåíèå ìîæíî çàìåíèòü íà áîëåå ïðîñòîå äëÿ ïðèáëèæåííîãî îïðåäåëåíèÿ îïòèìàëüíîé îöåíêè

p(Y j(Y )) = max p(Y j): 

Èíòóèòèâíîå îáîñíîâàíèå ðàçóìíîñòè ïîëó÷åíèÿ îöåíîê èç ïîñëåäíåãî ñîîòíîøåíèÿ ñîñòîèò â òîì, ÷òî â êà÷åñòâå îöåíêè âûáèðàåòñÿ òî çíà÷åíèå ïàðàìåòðà, äëÿ êîòîðîãî ïîÿâëåíèå âûáîðêè Y ìîæåò ïðîèçîéòè ñ íàèáîëüøåé âåðîÿòíîñòüþ. Ôóíêöèÿ L(Y;  ) = p(Y j ) íàçûâàåòñÿ ôóíêöèåé ïðàâäîïîäîáèÿ è èãðàåò âàæíóþ ðîëü â ðàçëè÷íûõ ðàçäåëàõ ìàòåìàòè÷åñêîé ñòàòèñòêè.

80ÃËÀÂÀ 1. ÌÅÒÎÄÛ ÎÖÅÍÈÂÀÍÈß È ÎÏÒÈÌÈÇÀÖÈÈ Ïðè ãëàäêîé çàâèñèìîñòè ôóíêöèè L(Y;
) îò  ìîæíî çàïèñàòü îäíî èç íåîáõîäèìûõ óñëîâèé âûïîëíåíèÿ ïîñëåäíåãî ñîîòíîøåíèÿ

r ln L(Y; ) = 0: Ðåøåíèÿ ýòîãî óðàâíåíèÿ íàçûâàþò îöåíêàìè ìàêñèìàëüíîãî ïðàâäîïîäîáèÿ. Ñàì ìåòîä ïîëó÷åíèÿ òàêèõ îöåíîê ïîëó÷èë íàçâàíèå ìåòîä ìàêñèìóìà (ìàêñèìàëüíîãî) ïðàâäîïîäîáèÿ (ÌÌÏ) . Ðàññìîòðèì ñëó÷àé íåçàâèñèìûõ íàáëþäåíèé y1 ; y2 ; : : : ; yN , êàæäîå èç êîòîðûõ îïðåäåëÿåòñÿ óñëîâíîé ïëîòíîñòüþ p(y j ), çàâèñÿùåé îò ïàðàìåòðà  . Ïóñòü Y  èõ ñîâîêóïíîñòü. Òîãäà

L(Y; ) =

N Y k=1

p(yk j):

Ñ âû÷èñëèòåëüíîé òî÷êè çðåíèÿ óäîáíåå èñêàòü òî÷êó ìàêñèìóìà ó ôóíêöèè ln L(Y; x). Åå âûáîðî÷íîå ñðåäíåå

1 LN (x) = N

N X k=1

ln p(yk jx)

ÿâëÿåòñÿ îöåíêîé âåëè÷èíû

f (x) = Efln p(yjx)jY g: Ïðè äîñòàòî÷íî îáùèõ óñëîâèÿõ (ñì. çàêîí áîëüøèõ ÷èñåë, ïóíêò Ï.1.3 íà ñòð. 251) âûïîëíÿåòñÿ

lim LN (x) = Efln p(yjx)jY g = N !1

Z

ln p(yjx)p(yj)dy:

Áîëåå òî÷íî, ìåòîä ìàêñèìóìà ïðàâäîïîäîáèÿ ìîæíî â ñëó÷àå íåçàâèñèìûõ íàáëþäåíèé ðàññìàòðèâàòü êàê ñïåöèàëüíûé âàðèàíò ìåòîäà ýìïèðè÷åñêîãî ôóíêöèîíàëà äëÿ ñðåäíåãî ðèñêà f (x); â êîòîðîì ðîëü ýìïèðè÷åñêîãî ôóíêöèîíàëà èãðàåò ôóíêöèÿ LN (x): Åñëè ïëîòíîñòü p(y j ) óäîâëåòâîðÿåò óñëîâèþ Z [ln p(yjx)]2 p(yj)dy < 1 è ôóíêöèîíàë f (x) èìååò åäèíñòâåííûé ìèíèìóì, òî ïîñëåäîâàòåëüíîñòü îöåíîê ÌÌÏ f^n g, ìèíèìèçèðóþùèõ ñîîòâåòñòâóþùèå ôóíêöèè LN (x),  ñîñòîÿòåëüíàÿ.

1.6. ÔÎÐÌÓËÛ ÁÀÉÅÑÀ, ÌÌÏ

81

Èñòèííîå çíà÷åíèå  äîñòàâëÿåò ìèíèìóì ôóíêöèîíàëà ñðåäíåãî ðèñêà, òàê êàê, â ñèëó âûïóêëîñòè ëîãàðèôìè÷åñêîé ôóíêöèè è íåðàâåíñòâà Éåíñåíà (ñì. ïóíêò Ï.1.2 íà ñòð. 251), äëÿ ëþáîãî x èìååì

p(yjx) p(yjx) f (x) f () = Efln j Y g  ln Ef jY g = ln p(yj) p(yj)

Z

p(yj)dy = 0:

Ðàâåíñòâî çäåñü äîñòèãàåòñÿ òîëüêî â òåõ ñëó÷àÿõ, êîãäà p(y jx) = p(y j ) äëÿ ïî÷òè âñåõ y . Ïðèâåäåííûå ñîîáðàæåíèÿ ïîäñêàçûâàþò ïóòü èññëåäîâàíèÿ ñâîéñòâ îöåíîê ÌÌÏ â áîëåå îáùåì ñëó÷àå. Äåéñòâèòåëüíî, åñëè ôóíêöèîíàë f (x) äèôôåðåíöèðóåì, òî èñòèííîå çíà÷åíèå ïàðàìåòðà  äîëæíî íàõîäèòüñÿ ñðåäè ðåøåíèé óðàâíåíèÿ ðåãðåññèè Z

rx[ln p(yjx)]p(yj)dy = 0:

Äëÿ åãî ðåøåíèÿ ìîæíî âîñïîëüçîâàòüñÿ, íàïðèìåð, ïðîöåäóðîé ÐîááèíñàÌîíðî ^n = ^n 1 n r lnfp(yn j^n 1 )g;

ãäå n  ïîäõîäÿùèì îáðàçîì âûáèðàåìàÿ ïîñëåäîâàòåëüíîñòü íåîòðèöàòåëüíûõ ÷èñåë è yn  ñëó÷àéíûå âåëè÷èíû ñ ïëîòíîñòüþ ðàñïðåäåëåíèÿ p(y j ). Ïðèìåð. Âåðíåìñÿ ê çàäà÷å îá îöåíèâàíèè âåëè÷èíû ïîñòîÿííîãî ñêàëÿðíîãî ñèãíàëà íàáëþäàåìîãî íà ôîíå íåçàâèñèìûõ öåíòðèðîâàííûõ ïîìåõ èç ï. 1.1.1, â êîòîðîì óæå ðàññìàòðèâàëèñü îöåíêè ÌÌÏ â ñëó÷àå ãàóññîâñêèõ ïîìåõ. Êàêîâ âèä îöåíîê ïðè äðóãèõ ðàñïðåäåëåíèÿõ ïîìåõ? Åñëè ïîìåõè ðàñïðåäåëåíû ðàâíîìåðíî íà ñèììåòðè÷íîì èíòåðâàëå [ 1=2; 1=2], òî ôóíêöèÿ ïðàâäîïîäîáèÿ èìååò âèä

L(Y; x) =

N Y k=1

p(yk jx) =

N Y k=1

1fx2[yk

g

1 ;y + 1 ] 2 k 2

è â êà÷åñòâå îöåíêè ÌÌÏ ìîæíî âûáðàòü ëþáîå ÷èñëî èç îòðåçêà

^ 2 [maxfy1 ; y2 ; : : : ; yN g

1 1 ; minfy1 ; y2 ; : : : ; yN g + ]: 2 2

Åñëè ó ïîìåõ ðàñïðäåëåíèå Ëàïëàñà, òî

1 L(Y; x) = N 2

N Y k=1

e jyk xj :

82ÃËÀÂÀ 1. ÌÅÒÎÄÛ ÎÖÅÍÈÂÀÍÈß È ÎÏÒÈÌÈÇÀÖÈÈ è ëîãàðèôì ôóíêöèè ïðàâäîïîäîáèÿ ñ ìèíóñîì ðàâåí

ln L(Y; x) = N ln 2 +

N X k=1

jyk xj:

Ýòó ôóíêöèþ ìàêñèìèçèðóåò îöåíêà, ðàâíàÿ ìåäèàíå ìíîæåñòâà íàáëþäåíèé. Íå óìàëÿÿ îáùíîñòè ìîæíî ñ÷èòàòü, ÷òî ïîñëåäîâàòåëüíîñòü íàáëþäåíèé óïîðÿäî÷åíà: y1  y2  : : :  yN .  ðàññìàòðèâàåìîì ñëó÷àå îöåíêîé ìåòîäà ìàêñèìàëüíîãî ïðàâäîïîäîáèÿ ÿâëÿåòñÿ: ^ = yk+1 åñëè N = 2k + 1; è ëþáîå ÷èñëî èç îòðåçêà ^ 2 [yk ; yk+1 ]; åñëè

N = 2k: 1.6.4

Äîñòèæèìàÿ òî÷íîñòü îöåíèâàíèÿ

Ðàññìîòðèì îäèí èç âîçìîæíûõ ñïîñîáîâ îïðåäåëåíèÿ êà÷åñòâà îöåíèâàíèÿ ïî ÌÌÏ â òåðìèíàõ äèñïåðñèè è êîâàðèàöèîííûõ ìàòðèö. Ïóñòü L(Y; )  ôóíêöèÿ ïðàâäîïîäîáèÿ, äîñòàòî÷íî ãëàäêàÿ ïî , ïðè÷åì Z

Ñëåäîâàòåëüíî, èëè

Z

Z

L(Y; )dY = 1:

r L(Y; )dY  0

(r [ln L(Y; )])T L(Y; )dY = Efr ln Lg  0:

Ïðîäèôôåðåíöèðîâàâ åùå ðàç ïî  , ìîæíî ïîëó÷èòü ìàòðè÷íîå òîæäåñòâî Z (r [(r ln L)T ]L + (r ln L)(r ln L)T L)dY  0; èç êîòîðîãî ñëåäóåò

EY fr [(r ln L)T ]g = EY f(r ln L)(r ln L)T g: ^ = ^(Y )  íåêîòîðàÿ îöåíêà âåêòîðà . Îáîçíà÷èì d()

Ïóñòü âîçìîæíîå ñìåùåíèå îöåíêè:

EY f^g =

Z

^(Y )L(Y; )dY =  + d():

Ïðîäèôôåðåíöèðîâàâ ïîñëåäíþþ ôîðìóëó, ìîæíî âûâåñòè Z

^(Y )[r ln L(Y; )]T L(Y; )dY = I + r[d()]T



1.6. ÔÎÐÌÓËÛ ÁÀÉÅÑÀ, ÌÌÏ

83

ñ ìàòðèöåé r[d( )]T , ñîñòàâëåííîé èç ãðàäèåíòîâ êîìïîíåíò âåêòîð ñòðîêè d( )T . Ñ ó÷åòîì ïðåäûäóùèõ ñîîòíîøåíèé, â èòîãå ïîëó÷àåì Z

(^(Y ) EY f^g)[r ln L]T LdY = I + r[d()]T :

Îïðåäåëèì èíôîðìàöèîííóþ ìàòðèöó Ôèøåðà

A() = EY f(r ln L)(r ln L)T g = EY fr [(r ln L)T ]g: Ïðèâåäåííûå âûøå ðàññóæäåíèÿ ôàêòè÷åñêè äîêàçûâàþò ñëåäóþùåå âàæíîå óòâåðæäåíèå î äîñòèæèìîé òî÷íîñòè îöåíèâàíèÿ.

Ò å î ð å ì à 1.2 Åñëè ôóíêöèÿ ïðàâäîïîäîáèÿ L(Y; ) òàêîâà, ÷òî ñóùåñòâóåò èíôîðìàöèîííàÿ ìàòðèöà Ôèøåðà A( ) è îíà îáðàòèìà, òîãäà äëÿ ìàòðèöû êîâàðèàöèé ëþáîé îöåíêè ^ = ^(Y ) âåêòîðà  ñïðàâåäëèâî íåðàâåíñòâî Êðàìåðà-Ðàî

Ef(^(Y ) EY f^g)(^(Y ) EY f^g)T g  (I+ r[d()]T )A 1 ()(I+ r[d()]T )T :  ÷àñòíîñòè, äëÿ íåñìåùåííîé îöåíêè äèñïåðñèÿ óäîâëåòâîðÿåò íåðàâåíñòâó

^ = ^(Y )

(ïðè

d() = 0)

EY fk^(Y ) k2 g  Tr[A 1 ()]: Íåñìåùåííàÿ îöåíêà ^ = ^(Y ) íàçûâàåòñÿ ýôôåêòèâíîé, åñëè íåðàâåíñòâî ÊðàìåðàÐàî äëÿ íåå ïðåâðàùàåòñÿ â ðàâåíñòâî. Ýòî èìååò ìåñòî òîëüêî ïðè âûïîëíåíèè ñîîòíîøåíèÿ

r ln L(Y; ) = ()(^(Y ) ) ñ íåêîòîðîé ñêàëÿðíîé ôóíêöèåé ( ), íå çàâèñÿùåé îò y .  òîì ñëó÷àå, êîãäà âåêòîð íàáëþäåíèé Y ñîñòîèò èç çíà÷åíèé íåçàâèñèìûõ è îäèíàêîâî ðàñïðåäåëåííûõ ñëó÷àéíûõ âåëè÷èí y1 ; y2 ; : : : ; yN ñ ïëîòíîñòüþ ðàñïðåäåëåíèÿ py (
j ), èíôîðìàöèîííàÿ ìàòðèöà Ôèøåðà èìååò âèä

AN () = N EY fr [r ln py (yj)]T g = N A1 (): Åñëè ìàòðèöà A1 1 ( ) îáðàòèìà, òî äëÿ êîððåëÿöèîííîé ìàòðèöû ýôôåêòèâíîé îöåíêè ìîæíî ïîëó÷èòü àñèìïòîòè÷åñêóþ ôîðìóëó ïðè N ! 1

EY f(^N

)(^N

 )T g =

1 1 A (); N 1

84ÃËÀÂÀ 1. ÌÅÒÎÄÛ ÎÖÅÍÈÂÀÍÈß È ÎÏÒÈÌÈÇÀÖÈÈ èç êîòîðîé ñëåäóåò ñîñòîÿòåëüíîñòü ïîñëåäîâàòåëüíîñòè, ñîñòàâëåííîé èç ýôôåêòèâíûõ îöåíîê f^N g.  îáùåì ñëó÷àå, åñëè ìàòðèöà N 1 AN ( ) ïðåäåëüíî íåâûðîæäåíà, ò. å.

1 limN !1 AN () > 0; N

òî àñèìïòîòè÷åñêè ýôôåêòèâíàÿ îöåíêà ÿâëÿåòñÿ ñîñòîÿòåëüíîé. Ïðèìåð. Ðàññìîòðèì çàäà÷ó èç ï. 1.1.2 îá îáíàðóæåíèè íàáëþäàåìîãî íà ôîíå ïîìåõ fvn g èçâåñòíîãî ñêàëÿðíîãî ñèãíàëà f'n g, ïðåäñòàâëÿþùåãî ñîáîé ðåàëèçàöèþ ïîñëåäîâàòåëüíîñòè íåçàâèñèìûõ îäèíàêîâî ðàñïðåäåëåííûõ ñëó÷àéíûõ âåëè÷èí ñ îãðàíè÷åííûì ñðåäíèì çíà÷åíèåì M' è êîíå÷íîé äèñïåðñèåé '2  0. Ïóñòü íàáëþäàþòñÿ ñêàëÿðíûå ñëó÷àéíûå âåëè÷èíû

yn = 'n  + vn ; n = 1; 2; : : : ; N: Çàäà÷à ñîñòîèò â îöåíèâàíèè íåèçâåñòíîãî çíà÷åíèÿ  , ðàâíîãî íóëþ èëè åäèíèöå. Åñëè ïðåäïîëîæèòü, ÷òî ïîìåõè fvn g  ãàóññîâñêèå îäèíàêîâî ðàñïðåäåëåííûå ñ ïëîòíîñòüþ ðàñïðåäåëåíèÿ pv (
) è ïàðàìåòðàìè N (0; v2 ); v > 0, òî èíôîðìàöèîííàÿ ìàòðèöà Ôèøåðà ðàâíà

AN () = N Ey;' fr [r ln pv (y

')]g = N

'2 + M'2 v2

è, êàê âèäíî, íå çàâèñèò ÿâíî îò  .  äàííîì ñëó÷àå íåòðóäíî óáåäèòüñÿ, ÷òî îöåíêà ÌÌÏ ñîâïàäàåò ñ ñîîòâåòñòâóþùåé ìàðêîâñêîé îöåíêîé (ñì. ï. 1.2.1), à îáðàùåíèå èíôîðìàöèîííîé ìàòðèöû Ôèøåðà ñîâïàäàåò ñî ñðåäíèì çíà÷åíèåì óñëîâíîé êîâàðèàöèè ìàðêîâñêîé îöåíêè. Äëÿ ìàðêîâñêîé îöåíêè, â ñèëó åå íåñìåùåííîñòè, íåðàâåíñòâî ÊðàìåðàÐàî ïðåâðàùàåòñÿ â ðàâåíñòâî. Ðàíåå óæå óïîìèíàëàñü ýôôåêòèâíîñòü (â ñìûñëå ìèíèìóìà äèñïåðñèè) ìàðêîâñêèõ îöåíîê â êëàññå ëèíåéíûõ îöåíîê. Íåðàâåíñòâî ÊðàìåðàÐàî ïîêàçûâàåò, ÷òî ïðè ãàóññîâñêîé ïîìåõå íàáëþäåíèÿ ìàðêîâñêèå îöåíêè ÿâëÿþòñÿ ýôôåêòèâíûìè â áîëåå øèðîêîì êëàññå íåñìåùåííûõ îöåíîê, ÿâëÿþùèõñÿ ïðîèçâîëüíûìè ôóíêöèÿìè äàííûõ íàáëþäåíèÿ.  ñëåäóþùåì ðàçäåëå ýòîò ïðèìåð áóäåò ðàññìîòðåí â ñëó÷àå íåèçâåñòíûõ îãðàíè÷åííûõ ïîìåõ, çàäàâàåìûõ äåòåðìèíèðîâàííîé ôóíêöèåé.

1.7. ÎÖÅÍÈÂÀÍÈÅ ÏÐÈ ÎÃÐÀÍÈ×ÅÍÍÛÕ ÏÎÌÅÕÀÕ

85

1.7 Çàäà÷è îöåíèâàíèè è îïòèìèçàöèè ïðè îãðàíè÷åííûõ, à â îñòàëüíîì ïðîèçâîëüíûõ ïîìåõàõ Ïîíÿòèå ïðîèçâîëüíûå ïîìåõè, êàê ïðàâèëî, â òåêñòå ýòîé êíèãè ñòðîãî ôîðìàëüíî íå îïðåäåëÿåòñÿ, ïîäðàçóìåâàÿ ïîä ñîáîé øèðîêèé êëàññ âñåâîçìîæíûõ ïîìåõ êàê ñëó÷àéíûõ ñ ðàçëè÷íîé ñòåïåíüþ âçàèìíîé çàâèñèìîñòè, òàê è íåñëó÷àéíûõ. Íåñìîòðÿ íà îòñóòñòâèå ÷åòêîãî îïðåäåëåíèÿ âî âñåõ ñëó÷àÿõ ïðåäïîëàãàåòñÿ, ÷òî ê íåìó îòíîñÿòñÿ ïîìåõè, ïîðîæäàåìûå äåòåðìèíèðîâàííûìè íåèçâåñòíûìè, íî îãðàíè÷åííûìè ôóíêöèÿìè.

86ÃËÀÂÀ 1. ÌÅÒÎÄÛ ÎÖÅÍÈÂÀÍÈß È ÎÏÒÈÌÈÇÀÖÈÈ

1.7.1

Ñëó÷àéíûé ñèãíàë, íàáëþäàåìûé íà ôîíå îãðàíè÷åííûõ ïîìåõ

Ðàññìîòðèì çàäà÷ó îá îöåíèâàíèè êîýôôèöèåíòà óñèëåíèÿ èçâåñòíîãî ñêàëÿðíîãî ñèãíàëà f'n g, ïðåäñòàâëÿþùåãî ñîáîé ðåàëèçàöèþ ïîñëåäîâàòåëüíîñòè íåçàâèñèìûõ îäèíàêîâî ðàñïðåäåëåííûõ ñëó÷àéíûõ âåëè÷èí ñ îãðàíè÷åííûì èçâåñòíûì ñðåäíèì çíà÷åíèåì M' è êîíå÷íîé ïîëîæèòåëüíîé äèñïåðñèåé '2 > 0, íàáëþäàåìîãî íà ôîíå íåèçâåñòíûõ îãðàíè÷åííûõ ïîìåõ fvn g. Áîëåå òî÷íî, ïî íàáëþäåíèÿì ñêàëÿðíûõ ñëó÷àéíûõ âåëè÷èí yn :

yn = 'n  + vn ; jvn j  Cv ; n = 1; 2; : : : ; òðåáóåòñÿ ïîñëåäîâàòåëüíî îöåíèâàòü íåèçâåñòíîå çíà÷åíèå  .  ëèòåðàòóðå ïðè îïèñàíèè ñïîñîáîâ ðåøåíèÿ òàêîãî òèïà çàäà÷ ïðè îãðàíè÷åííûõ, à â îñòàëüíîì ïðîèçâîëüíûõ ïîìåõàõ, ÷àñòî ïðèâîäèòñÿ ñëåäóþùèé àëãîðèòì. Ïóñòü çàäàí íåêîòîðûé èíòåðâàë  = 0 = [a0 ; b0 ], ãàðàíòèðîâàííî ñîäåðæàùèé çíà÷åíèå . Hà êàæäîì øàãå, ïîëó÷èâ íîâîå íàáëþäåíèå yn , ìîæíî óòî÷íèòü ãðàíèöû ìíîæåñòâà, ñîäåðæàùåãî  , ïî ñëåäóþùåìó ïðàâèëó

n = [an ; bn ] = n

1

\ fx : jyn 'n xj  Cv g:

Åñëè an ! bn ïðè n ! 1, ò. å. èíòåðâàëû n ñòÿãèâàþòñÿ â òî÷êó, òî, î÷åâèäíî, õîðîøåé îöåíêîé âåëè÷èíû  íà øàãå ñ íîìåðîì n ìîæåò áûòü ëþáîé èç ýëåìåíòîâ ìíîæåñòâà n , íàïðèìåð, ^n = (an + bn )=2: Ñîñòîÿòåëüíîñòü ïîñëåäîâàòåëüíîñòè îöåíîê áóäåò ãàðàíòèðîâàíà. Hî, ê ñîæàëåíèþ, ñóùåñòâåííûõ îñíîâàíèé íàäåÿòüñÿ íà òî, ÷òî an ! bn ïðè n ! 1 íåò.  ýòîé ñèòóàöèè ìîæíî ãîâîðèòü òîëüêî î ïîëó÷åíèè ïðåäåëüíîãî ìíîæåñòâà 1 , êîòîðîå ãàðàíòèðîâàííî ñîäåðæèò íåèçâåñòíîå èñêîìîå çíà÷åíèå : Èñòîðè÷åñêè òàê ñëîæèëîñü, ÷òî òàêîãî òèïà ðåçóëüòàòîì îáû÷íî óäîâëåòâîðÿþòñÿ, ñ÷èòàÿ íåâîçìîæíûì ïðè ðåøåíèè ýòîé çàäà÷è ïîëó÷èòü ëó÷øèé îòâåò.  ñëåäóþùåé ãëàâå áóäåò ïîêàçàíî, ÷òî è â ýòîé çàäà÷å âîçìîæíî ïîëó÷åíèå ïîñëåäîâàòåëüíîñòè ñîñòîÿòåëüíûõ îöåíîê. Äàëåå â ýòîì ðàçäåëå ïðèâîäèòñÿ íåñêîëüêî ïðèìåðîâ àëãîðèòìîâ ïîñòðîåíèÿ ìíîæåñòâ, ãàðàíòèðîâàííî ñîäåðæàùèõ âåêòîð íåèçâåñòíûõ ïàðàìåòðîâ. Íåñìîòðÿ íà òî, ÷òî ýòè àëãîðèòìû íå ïîçâîëÿþò ïîñòðîèòü ïîñëåäîâàòåëüíîñòü ñîñòîÿòåëüíûõ îöåíîê, èõ çà÷àñòóþ ïîëåçíî èñïîëüçîâàòü ñîâìåñòíî ñ àëãîðèòìàìè òèïà ñòîõàñòè÷åñêîé àïïðîêñèìàöèè, ïðîåêòèðóÿ ïîëó÷àþùèåñÿ îöåíêè â ìíîæåñòâî ãàðàíòèðîâàííî ñîäåðæàùåå âåêòîð íåèçâåñòíûõ ïàðàìåòðîâ.

1.7. ÎÖÅÍÈÂÀÍÈÅ ÏÐÈ ÎÃÐÀÍÈ×ÅÍÍÛÕ ÏÎÌÅÕÀÕ

1.7.2

87

Ìåòîä ðåêóððåíòíûõ öåëåâûõ íåðàâåíñòâ. Êîíå÷íî ñõîäÿùèåñÿ àëãîðèòìû

Êàê è â ðàññìîòðåííîì â ïðåäûäóùåì ïóíêòå ïðèìåðå, òàê è âî ìíîãèõ äðóãèõ ñëó÷àÿõ çàäà÷è îöåíèâàíèÿ, îïòèìèçàöèè, àäàïòèâíîãî óïðàâëåíèÿ è ò. ï. ìîãóò áûòü ñôîðìóëèðîâàíû â ñëåäóþùåì âèäå (ñì. [30, 31, 103, 104, 115, 179]). Äëÿ íåêîòîðîé ôóíêöèè (
;
), çàäàííîé íà W   íàéòè ýëåìåíò  2  (íå îáÿçàòåëüíî åäèíñòâåííûé), äëÿ êîòîðîãî ïðè ëþáîì w 2 W âûïîëíÿþòñÿ íåðàâåíñòâà

(w; )  0; êîòîðûå îáû÷íî íàçûâàþò öåëåâûìè íåðàâåíñòâàìè. Åñëè ìíîæåñòâî W íåêîíå÷íîå, òî íàáîð èç öåëåâûõ íåðàâåíñòâ ïðåäñòàâëÿåò ñîáîé áåñêîíå÷íîìåðíóþ ñèñòåìó íåðàâåíñòâ.  ðÿäå ïðàêòè÷åñêèõ çàäà÷ â ðàñïîðÿæåíèè ýêñïåðèìåíòàòîðà åñòü íåêîòîðàÿ òðåíèðîâî÷íàÿ (îáó÷àþùàÿ) ïîñëåäîâàòåëüíîñòü òî÷åê w1 ; w2 ; : : : èç ìíîæåñòâà W , äëÿ êîòîðîé èçâåñòíû çíà÷åíèÿ ôóíêöèè (wk ; ); k = 1; 2; : : :, è, ïîëó÷åííàÿ òàêèì îáðàçîì ïîäñèñòåìà íåðàâåíñòâ

(wk ; )  0; k = 1; 2; : : : ; ìîæåò áûòü èñïîëüçîâàíà äëÿ îòûñêàíèÿ íóæíîãî âåêòîðà  . Êîíå÷íî, ïîäëåæèò ñïåöèàëüíîìó èññëåäîâàíèþ âîïðîñ î òîì, â êàêèõ ñëó÷àÿõ ðåøåíèÿ ýòîé ïîäñèñòåìû ÿâëÿþòñÿ è ðåøåíèÿìè èñõîäíîé. Îòâåò íà íåãî ìîæíî äàòü, ñäåëàâ íåêîòîðûå ïðåäïîëîæåíèÿ î õàðàêòåðèñòèêàõ ôóíêöèè (
;
) è î ñòàòèñòè÷åñêèõ ñâîéñòâàõ ïîñëåäîâàòåëüíîñòè w1 ; w2 ; : : :. Hî äëÿ äîñòèæåíèÿ öåëåé, ïîñòàâëåííûõ ïðè íàïèñàíèè ýòîé êíèãè, íàñ âïîëíå óñòðàèâàåò îáðàòíàÿ ïîñòàíîâêà âîïðîñà, êîòîðàÿ ñïðàâåäëèâà âñåãäà: ëþáîé âåêòîð  2 , ÿâëÿþùèéñÿ ðåøåíèåì èñõîäíîé ñèñòåìû, äîëæåí óäîâëåòâîðÿòü ýòîé ïîäñèñòåìå. Äåëî â òîì, ÷òî ìû îñíîâíîé àêöåíò äåëàåì íà ðàíäîìèçèðîâàííûõ àëãîðèòìàõ îöåíèâàíèÿ è îïòèìèçàöèè ïðè ïðîèçâîëüíûõ ïîìåõàõ, êîòîðûå äàþò â ïðåäåëå ñõîäèìîñòü ïîñëåäîâàòåëüíîñòè îöåíîê ê âåêòîðó èñòèííûõ ïàðàìåòðîâ. Âìåñòå ñ òåì, ïðè èñïîëüçîâàíèè ìíîãèõ àëãîðèòìîâ òàêîãî òèïà ïîïóòíî ïîÿâëÿåòñÿ èíôîðìàöèÿ â âèäå íåêîòîðûõ öåëåâûõ íåðàâåíñòâ, êîòîðàÿ ïîçâîëÿåò â õîäå ðàáîòû óòî÷íèòü ìíîæåñòâî íåîïðåäåëåííîñòè îá îöåíèâàåìûõ ïàðàìåòðàõ. Ýòó èíôîðìàöèþ åñòåñòâåííî ïîñòàðàòüñÿ èñïîëüçîâàòü ïðè ïîñòðîåíèè ñëåäóþùèõ îöåíîê.  èíòåðåñóþùåé íàñ ñèòóàöèè î÷åðåäíîå íåðàâåíñòâî â ìîìåíò âðåìåíè n ôîðìèðóåòñÿ ëèøü ïîñëå íàõîæäåíèÿ ïðåäûäóùåé îöåíêè ^n 1 .  ýòîì êîíòåêñòå ïîäñèñ-

88ÃËÀÂÀ 1. ÌÅÒÎÄÛ ÎÖÅÍÈÂÀÍÈß È ÎÏÒÈÌÈÇÀÖÈÈ òåìó íåðàâåíñòâ (wk ;  )  0; k = 1; 2; : : : íàçûâàþò ðåêóððåíòíûìè öåëåâûìè íåðàâåíñòâàìè. Ðàññìîòðèì ïîñëåäîâàòåëüíîñòü ìíîæåñòâ 0 = ; n = n 1 \ f : (wn ; )  0g; n = 1; 2; : : : ; 0  1  : : : : Äëÿ ëþáîãî n ìîæíî óòâåðæäàòü, ÷òî äëÿ âñÿêîãî  , ÿâëÿþùåãîñÿ ðåøåíèåì èñõîäíîé ñèñòåìû öåëåâûõ íåðàâåíñòâ, âûïîëíåíî  2 n : Èíîãäà ïðè îáîñíîâàíèè ñõîäèìîñòè àëãîðèòìîâ ñòîõàñòè÷åñêîé àïïðîêñèìàöèè ñ ïðîåêòèðîâàíèåì âàæíî çíàòü, ÷òî ðåêóððåíòíûé ñïîñîá ïîñòðîåíèÿ ïîñëåäîâàòåëüíîñòè ìíîæåñòâ fn g  êîíå÷íîñõîäÿùèéñÿ (ÊÑÀ) â òîì ñìûñëå, ÷òî íà÷èíàÿ ñ íåêîòîðîãî n, ìíîæåñòâà n ïåðåñòàþò èçìåíÿòüñÿ: n = n? ; n  n? . ÊÑÀ çà êîíå÷íîå ÷èñëî øàãîâ äîñòàâëÿþò ðåøåíèå áåñêîíå÷íîãî ÷èñëà çàðàíåå íåèçâåñòíûõ ðåêóððåíòíûõ íåðàâåíñòâ. Ñôîðìóëèðóåì äâà óñëîâèÿ, ïðè âûïîëíåíèè êîòîðûõ ìîæíî íåçíà÷èòåëüíî âèäîèçìåíèòü îïèñàííûé âûøå ñïîñîá ðåêóððåíòíîãî ïîñòðîåíèÿ ïîñëåäîâàòåëüíîñòè ìíîæåñòâ fn g òàê, ÷òîáû îí ñòàë êîíå÷íîñõîäÿùèìñÿ.

 Ïðè êàæäîì n = 1; 2; : : : ìíîæåñòâî f : (wn ; )  0g âûïóêëîå.  Ñðåäè ðåøåíèé âñåõ ðåêóððåíòíûõ öåëåâûõ íåðàâåíñòâ åñòü íåïóñòîé îòêðûòûé øàð, ò. å. ñóùåñòâóåò  2  è íåêîòîðîå Æ > 0 òàêîå, ÷òî äëÿ ëþáîãî n = 1; 2; : : : è ëþáîãî x : kx  k2  Æ âûïîëíåíî: (wn ; x)  0. Ïðè âûïîëíåíèè ýòèõ óñëîâèé îïðåäåëèì ïîñëåäîâàòåëüíîñòè òî÷åê f^n g è ìíîæåñòâ fn g ïî ïðàâèëó: ïðè n = 0 ïîëàãàåì ^0 2 , 0 = ; ïðè n = 1; 2; : : : , åñëè (wn ; ^n 1 )  0, òî ^n = ^n 1 ; n = n 1 ; â ïðîòèâíîì ñëó÷àå â êà÷åñòâå ^n âûáèðàåì áëèæàéøèé ê ^n 1 ýëåìåíò èç

\ f : (wn ; x)  0 8x : kx k2  Æg: Äëÿ ïîëó÷åííîé ïîñëåäîâàòåëüíîñòè èìååì 0  1  : : : :  ðåçóëüòàòå n = n

1

ïîñòðîåíèÿ ýòîé ïîñëåäîâàòåëüíîñòè ìíîæåñòâ ìîæåì ïîòåðÿòü íåêîòîðûå ðåøåíèÿ èñõîäíîé ñèñòåìû öåëåâûõ íåðàâåíñòâ, íî ïî êðàéíåé ìåðå îäíî èç íèõ, ðàâíîå  , ïðèíàäëåæèò âñåì ìíîæåñòâàì:  2 \n n . Ïåðâîå óñëîâèå ñóùåñòâåííî îãðàíè÷èâàåò êðóã çàäà÷, ðåøàåìûõ ñ ïîìîùüþ ÊÑÀ, íî âî ìíîãèõ ïðàêòè÷åñêèõ ïðèëîæåíèÿõ îíî âûïîëíÿåòñÿ. Âòîðîå óñëîâèå íå îãðàíè÷èòåëüíî è èìååò äîñòàòî÷íî åñòåñòâåííûé õàðàêòåð. Îñíîâíàÿ èäåÿ äîêàçàòåëüñòâà êîíå÷íîé ñõîäèìîñòè àëãîðèòìà çàêëþ÷àåòñÿ â ñëåäóþùåì. Ïðåäïîëîæèì, ÷òî ìíîæåñòâà n èçìåíÿþòñÿ áåñêîíå÷íîå ÷èñëî ðàç. Ïóñòü ýòè èçìåíåíèÿ ïðîèñõîäÿò â ìîìåíòû

1.7. ÎÖÅÍÈÂÀÍÈÅ ÏÐÈ ÎÃÐÀÍÈ×ÅÍÍÛÕ ÏÎÌÅÕÀÕ

89

âðåìåíè, çàäàâàåìûå ïîñëåäîâàòåëüíîñòüþ fni g. Ðàññìîòðèì ÷èñëîâóþ ïîñëåäîâàòåëüíîñòü fdi g, îïðåäåëÿåìóþ ïî ïðàâèëó

di = k^ni

k2 ; i = 0; 1; 2; : : : :

Èç ñïîñîáà ïîñòðîåíèÿ ïîäïîñëåäîâàòåëüíîñòè f^ni g ñëåäóåò, ÷òî äëÿ ýëåìåíòîâ ÷èñëîâîé ïîñëåäîâàòåëüíîñòè fdi g âûïîëíÿþòñÿ íåðàâåíñòâà

di  di

Æ; i = 1; 2; : : : :

1

Ïðîñóììèðîâàâ ýòè íåðàâåíñòâà

N

0  dN

ðàç

(N > 0), èìååì

 d0 ÆN:

Åñëè â ïîñëåäíåì íåðàâåíñòâå N > d0 =Æ , òî ïîëó÷àåì ïðîòèâîðå÷èå. Ñëåäîâàòåëüíî, êîëè÷åñòâî ïåðåêëþ÷åíèé ñ îäíîãî çíà÷åíèÿ ^i íà äðóãîå êîíå÷íî, à, çíà÷èò, è ìíîæåñòâà â ïîñëåäîâàòåëüíîñòè fn g èçìåíÿþòñÿ òîëüêî êîíå÷íîå ÷èñëî ðàç. Èç ïîñëåäíåãî íåðàâåíñòâà ïðè îãðàíè÷åííîì èñõîäíîì ìíîæåñòâå  ìîæíî ïîëó÷èòü îöåíêó äëÿ ìàêñèìàëüíîãî ÷èñëà èçìåíåíèé ìíîæåñòâ â ÊÑÀ

Nmax  diam()=Æ; ãäå îáîçíà÷åíî diam()  íàèáîëüøåå èç ðàññòîÿíèé ìåæäó äâóìÿ ïðîèçâîëüíûìè òî÷êàìè ìíîæåñòâà . Êîíêðåòíûé âèä ðåêóððåíòíûõ àëãîðèòìîâ äëÿ ðåøåíèÿ ðàçíîîáðàçíûõ öåëåâûõ íåðàâåíñòâ ñ îáîñíîâàíèåì èõ ñõîäèìîñòè ìîæíî íàéòè â [30, 31, 103, 104, 115, 179]. Íèæå áóäåò ðàññìîòðåí ëèøü âàæíûé ÷àñòíûé ñëó÷àé, îòíîñÿùèéñÿ ê ëèíåéíûì íåðàâåíñòâàì.

90ÃËÀÂÀ 1. ÌÅÒÎÄÛ ÎÖÅÍÈÂÀÍÈß È ÎÏÒÈÌÈÇÀÖÈÈ

1.7.3

Ïîëîñêà

Àëãîðèòì

Hàèáîëåå ïðîñòîé âèä ôóíêöèè

'Tn  + n

 0;

(w; )  ëèíåéíûé:

n = 1; 2; : : : ; (wn





= ' n ); n

ãäå f'n g è fn g  íåêîòîðûå ïîñëåäîâàòåëüíîñòè âåêòîðîâ è ÷èñåë ñîîòâåòñòâåííî. Âîçìîæíûå ñïîñîáû ðåøåíèÿ òàêîé ñèñòåìû ëèíåéíûõ íåðàâåíñòâ ïåðâîíà÷àëüíî ðàññìàòðèâàëèñü â [107, 173].  ýòîé çàäà÷å ïåðâîå óñëîâèå ïîñòðîåíèÿ êîíå÷íîñõîäÿùåãîñÿ àëãîðèòìà, î÷åâèäíî, âûïîëíåíî. Âòîðîå óñëîâèå îçíà÷àåò, ÷òî ñóùåñòâóþò òàêèå âåêòîð  è Æ > 0, ÷òî

'Tn  + n  Æk'n k; n = 1; 2; : : : : ×àùå âñåãî â ïðèëîæåíèÿõ ê ëèíåéíûì ñèñòåìàì ñ îãðàíè÷åííûìè ïîìåõàìè âñòðå÷àåòñÿ ÷àñòíûé ñëó÷àé ðåêóððåíòíûõ ëèíåéíûõ íåðàâåíñòâ

j'Tn  + nj  "n ; n = 1; 2; : : : ; ãäå f"n g  íåêîòîðàÿ ïîñëåäîâàòåëüíîñòü ïîëîæèòåëüíûõ ÷èñåë.  ýòîì ñëó÷àå âòîðîå óñëîâèå ïîñòðîåíèÿ ÊÑÀ îçíà÷àåò, ÷òî ñóùåñòâóþò ÷èñëà 0 < Æ < 1, 0 < "? è âåêòîð  (íåèçâåñòíûé) òàêèå, ÷òî

"n  "? k'n k;

j'Tn  + nj  Æ"n ; n = 1; 2; : : : :  ýòîì ñëó÷àå êàæäîå èç ðåêóððåíòíûõ íåðàâåíñòâ âûäåëÿåò â âåêòîðíîì ïðîñòðàíñòâå ïàðàìåòðîâ  îïðåäåëåííóþ ïîëîñó, øèðèíîé íå ìåíåå 2"? . Âûïîëíåíèå ïîñëåäíåãî íåðàâåíñòâà ãàðàíòèðóåò, ÷òî âñå ýòè ïîëîñû âêëþ÷àþò â ñåáÿ íåêîòîðûé øàð ðàäèóñà Æ , ñîäåðæàùèé  . Äëÿ ïîñëåäíåãî ñëó÷àå â [84, 104] ôîðìóëèðóåòñÿ áîëåå ïðîñòîé ÊÑÀ ïîñòðîåíèÿ ïîñëåäîâàòåëüíîñòè òî÷åê f^n g, ïðè èçìåíåíèè êîòîðûõ íàäî ïåðåñòðàèâàòü ñîîòâåòñòâóþùèå ìíîæåñòâà fn g, ñîäåðæàùèå  . Ïóñòü ^0 2  è 0 = . Åñëè j'Tn ^n 1 + n j  "n , òî ^n = ^n 1 è n = n 1 , â ïðîòèâíîì ñëó÷àå

^n = ^n

1

n = n

'n 1

'Tn ^n 1 + n sign('Tn ^n 1 + n )Æ"n ; k'n k2

\ f : 'Tn  + n  Æ"n g; n = 1; 2; : : : :

1.7. ÎÖÅÍÈÂÀÍÈÅ ÏÐÈ ÎÃÐÀÍÈ×ÅÍÍÛÕ ÏÎÌÅÕÀÕ

91

Ýòà ïðîöåäóðà íàçûâàåòñÿ àëãîðèòì "Ïîëîñêà". Åñëè èñõîäíîå ìíîæåñòâî ñîâïàäàåò ñî âñåì ïðîñòðàíñòâîì èëè ÿâëÿåòñÿ ìíîãîãðàííûì, òî ïîëó÷àþùèåñÿ ïî ñôîðìóëèðîâàííîìó àëãîðèòìó ìíîæåñòâà  òîæå ìíîãîãðàííèêè. Êàê óæå îòìå÷àëîñü, â íåêîòîðûõ àëãîðèòìàõ ñòîõàñòè÷åñêîé àïïðîêñèìàöèè ïðè îãðàíè÷åííûõ ïîìåõàõ öåëåñîîáðàçíî èñïîëüçîâàòü îïåðàöèþ ïðîåêòèðîâàíèÿ â ìíîæåñòâî, ñîîòâåòñòâóþùóþ ïîèñêó áëèæàéøåãî ýëåìåíòà. Êîíå÷íàÿ ñõîäèìîñòü àëãîðèòìà ïåðåñòðîåíèÿ ìíîæåñòâ n âàæíà ïî äâóì ïðè÷èíàì. Âî-ïåðâûõ, èíîãäà ïðè äîêàçàòåëüñòâå àñèìïòîòè÷åñêèõ ñâîéñòâ ïîâåäåíèÿ îöåíîê, ïîñòðîåííûõ ïî àëãîðèòìó ñ ïðîåêòèðîâàíèåì, âàæíî áûòü óâåðåííûìè, ÷òî, íà÷èíàÿ ñ íåêîòîðîãî ìîìåíòà, îãðàíè÷èâàþùåå âîçìîæíûå çíà÷åíèÿ ïàðàìåòðîâ ìíîæåñòâî íå ìåíÿåòñÿ. Âî-âòîðûõ, ïðè ïðàêòè÷åñêîé ðåàëèçàöèè àëãîðèòìà ïðîåêòèðîâàíèÿ â ìíîãîãðàííîå ìíîæåñòâî íàäî èìåòü êîíñòðóêòèâíûé ñïîñîá îïèñàíèÿ íàáîðà ïëîñêîñòåé, êîòîðûå åãî îãðàíè÷èâàþò. Ïðè áåñêîíå÷íîì êîëè÷åñòâå îãðàíè÷èâàþùèõ ïëîñêîñòåé òðóäíî ïðåäñòàâèòü ñåáå ðåàëüíûé ñïîñîá õðàíåíèÿ òàêîé èíôîðìàöèè. Ïðè ñâîåé êàæóùåéñÿ ïðîñòîòå, îïèñàííûé ñïîñîá âñåòàêè èìååò ñóùåñòâåííûå òðóäíîñòè ïðè ðåàëèçàöèè íà ïðàêòèêå. Âî ìíîãèõ ñëó÷àÿõ èñïîëüçóþò áîëåå ïðîñòûå àëãîðèòìû, õîòÿ ïðè ýòîì òðóäíî äîêàçàòü èõ êîíå÷íóþ ñõîäèìîñòü. Åñëè àëãîðèòì ïðåäïîëàãàåòñÿ èñïîëüçîâàòü âìåñòå ñ äðóãèì áîëåå ÷óòêèì, òî êîíå÷íóþ ñõîäèìîñòü àëãîðèòìà ìîæíî îáåñïå÷èòü ïðîñòûì ïðàêòè÷åñêèì óñëîâèåì: ïðåêðàòèòü êîððåêöèè ïîñëå çàðàíåå çàäàííîãî îïðåäåëåííîãî êîëè÷åñòâà øàãîâ. Hàèáîëåå óäîáíûì ñ òî÷êè çðåíèÿ îïåðàöèè ïðîåêòèðîâàíèÿ è õðàíåíèÿ èíôîðìàöèè ÿâëÿåòñÿ ïîñëåäîâàòåëüíîå ïîñòðîåíèå â ïðîñòðàíñòâå ïàðàìåòðîâ ïðÿìîóãîëüíèêîâ, ñîäåðæàùèõ íåêîòîðîå ðåøåíèå ñèñòåìû ðåêóððåíòíûõ öåëåâûõ íåðàâåíñòâ. Ìíîæåñòâà n èìåþò âèä

n = f :  = (1 ; : : : ; r )T ; Ani  i  Bing; ãäå

Ani ; Bin ; i = 1; 2; : : : ; r; n = 1; 2; : : :  íåêîòîðûå ÷èñëîâûå âåëè÷èíû.

1.7.4

Ñòàáèëèçèðóþùèé àëãîðèòì "ìîäèôèöèðîâàííàÿ ïîëîñêà" ïðè óïðàâëåíèè ëèíåéíûì îáúåêòîì

Îñòàíîâèìñÿ ïîäðîáíåå íà îäíîì èç ïðèìåðîâ èñïîëüçîâàíèÿ êîíå÷íî ñõîäÿùåãîñÿ àëãîðèòìà â çàäà÷å àäàïòèâíîé ñòàáèëèçàöèè ëèíåéíîãî äèñêðåòíîãî äèíàìè÷åñêîãî îáúåêòà óïðàâëåíèÿ. Ðàññìàòðèâàåìûé íèæå àëãîðèòì ïîçæå â â ÷åòâåðòîé ãëàâå áóäåò èñïîëüçîâàí êàê ñîñòàâíàÿ ÷àñòü ñîñòîÿòåëüíîãî ðàíäîìèçèðîâàííîãî àëãîðèòìà îöåíèâàíèÿ íåèçâåñòíûõ ïàðàìåòðîâ.

92ÃËÀÂÀ 1. ÌÅÒÎÄÛ ÎÖÅÍÈÂÀÍÈß È ÎÏÒÈÌÈÇÀÖÈÈ Ïðåäïîëîæèì, ÷òî îáúåêò óïðàâëåíèÿ (ÎÓ) ñî ñêàëÿðíûìè âõîäàìè è âûõîäàìè îïèñûâàåòñÿ â äèñêðåòíîì âðåìåíè àâòîðåãðåññèîííîé ìîäåëüþ ñêîëüçÿùåãî ñðåäíåãî (SISO ARMA ìîäåëü): (1.1)

a(z;  ? )yt = b(z;  ? )ut + vt ; t = l; l + 1; : : : ;

â êîòîðîé yt  âûõîä ÎÓ; ut  âõîä ÎÓ (óïðàâëÿþùåå âîçäåéñòâèå); vt  ïîìåõà (âîçìóùàþùåå âîçäåéñòâèå): jvt j  Cv ; z  îïåðàöèÿ ñäâèãà íà òàêò íàçàä: zyt = yt 1 ;

a(z;  ? ) = 1 + za?1 +


+ z p a?p ; b(z;  ? ) = z l b?l + z l+1 b?l+1 +


+ z p b?p ; íàòóðàëüíîå ÷èñëî p  ïîðÿäîê óðàâíåíèÿ; l  çàïàçäûâàíèå ëåíèè, 1  l  p; 0

â óïðàâ-

1

a?1 a?2

B C B C B .. C B . C B ? C B ap C ? C  =B B b? C B l C B b? C B l+1 C B . C @ .. A

b?p

 âåêòîð êîýôôèöèåíòîâ óðàâíåíèÿ. Oáîçíà÷èâ ÷åðåç 0 B B B 't = B B B B @

yt

1

1

.. C . C yt p C C ; ut l C C .. C . A

ut

p

óðàâíåíèå ÎÓ (1.1) ìîæíî ïåðåïèñàòü â âèäå

yt = 'Tt  ? + vt ; ? ãäå 'T t  ìîæíî èíòåðïðåòèðîâàòü êàê ïîëåçíûé ñèãíàë, çàâèñÿùèé îò íåèçâåñòíîãî âåêòîðà ïàðàìåòðîâ  ? . Ýòîò ñèãíàë íàáëþäàåòñÿ íà ôîíå

1.7. ÎÖÅÍÈÂÀÍÈÅ ÏÐÈ ÎÃÐÀÍÈ×ÅÍÍÛÕ ÏÎÌÅÕÀÕ

93

ïîìåõè.  òàêîé ïîñòàíîâêå çàäà÷à èäåíòèôèêàöèè (âîññòàíîâëåíèÿ, ëèáî îöåíèâàíèÿ ïàðàìåòðà  ? ) áëèçêà ïî ñìûñëó ê çàäà÷å îöåíèâàíèÿ ïàðàìåòðîâ ëèíåéíîé ðåãðåññèè. Ïóñòü óïðàâëåíèå ôîðìèðóþòñÿ â âèäå äåòåðìèíèðîâàííûõ íåóïðåæäàþùèõ ôóíêöèé îáðàòíîé ñâÿçè

ut = Ut (yt ; yt 1 ; : : : ; ut 1 ; : : :): Ïðè ïðîèçâîëüíûõ íåèçâåñòíûõ, íî îãðàíè÷åííûõ ïîìåõàõ

jvt j  Cv (Cv > 0  èçâåñòíûé óðîâåíü ïîìåõè) íà îñíîâàíèè t íàáëþäåíèé ìîæíî óòâåðæäàòü, ÷òî âåêòîð íåèçâåñòíûõ ïàðàìåòðîâ ïðèíàäëåæèò íåêîòîðîìó ìíîæåñòâó Tt = \tk=lf : jyk 'Tk  j  Cv g: Íî ïðè ýòîì íåò íèêàêèõ îñíîâàíèé íàäåÿòüñÿ íà òî, ÷òî â îáùåì ñëó÷àå ñ òå÷åíèåì âðåìåíè ìíîæåñòâà Tt ñòÿíóòñÿ â òî÷êó èëè ïåðåñòàíóò èçìåíÿòüñÿ.  çàäà÷å àäàïòèâíîé ñòàáèëèçàöèè öåëüþ óïðàâëåíèÿ ÿâëÿåòñÿ îáåñïå÷åíèå íåðàâåíñòâà (1.2)

sup jyt j + jut j < 1: t2N

Áóäåì ñ÷èòàòü, ÷òî ïðè êàæäîì çíà÷åíèè âåêòîðà îáðàòíàÿ ñâÿçü (ðåãóëÿòîð) âèäà (1.3)



2T

ñóùåñòâóåò

c(z;  )ut = d(z;  )yt ;

êîòîðàÿ ñòàáèëèçèðóåò îáúåêò óïðàâëåíèÿ (1.1) ïðè êîýôôèöèåíòû ìíîãî÷ëåíîâ

? = .

Ïóñòü

c(;  ) = 1 + c1 ( ) +


pcp ( ); è

d(;  ) = d0 ( ) + d1 ( ) +


p dp ( )

èçâåñòíû è ÿâëÿþòñÿ íåïðåðûâíûìè ôóíêöèÿìè íà ìíîæåñòâå T . Ñòàáèëèçèðóåìîñòü îáðàòíîé ñâÿçè (1.3) ðàâíîñèëüíà òîìó, ÷òî âñå êîðíè õàðàêòåðèñòè÷åñêîãî ìíîãî÷ëåíà a(;  )c(;  ) b(;  )d(;  ) çàìêíóòîé ñèñòåìû (1.1),(1.3) (ïðè  ? =  ) ïî àáñîëþòíîé âåëè÷èíå áîëüøå åäèíèöû.

94ÃËÀÂÀ 1. ÌÅÒÎÄÛ ÎÖÅÍÈÂÀÍÈß È ÎÏÒÈÌÈÇÀÖÈÈ Äëÿ óïðàâëåíèÿ îáúåêòîì (1.1) â óñëîâèÿõ, êîãäà âåêòîð  ? ïîëíîñòüþ èëè ÷àñòè÷íî íåèçâåñòåí, åñòåñòâåííî èñïîëüçîâàòü îáðàòíóþ ñâÿçü ñ ïîäñòðàèâàåìûìè êîýôôèöèåíòàìè

c(z;  t )ut = d(z;  t )yt ;

(1.4)

ãäå  t  îöåíêà âåêòîðà  ? â ìîìåíò âðåìåíè t (ïðåäïîëàãàåòñÿ, ÷òî  t 2 T ). Åñëè àëãîðèòì ôîðìèðîâàíèÿ îöåíîê  t =  t (yt; yt 1 ; : : : ; ut 1 ; : : :) îáåñïå÷èâàåò ñîñòîÿòåëüíîñòü îöåíîê:

lim  t =  ? ;

t!1

òî óïðàâëåíèå, çàäàâàåìîå îáðàòíîé ñâÿçüþ (1.4), ñòàíîâèòñÿ ïðè t ! 1 íåîòëè÷èìûì îò óïðàâëåíèÿ, ôîðìèðóåìîãî îáðàòíîé ñâÿçüþ (1.3). Äðóãèìè ñëîâàìè, åñëè êðèòåðèé êà÷åñòâà óïðàâëåíèÿ íå çàâèñèò îò ïåðåõîäíûõ ïðîöåññîâ â çàìêíóòîé ñèñòåìå óïðàâëåíèÿ, òî ðåãóëÿòîð (1.4) îáåñïå÷èâàåò òî æå êà÷åñòâî óïðàâëåíèÿ, ÷òî è ðåãóëÿòîð (1.3), ñèíòåçèðîâàííûé äëÿ êîíêðåòíîãî çíà÷åíèÿ âåêòîðà êîýôôèöèåíòîâ  ? . Óïðàâëåíèå, ôîðìèðóåìîå ðåãóëÿòîðîì (1.4) ñ íàñòðàèâàåìûìè ïàðàìåòðàìè, íàçûâàåòñÿ â ýòîì ñëó÷àå àäàïòèâíûì. Ðàññìîòðèì àëãîðèòì ìîäèôèöèðîâàííàÿ ïîëîñêà ([84]), êîòîðûé îáåñïå÷èâàåò ðàâíîìåðíóþ îãðàíè÷åííîñòü âõîäíûõ è âûõîäíûõ ïåðåìåííûõ ïðè ñäåëàííûõ âûøå ïðåäïîëîæåíèÿõ.  ñèëó óñëîâèÿ îãðàíè÷åííîñòè ïîìåõ, ñèñòåìà öåëåâûõ íåðàâåíñòâ

jyt 'Tt ^j  2Cv + Æk't k; t = 1; 2; : : : ðàçðåøèìà îòíîñèòåëüíî ^ ïðè ëþáîì Æ  0 (èì óäîâëåòâîðÿåò, íàïðèìåð, âåêòîð (1.5)

^ =  ? ). ^t

Ýòè öåëåâûå íåðàâåíñòâà ïîðîæäàþò àëãîðèòì

= PT



t 1fjt j

^t 1

t = 'Tt ^t

1

2Cv Æk't k>0g 't 't 2



;

k k

yt = 'Tt ( t

^? ) vt ;

ãäå PT (
)  ïðîåêòîð â ìíîæåñòâî T , ñîïîñòàâëÿþùèé ïðîèçâîëüíîìó âåêòîðó  2 R 2p l+1 áëèæàéøèé ê íåìó âåêòîð èç T , 1f
g  õàðàêòåðèñòè÷åñêàÿ ôóíêöèÿ. Àëãîðèòì (1.5) ïðè çàäàíèè ïðîèçâîëüíîãî íà÷àëüíîãî âåêòîðà ^0 äëÿ ëþáîãî Æ > 0 ñõîäèòñÿ çà êîíå÷íîå ÷èñëî øàãîâ ([84], òåîðåìà 2.1.8), ò. å. ñóùåñòâóåò òàêîé êîíå÷íûé ìîìåíò âðåìåíè t? = t? (^  0 ; fvt g; Æ), ÷òî

1.7. ÎÖÅÍÈÂÀÍÈÅ ÏÐÈ ÎÃÐÀÍÈ×ÅÍÍÛÕ ÏÎÌÅÕÀÕ ïðè t  t? . Ïðè ýòîì ñîâñåì íåîáÿçàòåëüíî ^t? (1.5) ñëåäóåò, ÷òî ïðè t  t? âûïîëíåíû íåðàâåíñòâà

^t = ^t?

95

=  ? , íî èç âèäà

jvt0 j  2Cv + Æk't k; vt0 = 'Tt 1 (^ t 1  ? ) + vt : Ñèñòåìó óïðàâëåíèÿ (1.1), (1.4) ïðè t  t? ìîæíî ïåðåïèñàòü â âèäå a(z; ^t? )yt = b(z; ^t? )ut + vt0 ;

c(z; ^t? )ut = d(z; ^t? )yt :

 ñèëó âûïîëíåíèÿ âñåõ öåëåâûõ íåðàâåíñòâ ïðè áîëüøèõ t, ñèñòåìà óïðàâëåíèÿ äèññèïàòèâíà ïðè äîñòàòî÷íî ìàëîì Æ > 0, ò. å. âûïîëíåíÿåòñÿ öåëü óïðàâëåíèÿ (1.2). Ýòî ëåãêî óñòàíàâëèâàåòñÿ ïðÿìûì ìåòîäîì Ëÿïóíîâà.

1.7.5

Ìåòîä ýëëèïñîèäîâ

Äðóãèì ïðèìåðîì àëãîðèòìà ïîñòðîåíèÿ ìíîæåñòâ, óäîáíûõ äëÿ âûïîëíåíèÿ îïåðàöèé ïðîåêòèðîâàíèÿ è õðàíåíèÿ íåîáõîäèìîé èíôîðìàöèè, ÿâëÿåòñÿ ìåòîä ýëëèïñîèäîâ (ñì. [49, 52, 97, 111]). Ðàññìîòðèì çàäà÷ó î ðåøåíèè ëèíåéíûõ ðåêóððåíòíûõ íåðàâåíñòâ

'Tn  + n  0; n = 1; 2; : : : ; ïðåäïîëàãàÿ, êàê è ðàíåå, ñóùåñòâîâàíèå òàêèõ âåêòîðà Æ > 0, ÷òî 'Tn  + n  Æk'n k; n = 1; 2; : : : :



è êîíñòàíòû

Hå óìàëÿÿ îáùíîñòè, áóäåì ñ÷èòàòü, ÷òî íà÷àëüíîå ìíîæåñòâî, ñîäåðæàùåå   ðåøåíèå ñèñòåìû ðåêóððåíòíûõ íåðàâåíñòâ, çàäàíî â âèäå ýëëèïñîèäà (èëè øàðà)

0 = f : (

^0)T R0 1 ( ^0)  1g

ñ öåíòðîì â íåêîòîðîé òî÷êå ^0 è ñèììåòðè÷íîé ïîëîæèòåëüíî îïðåäåëåííîé ìàòðèöåé R0 . Ðàññìîòðèì ðåêóððåíòíûé àëãîðèòì ïîñòðîåíèÿ ïîñëåäîâàòåëüíîñòè ýëëèïñîèäîâ fn g:

n = f : ( ^n)T Rn 1 ( ^n)  1g; îïðåäåëÿåìûé ïîñëåäîâàòåëüíî ïåðåñ÷èòûâàåìûìè òî÷êàìè f^n g è ïîëîæèòåëüíî îïðåäåëåííûìè ìàòðèöàìè fRn g. Ïðàâèëî èõ ïåðåñ÷åòà ñëå^n 1 + n  0, òî îíè íå èçìåíÿþòñÿ: äóþùåå: åñëè 'T n

^n = ^n 1; Rn = Rn 1 ;

96ÃËÀÂÀ 1. ÌÅÒÎÄÛ ÎÖÅÍÈÂÀÍÈß È ÎÏÒÈÌÈÇÀÖÈÈ â ïðîòèâíîì ñëó÷àå

^n = ^n Rn =

r2

r2 1



Rn

1

1

Rn 1 'n p ; (r + 1) 'Tn Rn 1 'n

2 Rn 1 'n 'Tn RTn n + 1 'Tn Rn 1 'n

1



; n = 1; 2; : : : ;

ãäå r  ðàçìåðíîñòü ïðîñòðàíñòâà ïàðàìåòðîâ  . Äëÿ ìàêñèìàëüíî âîçìîæíîãî ÷èñëà êîððåêöèé ýëëèïñîèäîâ fn g â [49] ïðèâåäåíà îöåíêà ñâåðõó ^0 ln k Æ k Nmax  r r 1 ; 2 ln (r+1)(rrr 1) 2 êîòîðàÿ ïðè áîëüøèõ r ïðèáëèçèòåëüíî ðàâíà

2r2 (1 + O(n 2 )) ln

k^0 k : Æ

Àëãîðèòì èìååò ïðîñòóþ ãåîìåòðè÷åñêóþ èíòåðïðåòàöèþ. Åñëè ïðåäûäóùàÿ îöåíêà ^n 1 íå óäîâëåòâîðÿåò î÷åðåäíîìó öåëåâîìó íåðàâåíñòâó, çàäàþùåìó íåêîòîðóþ ãèïåðïëîñêîñòü â ïðîñòðàíñòâå ïàðàìåòðîâ  , òî ïàðàëëåëüíî åé ÷åðåç öåíòð ïîñëåäíåãî èç ïîñòðîåííûõ ýëëèïñîèäîâ ïðîâîäèòñÿ ãèïåðïëîñêîñòü. Ýòà ãèïåðïëîñêîñòü äåëèò ýëëèïñîèä íà äâå ÷àñòè, îäíà èç êîòîðûõ ñîäåðæèò òî÷êó  . Ïîñëå ýòîãî íîâûé ýëëèïñîèä ñòðîèòñÿ êàê íàèìåíüøèé ïî îáúåìó, ñîäåðæàùèé íóæíóþ ÷àñòü ïðåäûäóùåãî ýëëèïñîèäà. Ïðè ýòîì îêàçûâàåòñÿ, ÷òî îòíîøåíèå îáúåìîâ íîâîãî è ñòàðîãî ýëëèïñîèäîâ íå ïðåâîñõîäèò âåëè÷èíû

rr r 1 < 1: (r + 1)(r2 1) 2 Áîëåå äåòàëüíóþ èíôîðìàöèþ î êîíå÷íîñõîäÿùèõñÿ àëãîðèòìàõ ìîæíî íàéòè, íàïðèìåð, â [49, 84].

Ãëàâà 2 Ëèíåéíûå çàäà÷è îöåíèâàíèÿ è îïòèìèçàöèè ïðè ïî÷òè ïðîèçâîëüíûõ ïîìåõàõ

 ïåðâûõ äâóõ ðàçäåëàõ ýòîé ãëàâû ðàññìàòðèâàþòñÿ çàäà÷è îá îöåíêå ïàðàìåòðîâ ëèíåéíûõ ìîäåëåé ñ ïðîèçâîëüíûìè ïîìåõàìè, ò. å. òàêèìè, ñðåäíåå çíà÷åíèå êîòîðûõ ìîæåò áûòü íåèçâåñòíî è îòëè÷íî îò íóëÿ, ëèáî îíè, ìîæåò áûòü, ïðåäñòàâëÿþò ñîáîé ðåàëèçàöèþ êîððåëèðîâàííîãî ñëó÷àéíîãî ïðîöåññà, ëèáî ïîìåõè, ìîæåò áûòü, äàæå íåñëó÷àéíûå âåëè÷èíû, çàäàâàåìûå íåèçâåñòíîé, íî îãðàíè÷åííîé äåòåðìèíèðîâàííîé ôóíêöèåé. Òðåòèé ðàçäåë ïîñâÿùåí ïðîáëåìàì ôèëüòðàöèè. Ñóùåñòâåííîå ïðåäïîëîæåíèå, êîòîðîå áóäåò ñäåëàíî â ýòîé ãëàâå, çàêëþ÷àåòñÿ â òîì, ÷òî âõîäû ÿâëÿþòñÿ ñëó÷àéíûìè, èçìåðèìûìè è íåçàâèñèìûìè îò ïîìåõè. Ïîñëåäíåå óñëîâèå ìîæåò áûòü îñëàáëåíî, íî çà ñ÷åò óõóäøåíèÿ àñèìïòîòè÷åñêèõ ñâîéñòâ àëãîðèòìà.  ÷åòâåðòîì ðàçäåëå ñâåäåíû ðåçóëüòàòû ñðàâíèòåëüíîãî èìèòàöèîííîãî ìîäåëèðîâàíèÿ íà ÝÂÌ ïðèìåðîâ ðàáîòû ðàíäîìèçèðîâàííûõ è îáû÷íûõ àëãîðèòìîâ. Äîêàçàòåëüñòâà âñåõ òåîðåì (ìàòåìàòè÷åñêèõ óòâåðæäåíèé) ýòîé ãëàâû ïðèâåäåíû â ïîñëåäíåì ðàçäåëå.

2.1 Îöåíêà ïàðàìåòðîâ ëèíåéíîé ðåãðåññèè ñ ïðîèçâîëüíûìè ïîìåõàìè Îáû÷íîå ïðåäïîëîæåíèå î ïîìåõàõ â çàäà÷àõ ëèíåéíîé ðåãðåññèè çàêëþ÷àåòñÿ â òîì, ÷òî èõ ñ÷èòàþò ðåàëèçàöèåé íåêîòîðîé ïîñëåäîâàòåëüíîñòè 97

98

ÃËÀÂÀ 2. ËÈÍÅÉÍÛÅ ÇÀÄÀ×È

íåçàâèñèìûõ ñëó÷àéíûõ âåëè÷èí ñ íóëåâûì ñðåäíèì çíà÷åíèåì. Îäíàêî â ïðèëîæåíèÿõ ýòî äîïóùåíèå ÷àñòî íàðóøàåòñÿ, ÷òî ìîæåò ñèëüíî ñêàçûâàòüñÿ íà ðàáîòå ñòàíäàðòíûõ îöåíî÷íûõ ïðîöåäóð. Ïîýòîìó âàæíî èññëåäîâàòü âîçìîæíîñòü îöåíêè ïàðàìåòðîâ ðåãðåññèè ïðè ìèíèìàëüíûõ ïðåäïîëîæåíèÿõ î ñòàòèñòè÷åñêèõ ñâîéñòâàõ ïîìåõ. Íà ïåðâûé âçãëÿä, ýòî êàæåòñÿ óäèâèòåëüíûì, íî ïàðàìåòðû ðåãðåññèè ìîãóò áûòü ýôôåêòèâíî îöåíåíû â ñëó÷àå íåöåíòðèðîâàííûõ, êîððåëèðîâàííûõ è äàæå íåñëó÷àéíûõ ïîìåõ (ñì.[19, 23, 133, 162]). Ýòî äîñòèãàåòñÿ ïðè îïðåäåëåííîì óñëîâèè, êîãäà âõîäû (ðåãðåññîðû) ñëó÷àéíû. Äëÿ ìîäåëè ëèíåéíîé ðåãðåññèè yn = 'Tn  + vn

c âåêòîðîì íåèçâåñòíûõ ïàðàìåòðîâ  2 R r , êîòîðûé äîëæåí áûòü îöåíåí ïî íàáëþäåíèÿì yn ; 'n (n = 1; 2; : : : ), âûïîëíåíèå óñëîâèÿ íåçàâèñèìîñòè ðåãðåññîðîâ f'n gn1 ñ ïîìåõàìè fvn gn1 ãàðàíòèðóåò õîðîøèå ñâîéñòâà îöåíîê ïðè ÷ðåçâû÷àéíî óìåðåííûõ îãðàíè÷åíèÿõ íà ïîìåõè. Èäåÿ èñïîëüçîâàíèÿ ñëó÷àéíûõ âõîäíûõ ñèãíàëîâ äëÿ óñòðàíåíèÿ ýôôåêòà ñìåùåíèÿ áûëà âûäâèíóòà Ð.Ôèøåðîì [129] â âèäå ðàíäîìèçèðîâàííîãî ïðèíöèïà ïëàíèðîâàíèÿ ýêñïåðèìåíòà. Ïîìèìî çàäà÷è ïëàíèðîâàíèÿ ýêñïåðèìåíòà, â êîòîðîé ðåãðåññîðû ìîãóò áûòü ðàíäîìèçèðîâàíû ýêñïåðèìåíòàòîðîì, ñëó÷àéíûå âõîäû âîçíèêàþò âî ìíîãèõ çàäà÷àõ èäåíòèôèêàöèè, ôèëüòðàöèè, ðàñïîçíàâàíèÿ è ò. ä. (ñì., íàïðèìåð, [54, 95, 139, 156, 217]). Èìåÿ â âèäó ýòè ïðèëîæåíèÿ, äàëåå áóäåì èñïîëüçîâàòü òåðìèíû âõîäû, âûõîäû âìåñòî íàçâàíèé, èñïîëüçóåìûõ â ðåãðåññèîííîì àíàëèçå (ïîäîáíûõ òåðìèíó ðåãðåññîð). Ðåêóððåíòíûå àëãîðèòìû îöåíèâàíèÿ ïàðàìåòðîâ ðåãðåññèè ïðè ñëó÷àéíûõ âõîäíûõ ñèãíàëàõ ðàññìàòðèâàëèñü òàêæå â [4, 54, 95, 139, 156, 217].  [67, 73] èçó÷àëàñü ñêîðîñòü ñõîäèìîñòè òàêèõ àëãîðèòìîâ è áûëè ïðåäëîæåíû îïòèìàëüíûå àëãîðèòìû, èìåþùèå íàèëó÷øóþ èç âîçìîæíûõ ñêîðîñòü ñõîäèìîñòè. Âî âñåõ ýòèõ ðàáîòàõ äåëàëèñü ñòàíäàðòíûå ïðåäïîëîæåíèÿ î ïîìåõàõ, à èìåííî, ñ÷èòàëîñü, ÷òî îíè ïðåäñòàâëÿþò ñîáîé ïîñëåäîâàòåëüíîñòü ñëó÷àéíûõ âåëè÷èí ñ íóëåâûì ñðåäíèì, íåçàâèñèìûõ èëè ñëàáî çàâèñèìûõ. Çäåñü îñíîâíàÿ öåëü èçëîæåíèÿ ñîñòîèò â îòêàçå îò ýòèõ ïðåäïîëîæåíèé. Íèæå áóäåò ïîêàçàíî, ÷òî ïðè ñëó÷àéíûõ âõîäíûõ ñèãíàëàõ íîâûå ðàíäîìèçèðîâàííûå àëãîðèòìû, ïîõîæèå âî ìíîãîì íà ñòàíäàðòíûå, äàþò ñîñòîÿòåëüíûå îöåíêè è ïðè íåöåíòðèðîâàííûõ, êîððåëèðîâàííûõ è äàæå íåñëó÷àéíûõ ïîìåõàõ. Êðîìå òîãî, íîâûå îïòèìàëüíûå àëãîðèòìû èìåþò òó æå ñàìóþ ñêîðîñòü ñõîäèìîñòè, êàê è îïòèìàëüíûå â ñòàíäàðòíîì ñëó÷àå.  [19], íàâåðíîå, âïåðâûå áûë ïðåäëîæåí ñîñòîÿòåëüíûé àëãîðèòì

2.1. ËÈÍÅÉÍÀß ÐÅÃÐÅÑÑÈß

99

îöåíêè ïàðàìåòðîâ ëèíåéíîé ðåãðåññèè ïðè ïî÷òè ïðîèçâîëüíûõ ïîìåõàõ, ïðè ýòîì ðàññìàòðèâàëàñü áîëåå îáùàÿ, ïî ñðàâíåíèþ ñî ñòàíäàðòíîé, ïîñòàíîâêà çàäà÷è. Ïðåäïîëàãàëîñü, ÷òî âåêòîð íåèçâåñòíûõ ïàðàìåòðîâ ìîæåò ìåíÿòüñÿ ñî âðåìåíåì, è â àëãîðèòìå îöåíèâàëîñü åãî ñðåäíåå çíà÷åíèå. Ðåøåíèå òàêîé æå îáîáùåííîé çàäà÷è ðàçáèðàëîñü â [10] è â âèäå ïðèìåðà â [23]. Èñïîëüçîâàíèå ïðè åå ðåøåíèè ìåòîäîâ èññëåäîâàíèÿ ñõîäèìîñòè ïðè ïî÷òè ïðîèçâîëüíûõ ïîìåõàõ, ðàçðàáîòàííûõ â [133], ïîçâîëÿåò ïîëó÷èòü àëãîðèòìû, äîñòèãàþùèå îïòèìàëüíîé â ñðåäíåêâàäðàòè÷íîì ñìûñëå ñêîðîñòè ñõîäèìîñòè. Ïðè ñëó÷àéíûõ âõîäíûõ ñèãíàëàõ ïðåäëàãàåìûå àëãîðèòìû äëÿ îáîñíîâàíèÿ ñõîäèìîñòè òðåáóþò âûïîëíåíèÿ äîñòàòî÷íî óìåðåííûõ óñëîâèé íà ïîìåõè.  ÷àñòíîñòè, ïîìåõè ìîãóò áûòü íåèçâåñòíîé, íî îãðàíè÷åííîé äåòåðìèíèðîâàííîé ôóíêöèåé. Ïî ýòîé îáíàäåæèâàþùåé ïðè÷èíå íîâûå àëãîðèòìû ìîãóò áûòü ïîëåçíû âî ìíîãèõ ïðèëîæåíèÿõ. ×èñëåííîå ìîäåëèðîâàíèå ïðîäåìîíñòðèðîâàëî ýôôåêòèâíîñòü àëãîðèòìîâ ïðè ðàçíîîáðàçíûõ ïîìåõàõ vn .  ÷àñòíîñòè, â ñêàëÿðíîì ñëó÷àå ýêñïåðèìåíòû áûëè âûïîëíåíû ñ íåñëó÷àéíîé êîíñòàíòîé, íåöåíòðèðîâàííîé ñëó÷àéíîé ïåðåìåííîé è ðàçëè÷íûìè íåñëó÷àéíûìè ïîñëåäîâàòåëüíîñòÿìè ïîìåõ.  ýòèõ ýêñïåðèìåíòàõ èññëåäîâàëèñü òðàåêòîðèè îöåíîê ñòîõàñòè÷åñêîé àïïðîêñèìàöèè è îöåíîê ìåòîäà íàèìåíüøèõ êâàäðàòîâ. Ïîâåäåíèå òèïè÷íûõ òðàåêòîðèé îöåíîê ðàíäîìèçèðîâàííûõ àëãîðèòìîâ ïðè âûñîêîì óðîâíå íåðåãóëÿðíîé ïîìåõè ñóùåñòâåííî ëó÷øå ïîâåäåíèÿ òðàåêòîðèé äëÿ îáû÷íûõ àëãîðèòìîâ. Íåêîòîðûå ïðèìåðû ýòèõ ýêñïåðèìåíòîâ ïðèâåäåíû â ÷åòâåðòîì ðàçäåëå.

2.1.1

Ïîñòàíîâêà çàäà÷è, îñíîâíûå ïðåäïîëîæåíèÿ

Ðàññìîòðèì ìîäåëü ëèíåéíîé ðåãðåññèè (2.1)

yn = 'Tn n + vn ; n =  + wn ; n = 1; 2; : : :

ñ âûõîäàìè (íàáëþäåíèÿìè) yn 2 R 1 , âõîäàìè 'n 2 R r è ïîìåõàìè vn 2 R 1 ; wn 2 R r . Òðåáóåòñÿ îöåíèòü çíà÷åíèå  , áàçèðóÿñü íà íàáëþäåíèÿõ yn ; 'n ; n = 1; 2; : : : : Ïóñòü Fn   -àëãåáðà âåðîÿòíîñòíûõ ñîáûòèé, ïîðîæäåííàÿ ñëó÷àéíûìè âåëè÷èíàìè f'1 ; : : : ; 'n ; w1 ; : : : ; wn ; v1 ; : : : ; vn g, åñëè v1 ; : : : ; vn  ñëó÷àéíûå. Åñëè  íåò, òî Fn   -àëãåáðà ïîðîæäåííàÿ f'1 ; : : : ; 'n ; w1 ; : : : ; wn g. Àíàëîãè÷íî îïðåäåëèì -àëãåáðû F^n 1 ïî f'1 ; : : : ; 'n 1 ; w1 ; : : : ; wn 1 ; v1 ; : : : ; vn g; è F~n 1 ïî f'1 ; : : : ; 'n 1 ; w1 ; : : : ; wn ; v1 ; : : : ; vn g: Èç îïðåäåëåíèÿ èìååì Fn 1  F^n 1  F~n 1  Fn :

ÃËÀÂÀ 2. ËÈÍÅÉÍÛÅ ÇÀÄÀ×È

100

Ïåðå÷èñëèì îñíîâíûå óñëîâèÿ, òå èëè èíûå èç êîòîðûõ áóäóò ïðåäïîëàãàòüñÿ âûïîëíåííûìè ïðè ôîðìóëèðîâêàõ òåîðåì â ýòîé ãëàâå.

(2.A) Âõîäû f'n gn1 ïðåäñòàâëÿþò ñîáîé ïîñëåäîâàòåëüíîñòü íåçàâè-

ñèìûõ ñëó÷àéíûõ âåêòîðîâ ñ îãðàíè÷åííûìè èçâåñòíûìè ìàòåìàòè÷åñêèìè îæèäàíèÿìè: kEf'n gk  M' < 1, 8n âåêòîðû 'n íå çàâèñÿò îò F~n 1 . Ñëó÷àéíûå âåêòîðû


n = 'n

Ef'n g

èìåþò ñèììåòðè÷íûå ôóíêöèè ðàñïðåäåëåíèÿ Pn (
), ò. å. Pn ( ) = Pn ( ) äëÿ ëþáîãî áîðåëåâñêîãî ïîäìíîæåñòâà  Rr , è ìàòðèöû êîâàðèàöèé óäîâëåòâîðÿþò óñëîâèÿì

Ef
n
Tn g = Bn > 0; kBn k  
2 < 1: (2.A') Âõîäû f'n gn1 ïðåäñòàâëÿþò ñîáîé ïîñëåäîâàòåëüíîñòü íåçàâè-

ñèìûõ îäèíàêîâî ðàñïðåäåëåííûõ ñëó÷àéíûõ âåêòîðîâ, óäîâëåòâîðÿþùèõ óñëîâèþ (2.A) ñ Bn = B > 0 è îãðàíè÷åííûì ÷åòâåðòûì ñòàòèñòè÷åñêèì ìîìåíòîì:

Efk
n k4 g = M44 < 1: (2.B) 8 n ñëó÷àéíûå âåêòîðà wn öåíòðèðîâàíû (Efwn g = çàâèñÿò îò F^n 1 . Ïîñëåäîâàòåëüíîñòè ïîìåõ fvn gn1 è óäîâëåòâîðÿþò îäíîìó èç óñëîâèé:

(i)

Ef vn2 jFn

(ii)

Efvn2 g  v2 < 1;

(iii)

jvn j  Cv < 1;

1

g  v2 < 1;

Efkwn k2 jFn Efwn wn

T

1

0)

è íå

fwn gn1

g  w2 < 1;

g  Qw  w2 I < 1;

kwn k  Cw < 1;

ãäå âûïîëíåíèå íåðàâåíñòâ ñî ñëó÷àéíûìè âåëè÷èíàìè ïîíèìàåòñÿ ñ âåðîÿòíîñòüþ åäèíèöà è v ; w ; Cv ; Cw  íåêîòîðûå ïîñòîÿííûå, Qw  ñèììåòðè÷íàÿ íåîòðèöàòåëüíî îïðåäåëåííàÿ ìàòðèöà. Çàìåòèì, ÷òî ïðèâåäåííûå óñëîâèÿ îòëè÷àþòñÿ îò ñòàíäàðòíûõ ïðåäïîëîæåíèé â çàäà÷å îá îöåíèâàíèè ïàðàìåòðîâ ëèíåéíîé ðåãðåññèè ñî ñëó÷àéíûìè âõîäíûìè ñèãíàëàìè (ñì., íàïðèìåð, [67, 73]). Ýòî âûðàæàåòñÿ, â ÷àñòíîñòè, â îòñóòñòâèè óñëîâèÿ Efvn g = 0 è ïðåäïîëîæåíèÿ î òîì, ÷òî ïîìåõè fvn gn1  ïîñëåäîâàòåëüíîñòü íåçàâèñèìûõ îäèíàêîâî ðàñïðåäåëåííûõ ñëó÷àéíûõ âåëè÷èí.

2.1. ËÈÍÅÉÍÀß ÐÅÃÐÅÑÑÈß

2.1.2

101

Îöåíèâàíèå ïî ìåòîäó ñòîõàñòè÷åñêîé àïïðîêñèìàöèè

Èññëåäóåì ñíà÷àëà ðàíäîìèçèðîâàííûé àëãîðèòì òèïà ñòîõàñòè÷åñêîé àïïðîêñèìàöèè (ÐÑÀ), êîòîðûé äëÿ ðàññìàòðèâàåìîé ìîäåëè íàáëþäåíèé (2.1) èìååò âèä (2.2) ^n = ^n 1 n
n ('Tn ^n 1 yn ); n = 1; 2; : : : ;

ãäå n  0  íåñëó÷àéíàÿ ïîñëåäîâàòåëüíîñòü, îïðåäåëÿþùàÿ øàã àëãîðèòìà, è  íåêîòîðàÿ ïîëîæèòåëüíî îïðåäåëåííàÿ ìàòðèöà (ñì. [26, 54, 67, 95, 133, 139, 156, 217]). Ïîä÷åðêíåì åùå ðàç, ÷òî âåêòîðà 'n ; E'n (è, òåì ñàìûì
n = 'n Ef'n g) ïðåäïîëàãàþòñÿ èçâåñòíûìè. Ïðåäïîëîæèì, ÷òî íà÷àëüíîå çíà÷åíèå ^0  ïðîèçâîëüíûé íåñëó÷àéíûé âåêòîð èç Rr . Òîãäà ñïðàâåäëèâà ñëåäóþùàÿ òåîðåìà èç [26, 133], äîêàçàòåëüñòâî êîòîðîé (êàê è òðåõ ïîñëåäóþùèõ òåîðåì) ïðèâåäåíî â êîíöå ãëàâû.

Ò å î ð å ì à 2.1 Ïóñòü äëÿ âõîäîâ ìîäåëè âûïîëíåíî ïðåäïîëîæåíèå (2.A) è ïðè n ! 1

n ! 0; n Efk
n k4 g

! 0;

1 X

n =

n=1

Åñëè äëÿ ïîìåõ âûïîëíåíî óñëîâèå (2.Bi) è

1 X

n=1

2n (1 + Efk
n k4 g) <

1:

fn g îáåñïå÷èâàþò

1;

òîãäà ïîñëåäîâàòåëüíîñòü îöåíîê, äîñòàâëÿåìûõ àëãîðèòìîì (2.2), ñèëüíîñîñòîÿòåëüíàÿ, ò. å. ^n !  ïðè n ! 1 ñ âåðîÿòíîñòüþ åäèíèöà. Åñëè äëÿ ïîìåõ âûïîëíåíî óñëîâèå (2.Bii), òîãäà ñðåäíåêâàäðàòè÷íàÿ îøèáêà îöåíîê, äîñòàâëÿåìûõ àëãîðèòìîì (2.2), ñòðåìèòñÿ ê íóëþ: Ef(^n  )(^n  )T g ! 0 ïðè n ! 1. Ñëåäóþùàÿ òåîðåìà íåñêîëüêî îáîáùàåò ðåçóëüòàòû èç [26, 133] î ñêîðîñòè ñõîäèìîñòè àëãîðèòìà (2.2).

Ò å î ð å ì à 2.2 Ïóñòü âûïîëíåíû óñëîâèÿ: (2.A) äëÿ âõîäîâ ìîäåëè, (2.Bii) äëÿ ïîìåõ è ïðè n ! 1

n ! 0; n Efk
n k

4

g ! 0;

1 X

n=1

n =

1:

ÃËÀÂÀ 2. ËÈÍÅÉÍÛÅ ÇÀÄÀ×È

102

Åñëè ñóùåñòâóþò òàêèå ìàòðèöû B; U > 0 è ñõîäÿùàÿñÿ ïîñëåäîâàòåëüíîñòü ÷èñåë f n g, ÷òî B + 12 I  óñòîé÷èâàÿ ìàòðèöà (âñå åå ñîáñòâåííûå çíà÷åíèÿ ëåæàò â ëåâîé ïîëóïëîñêîñòè),

k n 1 Bn Bk = O(n 1); n 2 Ef
n
Tn Qw
n
Tn g  U + O(n 1 ); kUk < 1 è n n = n 1 ; n n 1 = o(n 1 ); n = 1 + O (n 1 ), òîãäà àñèìïòîòè÷åñêàÿ ñêîðîñòü ñõîäèìîñòè àëãîðèòìà (2.2) õà-

ðàêòåðèçóåòñÿ íåðàâåíñòâîì

Ef(^n

)(^n )T g  n

1

S + o (n 1 ) ;

â êîòîðîì ìàòðèöà S ÿâëÿåòñÿ ðåøåíèåì ìàòðè÷íîãî óðàâíåíèÿ

S = R ;

BS + SB ãäå

R = (v2 (1 + M'2 ) + M'2 w2 )B + 1 U ïðè êàêîìëèáî  > 0.

Åñëè n  1 è = B 1 , òîãäà n = ìàòðèöû S ìîæåò áûòü ëåãêî ðåøåíî:

n

1 , è ïîñëåäíåå óðàâíåíèå äëÿ

S = B 1 RB 1 : Äëÿ àëãîðèòìà (2.2), â ýòîì ñëó÷àå èìåþùåãî âèä (2.3)

^n = ^n

(nB) 1
n ('Tn ^n

ïðè w

= 0 ïîëó÷àåì ñ ëþáûì  > 0

(2.4)

E (^n

1

1

yn ); n = 1; 2; : : : ;

)(^n )T  n 1 v2 (1 + M'2 )B

1

+ o (n 1 ):

 [67] ïîêàçàíî, ÷òî òàêîé æå âûáîð n è ÿâëÿåòñÿ îïòèìàëüíûì äëÿ îáûêíîâåííîãî àëãîðèòìà ñòîõàñòè÷åñêîé àïïðîêñèìàöèè:

^n = ^n

1

n 'n ('Tn ^n

1

yn); n = 1; 2; : : : ;

åñëè wn = 0 è ïîìåõè vn ÿâëÿþòñÿ íåçàâèñèìûìè ñëó÷àéíûìè âåëè÷èíàìè ñ íóëåâûìè ñðåäíèìè. Ïðè ýòîì â [67] áûëî óñòàíîâëåíî, ÷òî

 n 1v2 B 1 + o (n 1 ); Òàêèì îáðàçîì, ïðè w = 0 è ïîìåõàõ fvn g, óäîâëåòâîðÿþùèõ óñëîâèþ (2.5)

Ef^n

)(^n )T g

(2.Bii), äëÿ îöåíîê àëãîðèòìà ÐÑÀ (2.2) ñ n = 1=n è

=B

1 ïîëó÷èëè

2.1. ËÈÍÅÉÍÀß ÐÅÃÐÅÑÑÈß

103

ñðåäíåêâàäðàòè÷íóþ ñêîðîñòü ñõîäèìîñòè, áëèçêóþ ê íàèëó÷øåé â ñèòóàöèè, êîãäà ïîìåõè vn ÿâëÿþòñÿ íåçàâèñèìûìè ñëó÷àéíûìè âåëè÷èíàìè ñ íóëåâûìè ñðåäíèìè. Åñëè M' = 0, òî îïòèìàëüíûå îáûêíîâåííûé è ðàíäîìèçèðîâàííûé àëãîðèòìû ñîâïàäàþò, è, êðîìå òîãî, ðàâíû ñîîòâåòñòâóþùèå àñèìïòîòè÷åñêèå îöåíêè ñêîðîñòè ñõîäèìîñòè, õîòÿ ïðåäïîëîæåíèÿ î õàðàêòåðå ïîìåõ fvn g ñóùåñòâåííî îòëè÷àþòñÿ.  [133] äëÿ ðåøåíèÿ ðàññìàòðèâàåìîé çàäà÷è ïðè wn = 0 â óñëîâèÿõ ïî÷òè ïðîèçâîëüíûõ ïîìåõ vn ïðåäëàãàëîñü èñïîëüçîâàòü íåñêîëüêî îòëè÷àþùèéñÿ îò (2.2) ðàíäîìèçèðîâàíûé àëãîðèòì ñòîõàñòè÷åñêîé àïïðîêñèìàöèè:

^n = ^n äëÿ êîòîðîãî

1

(nB) 1
n (
Tn ^n

1

yn ); n = 1; 2; : : : ;

R = (v + M' )2 B è, ñëåäîâàòåëüíî, S = (v + M' )2 B 1 :

Ñðàâíèâàÿ ñîîòâåòñòâóþùèå âûðàæåíèÿ äëÿ ìàòðèö S, íåñëîæíî óáåäèòüñÿ â òîì, ÷òî ïðè M'  6= 0 àëãîðèòì (2.3) äàåò ëó÷øèå îöåíêè, ÷åì ïðåäëàãàâøèéñÿ ðàíåå â [133]. Ê ñîæàëåíèþ, îïòèìàëüíûé ÐÑÀ àëãîðèòì (2.3) íå ïðèìåíèì, åñëè ìàòðèöà  àïðèîðíî íåèçâåñòíà. Ðàññìîòðèì ðàíäîìèçèðîâàííûé àëãîðèòì ñòîõàñòè÷åñêîé àïïðîêñèìàöèè ñ óñðåäíåíèÿìè: (2.6)

8 n > < ^

= ^n

> : ~n

= (1 n 1 )~n

1

n
n ('Tn ^n 1

1

+ n 1 ^n

yn ); 1



=n

 1 Pn 1 ^i ; i=0

ïîõîæèé íà ïðåäëîæåííûé â [73] äëÿ ñëó÷àÿ ïîìåõ ñ íóëåâûì ñðåäíèì. Äàëåå, äëÿ óïðîùåíèÿ, áóäåì ñ÷èòàòü, ÷òî âõîäû ìîäåëè ÿâëÿþòñÿ îäèíàêîâî ðàñïðåäåëåííûìè ñëó÷àéíûìè âåëè÷èíàìè, óäîâëåòâîðÿþùèìè óñëîâèþ (2.A'). Ñëåäóþùàÿ òåîðåìà äëÿ ÷àñòíîãî ñëó÷àÿ M' = 0 áûëà ðàíåå äîêàçàíà â [133].

Ò å î ð å ì à 2.3 Åñëè âûïîëíåíû óñëîâèÿ: (2.A') äëÿ âõîäîâ ìîäåëè f'n g, wn = 0 è (2.Bii) äëÿ ïîìåõ fvn g,

! 0 è n=n+1 = 1 + o (n ) ïðè n ! 1 äëÿ ÷èñëîâîé ïîñëåäîâàòåëüíîñòè fn g, òîãäà äëÿ ñðåäíåêâàäðàòè÷íîé ñêîðîñòè ñõîäèìîñòè îöåíîê àëãîðèòìà (2.6) âûïîëíÿåòñÿ íåðàâåíñòâî (2.4) ñ ëþáûì  > 0. n

ÃËÀÂÀ 2. ËÈÍÅÉÍÛÅ ÇÀÄÀ×È

104

Êàê è âûøå, ïîëó÷åííàÿ îöåíêà ñâåðõó (2.4) äëÿ ñêîðîñòè ñõîäèìîñòè ïî÷òè ñîâïàäàåò ñ èçâåñòíîé ðàíåå â ñëó÷àå íåçàâèñèìûõ ïîìåõ ñ íóëåâûì ñðåäíèì (ñì. [73]). Ïðè ýòîì àëãîðèòì (2.6) áîëåå ïðîñòîé, ÷åì îïòèìàëüíûé àëãîðèòì (2.3), è åãî àñèìïòîòè÷åñêàÿ ñêîðîñòü ñõîäèìîñòè íå çàâèñèò îò êîíêðåòíîãî âûáîðà n , óäîâëåòâîðÿþùåãî òîëüêî óñëîâèþ n =n+1 = 1 + o (n ). Çàìåòèì, ÷òî ïîñëåäíåå ñîîòíîøåíèå âûïîëíÿþòñÿ, íàïðèìåð, äëÿ n =  n ; 0 < < 1, íî íå äëÿ n =  n 1 . Çàìå÷àíèå 2.1. Óòâåðæäåíèÿ òåîðåì 2.12.3 òàêæå âûïîëíÿþòñÿ, åñëè ïðåäïîëîæèòü ðàâåíñòâî íóëþ òðåòüåãî öåíòðàëüíîãî ìîìåíòà 'n âìåñòî ñèììåòðè÷íîñòè ðàñïðåäåëåíèÿ
n . Çàìå÷àíèå 2.2.  ñëó÷àå ðàâåíñòâ â ïðåäïîëîæåíèè (2.Bii) â óòâåðæäåíèÿõ òåîðåì 2.2 è 2.3 íåðàâåíñòâà â îöåíêàõ ñêîðîñòè ñõîäèìîñòè òàêæå ìîæíî çàìåíèòü íà ðàâåíñòâà.

2.1.3

Îöåíêè ïî ìåòîäó íàèìåíüøèõ êâàäðàòîâ

Òåïåðü ðàññìîòðèì äëÿ òîé æå ðåãðåññèîííîé ìîäåëè íàáëþäåíèé (2.1)

yn = 'Tn n + vn ; n =  + wn ; n = 1; 2; : : : îöåíêè ïî ðàíäîìèçèðîâàííîìó ìåòîäó íàèìåíüøèõ êâàäðàòîâ (ÐÌÍÊ) âèäà: (2.7)

8 < ^n

= ^n

:

=

n

1

n 1

T n 1 n
n ('n ^

yn );

T T n 1
n
n n 1 =(1 +
n n 1
n );

0

= 0 1 I;

ãäå
n = 'n Ef'n g è 0 > 0  ìàëîå ïîëîæèòåëüíîå ÷èñëî (ïàðàìåòð ðåãóëÿðèçàöèè, ñì. [26, 54, 133, 217]). Êàê è âûøå, ïóñòü â êà÷åñòâå íà÷àëüíîãî çíà÷åíèÿ ^0 âûáðàí ïðîèçâîëüíûé íåñëó÷àéíûé âåêòîð èç Rr .

Ò å î ð å ì à 2.4 [26, 133] Ïóñòü ïîñëåäîâàòåëüíîñòü âõîäîâ f'n g óäîâëåòâîðÿåò ïðåäïîëîæåíèþ (2.A'). Åñëè âûïîëíåíî óñëîâèå (2.Bi) äëÿ ïîìåõ, òîãäà ïîñëåäîâàòåëüíîñòü îöåíîê, äîñòàâëÿåìûõ àëãîðèòìîì (2.7), ñèëüíîñîñòîÿòåëüíàÿ, ò. å. ^n !  ïðè n ! 1 ñ âåðîÿòíîñòüþ åäèíèöà. Åñëè âûïîëíåíî óñëîâèå (2.Biii) äëÿ ïîìåõ è ñ âåðîÿòíîñòüþ åäèíèöà k
n k  C
< 1; n = 1; 2; : : : ; òîãäà ñðåäíåêâàäðàòè÷íàÿ îøèáêà îöåíîê, äîñòàâëÿåìûõ àëãîðèòìîì (2.7), ñòðåìèòñÿ ê íóëþ: Ef(^n  )(^n  )T g ! 0 ïðè n ! 1.

2.2. ÀÂÒÎÐÅÃÐÅÑÑÈß, ÑÊÎËÜÇßÙÅÅ ÑÐÅÄÍÅÅ

105

Çàìå÷àíèå 2.3. Åñëè äîïîëíèòåëüíî ïðåäïîëîæèòü, ÷òî M' = 0, wn = 0, ïîñëåäîâàòåëüíîñòü ïîìåõ fvn gn1 íå çàâèñèò îò f'n g è óäîâëåò-

âîðÿåò óñëîâèþ (2.Bii), òîãäà ñêîðîñòü ñõîäèìîñòè äëÿ îöåíîê ÐÌHÊ îïðåäåëÿåòñÿ íåðàâåíñòâîì (2.5), ò. å. ñðåäíåêâàäðàòè÷íàÿ ñêîðîñòü ñõîäèìîñòè îöåíîê àëãîðèòìà (2.7) òà æå ñàìàÿ, ÷òî è ó ÌÍÊ â ñëó÷àå íåçàâèñèìûõ ïîìåõ ñ íóëåâûì ñðåäíèì.

2.2 Îöåíêà ïàðàìåòðîâ àâòîðåãðåññèè è ñêîëüçÿùåãî ñðåäíåãî Ðàíäîìèçèðîâàííûå àëãîðèòìû îöåíèâàíèÿ èç ïåäûäóùåãî ðàçäåëà ìîæíî èñïîëüçîâàòü è äëÿ ðåøåíèÿ òåõ ïðîáëåì, â êîòîðûõ ìîäåëü íàáëþäåíèé îïèñûâàåòñÿ ñ ïîìîùüþ àâòîðåãðåññèè èëè ñêîëüçÿùåãî ñðåäíåãî. Äëÿ ìîäåëè àâòîðåãðåñèè ëåãêî ìîäèôèöèðîâàòü àëãîðèòìû äëÿ îöåíèâàíèÿ ÷àñòè íåèçâåñòíûõ ïàðàìåòðîâ [133], â ñëó÷àå ìîäåëè ñêîëüçÿùåãî ñðåäíåãî ýòè àëãîðèòìû ïðåäîñòàâëÿþò íåïîñðåäñòâåííóþ âîçìîæíîñòü ïîëíîé èäåíòèôèêàöèè. Áîëåå ñëîæíîé ÿâëÿåòñÿ çàäà÷à ïîëíîé èäåíòèôèêàöèè ïàðàìåòðîâ ìîäåëåé àâòîðåãðåññèè ñêîëüçÿùåãî ñðåäíåãî, êîòîðûå èñïîëüçóþòñÿ äëÿ îïèñàíèÿ äèíàìè÷åñêèõ ñèñòåì óïðàâëåíèÿ. Ñëîæíîñòü ïðîáëåìû èäåíòèôèêàöèè ÷àñòî îáóñëîâëåíà íåäîñòàòî÷íîé âàðèàòèâíîñòüþ âõîäíîãî ñèãíàëà.  ñèñòåìàõ óïðàâëåíèÿ âîçìîæíîñòü ïîäà÷è íà âõîä îáúåêòà óïðàâëåíèÿ (ÎÓ) ñïåöèàëüíûõ óïðàâëÿþùèõ (ïðîáíûõ, òåñòîâûõ) ñèãíàëîâ ìîæåò ñóùåñòâåííî îáëåã÷èòü ïðîáëåìó âîññòàíîâëåíèÿ íåèçâåñòíûõ ïàðàìåòðîâ ÎÓ. Òàê, íàïðèìåð, åñëè íà âõîä ëèíåéíîãî óñòîé÷èâîãî ñòàöèîíàðíîãî ÎÓ ïîäàòü ãàðìîíè÷åñêèé ñèãíàë, òî ïîñëå îêîí÷àíèÿ ïåðåõîäíîãî ïðîöåññà âûõîä ÎÓ áóäåò òàêæå ãàðìîíè÷åñêèì ñèãíàëîì (ïðåäïîëàãàåòñÿ, ÷òî ïîìåõè îòñóòñòâóþò). Àìïëèòóäà ýòîãî ñèãíàëà ïðîïîðöèîíàëüíà çíà÷åíèþ ïåðåäàòî÷íîé ôóíêöèè ÎÓ íà ÷àñòîòå ãàðìîíè÷åñêîãî ñèãíàëà. Èçìåíÿÿ ÷àñòîòó, òàêèì îáðàçîì ìîæíî ïîñòðîèòü ïåðåäàòî÷íóþ ôóíêöèþ ÎÓ, ò. å., ïî ñóùåñòâó, èäåíòèôèöèðîâàòü åãî. Àíàëîãè÷íî, ïîäà÷à âõîäíûõ âîçäåéñòâèé â âèäå åäèíè÷íûõ ñêà÷êîâ ïîçâîëÿåò âîññòàíîâèòü èìïóëüñíóþ ôóíêöèþ ÎÓ. Èñïîëüçîâàíèå ñïåöèàëüíûõ ïðîáíûõ ñèãíàëîâ â êà÷åñòâå óïðàâëÿþùèõ ïîçâîëÿåò îñóùåñòâèòü èäåíòèôèêàöèþ ÎÓ è ïðè àääèòèâíî äåéñòâóþùåé íà íåãî ïîìåõå. Ïðè ýòîì ïîìåõà ìîæåò íå îáëàäàòü êàêèìè-ëèáî ïîëåçíûìè ñòîõàñòè÷åñêèìè ñâîéñòâàìè è âîîáùå íå áûòü ñëó÷àéíîé. Âîññòàíîâëåíèå íåèçâåñòíûõ çíà÷åíèé ïàðàìåòðîâ îáåñïå÷èâàåòñÿ ñâîéñòâàìè ïðîáíîãî ñèãíàëà, êîòîðûé ïîäàåòñÿ â ñìåñè ñ ñîáñò-

106

ÃËÀÂÀ 2. ËÈÍÅÉÍÛÅ ÇÀÄÀ×È

âåííî óïðàâëÿþùèì âîçäåéñòâèåì. Ðàññìàòðèâàåìûé íèæå ìåòîä èäåíòèôèêàöèè ïàðàìåòðîâ äèíàìè÷åñêîãî ÎÓ, îïèñûâàåìîãî ìîäåëüþ àâòîðåãðåññèè ñêîëüçÿùåãî ñðåäíåãî, îñíîâàí íà ïåðåïàðàìåòðèçàöèè ìàòåìàòè÷åñêîé ìîäåëè ÎÓ. Âìåñòî èñõîäíûõ ïàðàìåòðîâ îáúåêòà  åãî êîýôôèöèåíòîâ  óäîáíî èñïîëüçîâàòü íåêîòîðûå äðóãèå ïàðàìåòðû, íàõîäÿùèåñÿ ñ èñõîäíûìè âî âçàèìíî îäíîçíà÷íîì ñîîòâåòñòâèè. Òàêàÿ ïåðåïàðàìåòðèçàöèÿ ïðèâîäèò ê çàïèñè ÎÓ â âèäå ìîäåëè ñêîëüçÿùåãî ñðåäíåãî, ÷òî ïîçâîëÿåò äëÿ îöåíèâàíèÿ íåèçâåñòíûõ çíà÷åíèé ïàðàìåòðîâ îáîñíîâàííî âîñïîëüçîâàòüñÿ ðåêóððåíòíûì ðàíäîìèçèðîâàííûì àëãîðèòìîì òèïà ñòîõàñòè÷åñêîé àïïðîêñèìàöèè. Îáñóæäàåìàÿ âåðñèÿ ìåòîäà èäåíòèôèêàöèè ñ èñïîëüçîâàíèåì ïðîáíûõ ñèãíàëîâ áûëà ïåðâîíà÷àëüíî ïðåäëîæåíà â ðàáîòå [192], çàòåì â [193] áûëà îáîáùåíà íà ñëó÷àé çàìêíóòûõ ñèñòåì óïðàâëåíèÿ.  ýòèõ ðàáîòàõ ïðåäïîëàãàëàñü àïðèîðíàÿ óñòîé÷èâîñòü ÎÓ, áåëîøóìíîñòü ïîìåõè è íà çàøóìëåííîå óïðàâëåíèå íàêëàäûâàëîñü åùå îäíî äîâîëüíî îãðàíè÷èòåëüíîå óñëîâèå, êîòîðîå, êàê áûëî ïîêàçàíî â [194], ìîæåò âûïîëíÿòüñÿ òîëüêî ïðè ñïåöèàëüíûõ âèäàõ îáðàòíîé ñâÿçè è äîñòàòî÷íî òî÷íîì çíàíèè ïàðàìåòðîâ ÎÓ.  [1, 2] äëÿ îáúåêòîâ, îïèñûâàåìûõ óðàâíåíèÿìè â ïðîñòðàíñòâå ñîñòîÿíèé, áûëà ïðåäëîæåíà ìîäèôèêàöèÿ ìåòîäà, â êîòîðîé íå òðåáîâàëîñü âûïîëíåíèÿ ïðåäïîëîæåíèÿ îá àïðèîðíîé óñòîé÷èâîñòè ÎÓ, à îòíîñèòåëüíî âíåøíåé àääèòèâíî äåéñòâóþùåé íà ÎÓ ïîìåõè ïðåäïîëàãàëàñü ëèøü îãðàíè÷åííîñòü åå âòîðûõ ìîìåíòîâ è íåêîððåëèðîâàííîñòü ñ ïðîáíûì ñèãíàëîì (âîçìóùåíèåì â êàíàëå óïðàâëåíèÿ). Íîâûé ìåòîä îïèðàëñÿ íà îïðåäåëåííûé ñïîñîá ïåðåïàðàìåòðèçàöèè íàáîðà íåèçâåñòíûõ ïàðàìåòðîâ, íî ðàçìåðíîñòü ââîäèìîãî íîâîãî ìàòðè÷íîãî ïàðàìåòðà áûëà ñëèøêîì âûñîêîé.  [17] äëÿ îáúåêòîâ, îïèñûâàåìûõ ðàçíîñòíûìè óðàâíåíèÿìè â ôîðìå âõîäâûõîä, áûëà ïðåäëîæåíà âåðñèÿ ìåòîäà, ïîçâîëÿþùàÿ ìèíèìèçèðîâàòü ÷èñëî îöåíèâàåìûõ ïàðàìåòðîâ.  ïóíêòå 2.2.6 äëÿ ìåòîäà èäåíòèôèêàöèè ñ èñïîëüçîâàíèåì ïðîáíûõ âîçäåéñòâèé ïðèâîäÿòñÿ óñëîâèÿ ñîñòîÿòåëüíîñòè äîñòàâëÿåìûõ èì îöåíîê íåèçâåñòíûõ êîýôôèöèåíòîâ ëèíåéíîãî äèñêðåòíîãî îáúåêòà óïðàâëåíèÿ, ïîäâåðæåííîãî äåéñòâèþ àääèòèâíîé îãðàíè÷åííîé ïîìåõè. Ïîìåõà ìîæåò íå áûòü ñëó÷àéíîé è íå îáëàäàòü ïîëåçíûìè ñòàòèñòè÷åñêèìè ñâîéñòâàìè, ïîçâîëÿþùèìè îáîñíîâàííî èñïîëüçîâàòü òðàäèöèîííûå ìåòîäû ìàòåìàòè÷åñêîé ñòàòèñòèêè.

2.2. ÀÂÒÎÐÅÃÐÅÑÑÈß, ÑÊÎËÜÇßÙÅÅ ÑÐÅÄÍÅÅ

2.2.1

107

Ïðèìåíåíèå ê ìîäåëÿì àâòîðåãðåññèè

Ïðåäïîëîæåíèÿ (2.B) î ïîìåõàõ íàáëþäåíèÿ âïîëíå óìåðåííûå è âûïîëíÿþòñÿ äëÿ øèðîêîãî êëàññà ïîìåõ.  ÷àñòíîñòè, ïîñëåäîâàòåëüíîñòü fvt g ìîæåò ôîðìèðîâàòüñÿ ïðîöåññîì ñêîëüçÿùåãî ñðåäíåãî. Áîëåå òîãî, ïðåäïîëîæåíèÿ (2.A,B) íå íàðóøàþòñÿ, åñëè ïîìåõè vt çàâèñèìû ñ ïðåäûäóùèìè âõîäàìè 't 1 ; 't 2 ; : : : è âûõîäàìè yt 1 ; yt 2 ; : : :. Ýòî ïîçâîëÿåò ïðèìåíèòü ïîëó÷åííûå âûøå ðåçóëüòàòû ê àâòîðåãðåññèîííûì ìîäåëÿì. Ðàññìîòðèì ìîäåëü íàáëþäåíèé (2.8)

yt +

p X i=1

ai yt

i

= 'Tt t + vt ; t =  + wt ; t = 1; 2; : : :

c íåêîòîðûìè íà÷àëüíûìè çíà÷åíèÿìè y t ; t = 0; 1; : : : ; p 1 (ñì. [54, 133, 217]). Îáû÷íûé ïîäõîä ñîñòîèò â îöåíèâàíèè äâóõ ãðóïï ïàðàìåòðîâ. Çäåñü äëÿ íà÷àëà îñòàíîâèìñÿ íà çàäà÷å îá îöåíêå òîëüêî âåêòîðà ïàðàìåòðîâ  2 R r , à îñòàâøèåñÿ êîýôôèöèåíòû a1 ; a2 : : : ; ap áóäåì ñ÷èòàòü íåñóùåñòâåííûìè ïàðàìåòðàìè. Ïðèíèìàÿ

 t = a1 yt

1

a2 yt

2

: : : ap yt

p

+ vt ;

ìîæíî ñîêðàòèòü çàïèñü äëÿ ñõåìû íàáëþäåíèÿ (2.8)

yt = 'Tt t + t ; t =  + wt : Áóäåì ñ÷èòàòü, ÷òî âõîäû ìîäåëè (2.8) ÿâëÿþòñÿ ñëó÷àéíûìè âåëè÷èíàìè ñ èçâåñòíûìè ìàòåìàòè÷åñêèìè îæèäàíèÿìè. Êàê è âûøå, îáîçíà÷èì
n = 'n Ef'n g. Ïóñòü äîïîëíèòåëüíî âûïîëíÿþòñÿ ñëåäóþùèå ïðåäïîëîæåíèÿ. (2.C) Âñå êîðíè ìíîãî÷ëåíà a() = 1 + a1  + : : : + ap 1 p 1 + ap p ïî àáñîëþòíîé âåëè÷èíå áîëüøå åäèíèöû. (2.D) Íà÷àëüíûå çíà÷åíèÿ y t ; t = 0; 1; : : : ; p 1 ÿâëÿþòñÿ èëè ïðîèçâîëüíûìè è íåñëó÷àéíûìè ÷èñëàìè, èëè ñëó÷àéíûìè ïåðåìåííûìè ñ êîíå÷íûìè âòîðûìè ìîìåíòàìè è íåçàâèñèìûìè îò öåíòðèðîâàííûõ âõîäîâ
n ; n = 1; 2; : : : . Çàìåòèì, ÷òî ïðè âûïîëíåíèè äîïóùåíèé (2.A,D) âõîäû ìîäåëè 't íåçàâèñèìû îò  àëãåáðû âåðîÿòíîñòíûõ ñîáûòèé, ãåíåðèðóåìîé ñëó÷àéíûìè âåëè÷èíàìè f'1 ; : : : ; 't 1 ; w1 ; : : : ; wt ; 1 ; : : : ; t g.

108

ÃËÀÂÀ 2. ËÈÍÅÉÍÛÅ ÇÀÄÀ×È

Åñëè âûïîëíåíû äîïóùåíèÿ (2.A,Bii,C,D), òîãäà âòîðûå ìîìåíòû ñëó÷àéíûõ âåëè÷èí t îãðàíè÷åíû. Ïîýòîìó òåîðåìû 2.2 è 2.3 ïðèìåíèìû. Èõ ðåçóëüòàòû ãàðàíòèðóþò ñðåäíåêâàäðàòè÷íóþ ñõîäèìîñòü îöåíîê, êîòîðûå ìîæíî ïîëó÷èòü ïî àëãîðèòìàì (2.2) èëè (2.6) òèïà ÐÑÀ, è îïèñûâàþò èõ òî÷íîñòü. Åñëè âûïîëíåíû áîëåå ñòðîãèå óñëîâèÿ (2.A',Biii), à âõîäû 't òàêæå îãðàíè÷åíû: j't j  C' ñ âåðîÿòíîñòüþ åäèíèöà, òîãäà ìîæíî ïîêàçàòü, ÷òî t îãðàíè÷åíû. Ñëåäîâàòåëüíî, â ñëó÷àå ðàññìàòðèâàåìîé ìîäåëè (2.8) äëÿ ëþáîãî èç òðåõ àëãîðèòìîâ: (2.2), (2.6) è (2.7), âûïîëíÿþòñÿ ðåçóëüòàòû òåîðåì 2.12.4 î ñõîäèìîñòè ñ âåðîÿòíîñòüþ åäèíèöà è â ñðåäíåêâàäðàòè÷íîì ñìûñëå. Ïðè íåêîòîðûõ äîïîëíèòåëüíûõ ïðåäïîëîæåíèÿõ î ïîìåõàõ vt (íàïðèìåð, îíè ñëó÷àéíûå âåëè÷èíû) ìîæíî ïîêàçàòü, ÷òî ñêîðîñòü ñõîäèìîñòè îáîèõ àëãîðèòìîâ îöåíèâàíèÿ ñòàíîâèòñÿ ìåäëåííåå â ñëó÷àå àâòîðåãðåññèîííîé ìîäåëè (2.8), õîòÿ ïîðÿäîê t 1 îñòàåòñÿ òåì æå ñàìûì. Îöåíêè ýòèõ àëãîðèòìîâ â ñëó÷àå "õîðîøèõ" ïîìåõ íàáëþäåíèÿ âåäóò ñåáÿ õóæå â ñìûñëå ñêîðîñòè ñõîäèìîñòè, ÷åì, íàïðèìåð, íåêîòîðûå èç ïðåäëàãàåìûõ â [95], îöåíèâàþùèõ ñðàçó âñå ïàðàìåòðû óðàâíåíèÿ íàáëþäåíèé (2.8). Îäíàêî, îíè èìåþò ðÿä âû÷èñëèòåëüíûõ ïðåèìóùåñòâ. Âîïåðâûõ, ñíèæåíèå ðàçìåðíîñòè âåêòîðà îöåíèâàåìûõ ïàðàìåòðîâ óïðîùàåò âû÷èñëåíèÿ. Âîâòîðûõ, îöåíêè ïàðàìåòðîâ àâòîðåãðåññèè èç [95] ìîãóò âûïàäàòü èç îáëàñòè óñòîé÷èâîñòè ìîäåëè (2.8), ÷òî óõóäøàåò èõ êà÷åñòâî è çàñòàâëÿåò èñïîëüçîâàòü íåêîòîðûå äîïîëíèòåëüíûå óëîâêè, íàïðèìåð, ïðîåêöèþ îöåíîê íà îáëàñòü óñòîé÷èâîñòè. Îöåíêè, ïðåäëîæåííûå çäåñü, íå îáëàäàþò ýòèì íåäîñòàòêîì.

2.2. ÀÂÒÎÐÅÃÐÅÑÑÈß, ÑÊÎËÜÇßÙÅÅ ÑÐÅÄÍÅÅ

2.2.2

109

Îöåíèâàíèå ïàðàìåòðîâ ìîäåëè ñêîëüçÿùåãî ñðåäíåãî

Ïóñòü ìîäåëü íàáëþäåíèé îïèñûâàåòñÿ óðàâíåíèåì (2.9)

yt =

p X i=0

'Tt i i + vt ; t = 0; 1; : : : ;

ãäå yt 2 R 1  âûõîäû (íàáëþäåíèÿ), 't 2 R q  âõîäû, vt 0 ; : : : ; p 2 Rq  âåêòîðû íåèçâåñòíûõ ïàðàìåòðîâ, ' t ; íà÷àëüíûå äàííûå. Çàäàäèì s > p  íåêîòîðîå íàòóðàëüíîå ÷èñëî. Ïóñòü i 2 f0; 1; : : : ; pg. Ïðèíèìàÿ

n;i = 'Tsn+i 0 + : : : + 'Tsn+1 i

1

2 R1  ïîìåõè,

t = 1; 2; : : : ; p 

+ 'Tsn 1 i+1 + : : : + 'Tsn+i pp + vsn+i ;

ìîæíî, â ñèëó ñõåìû íàáëþäåíèÿ (2.9), äëÿ ïîñëåäîâàòåëüíîñòè íàáëþäåíèé fysn+i gn0 çàïèñàòü

ysn+i = 'Tsn i + n;i : Çàìåòèì, ÷òî ïðè âûïîëíåíèè äîïóùåíèÿ:

(2.A") âõîäû f't gt0 ïðåäñòàâëÿþò ñîáîé ïîñëåäîâàòåëüíîñòü íåçàâè-

ñèìûõ îäèíàêîâî ðàñïðåäåëåííûõ ñëó÷àéíûõ âåêòîðîâ, óäîâëåòâîðÿþùèõ óñëîâèþ (2.A'), è ïðè ëþáîì t âåêòîðû 't íå çàâèñÿò îò -àëãåáðû Ft;p , ïîðîæäåííîé f'0 ; : : : ; 't 1 ; v0 ; : : : ; vt+p g,

âõîäû ìîäåëè 'sn (s = 1; 2; : : : ; n = 0; 1; : : : ) íå çàâèñÿò îò  àëãåáðû, ãåíåðèðóåìîé f'1 ; : : : ; 's(n 1) ; 1 ; : : : ; n g. Åñëè äîïîëíèòåëüíî äëÿ ïîìåõ fvt g âûïîëíåíî óñëîâèå (2.Bii) è âõîäû 't òàêæå â ñðåäíåêâàäðàòè÷íîì îãðàíè÷åíû: Efk't kg  '2 , òîãäà

8n; i Ef g  2 n;i

2



= (p + 1)

v2 + '2

p X j =0

kj k2



< 1:

Ñëåäîâàòåëüíî, äëÿ îöåíèâàíèÿ âåêòîðà  i ìîæíî èñïîëüçîâàòü ëþáîé èç òðåõ àëãîðèòìîâ: (2.2), (2.6) è (2.7). Â ñèëó ïðîèçâîëüíîñòè i 2 f0; 1; : : : ; pg, äëÿ îöåíèâàíèÿ âñåõ ïàðàìåòðîâ ìîäåëè ñêîëüçÿùåãî ñðåäíåãî (2.9) ìîæíî èñïîëüçîâàòü p + 1 ïàðàëëåëüíûõ ðàíäîìèçèðîâàííûõ

ÃËÀÂÀ 2. ËÈÍÅÉÍÛÅ ÇÀÄÀ×È

110

àëãîðèòìîâ, îñíîâàííûõ íà ëþáîì èç ïðåäëîæåííûõ ðàíåå äëÿ îöåíèâàíèÿ ïàðàìåòðîâ ëèíåéíîé ðåãðåññèè. Îáîçíà÷èì 0

ysn

1

B ysn+1 C .. C A

Yn =B @

. ysn+p

2 Rp+1 ;  = (0; : : : ; p) 2 Rq  Rp+1 :

Äî ñèõ ïîð â òåêñòå êíèãè îáîçíà÷åíèå èñêîìîãî íàáîðà ïàðàìåòðîâ  èñïîëüçîâàëîñü äëÿ âåêòîðîâ èëè ñêàëÿðîâ. Çäåñü è â íåêîòîðûõ ìåñòàõ äàëåå ýòî îáîçíà÷åíèå óäîáíî ñâÿçûâàòü ñ ìàòðèöåé. Àëãîðèòì ÐÑÀ (2.2) äëÿ îöåíèâàíèÿ âñåõ ïàðàìåòðîâ ìîäåëè ñêîëüçÿùåãî ñðåäíåãî â ìàòðè÷íîé ôîðìå èìååò âèä (2.10)

^n = ^n

1

n
n('Tsn ^n

1

Y n ); n = 1; 2; : : : ; T

ãäå n  0  íåñëó÷àéíàÿ ïîñëåäîâàòåëüíîñòü, îïðåäåëÿþùàÿ âåëè÷èíó øàãà àëãîðèòìà, è  íåêîòîðàÿ ïîëîæèòåëüíî îïðåäåëåííàÿ q  q ìàòðèöà: B + 12 I  óñòîé÷èâàÿ. Àíàëîãè÷íûì îáðàçîì çàïèñûâàþòñÿ àëãîðèòì ñ óñðåäíåíèåì íà îñíîâå (2.6) è ÐÌÍÊ íà áàçå (2.7). Îöåíêè àëãîðèòìà (2.10) îñòàþòñÿ ñèëüíîñîñòîÿòåëüíûìè è ïðè áîëåå ñëàáûõ ïðåäïîëîæåíèÿõ î âõîäàõ, ÷åì (2.A").

(2.A3) Ïîñëåäîâàòåëüíîñòü f
n gn0 ïðåäñòàâëÿåò ñîáîé íàáîð ðåàëè-

çàöèé íåçàâèñèìûõ öåíòðèðîâàííûõ ñëó÷àéíûõ âåêòîðîâ ñ ñèììåòðè÷íûìè ôóíêöèÿìè ðàñïðåäåëåíèÿ Pn (
) è ìàòðèöàìè êîâàðèà4 2 4 öèé Ef
n
T n g = n B > 0, ïðè÷åì Efk
n k g  n M4 < 1: Ïðè ëþáîì n è çàäàííîì s âåêòîðû
n íå çàâèñÿò îò  -àëãåáðû Fsn;p , ïîðîæäåííîé f'0 ; : : : ; 'sn 1 ; 'sn+1 ; : : : ; 'sn+p ; v0 ; : : : ; vsn+p g.

(2.A4) Ïóñòü s > p  íåêîòîðîå íàòóðàëüíîå ÷èñëî. Âõîäû f't gt0

ïðåäñòàâëÿþò ñîáîé ïîñëåäîâàòåëüíîñòü ñëó÷àéíûõ âåêòîðîâ, îãðàíè÷åííûõ â ñðåäíåêâàäðàòè÷íîì ñìûñëå: Efk't kg  '2 . Ïðè ëþáîì n  0 ìàòåìàòè÷åñêèå îæèäàíèÿ Ef'sn g èçâåñòíû è ðàâíîìåðíî îãðàíè÷åíû: kEf'sn gk  M' < 1. Ïîñëåäîâàòåëüíîñòü ñëó÷àéíûx âåêòîðîâ f
n gn0 :
n = 'sn Ef'sn g; óäîâëåòâîðÿåò óñëîâèþ (2.A3).

Ñëåäóþùàÿ íîâàÿ òåîðåìà ÿâëÿåòñÿ íåïîñðåäñòâåííûì ñëåäñòâèåì äîêàçàòåëüñòâ òåîðåì 2.1 è 2.2 è ñóùåñòâåííî óñèëèâàåò ñîîòâåòñòâóþùèé ðåçóëüòàò èç [23].

2.2. ÀÂÒÎÐÅÃÐÅÑÑÈß, ÑÊÎËÜÇßÙÅÅ ÑÐÅÄÍÅÅ

111

Ò å î ð å ì à 2.5 Åñëè âûïîëíåíû óñëîâèÿ: (2.A4) äëÿ âõîäîâ ìîäåëè, (2.Bii) äëÿ ïîìåõ, ìàòðèöà óñòîé÷èâàÿ è ïðè

B + 12 I 

n!1

n ! 0; n n = n 1 ; n 1 X n=1

n = 1;

n 1 X n=1

1

= o(n 1 ) n = 1 + O(n 1 );

2n (1 + n2 ) < 1;

òîãäà ïîñëåäîâàòåëüíîñòü îöåíîê f^n g, äîñòàâëÿåìûõ àëãîðèòìîì

(2.10), ñîñòîÿòåëüíàÿ è åå àñèìïòîòè÷åñêàÿ ñêîðîñòü ñõîäèìîñòè õàðàêòåðèçóåòñÿ íåðàâåíñòâàìè:

Ef(^ni

i)(^ni i )T g  n S + o (n ); i = 0; 1; : : : ; p;

â êîòîðûõ ^ni  i-ûé ñòîëáåö ìàòðèöû ^n , a ìàòðèöà ðåøåíèåì ìàòðè÷íîãî óðàâíåíèÿ

BS + SB

S =



M'2  + (p + 1)(v2 + '2

p X j =0

S ÿâëÿåòñÿ 

kj k2 )

B

ïðè êàêîìëèáî  > 0. Åñëè äëÿ ïîìåõ âûïîëíåíî áîëåå ñèëüíîå óñëîâèå (2.Bi) è ïîñëåäîâàòåëüíîñòü âõîäîâ îãðàíè÷åííàÿ: k'n k  C' , òî ïîñëåäîâàòåëüíîñòü îöåíîê f^n g ñèëüíîñîñòîÿòåëüíàÿ.

2.2.3

Èäåíòèôèêàöèÿ äèíàìè÷åñêîãî îáúåêòà

Ïðåäïîëîæèì, ÷òî îáúåêò óïðàâëåíèÿ (ÎÓ) ñî ñêàëÿðíûìè âõîäàìè è âûõîäàìè îïèñûâàåòñÿ â äèñêðåòíîì âðåìåíè óðàâíåíèåì (1.1)

a(z;  ? )yt = b(z;  ? )ut + vt ; t = l; l + 1; : : : ; â êîòîðîì yt  âûõîä ÎÓ; ut  âõîä ÎÓ (óïðàâëÿþùåå âîçäåéñòâèå); vt  ïîìåõà (âîçìóùàþùåå âîçäåéñòâèå); z  îïåðàöèÿ ñäâèãà íà òàêò íàçàä: zyt = yt 1 ;

a(z;  ? ) = 1 + za?1 +


+ z p a?p ; b(z;  ? ) = z l b?l + z l+1 b?l+1 +


+ z p b?p ;

112

ÃËÀÂÀ 2. ËÈÍÅÉÍÛÅ ÇÀÄÀ×È

íàòóðàëüíîå ÷èñëî p  ïîðÿäîê ìîäåëè; l  çàïàçäûâàíèå â óïðàâëåíèè, 1  l  p; 0

a?1 a?2

1

B C B C B .. C B . C B ? C B ap C ? C  =B B b? C B l C B b? C B l+1 C B . C @ .. A

b?p

 âåêòîð êîýôôèöèåíòîâ óðàâíåíèÿ. Ïóñòü ÷àñòè÷íî èëè ïîëíîñòüþ êîýôôèöèåíòû óðàâíåíèÿ ÎÓ íåèçâåñòíû, íî

(2.E) èçâåñòíî îãðàíè÷åííîå è çàìêíóòîå ìíîæåñòâî

T : ? 2 T .

Òðåáóåòñÿ ïî íàáëþäåíèÿì çà âûõîäàìè ÎÓ fyt g ïðè èçâåñòíûõ âõîäàõ (óïðàâëåíèÿõ) fut g îöåíèòü çíà÷åíèÿ íåèçâåñòíûõ êîýôôèöèåíòîâ óðàâíåíèÿ ÎÓ (1.1). Ïîñòðîåíèå èäåíòèôèöèðóþùåãî àëãîðèòìà îáû÷íî îñíîâàíî íà èñïîëüçîâàíèè òåõ èëè èíûõ ñâîéñòâ ïîìåõè fvt g â óðàâíåíèè (1.1). Ïðè îïðåäåëåííûõ ïðåäïîëîæåíèÿõ î ñòàòèñòè÷åñêèõ ñâîéñòâàõ ïîìåõ è óïðàâëÿþùèõ âîçäåéñòâèé çàäà÷à èäåíòèôèêàöèè äîïóñêàåò ðåøåíèå, è îíî èìååò âèä ðåêóððåíòíûõ ñîîòíîøåíèé, äîñòàâëÿþùèõ ïîñëåäîâàòåëüíîñòü îöåíîê, ñêîëü óãîäíî áëèçêèõ ê âåêòîðó íåèçâåñòíûõ ïàðàìåòðîâ ïðè íåîãðàíè÷åííîì óâåëè÷åíèè îáúåìà íàáëþäåíèé. Òàê, åñëè ïîìåõà áåëîøóìíàÿ, òî øèðîêî èñïîëüçóåòñÿ ìåòîä íàèìåíüøèõ êâàäðàòîâ (ëèáî åãî ðåêóððåíòíûå ìîäèôèêàöèè), ïðè êîíå÷íî êîððåëèðîâàííîé ïîìåõå ÷àñòî èñïîëüçóåòñÿ ìåòîä èíñòðóìåíòàëüíîé ïåðåìåííîé, ïðè èçâåñòíûõ ïëîòíîñòÿõ ðàñïðåäåëåíèÿ âðåìåííîãî ðÿäà fvt g ïðèìåíÿåòñÿ ìåòîä ìàêñèìóìà ïðàâäîïîäîáèÿ.  ðàññìàòðèâàåìîé çäåñü çàäà÷å ïîìåõè fvt g ïîëåçíûìè ñòàòèñòè÷åñêèìè ñâîéñòâàìè ìîãóò íå îáëàäàòü (äà è âîîáùå ìîãóò íå áûòü ñëó÷àéíûìè), ïîýòîìó óïîìÿíóòûå ìåòîäû íåïðèìåíèìû. Åñëè óïðàâëåíèÿ ôîðìèðóþòñÿ â âèäå äåòåðìèíèðîâàííûõ íåóïðåæäàþùèõ ôóíêöèé îáðàòíîé ñâÿçè

ut = Ut (yt ; yt 1 ; : : : ; ut 1 ; : : :); òî ïðè ïðîèçâîëüíûõ íåèçâåñòíûõ, íî îãðàíè÷åííûõ ïîìåõàõ

jvt j  Cv

2.2. ÀÂÒÎÐÅÃÐÅÑÑÈß, ÑÊÎËÜÇßÙÅÅ ÑÐÅÄÍÅÅ

113

(Cv > 0  èçâåñòíûé óðîâåíü ïîìåõè), íàäåÿòüñÿ íà âîçìîæíîñòü òî÷íîé èäåíòèôèêàöèè íåðåàëüíî. Íà îñíîâàíèè t íàáëþäåíèé ìîæíî óâåðåííî óòâåðæäàòü òîëüêî òî, ÷òî âåêòîð íåèçâåñòíûõ ïàðàìåòðîâ ïðèíàäëåæèò íåêîòîðîìó ìíîæåñòâó (ñì. ï. 1.7.4), ðàçìåð êîòîðîãî ñîâñåì íåîáÿçàòåëüíî äîëæåí óìåíüøàòüñÿ äî íóëÿ ïðè t ! 1. Äëÿ òî÷íîãî ðåøåíèÿ òàê "ïëîõî" ïîñòàâëåííîé çàäà÷è îäèí èç ñïîñîáîâ, äàþùèõ ñîñòîÿòåëüíûå îöåíêè âåêòîðà íåèçâåñòíûõ ïàðàìåòðîâ, çàêëþ÷àåòñÿ â ðàíäîìèçàöèè ñòðàòåãèè óïðàâëåíèÿ çà ñ÷åò äîáàâëåíèÿ ê óïðàâëåíèÿì, ãåíåðèðóåìûì ïî çàêîíàì îáðàòíîé ñâÿçè, ïðîáíîãî ñëó÷àéíîãî âîçìóùåíèÿ ñ çàäàâàåìûìè ñòàòèñòè÷åñêèìè ñâîéñòâàìè. Îêàçûâàåòñÿ, èñïîëüçîâàíèå ñëó÷àéíûõ ïðîáíûõ ñèãíàëîâ â êàíàëå óïðàâëåíèÿ ïîçâîëÿåò âîññòàíîâèòü íåèçâåñòíûå êîýôôèöèåíòû óðàâíåíèÿ (1.1) ïðè âåñüìà îáùèõ ïðåäïîëîæåíèÿõ î ïîìåõàõ fvt g.

2.2.4

Ïðîáíûé ñèãíàë

Äëÿ òîãî, ÷òîáû ïîñëåäîâàòåëüíîñòü ñòîõàñòè÷åñêèõ ðåãðåññîðîâ ðàññìàòðèâàåìîé ñèñòåìû îáåñïå÷èâàëà âûïîëíåíèå óñëîâèÿ ïîñòîÿííîãî âîçáóæäåíèÿ, ÿâëÿþùåãîñÿ îáû÷íî íåîáõîäèìûì äëÿ ïîñòðîåíèÿ ñîñòîÿòåëüíîé ïîñëåäîâàòåëüíîñòè îöåíîê, ââåäåì â ðàññìîòðåíèå íîâîå (äîïîëíèòåëüíîå) ñëó÷àéíîå âîçìóùåíèå (âîçáóæäåíèå). Åñëè åãî êîâàðèàöèîííàÿ ìàòðèöà ñòðåìèòñÿ ê íóëåâîé ïðè t ! 1, òî ïîìèìî ñîñòîÿòåëüíîñòè îöåíîê ìîæíî áóäåò íàäåÿòüñÿ íà ïðåäåëüíóþ îïòèìàëüíîñòü èñïîëüçóåìîé ñòðàòåãèè óïðàâëåíèÿ. Ýòîò ïîäõîä, íàçûâàåìûé â ëèòåðàòóðå ìåòîä çàòóõàþùåãî âîçáóæäåíèÿ (ñì.[17, 117]), çàêëþ÷àåòñÿ â ñëåäóþùåì. Ïóñòü s > 2p l  íåêîòîðîå íàòóðàëüíîå ÷èñëî, è f
n gn0  ñêàëÿðíîå ïðîáíîå âîçìóùåíèå (ñëó÷àéíàÿ ïîñëåäîâàòåëüíîñòü), óäîâëåòâîðÿþùåå óñëîâèþ (2.A3). Óñëîâèìñÿ óïðàâëåíèÿ fut g ôîðìèðîâàòü ïî ïðàâèëó 

(2.11)

u + R
; usn+i = usn ; n n sn+i

ãäå

Rn = CR (1 +

p X j =1

ïðè ïðè

i = 0, i = 1; 2; : : : ; s 1,

jysn+l j j +

p l X j =1

jusn j j)

c íåêîòîðîé ïîñòîÿííîé CR > 0, è ñîáñòâåííî óïðàâëåíèÿ ëÿþòñÿ ïî çàêîíó îáðàòíîé ñâÿçè (2.12)

ut = Ut (yt ; yt 1 ; : : : ; ut 1 ; : : :); t  0; u

k

fut g îïðåäå-

= 0; k > 0;

ÃËÀÂÀ 2. ËÈÍÅÉÍÛÅ ÇÀÄÀ×È

114

â êîòîðîì ôóíêöèè Ut (
; : : : ;
) óäîâëåòâîðÿþò óñëîâèþ (2.F) ñêîðîñòü ðîñòà çíà÷åíèé ôóíêöèé ìåðíî îãðàíè÷åíà:

Ut (
; : : : ;
); t = 0; 1; : : : ðàâíî-

Ut(yt ; yt 1 ; : : : ; ut 1 ; : : :)  Rn; 8 n = 0; 1; : : : ; t 2 [sn; s(n + 1)):  ÷àñòíîñòè, âîçìîæíî èñïîëüçîâàíèå òðèâèàëüíîãî çàêîíà îáðàòíîé ñâÿçè: u t = 0; t = 0; 1; : : : :

2.2.5

Ââåäåíèå ïàðàìåòðà îöåíèâàíèÿ

Îáñóæäàåìûé äàëåå èäåíòèôèöèðóþùèé àëãîðèòì îñíîâàí íà ïåðåïàðàìåòðèçàöèè óðàâíåíèÿ ÎÓ (1.1), ïîçâîëÿþùåé ïðåîáðàçîâàòü åãî ê âèäó, êîòîðûé íåçíà÷èòåëüíî îòëè÷àåòñÿ îò ëèíåéíîé ñõåìû íàáëþäåíèÿ ïî îòíîøåíèþ ê ïðîáíîìó ñèãíàëó. Ïåðåéäåì ê îïèñàíèþ ýòîãî ïðåîáðàçîâàíèÿ. Ïîñêîëüêó a(0;  ) = 1, òî äëÿ ïðîèçâîëüíîãî ôèêñèðîâàííîãî k 2 N óðàâíåíèå k (;  )a(;  ) + k k (;  ) = 1 îäíîçíà÷íî ðàçðåøèìî îòíîñèòåëüíî ìíîãî÷ëåíîâ k (;  ) è k (;  ) ïðè òîì óñëîâèè, ÷òî ñòåïåíü ìíîãî÷ëåíà k (;  ) ìåíüøå k . Äëÿ íàõîæäåíèÿ êîýôôèöèåíòîâ k;i ( ) ìíîãî÷ëåíà k (;  ) ìîæíî ðåøèòü ñèñòåìó ëèíåéíûõ óðàâíåíèé

k (0;  ) = 1;

@i (;  )a(;  )j=0 = 0; i = 1; 2; : : : ; k; (@)i k

ìàòðèöà êîýôôèöèåíòîâ êîòîðîé èìååò íèæíåòðåóãîëüíóþ ôîðìó. Ïîñëå ýòîãî ôîðìóëà

k (;  ) =

1 k (;  )a(;  ) k

îïðåäåëÿåò ìíîãî÷ëåí k (;  ) (÷èñëèòåëü â ïðàâîé ÷àñòè äåëèòñÿ íàöåëî íà k â ñèëó îïðåäåëÿþùåãî ñîîòíîøåíèÿ, ñâÿçûâàþùåãî ìíîãî÷ëåíû k (;  ) è k (;  )). Äàëåå ñ÷èòàåì, ÷òî ìíîãî÷ëåíû k (;  ) è k (;  ) èçâåñòíû ïðè êàæäîì  2 T . Äåéñòâóÿ íà îáå ÷àñòè óðàâíåíèÿ ÎÓ (1.1) îïåðàòîðîì k (z;  ? ), ïîëó÷àåì

yt = k (z;  ? )yt l + k (z;  ? )b(z;  ? )ut + k (z;  ? )vt :

2.2. ÀÂÒÎÐÅÃÐÅÑÑÈß, ÑÊÎËÜÇßÙÅÅ ÑÐÅÄÍÅÅ

115

Ðàçîáúåì ìíîæåñòâî N íàòóðàëüíûõ ÷èñåë íà íåïåðåñåêàþùèåñÿ ïîäìíîæåñòâà (äèñêðåòíûå èíòåðâàëû): N n = fsn + l; sn + l + 1; : : : ; s(n + 1) + l 1g; n 2 N . Íà èíòåðâàëå ñ íîìåðîì n óðàâíåíèå ÎÓ (1.1) ìîæåò áûòü ïðåäñòàâëåíî â âèäå (2.13)

ysn+k = k (z;  ? )ysn + k (z;  ? )b(z;  ? )usn+k + k (z;  ? )vsn+k ;

Îáîçíà÷èì i = i ( ? )  êîýôôèöèåíò ïðè usn â ïðàâîé ÷àñòè ïîñëåäíåé ôîðìóëû ïðè k = l + i 1. Íîâûå ïàðàìåòðû îáëàäàþò ñëåäóþùèì ïî÷òè î÷åâèäíûì, â ñèëó îïðåäåëåíèÿ, ñâîéñòâîì.

k = l; 2; : : : ; s + l

1:

Ë å ì ì à 2.1 [17] Îïðåäåëåííûå âûøå âåëè÷èíû i ; i = 1; 2; : : : ; s óäîâëåòâîðÿþò ñèñòåìå óðàâíåíèé 8 ? < a(z;  )i :

= b?l+i 1 ; i = 1; 2; : : : ; s;

b?j = 0; j > p:

i = 0; i < 1;

Ââåäåííûé íîâûé íàáîð ïàðàìåòðîâ ìîæåò îêàçàòüñÿ èçáûòî÷íûì â òîì ñìûñëå, ÷òî äëÿ âîññòàíîâëåíèÿ íåèçâåñòíûõ êîìïîíåíò âåêòîðà  ? íå îáÿçàòåëüíî íóæíû çíà÷åíèÿ âñåõ i ; i = 1; 2; : : : ; s. Íàïðèìåð, åñëè íåèçâåñòåí âñåãî îäèí êîýôôèöèåíò b?l , òî äëÿ åãî âîññòàíîâëåíèÿ äîñòàòî÷íî çíàòü òîëüêî 1 . Âûáåðåì r  s  ðàçìåðíîñòü âåêòîðîâ íîâûõ ïàðàìåòðîâ  èç óñëîâèÿ âîçìîæíîñòè îäíîçíà÷íîãî âîññòàíîâëåíèÿ âåêòîðà  ? ïî ñîîòâåòñòâóþùåìó åìó âåêòîðó íîâûõ ïàðàìåòðîâ. Áîëåå òî÷íî, ïóñòü r 2 N . Äëÿ ëþáîãî âåêòîðà  2 T îïðåäåëèì r  r ìàòðèöó A( ) è r -âåêòîð B ( ) ïî ïðàâèëó: 0

::: ::: :::

1 0 B a1 1 B a a1 A( ) = B B 2 @ ...

.. .

..

.

0 : : : ap : : :

0 1 bl 0 01 .. C B 0 0C B . C C B C 0 0C C ; B ( ) = B bp C :

.. . a1

.. A .

1

B . C @ .. A

0

Âåêòîð  ðàçìåðíîñòè r , ñîñòàâëåííûé èç ïåðâîé ÷àñòè ââåäåííûõ âûøå íîâûõ ïàðàìåòðîâ, çàäàåòñÿ ôîðìóëîé 0

 = ( ? ) =

1 ( ? ) 1 B 2 ( ? ) C B C @

.. .

r ( ? )

A=A

1 ( ? )B ( ? );

ÃËÀÂÀ 2. ËÈÍÅÉÍÛÅ ÇÀÄÀ×È

116

êîòîðàÿ îïðåäåëÿåò îòîáðàæåíèå  ( ) ìíîæåñòâà T  R 2p l+1 íà íåêîòîðîå ïîäìíîæåñòâî   R r . Hàèáîëåå ïîäõîäÿùåå çíà÷åíèå r  ýòî ìèíèìàëüíàÿ ðàçìåðíîñòü ìíîæåñòâà , ïðè êîòîðîé òîëüêî ÷òî îïðåäåëåííîå îòîáðàæåíèå  (
) : T !  èìååò â íåêîòîðîé îêðåñòíîñòè òî÷êè  íåïðåðûâíîå îáðàòíîå:

(
) =  1 (
) :  ! T : Åñëè íåèçâåñòíû âñå êîýôôèöèåíòû ìíîãî÷ëåíîâ a(
;  ? ) è b(
;  ? ) äî ñòåïåíåé pa è pb ñîîòâåòñòâåííî, òî ìîæíî âçÿòü r = pa + pb l + 1 è îáðàòíîå ïðåîáðàçîâàíèå  ( ) îïðåäåëèòü òàê. Äëÿ ïðîèçâîëüíîãî âåêòîðà  èç R r çàäàäèì íàáîð èç pa +1 âåêòîðîâ Ak ( ) 2 R r ïî ïðàâèëó: 0 B

Ak () = B B @

1

k+pb k+pb

l l 1 C C

k+pb

l pa

.. .

C; A

k = 0; 1; : : : ; pa (i = 0; i < 1):

Ïóñòü âåêòîð 0

a1 () 1  () C B a B 2 C

a = a() = @

.. .

A

apa () íàéäåí èç óñëîâèÿ

a = arg minpa a2R







Apa 1 () Apa 2()


A0() a + Apa () ;

ãäå ïîä argmina f (a) ïîíèìàåòñÿ ïðîèçâîëüíûé âåêòîð a, íà êîòîðîì ôóíêöèÿ f (
) ïðèíèìàåò íàèìåíüøåå çíà÷åíèå. Åñëè îïðåäåëèòü âåêòîð

bl () 1 b () C B B l+1 C 0

b() = @

.. .

bpb ()

A

ñ ïîìîùüþ ñîîòíîøåíèé:

bk = bk () = k + a1 ()k

2 ()k 2 + 1+a




+ apa ()k pa ;

2.2. ÀÂÒÎÐÅÃÐÅÑÑÈß, ÑÊÎËÜÇßÙÅÅ ÑÐÅÄÍÅÅ

117

k = l; : : : ; pb ; òî ìîæíî ââåñòè ôóíêöèþ 0 1 a() B ap +1 C B a C B .. B . B B ap () = B B  B b( ) Bb B pb +1 B . @ ..

(2.14)

bp

C C C C C; C C C C C A

çàäàííóþ íà âñåì R r . Ïðè ýòîì ñîâñåì íå îáÿçàòåëüíî ( ( ? )) =  ? . Îäíàêî, åñëè âåêòîðû Ak ( ); k = 0; 1; : : : ; pa 1 ëèíåéíî íåçàâèñèìû, òî ïîñëåäíèå ôîðìóëû îïðåäåëÿþò åäèíñòâåííóþ ïàðó âåêòîðîâ ( a; b), ? ? ? ? è ýòà ïàðà ñîâïàäàåò ñ (a ; b ), ò. å. â ýòîì ñëó÷àå  =  . Ñëåäóþùåå óòâåðæäåíèå âñêðûâàåò áîëåå ãëóáîêóþ ñâÿçü ìåæäó âåêòîðàìè  è  .

Ë å ì ì à 2.2 ([86], ëåììà 5.6.1). Åñëè âûïîëíåíî óñëîâèå

(2.G) äëÿ íåèçâåñòíîãî ïàðàìåòðà  ? 2 T ìíîãî÷ëåíû a(
;  ? ) è b(
;  ? ) âçàèìíî íåñîêðàòèìû,

òîãäà îïðåäåëåííûå âûøå r-âåêòîðû íåçàâèñèìû è ãäå

Ak (); k = 0; 1; : : : ; pa 1 ëèíåéíî

(( ? )) =  ? ;

(
)  ôóíêöèÿ èç (2.14).

Ïðèìåð. Ïðîèëëþñòðèðóåì ñïîñîá ââåäåíèÿ íîâîãî ïàðàìåòðà îöåíèâàíèÿ â çàäà÷å èäåíòèôèêàöèè íåèçâåñòíûõ ïàðàìåòðîâ ëèíåéíîãî äèñêðåòíîãî ÎÓ (1.1), äèíàìèêà êîòîðîãî îïèñûâàåòñÿ ðàçíîñòíûì óðàâíåíèåì âòîðîãî ïîðÿäêà

yt + a?1 yt 1 + yt

2

= b?1 ut

? 1 + b2 ut 2 + vt ;

ñ íåèçâåñòíûìè òðåìÿ êîýôôèöèåíòàìè: [ 10; 0]. Îáîçíà÷èì ÷åðåç

? =

0 ?1 a1 B 1 C B C @ b? A 1 b?2

a?1

t = 1; 2; : : :

2 [2; 10], b?1 2 [1; 10], b?2 2

2 T = [2; 10]  f1g  [1; 10]  [ 10; 0]  R4

ÃËÀÂÀ 2. ËÈÍÅÉÍÛÅ ÇÀÄÀ×È

118

âåêòîð êîýôôèöèåíòîâ óðàâíåíèÿ îáúåêòà. Òðåõìåðíûé âåêòîð "íîâûõ" ïàðàìåòðîâ  (r = 3) îïðåäåëÿåòñÿ òàê: 0

1

b?1 ? ? @ A 2 R3 :  = ( ) = b2 a?1 b?1 2 ? ? ? ? (a1 1)b1 a1 b2 Ïðè çàäàííûõ îãðàíè÷åíèÿõ íà íåèçâåñòíûå ïàðàìåòðû ÎÓ îòîáðàæåíèå (
) : T !  = (T )  R3 îáðàòèìî. Båêòîð êîýôôèöèåíòîâ ÎÓ ? ñâÿçàí c  ñëåäóþùèì îáðàòíûì ñîîòíîøåíèåì: 0

 ? = () = 2.2.6

B B @

1 +3 2

2

1 1

1 (1 +3 ) 2

1 C C: A

Ðàíäîìèçèðîâàííûé àëãîðèòì èäåíòèôèêàöèè

Åñëè îáîçíà÷èòü yt = yt =Rn è 't = ut =Rn , òî, â ñèëó (2.13), ïîñëåäîâàòåëüíîñòè fyt g è f't g ñâÿçàíû óðàâíåíèåì ñêîëüçÿùåãî ñðåäíåãî:

yt+l =

r 1 X i=0

i+1 ut i + vt+l ;

ñ êîýôôèöèåíòàìè 1 ; : : : ; r è íåêîòîðûìè ïîìåõàìè fvt g. Ïðè âûïîëíåíèè óñëîâèé: (2.A3) äëÿ ïðîáíîãî âîçìóùåíèÿ f
n g, (2.D) äëÿ íà÷àëüíûõ äàííûõ, (2.E) äëÿ ìíîæåñòâà íåîïðåäåëåííîñòè, (2.F) äëÿ ôóíêöèé îáðàòíîé ñâÿçè è (2.Biii) äëÿ ïîìåõ fvt g, óäîâëåòâîðÿþòñÿ âñå óñëîâèÿ òåîðåìû 2.5 è äëÿ ïîñòðîåíèÿ ñèëüíîñîñòîÿòåëüíîé ïîñëåäîâàòåëüíîñòè îöåíîê f^n g âåêòîðà  ìîæíî âîñïîëüçîâàòüñÿ àëãîðèòìîì (2.10), êîòîðûé â ýòîì ñëó÷àå èìååò âèä

^n = ^n

1



1  n
2n ^n n

1

ãäå 0 B

Yn =B @

ysn+l ysn+l+1

1 C

C .. A . ysn+r+l 1




n n Y ; Rn

2.2. ÀÂÒÎÐÅÃÐÅÑÑÈß, ÑÊÎËÜÇßÙÅÅ ÑÐÅÄÍÅÅ

119

è ïàðàìåòð àëãîðèòìà  âûáèðàåòñÿ èç óñëîâèÿ 2B  1. Âûïîëíåíèå óñëîâèÿ (2.G) áóäåò ãàðàíòèðîâàòü âîçìîæíîñòü ñ ïîìîùüþ ôóíêöèè (
) èç (2.14) ïîëó÷èòü ñèëüíîñîñòîÿòåëüíûå îöåíêè âåêòîðà  ? . Ñïåöèôèêà çàäà÷è ïîçâîëÿåò âûïèñàòü åùå îäèí àëãîðèòì. Íà âðåìåíí oì èíòåðâàëå N n = fsn + l; sn + l + 1; : : : ; sn + r + l 1g; n 2 N ; â ñèëó óðàâíåíèÿ (2.13), ñïðàâåäëèâî ñîîòíîøåíèå:

Y n = ( ? )Rn
n + ãäå

n ( ( ? )) +  n ;

 = ( ? )  âåêòîð íîâûõ ïàðàìåòðîâ è n ( )

=

0 n 1 1 ( ) n B 2 ( ) C B . C; @ . A

n i ( ) = i+l 1

0

n =

. n ( ) r (z;  ? )b(z;  ? )u

i+l 1 (z;  ? )vsn+l B i+l 1 (z;  ? )vsn+l+1 B @

i+l

1

.. . (z;  ? )v

1 C C; A

sn+l+r 1

sn+i+l 1 + i+l 1 (z; 

? )y

sn ;

i = 1; : : : ; r:

Ïîñëåäíåå ñîîòíîøåíèå èìååò âèä ëèíåéíîé ñõåìû íàáëþäåíèÿ ïî îòíîøåíèþ ê âåêòîðíîìó ïàðàìåòðó  ( ? ), â êîòîðîé ñëó÷àéíûå âåêòîðû Rn
n è n +  n ñòîõàñòè÷åñêè "ïî÷òè íåêîððåëèðîâàíû". Ýòî ñîîáðàæåíèå ïîäñêàçûâàåò âèä àëãîðèòìà îöåíèâàíèÿ (èäåíòèôèêàöèè) íåèçâåñòíîãî âåêòîðà  ( ? ) (2.15)

^n = ^n

1



n 1 2 ^n
n  n

1


n

Yn

n (^n 1 ) 

Rn

;

ãäå

 íåêîòîðàÿ ïîëîæèòåëüíî îïðåäåëåííàÿ ìàòðèöà. Óòâåðæäåíèå î ñîñòîÿòåëüíîñòè îöåíîê, äîñòàâëÿåìûõ ïðåäëîæåííûì àëãîðèòìîì (2.15), ñôîðìóëèðóåì ñëåäóþùèì îáðàçîì.

Ò å î ð å ì à 2.6 [138] Ïóñòü óïðàâëåíèÿ fut g çàäàþòñÿ ïî (2.11) (2.12) è ïðîáíîå âîçìóùåíèå f
n g óäîâëåòâîðÿåò äîïóùåíèþ (2.A3). Åñëè âûïîëíåíû óñëîâèÿ (2.DG), (2.Biii), n = 1 + O (n 1 ) è

2min( )B  1,

òîãäà ïðè ïðîèçâîëüíîì íà÷àëüíîì ^0

êàöèè (2.15) è (2.16)

2 Rr

àëãîðèòìû èäåíòèôè-

 t = (^n ); sn < t  s(n + 1); s = 1; 2; : : : ; n = 0; 1; : : : ;

ãäå (
)  ôóíêöèÿ èç (2.14), äîñòàâëÿþò ñèëüíîñîñòîÿòåëüíûå îöåíêè f^ng è f t g.

ÃËÀÂÀ 2. ËÈÍÅÉÍÛÅ ÇÀÄÀ×È

120

Åñëè n = (1 + lnfng) 1 , òî ïðè ïðîèçâîëüíîì  > 0 ñ âåðîÿòíîñòüþ åäèíèöà è â ñðåäíåêâàäðàòè÷íîì ñìûñëå ñïðàâåäëèâû ïðåäåëüíûå ñîîòíîøåíèÿ:

lim n1

n!1

 k^n

( ? )k2 = 0; tlim t1 !1

 k t

 ? k2 = 0:

Çàìå÷àíèå 2.4. Èç âèäà ôîðìóë äëÿ óïðàâëåíèÿ (2.11) ñëåäóåò, ÷òî ïðè ðàâíîìåðíîé îãðàíè÷åííîñòè Rn è 1 = 0 ïðîáíûé ñèãíàë Rn
n íèâåëèðóåòñÿ ñ òå÷åíèåì âðåìåíè. Ýòà îñîáåííîñòü ïðåäëàãàåìîé ðàíäîìèçèðîâàííîé ñòðàòåãèè âûáîðà óïðàâëåíèé áóäåò èñïîëüçîâàíà äàëåå â ÷åòâåðòîé ãëàâå ïðè ñèíòåçå àäàïòèâíîãî îïòèìàëüíîãî óïðàâëåíèÿ.

2.3 Ôèëüòðàöèÿ ñëó÷àéíûõ ïðîöåññîâ, íàáëþäàåìûõ íà ôîíå îãðàíè÷åííûõ ïîìåõ Ïîä ôèëüòðàöèåé ïîíèìàþòñÿ àëãîðèòìû îáðàáîòêè ðåàëèçàöèé ñëó÷àéíûõ ïðîöåññîâ, íàïðàâëåííûå íà ïîäàâëåíèå ïîìåõ, çàøóìëÿþùèõ (îáû÷íî àääèòèâíî) ïîëåçíûé ñèãíàë.  îñíîâå òåîðèè îïòèìàëüíîé ôèëüòðàöèè ëåæèò ìåòîä ÂèíåðàÊîëìîãîðîâà è åãî ðåêóððåíòíûå ìîäèôèêàöèè, èçâåñòíûå ïîä îáùèì íàçâàíèåì ôèëüòðà ÊàëìàíàÁüþñè.  ñèòóàöèè ïðîèçâîëüíûõ îãðàíè÷åííûõ ïîìåõ âîçìîæíà ìèíèìàêñíàÿ ïîñòàíîâêà çàäà÷è îá îïòèìàëüíîé ôèëüòðàöèè (ñì., íàïðèìåð, [85]), íî ïîëó÷àþùèåñÿ â åå ðàìêàõ ðåøåíèÿ ïðè âûñîêîì óðîâíå ïîìåõ íàáëþäåíèÿ ìàëîèíôîðìàòèâíû.  ïåðâîì ïóíêòå îïèñûâàåòñÿ ñïîñîá ïðåäñêàçàíèÿ çíà÷åíèé ñëó÷àéíîãî ïðîöåññà, íàáëþäàåìîãî íà ôîíå ïðîèçâîëüíûõ ïîìåõ. Îáîñíîâûâàåòñÿ ðàçóìíîñòü åãî ïðèìåíåíèÿ â òîé ñèòóàöèè, êîãäà ìîæíî ñ÷èòàòü ñëó÷àéíîé è "íåâûðîæäåííîé" ïîñëåäîâàòåëüíîñòü âõîäîâ ìîäåëè  êîýôôèöèåíòîâ ïðåîáðàçîâàíèÿ èçó÷àåìîãî ïðîöåññà. Ïðåäëàãàåìûé ôèëüòð èìååò ñòðóêòóðó, ïîõîæóþ íà óïðîùåííûé âàðèàíò ôèëüòðà ÊàëìàíàÁüþñè, ÷òî ìîæåò ãîâîðèòü î åãî îïðåäåëåííûõ îïòèìàëüíûõ ñâîéñòâàõ. Äàëåå àíàëèçèðóþòñÿ ïðè ðàçëè÷íûõ òèïàõ ïîìåõ âîçìîæíîñòè àëãîðèòìà ñòîõàñòè÷åñêîé àïïðîêñèìàöèè ñ ïîñòîÿííûì øàãîì â çàäà÷å îá îòñëåæèâàíèè äðåéôà ïàðàìåòðîâ ìîäåëè ëèíåéíîé ðåãðåññèè.

2.3. ÔÈËÜÒÐÀÖÈß ÑËÓ×ÀÉÍÛÕ ÏÐÎÖÅÑÑÎÂ

2.3.1

121

Ïðåäñêàçàíèå ñëó÷àéíîãî ïðîöåññà, íàáëþäàåìîãî íà ôîíå ïðîèçâîëüíûõ îãðàíè÷åííûõ ïîìåõ

Îãðàíè÷èìñÿ ðàññìîòðåíèåì ñëåäóþùåé ïîñòàíîâêè çàäà÷è: íàáëþäàåòñÿ ñêàëÿðíûé ñèãíàë, óäîâëåòâîðÿþùèé óðàâíåíèþ (2.17)

yn = 'Tn n + vn ;

ïðåäñòàâëÿþùèé ñîáîé ñìåñü ïðåîáðàçîâàííîãî âåêòîðíîãî ïðîöåññà f n g; n 2 Rr è ïîìåõè íàáëþäåíèÿ fvn g. Çäåñü 'n  r-ìåðíûé âåêòîð, èçâåñòíûé â ìîìåíò âðåìåíè n. Âåêòîðíûé ïðîöåññ f n g ïîðîæäàåòñÿ óñòîé÷èâûì ëèíåéíûì ôèëüòðîì (2.18)

n+1 = An + wn+1 ; p

â êîòîðîì A  èçâåñòíàÿ ìàòðèöà: kAk = max (AAT ) < 1, à fwn g  öåíòðèðîâàííûé íåçàâèñèìûé ñëó÷àéíûé ïðîöåññ: wn+1 íå çàâèñèò îò Fn è âìåñòå ñ fvn g óäîâëåòâîðÿåò óñëîâèþ (2.Bii) èç ï. 2.1.1. Çàäà÷à ôèëüòðàöèè ñ ïðîãíîçîì íà îäèí øàã ñîñòîèò â íàõîæäåíèè îöåíêè ^n+1 çíà÷åíèÿ ïðîöåññà f n g â ìîìåíò âðåìåíè n + 1 ïî íàáëþäåíèÿì yi ; 'i ; i  n. Êà÷åñòâî ôèëüòðàöèè îïðåäåëÿåòñÿ ñðåäíåé âåëè÷èíîé êâàäðàòà íåâÿçêè

Efk^n+1

n+1k2 g:

Îáû÷íî ñ÷èòàþò, ÷òî â ìîäåëè íàáëþäåíèé âåêòîðû f'n g çàäàþòñÿ äåòåðìèíèðîâàííîé ïîñëåäîâàòåëüíîñòüþ. Çäåñü áóäåì ïðåäïîëàãàòü, ÷òî ïîñëåäîâàòåëüíîñòü âåêòîðîâ f'n g ñëó÷àéíàÿ è óäîâëåòâîðÿåò ïðåäïîëîæåíèþ (2.A') èç ïóíêòà 2.1.1. Ðàññìîòðèì ñëåäóþùèé ðàíäîìèçèðîâàííûé àëãîðèòì ïîñòðîåíèÿ î÷åðåäíîé îöåíêè (2.19)

^n+1 = A^n A
n ('Tn ^n yn );
n = 'n Ef'n g;

ãäå n = 0; 1; : : : ;  > 0  âåëè÷èíà ðàçìåðà øàãà è  ïîëîæèòåëüíî îïðåäåëåííàÿ ñèììåòðè÷íàÿ ìàòðèöà. Áóäåì ñ÷èòàòü, ÷òî íà÷àëüíûå äàííûå ^0 çàäàíû ïðîèçâîëüíûì íåñëó÷àéíûì âåêòîðîì èç Rr . Ïîäñòàâèâ ôîðìóëû (2.17) è (2.18) â (2.19), äëÿ îøèáêè ïðåäñêàçàíèÿ ïîëó÷àåì

^n+1 n+1 = A(I 
n
Tn )(^n n) A
n (Ef'n gT (^n n) vn ) wn+1 :

ÃËÀÂÀ 2. ËÈÍÅÉÍÛÅ ÇÀÄÀ×È

122

Îáîçíà÷èì ÷åðåç Dn := k^n+1  n+1 k2 . Ïðè ñäåëàííûõ âûøå ïðåäïîëîæåíèÿõ, â ñèëó íåçàâèñèìîñòè ñëó÷àéíûõ âåêòîðîâ
n è wn+1 , óñðåäíÿÿ óñëîâíî ïî îòíîøåíèþ ê  -àëãåáðå Fn , âûâîäèì, ÷òî EfDn jFn g = kA(I 
n
Tn )(^n n) A
n (Ef'n gT (^n n) vn )k2 +rw2 : Èççà ñèììåòðè÷íîñòè ðàñïðåäåëåíèÿ P(
) èìååì (^n n)T Ef(I 
n
Tn )AT A
n jF~n g(Ef'n gT (^n

n ) vn ) = 0: Ñëåäîâàòåëüíî, óñðåäíèâ ïîëó÷åííîå âûøå âûðàæåíèå äëÿ EfDn jFn g ïî îòíîøåíèþ ê  -àëãåáðå F~n , ìîæíî çàêëþ÷èòü, ÷òî EfDn jF~n g  (1 2min (B ) + 2 k k2 M44 )kAk2 Dn 1 + + 2 (Ef'n gT (^n n) vn )2 kA k2 Tr[B] + rw2 : Äàëåå, âçÿâ áåçóñëîâíîå ìàòåìàòè÷åñêîå îæèäàíèå îò îáåèõ ÷àñòåé ïîñëåäíåé ôîðìóëû, èñïîëüçóÿ âûïîëíåíèå ïðè ëþáîì  > 0 íåðàâåíñòâà

2Ef'n gT (^n

n)vn

 M'vn2 + M' Dn 1;

äëÿ ñðåäíåãî çíà÷åíèÿ îøèáêè ïðåäñêàçàíèÿ ïîëó÷àåì ïðè ëþáîì  > 0 îöåíêó EfDn g  (; )EfDn 1 g + 2 (1 + M' )kA k2 Tr[B]Cv2 + rw2 ; ãäå (2.20)

(; ) = (1 2min (B )+ 2 k

k2 (M44 +(M' + 1 )M'Tr[B]))kAk2 :

Èç ïîñëåäíåãî íåðàâåíñòâà íåïîñðåäñòâåííî ñëåäóåò çàêëþ÷åíèå òåîðåìû.

Ò å î ð å ì à 2.7 [28] Ïóñòü ïîñëåäîâàòåëüíîñòè fyn g,f'n g,fvn g,fn g

è fwn g ñâÿçàíû óðàâíåíèÿìè (2.17) è (2.18),  > 0,  ïîëîæèòåëüíî îïðåäåëåííàÿ ìàòðèöà è ^0  ïðîèçâîëüíûé íåñëó÷àéíûé âåêòîð èç Rr . Åñëè âûïîëíåíû ïðåäïîëîæåíèÿ (2.A') è (2.Bii), òîãäà äëÿ îøèáîê ïðåäñêàçàíèÿ îöåíîê f^n g, ãåíåðèðóåìûõ ïî àëãîðèòìó (2.19), äëÿ ëþáîãî  > 0 è äîñòàòî÷íî ìàëîãî  òàêîãî, ÷òî (; ) < 1; âûïîëíÿþòñÿ íåðàâåíñòâà r2 + 2 (1 + M' )kA k2 Tr[B]Cv2 Efk^n+1 n+1 k2 g  w +

+ (; )n Efk^0

ãäå âåëè÷èíà

1

(; ) 0 k2 g;

(; ) îïðåäåëÿåòñÿ ôîðìóëîé (2.20).

2.3. ÔÈËÜÒÐÀÖÈß ÑËÓ×ÀÉÍÛÕ ÏÐÎÖÅÑÑÎÂ

123

Çàìå÷àíèå 2.5. Ðåçóëüòàò òåîðåìû 2.7 äàåò âîçìîæíîñòü èçó÷èòü çàâèñèìîñòü êà÷åñòâà ôèëüòðàöèè îò âåëè÷èíû ðàçìåðà øàãà àëãîðèòìà . Ïóñòü = B 1 , kAk 2 = 1 + O(3 ), Efk^0 0 k2 g = 0. Îáîçíà÷èì ÷åðåç r2 M 4 + (M' + 1=)M' Tr[B] c = w ; d() = 4 : 2 22min(B)  ýòîì ñëó÷àå äëÿ äîñòàòî÷íî ìàëûõ  èç çàêëþ÷åíèÿ òåîðåìû 2.7 ñëåäóåò, ÷òî Efk^n+1 n+1k2 g  D(; ) + O(2 ); ãäå 

 



(1 + M' )Tr[B]Cv2 1 D(; ) = c  : + d() + d()2 +  2c2min (B) Ïîñëåäíåå âûðàæåíèå õàðàêòåðèçóåò âçàèìíîå âëèÿíèå âîçìîæíîñòè ôèëüòðàöèè è ÷óâñòâèòåëüíîñòè ê ïîìåõàì. Îïòèìèçèðóÿ ïî  è  âûðàæåíèå äëÿ D (; ), íàõîäèì 

? = d(?

)2 +

(1 + M' ? )Tr[B]Cv2 2c2min (B)



1 2

;

ãäå ?  òî÷êà ìèíèìóìà ôóíêöèè 



q

2 (B)=(2c) :  () = c d() + 2 d()2 + (1 + M' )Tr[B]Cv2 min (2.21)D

Åñëè M' = 0, òî ôóíêöèÿ ïîëó÷àåì, ÷òî

? = è

D ? = D (0) =

q

D(; ) íå çàâèñèò îò .

 òàêîé ñèòóàöèè

2w 2min(B) M48 w2 + 42min(B)Tr[B]v2 =r





q rw 4  + 2 M 8  2 + 42 (B)Tr[B]C 2 =r : M v 4 w min 42min (B) 4 w

Ïóñòü r = 1, f'n g  ñêàëÿðíûé áåðíóëëèåâñêèé (ðàâíûé ' ñ îäèíàêî2 <<  2 , òîãäà âîé âåðîÿòíîñòüþ) íåçàâèñèìûé ïðîöåññ è w v

? A

 j'jw : v

ÃËÀÂÀ 2. ËÈÍÅÉÍÛÅ ÇÀÄÀ×È

124

Èíòåðåñíî çàìåòèòü, ÷òî ýòî çíà÷åíèå ïðèáëèçèòåëüíî ñîâïàäàåò ñ ïðåäåëüíîé âåëè÷èíîé êàëìàíîâñêîãî êîýôôèöèåíòà óñèëåíèÿ äëÿ ôèëüòðà ÊàëìàíàÁüþñè â ïðèìåðå èç ï. 1.3.2, åñëè ïîìåõè íàáëþäåíèÿ fvn g íåçàâèñèìûå è ðàâíû v ñ ðàâíîé âåðîÿòíîñòüþ. Ðàíåå â ïåðâîé ãëàâå, îòìå÷àëîñü, ÷òî â ïîõîæåé ñèòóàöèè ïðè ïîñòîÿííûõ 'n îïòèìàëüíûé ôèëüòð ÂèíåðàÊîëìîãîðîâà çàäàåòñÿ ïîäîáíûì îáðàçîì.

2.3.2

Îòñëåæèâàíèå äðåéôà ïàðàìåòðîâ ìîäåëè ëèíåéíîé ðåãðåññèè

Ïðåäïîëîæèì, êàê è ðàíåå, ÷òî ïîñëåäîâàòåëüíîñòè íàáëþäåíèé fyn g è âõîäíûõ ñèãíàëîâ f'n g ñâÿçàíû óðàâíåíèåì (2.17) òèïà ëèíåéíîé ðåãðåññèè yn = 'Tn n + vn ; n = 1; 2; : : : ; â êîòîðîì  n  âåêòîðû èñòèííûõ èëè ôèêòèâíûõ ïàðàìåòðîâ, ïðåäñòàâëÿþùèå ñîáîé ðåàëèçàöèþ çàâèñÿùåãî îò âðåìåíè ïðîöåññà, fvn g  ïîìåõè (âîçìóùåíèÿ). Äëÿ îòñëåæèâàíèÿ èçìåíåíèé ïàðàìåòðîâ f n g  íàèëó÷øåé ëèíåéíîé êëàññèôèêàöèè íàáëþäåíèé fyn g, áàçèðóþùåéñÿ íà r -ìåðíûõ âõîäíûõ ñèãíàëàõ f'n g,  ðàññìîòðèì øèðîêî èçâåñòíûé àëãîðèòì ñòîõàñòè÷åñêîé àïïðîêñèìàöèè ñ ïîñòîÿííûì øàãîì (2.22)

^n+1 = ^n 'n ('Tn ^n yn ); ^0 2 Rr ;

ãäå n = 1; 2; : : : ;  > 0  âåëè÷èíà ðàçìåðà øàãà. Ýòîò àëãîðèòì ÿâëÿåòñÿ ãðàäèåíòíûì ïî îòíîøåíèþ ê êâàäðàòè÷íîìó ôóíêöèîíàëó îò îøèáêè îöåíèâàíèÿ. Ïîýòîìó åãî èíîãäà òàêæå íàçûâàþò ìåòîäîì íàèìåíüøèõ êâàäðàòîâ â çàäà÷å îòñëåæèâàíèÿ äðåéôà ïàðàìåòðîâ [143]. Èççà ñâîåé ïðîñòîòû, ðîáàñòíîñòè è óäîáñòâà â ïðèìåíåíèè îí èçâåñòåí êàê îäèí èç îñíîâíûõ àäàïòèâíûõ àëãîðèòìîâ âî ìíîãèõ îáëàñòÿõ, âêëþ÷àÿ ñèñòåìû èäåíòèôèêàöèè, àäàïòèâíóþ îáðàáîòêó ñèãíàëîâ è àäàïòèâíîå óïðàâëåíèå.  ðåàëüíûõ ñèòóàöèÿõ æåëàòåëüíî çíàòü îòâåòû íà ñëåäóþùèå âîïðîñû.

 Óñòîé÷èâ ëè àëãîðèòì (2.22) â ñðåäíåêâàäðàòè÷íîì ñìûñëå?  Äàþò ëè îöåíêè (2.22) õîðîøåå êà÷åñòâî îòñëåæèâàíèÿ ïàðàìåòðîâ?  Êàê âû÷èñëèòü è ìèíèìèçèðîâàòü îøèáêè îòñëåæèâàíèÿ ïàðàìåòðîâ?

2.3. ÔÈËÜÒÐÀÖÈß ÑËÓ×ÀÉÍÛÕ ÏÐÎÖÅÑÑÎÂ

2.3.3

125

Íåîáõîäèìûå è äîñòàòî÷íûå óñëîâèÿ ñòàáèëèçàöèè îöåíîê

Äëÿ äàííîé ïîñëåäîâàòåëüíîñòè f'n g ñîîòíîøåíèÿ (2.22) ÿâëÿþòñÿ ëèíåéíûì íåñòàöèîíàðíûì ðàçíîñòíûì óðàâíåíèåì. Ñâîéñòâà ýòîãî óðàâíåíèÿ ñóùåñòâåííî îïðåäåëÿþòñÿ îäíîðîäíûì óðàâíåíèåì

xn+1 = (I 'n 'Tn )xn ñ ôóíäàìåíòàëüíîé ìàòðèöåé

 (n; k) =

n Y j =k

(I 'j 'Tj ):

Âûðàæåíèå äëÿ îøèáêè îòñëåæèâàíèÿ ïàðàìåòðîâ ïðè ýòîì èìååò âèä n X k=1

 (n; k) k ;

ãäå f k g îïðåäåëÿåòñÿ ïîìåõàìè íàáëþäåíèÿ, âàðèàöèåé ïàðàìåòðîâ è ò. ï. Îñíîâíîé êëþ÷ ê àíàëèçó îøèáîê çàêëþ÷àåòñÿ â ýêñïîíåíöèàëüíîé óñòîé÷èâîñòè  (n; k ), êîòîðàÿ â ðàáîòå Ë.Ëüþíãà è äð. [143] óñòàíîâëåíà ïðè î÷åíü îáùèõ ïðåäïîëîæåíèÿõ î âõîäàõ f'n g:

(2.H) îãðàíè÷åíèÿ íà çàâèñèìîñòè ñðåäè 'n : 'n ôîðìèðóþòñÿ ìîæåò

áûòü íå ñòàöèîíàðíî (ñïîñîá çàâèñèò îò âðåìåíè), íî ðàâíîìåðíî óñòîé÷èâî, ÿâëÿÿñü ôèëüòðîì íåêîòîðîãî èñòî÷íèêà âîçìóùåíèé f n g, êîòîðûå óäîâëåòâîðÿþò óñëîâèÿì ïåðåìåøèâàíèÿ ñ äîïîëíèòåëüíûì óñëîâèåì íà ñêîðîñòü çàòóõàíèÿ çàâèñèìîñòè;

(2.I) îãðàíè÷åíèÿ íà "õâîñòîâûå" ÷àñòè ðàñïðåäåëåíèé 'n : n 2 Efexp k k j'1 ; : : : ; 'n g < C; n = 1; 2; : : : ;

äëÿ íåêîòîðûõ

> 0 è C.

Îáà ýòè îãðàíè÷åíèÿ âïîëíå óìåðåííûå è èì óäîâëåòâîðÿþò, íàïðèìåð, ãàóññîâûå çàâèñèìûå âåëè÷èíû. Äëÿ ïîñëåäîâàòåëüíîñòè f'n g, óäîâëåòâîðÿþùåé ýòèì äâóì îãðàíè÷åíèÿì, íåîáõîäèìûì è äîñòàòî÷íûì óñëîâèåì òîãî, ÷òî 8p  1 9 > 0; M > 0 è 2 (0; 1) : (2.23)

(Efk (n; k)kp g)1=p

 M (1  )n k ; 8 2 (0;  ] 0 < k  n  t;

ÃËÀÂÀ 2. ËÈÍÅÉÍÛÅ ÇÀÄÀ×È

126

ÿâëÿåòñÿ âûïîëíåíèå óñëîâèÿ ïîñòîÿííîãî âîçáóæäåíèÿ (èëè óñëîâèÿ ïîëíîãî ðàíãà) äëÿ 'n : 9 öåëîå N > 0 è ïîñòîÿííàÿ Æ > 0 : nX +N (2.24) Ef'k 'Tk g  ÆI; n = 1; 2; : : : : k =n Òî÷íàÿ ôîðìóëèðîâêà è äîêàçàòåëüñòâî ýòîãî óòâåðæäåíèÿ ïðèâîäèòñÿ â [143] (òåîðåìà 2). Ñëó÷àéíàÿ ïîñëåäîâàòåëüíîñòü f n g íàçûâàåòñÿ -ïåðåìåøèâàþùåéñÿ, åñëè ñóùåñòâóåò íåâîçðàñòàþùàÿ ôóíêöèÿ (
), íàçûâàåìàÿ ñêîðîñòüþ ïåðåìåøèâàíèÿ, (k ) 2 [0; 1] äëÿ ëþáîãî k  0, (k ) ! 0 ïðè k ! 1, òàêàÿ, ÷òî

sup

A2F j 1 ; B 2Fj1+k

jP(B jA) P(B )j  (k)

äëÿ ëþáûõ k  0 è j 2 ( 1; 1). Çäåñü îáîçíà÷åíî Fij ; 1  i  j  1;   -àëãåáðà, ïîðîæäàåìàÿ ñëó÷àéíûìè âåëè÷èíàìè f k ; i  k  j g. Ââåäåíèå ïîíÿòèÿ -ïåðåìåøèâàíèÿ ÿâëÿåòñÿ ñòàíäàðòíûì â ëèòåðàòóðå ïî òåîðèè îöåíèâàíèÿ äëÿ îïèñàíèÿ ñëàáî çàâèñèìûõ ñëó÷àéíûõ ïðîöåññîâ. Ïðåäïîëîæèì, ÷òî ïîñëåäîâàòåëüíîñòü âõîäîâ f'n g ïðåäñòàâèìà â âèäå (2.25)

'n =

1 X

j=

1

A(n; j )

n j

+ n ;

1 X

j=

sup kA(n; j )k < 1;

1 n

ãäå f n g  l-ìåðíûé ïðîöåññ, óäîâëåòâîðÿþùèé óñëîâèþ -ïåðåìåøèâàíèÿ, fn g  r -ìåðíûé îãðàíè÷åííûé äåòåðìèíèðîâàííûé ïðîöåññ, A(n; j ) 2 Rrl  äåòåðìèíèðîâàííûå âåñîâûå ìàòðèöû. Åñëè ïðè ëþáîì n  1 è ïðîèçâîëüíûõ öåëûõ ÷èñëàõ 0 < j1 < j2 < : : : < jn âûïîëíåíî óñëîâèå n j 2 (2.26) Efexp i=1 k i k g  M exp(Kn)

P

ñ íåêîòîðûìè ïîëîæèòåëüíûìè ïîñòîÿííûìè ; M è K , òîãäà ïîñëåäîâàòåëüíîñòü âõîäîâ f'n g óäîâëåòâîðÿåò óñëîâèÿì (2.H) è (2.I), à çíà÷èò, äëÿ íåå ñïðàâåäëèâî ñôîðìóëèðîâàííîå âûøå íåîáõîäèìîå è äîñòàòî÷íîå óñëîâèå ýêñïîíåíöèàëüíîé ñòàáèëèçàöèè îöåíîê. Åñëè â êà÷åñòâå âåñîâûõ êîýôôèöèåíòîâ âçÿòü A(n; 0) = I; A(n; j ) = 0; n = 1; 2; : : : ; j 6= 0 è n = 0, òî âõîäíûå ñèãíàëû f'n g ñîâïàäàþò ñ f n g, ÷òî îçíà÷àåò ïðèìåíèìîñòü ðåçóëüòàòà îá óñëîâèÿõ ýêñïîíåíöèàëüíîé óñòîé÷èâîñòè ê -ïåðåìåøèâàþùèìñÿ îãðàíè÷åííûì âõîäíûì ñèãíàëàì.

2.3. ÔÈËÜÒÐÀÖÈß ÑËÓ×ÀÉÍÛÕ ÏÐÎÖÅÑÑÎÂ

2.3.4

127

Àíàëèç ñâîéñòâ îöåíîê ïðè ðàçëè÷íûõ òèïàõ ïîìåõ

Îøèáêà îòñëåæèâàíèÿ ïàðàìåòðîâ çàâèñèò îò ïðîöåññà èõ èçìåíåíèÿ fwn g, îïðåäåëÿåìîãî âûðàæåíèåì

wn+1 = n+1 n : Î÷åâèäíî, êà÷åñòâî îòñëåæèâàíèÿ ïðîöåññà èçìåíåíèÿ ïàðàìåòðîâ â ñóùåñòâåííîé ñòåïåíè çàâèñèò îò ñîâîêóïíûõ ñâîéñòâ f'n ; wn ; vn g: Îáîçíà÷èì  n = ^n  n . Ïîñëåäîâàòåëüíîñòü f n g óäîâëåòâîðÿåò óðàâíåíèþ

n+1 = (I 'n 'Tn )n + 'n vn + wn+1 : Åñëè äëÿ ïîñëåäîâàòåëüíîñòè âõîäîâ f'n g âûïîëíåíû óñëîâèÿ ýêñïîíåíöèàëüíîé óñòîé÷èâîñòè îäíîðîäíîé ÷àñòè ýòîãî óðàâíåíèÿ, òî äëÿ ïðîâåäåíèÿ àíàëèçà ñâîéñòâ îöåíîê f^n g àëãîðèòìà (2.22) íàäî ðàññìîòðåòü ïîâåäåíèå ñîîòâåòñòâóþùèõ íåîäíîðîäíûõ ÷àñòåé. Äàëåå ðàçáåðåì ÷åòûðå ðàçëè÷íûõ òèïà âîçìóùåíèé ïàðàìåòðîâ fwn g è ïîìåõ fvn g. Àíàëèç ïåðâîãî, âòîðîãî è ÷åòâåðòîãî ñëó÷àåâ çàèìñòâîâàí èç ðàáîòû [143]. 1. "Hàèõóäøèé" ñëó÷àé. Ðàññìîòðèì ñèòóàöèþ, êîãäà èçìåíåíèå ïàðàìåòðîâ è ïîìåõè ïðåäïîëàãàþòñÿ òîëüêî îãðàíè÷åííûìè â ñðåäíåì, ò. å. ñóùåñòâóåò íåêîòîðîå p > 2 òàêîå, ÷òî

v = sup(Efkvn kp g)1=p < 1 n

è

w = sup(Efkwn kp g)1=p < 1: n

Ýòèì óñëîâèÿì, â ÷àñòíîñòè, óäîâëåòâîðÿþò íåèçâåñòíûå, íî îãðàíè÷åííûå äåòåðìèíèðîâàííûå ïîñëåäîâàòåëüíîñòè ïîìåõ è èçìåíåíèé ïàðàìåòðîâ. Åñëè äëÿ ïîñëåäîâàòåëüíîñòè âõîäîâ âûïîëíåíî óñëîâèå ïîñòîÿííîãî âîçáóæäåíèÿ (2.24) è óäîâëåòâîðÿþòñÿ óñëîâèÿì (2.H) è (2.I), òî èç (2.23) , èñïîëüçóÿ íåðàâåíñòâî Ãåëüäåðà (ñì. ïóíêò Ï.1.2 íà ñòð. 251), íåñëîæíî ïîëó÷èòü, ÷òî äëÿ ëþáîãî n  1 è âñåõ ìàëûõ  > 0 âûïîëíÿåòñÿ   2 Efk^n n k2 g = O v2 + w2 +O((1  )n )  ñ íåêîòîðîé ïîñòîÿííîé 2 (0; 1).  [140] â òàêîì æå "íàèõóäøåì" ñëó÷àå ïîäîáíîãî ðîäà îöåíêè ïîëó÷åíû è äëÿ ÌHÊ ñ çàáûâàþùèì ìíîæèòåëåì, è äëÿ ôèëüòðà ÊàëìàíàÁüþñè.

ÃËÀÂÀ 2. ËÈÍÅÉÍÛÅ ÇÀÄÀ×È

128

Ïîëó÷åííîå âûðàæåíèå, âîîáùå ãîâîðÿ, íå î÷åíü õîðîøåå, õîòÿ íà ïåðâûé âçãëÿä â íàèõóäøåì ñëó÷àå íàäåÿòüñÿ íà ëó÷øèé ðåçóëüòàò áûëî íåëüçÿ. Hî â ïåðâûõ ðàçäåëàõ ýòîé ãëàâû â òîé ñèòóàöèè, êîãäà w = 0, áûëè ïðåäëîæåíû è îáîñíîâàíû àëãîðèòìû, äàþùèå ïîðÿäîê îøèáêè îöåíèâàíèÿ O (v2 ), à íå O (v2 ), êàê â ïîñëåäíåì ðàâåíñòâå. Hèæå áóäóò ñôîðìóëèðîâàíû óñëîâèÿ, ïðè êîòîðûõ äëÿ ïîìåõ, çàäàâàåìûõ íåèçâåñòíîé, íî îãðàíè÷åííîé äåòåðìèíèðîâàííîé ôóíêöèåé, ìîæíî è â ýòîé çàäà÷å ïîëó÷èòü ëó÷øèå îöåíêè. 2. Êîððåëÿöèÿ âõîäîâ ñ ïîìåõàìè è èçìåíåíèå ïàðàìåòðîâ ñ íóëåâûì ñðåäíèì. Îïðåäåëèì äëÿ p  1 ìíîæåñòâî ïîñëåäîâàòåëüíîñòåé

Mp = ffun g :

p 1=p  kX

+n

sup E ui

k i=k+1

 c(pu) pn; 8n  1g;

(u) ãäå cp  íåêîòîðûå ïîñòîÿííûå, çàâèñÿùèå òîëüêî îò p è ðàñïðåäåëåíèÿ fung. Èçâåñòíî, ÷òî âñå ñëó÷àéíûå ïðîöåññû, ãåíåðèðóåìûå ìàðòèíãàëüíûìè ðàçíîñòÿìè èëè -ïåðåìåøèâàþùèìèñÿ ñî ñðåäíèì íîëü ïîñëåäîâàòåëüíîñòÿìè, ïðåîáðàçîâàííûìè ÷åðåç ëèíåéíûé ôèëüòð áåñêîíå÷íîãî (u) ïîðÿäêà, ìîãóò áûòü âêëþ÷åíû â Mp , ïðè ýòîì ïîñòîÿííûå cp îïðåäåëÿþòñÿ ÷åðåç supn (Efkun kp g)1=p . Áîëåå òîãî, ìíîæåñòâî ïîñëåäîâàòåëüíîñòåé Mp èíâàðèàíòíî îòíîñèòåëüíî ëèíåéíûõ ïðåîáðàçîâàíèé. Ýòî îçíà÷àåò, ÷òî åñëè f'n g è f n g ñâÿçàíû óñòîé÷èâûì ôèëüòðîì

'n =

1 X

j=

1

Aj

n j;

1 X

j=

sup kAj k < 1; 1 k

â êîòîðîì Aj 2 Rrl  äåòåðìèíèðîâàííûå âåñîâûå ìàòðèöû, òî âûïîëíåíèå óñëîâèÿ f n g 2 Mp âëå÷åò çà ñîáîé f'n g 2 Mp .  ýòîì ëåãêî óáåäèòüñÿ èç ñëåäóþùèõ íåðàâåíñòâ: 

n+N

p 1=p 

X

' = E k

k=n+1  1 X

Ef

g



f

kAj k
Ef

1

p 1=p nX +N

X

k j

A j

j = 1 k=n+1

n+N



X k j p 1=p

:

k=n+1

g

g



j= 1 Òàêèì îáðàçîì, ñëó÷àéíûå ïðîöåññû, ãåíåðèðóåìûå ìàðòèíãàëüíûìè ðàçíîñòÿìè èëè -ïåðåìåøèâàþùèìèñÿ ñ íóëåâûì ñðåäíèì ïîñëåäîâàòåëüíîñòÿìè, ïðåîáðàçîâàííûìè ÷åðåç ëèíåéíûé ôèëüòð áåñêîíå÷íîãî ïîðÿäêà, âñå ìîãóò áûòü âêëþ÷åíû â Mp .

2.3. ÔÈËÜÒÐÀÖÈß ÑËÓ×ÀÉÍÛÕ ÏÐÎÖÅÑÑÎÂ

129

Ñëåäóþùàÿ òåîðåìà äàåò äîñòàòî÷íî îáùèé êðèòåðèé èññëåäîâàíèÿ êà÷åñòâà îöåíîê, ïîëó÷àåìûõ ïî àëãîðèòìó (2.22).

Ò å î ð å ì à 2.8 ([143], òåîðåìà 4) Ïóñòü äëÿ ïîñëåäîâàòåëüíîñòè âõîäîâ f'n g âûïîëíåíû óñëîâèÿ (2.H), (2.I) è ïîñòîÿííîãî âîçáóæäåíèÿ (2.24). Åñëè ïðè íåêîòîðîì

p > 2 êîððåëÿöèè âõîäîâ ñ ïîìåõàìè f'n vn g 2

Mp è ïðîöåññ èçìåíåíèÿ ïàðàìåòðîâ fwn g 2 Mp,

òîãäà äëÿ îöåíîê, ãåíåðèðóåìûõ àëãîðèòìîì (2.22), 8n  1 è ìàëîãî

 > 0 âûïîëíÿåòñÿ Efk^n

nk2 g = O



(c(p'v) )2 +



(c(pw) )2 +O((1  )n ); 

('v) (w ) ãäå 2 (0; 1)  íåêîòîðàÿ ïîñòîÿííàÿ, à cp è cp  êîíñòàíòû èç îïðåäåëåíèÿ Mp , êîòîðûå çàâèñÿò îò ðàñïðåäåëåíèé f'n vn g è fwn g ñîîòâåòñòâåííî.

Çàìåòèì, ÷òî âåðõíÿÿ ãðàíèöà â ïîñëåäíåé ôîðìóëå çíà÷èòåëüíî ëó÷øå, ÷åì ãðóáàÿ ãðàíèöà â íàèõóäøåì ñëó÷àå ïðè ìàëûõ , è ïðèáëèçèòåëüíî ïîêàçûâàåò âîçìîæíîñòè êîìïðîìèññà ìåæäó ÷óâñòâèòåëüíîñòüþ ê ïîìåõàì è ñïîñîáíîñòüþ îòñëåæèâàíèÿ èçìåíåíèé ïàðàìåòðîâ. Ïîñëåäíåå âûðàæåíèå ìîæíî ïðÿìî ïðèìåíèòü ê àíàëèçó íåêîòîðûõ ñòàíäàðòíûõ ïðîáëåì ôèëüòðàöèè. Íàïðèìåð, ïóñòü fyn g è f'n g  äâà ñòàöèîíàðíûõ ïðîöåññà è äîïóñòèì, ÷òî íàøà öåëü ñîñòîèò â îòñëåæèâàíèè ïîâåäåíèÿ ðåøåíèÿ ÌHÊ

 = (Ef'n 'Tn g) 1 Ef'n yng; ðåêóððåíòíî ìèíèìèçèðóþùåãî ôóíêöèîíàë

Ef(yn

'Tn )2 g;

îñíîâûâàÿñü íà íàáëþäåíèÿõ â ðåàëüíîì âðåìåíè Îïðåäåëèì ïîñëåäîâàòåëüíîñòü fvn g êàê

fyi; 'i ; i  ng .

yn = 'Tn  + vn :

Î÷åâèäíî, ÷òî Ef'n vn g = 0. Áîëåå òîãî, âî ìíîãèõ ñòàíäàðòíûõ ñèòóàöèÿõ ìîæíî óñòàíîâèòü, ÷òî f'n vn g 2 Mp äëÿ íåêîòîðîãî p > 2. Òàêèì îáðàçîì, äëÿ îøèáêè îöåíèâàíèÿ ïàðàìåòðà ëèíåéíîé ðåãðåññèè ìîæíî ïîëó÷èòü ôîðìóëó

Efk^n

k2 g = O() + O((1  )n );

ÃËÀÂÀ 2. ËÈÍÅÉÍÛÅ ÇÀÄÀ×È

130

ïðàâàÿ ÷àñòü â êîòîðîé ñòðåìèòñÿ ê íóëþ ïðè n ! 1 è  ! 0. 3. Ïîìåõè "íåèçâåñòíûå, íî îãðàíè÷åííûå". Ïðåäïîëîæèì, ÷òî f'n g  ñëó÷àéíàÿ ïîñëåäîâàòåëüíîñòü ñ íóëåâûì ñðåäíèì: Ef'n g = 0. Àëãîðèòì (2.22) ïðè ýòîì ïîïàäàåò â êëàññèôèêàöèþ ðàíäîìèçèðîâàííûõ àëãîðèòìîâ è ìîæíî íàäåÿòüñÿ, ÷òî ïîâåäåíèå äîñòàâëÿåìûõ èì îöåíîê â ðàññìàòðèâàåìîì ñëó÷àå ïðè îãðàíè÷åííûõ íåñëó÷àéíûõ ïîìåõàõ fvn g áóäåò ëó÷øå, ÷åì â ïåðâîì. Ïóñòü ïîìåõè îïðåäåëÿþòñÿ íåèçâåñòíîé, íî îãðàíè÷åííîé äåòåðìèíèðîâàííîé ôóíêöèåé è

Cv = sup jvn j < 1: n

Åñëè äëÿ ïîñëåäîâàòåëüíîñòè âõîäîâ f'n g âûïîëíåíî ïðåäïîëîæåíèå (2.A'), òî f'n g 2 M4 . Ïîêàæåì, ÷òî â ýòîé ñèòóàöèè è f'n vn 2 M4 g. Ïðè íåêîòîðûõ k; n  1 èìååì 

n+k 1

4  1 4

X

'i vi

i=k

Ef

+

n+ k 1 X i=k

g 

Efk

k

'i 4 Cv4

1



4

n+ k 1 n+ k 1 X X

i=k

g = n(n

j =k j 6=i

Efk'i k2 k'j k2 Cv4 g+

1)'2 n + M44

1 4

p

Cv  M4 Cv n;

ò. å. f'n vn g 2 M4 ñ êîíñòàíòîé M4 Cv . Ýòîò ôàêò ïîçâîëÿåò ñôîðìóëèðîâàòü óòâåðæäåíèå î áîëåå õîðîøèõ, ÷åì â "íàèõóäøåì" ñëó÷àå, ñâîéñòâàõ îöåíîê àëãîðèòìà îòñëåæèâàíèÿ ïàðàìåòðîâ (2.22) ïðè "ïëîõèõ" ïîìåõàõ â íàáëþäåíèè. Ñëåäóþùàÿ òåîðåìà íåïîñðåäñòâåííî ñëåäóåò èç ðåçóëüòàòà òåîðåìû 2.8.

Ò å î ð å ì à 2.9 Åñëè âûïîëíåíû óñëîâèÿ:

Ef'n g = 0; (2.A'); ñëó÷àéíûå âåêòîðà f'n g è fwn g íå çàâèñÿò äðóã (w) îò äðóãà; fwn g 2 Mp ñ ïîñòîÿííîé cp ïðè íåêîòîðîì p : 2 < p  4; ïîìåõè fvn g îïðåäåëÿþòñÿ íåèçâåñòíîé, íî îãðàíè÷åííîé äåòåðìèíèðîâàííîé ôóíêöèåé: jvn j < Cv < 1, òîãäà äëÿ îöåíîê, ãåíåðèðóåìûõ àëãîðèòìîì (2.22), 8n  1 è ìàëîãî  > 0 âûïîëíÿåòñÿ Efk^n ãäå

2 (0; 1)

n k2 g = O



M42 Cv2 +



(c(pw) )2 +O((1  )n ); 

 íåêîòîðàÿ ïîñòîÿííàÿ.

2.3. ÔÈËÜÒÐÀÖÈß ÑËÓ×ÀÉÍÛÕ ÏÐÎÖÅÑÑÎÂ

131

Ïîñëåäíÿÿ ôîðìóëà ïîêàçûâàåò âîçìîæíîñòè êîìïðîìèññà ìåæäó ÷óâñòâèòåëüíîñòüþ ê ïîìåõàì è ñïîñîáíîñòüþ îòñëåæèâàíèÿ èçìåíåíèé ïàðàìåòðîâ. Îïòèìèçèðóÿ ïî , ïîëó÷àåì äëÿ îïòèìàëüíîé âåëè÷èíû ðàçìåðà øàãà ôîðìóëó c(pw) ? = : M4 Cv 4. Áåëîøóìíûå ïðîöåññû. Ïóñòü ðåãðåññèîííûé ïðîöåññ 'n ãåíåðèðóåòñÿ çàâèñÿùèì îò âðåìåíè ïðè÷èííûì ôèëüòðîì

'n =

1 X j =0

A(n; j )

n j

+ n ;

1 X

sup kA(n; j )k < 1;

j =0 k

â êîòîðîì fn g  îãðàíè÷åííàÿ äåòåðìèíèðîâàííàÿ ïîñëåäîâàòåëüíîñòü, f n ; wn ; vn 1g  -ïåðåìåøèâàþùèéñÿ ïðîöåññ ñî ñêîðîñòüþ ïåðåìåøèâàíèÿ (
) è ïðîöåññû fwn g è fvn g óäîâëåòâîðÿåò ñëåäóþùèì óñëîâèÿì: Efvn jFn g = 0; Efwn+1 jFn g = Efwn+1 vn jFn g = 0; T Efvn2 jFn g = v2 (n); Efwn wn jFn g = Qw (n); sup Efjvn jp jFn g  M; w = sup(Efkwn kp g)1=p < 1;

n

n

â êîòîðûõ p > 2 è M > 0  íåêîòîðûå ïîñòîÿííûå, à Fn  îáîçíà÷åíèå äëÿ  -àëãåáðû, ïîðîæäàåìîé ñëó÷àéíûìè âåëè÷èíàìè f i ; wi ; vi 1 ; i 

ng:

Ïðè âûïîëíåíèè ïåðå÷èñëåííûõ âûøå óñëîâèé âìåñòå ñ (2.H), (2.I) è ïîñòîÿííîãî âîçáóæäåíèÿ (2.24) è ìîæíî ïîëó÷èòü äëÿ ëþáîãî n  1 è âñåõ ìàëûõ  > 0 (ñì. [143], òåîðåìà 5) 2

 n)(^n n)T g = Sn + O(()( + w + O((1  )n )));  ãäå ôóíêöèÿ  () ! 0 ïðè  ! 0 è ìàòðèöû Sn ðåêóððåíòíî îïðåäåëÿEf(^n

þòñÿ ïî ôîðìóëå

Sn = (I Bn 1 )Sn 1 (I Bn 1 )T + 2 v2 (n 1)Bn

1 + Qw (n):

Çäåñü îáîçíà÷åíî Bn = Ef'n 'nT g. Çàìåòèì, ÷òî â ñòàöèîíàðíîì ñëó÷àå (â øèðîêîì ñìûñëå): Bn  B; v (n)  v ; Qw (n)  Qw ; ïîñëåäîâàòåëüíîñòü ìàòðèö Sn ñõîäèòñÿ ê ìàòðèöå S, îïðåäåëÿåìîé óðàâíåíèåì Ëÿïóíîâà

BS + SB = v2 B +

Qw : 

132

ÃËÀÂÀ 2. ËÈÍÅÉÍÛÅ ÇÀÄÀ×È

 ýòîì ñëó÷àå ñëåä ìàòðèöû S, êîòîðûé ïðåäñòàâëÿåò äîìèíèðóþùóþ ÷àñòü îøèáêè îòñëåæèâàíèÿ ïàðàìåòðîâ Efk^n  n k2 g ïðè ìàëûõ  è áîëüøèõ n, ìîæåò áûòü âûðàæåí êàê 



1 Tr[B 1 Qw ] Tr[S] = v2 r + : 2  Ìèíèìèçèðóÿ Tr[S] ïî îòíîøåíèþ ê , ìîæíî ïîëó÷èòü ñëåäóþùóþ ôîðìóëó äëÿ îïòèìàëüíîé âåëè÷èíû ðàçìåðà øàãà : p

? =

Tr[B 1 Qw ] p : v r

2.4. ÝÊÑÏÅÐÈÌÅÍÒÀËÜÍÛÅ ÐÅÇÓËÜÒÀÒÛ

133

2.4 Ýêñïåðèìåíòàëüíûå ðåçóëüòàòû 2.4.1

Çàäà÷à îá îáíàðóæåíèè ñèãíàëà ïðè íåèçâåñòíûõ, íî îãðàíè÷åííûõ íåñëó÷àéíûõ ïîìåõàõ

Ðàññìîòðèì çàäà÷ó îá îáíàðóæåíèè (äåòåêòèðîâàíèè) ñêàëÿðíîãî ïîëåçíîãî ñèãíàëà f'n g, êîòîðûé ìîæåò áûòü ïîïàäàåò, à ìîæåò áûòü è íåò â çàøóìëåííûé êàíàë íàáëþäåíèÿ (èçìåðåíèÿ ïðîèçâîäÿòñÿ ñ ïî÷òè ïðîèçâîëüíûìè ïîìåõàìè).  çàäà÷àõ îáíàðóæåíèÿ ñèãíàëà îöåíèâàåìàÿ âåëè÷èíà  îáû÷íî ïðèíèìàåò êîíå÷íîå ÷èñëî çíà÷åíèé è ÷àñòî ïðåäñòàâëÿåò èç ñåáÿ õàðàêòåðèñòèêó òèïà "äà íåò". Áóäåì ñ÷èòàòü, ÷òî f = 1g ñîîòâåòñòâóåò íàëè÷èþ ñèãíàëà â ïðèåìíèêå, à f = 0g  åãî îòñóòñòâèþ. Ñ ó÷åòîì âûøåñêàçàííîãî, íàáëþäàåìûå âåëè÷èíû fyn g ìîæíî ïðåäñòàâèòü â âèäå

yn = 'n  + vn ; n = 1; 2; : : : ;

fvn g  ïî÷òè ïðîèçâîëüíûå ïîìåõè â íàáëþäåíèè: jvn j  Cv ; n = 1; 2; : : :, êîòîðûå, â ÷àñòíîñòè, ìîæåò áûòü çàäàþòñÿ íåèçâåñòíîé îãðàíèãäå

÷åííîé äåòåðìèíèðîâàííîé ôóíêöèåé. Åñëè ïîìåõè íàáëþäåíèÿ ÿâëÿþòñÿ ñëó÷àéíûìè âåëè÷èíàìè, òî áóäåì ñ÷èòàòü èõ íåçàâèñèìûìè ñ ïîëåçíûì ñèãíàëîì è èìåþùèìè ðàâíîìåðíî îãðàíè÷åííûå âòîðûå ìîìåíòû. Ïðåäïîëîæèì, ÷òî ïîëåçíûé ñèãíàë îãðàíè÷åí è èìååò ñòàòèñòè÷åñêóþ ïðèðîäó, ïðåäñòàâëÿÿ ñîáîé ïîñëåäîâàòåëüíîñòü íåçàâèñèìûõ ìåæäó ñîáîé ñëó÷àéíûõ âåëè÷èí. Ïðè ðåøåíèè âàæíî çíàòü, èçâåñòíû ëè çíà÷åíèÿ âåëè÷èí f'n g â êàæäûé ìîìåíò âðåìåíè èëè íåò. Åñëè íåèçâåñòíû, òî â ðÿäå ïðàêòè÷åñêèõ çàäà÷ (ñì., íàïðèìåð, ï. 4.1) öåëåñîîáðàçíî ðàññìàòðèâàòü îáíàðóæèâàåìûé ñèãíàë ñîñòîÿùèì èç äâóõ ÷àñòåé (ñîìíîæèòåëåé): èçâåñòíîé f'n g è íåèçâåñòíîé f'~n g. Ïóñòü ñëó÷àéíûå âåëè÷èíû f'n g èçâåñòíû, íåçàâèñèìû, îäèíàêîâî ðàñïðåäåëåíû, èçâåñòíî èõ ñðåäíåå çíà÷åíèå M' è îíè èìåþò îãðàíè÷åííûå âòîðîé è ÷åòâåðòûé ñòàòèñòè÷åñêèå ìîìåíòû. Îáîçíà÷èì '2 > 0  äèñïåðñèþ ñëó÷àéíûõ âåëè÷èí 'n .  òîì ñëó÷àå, êîãäà öåíòðèðîâàííûå ñëó÷àéíûå âåëè÷èíû
n = 'n M' èìåþò ñèììåòðè÷íîå ðàñïðåäåëåíèå, âûïîëíåíû âñå óñëîâèÿ òåîðåì 2.12.4 è äëÿ ïîñòðîåíèÿ ïîñëåäîâàòåëüíîñòè ñîñòîÿòåëüíûõ îöåíîê f^n g âåëè÷èíû  ìîæíî âîñïîëüçîâàòüñÿ ëþáûì èç àëãîðèòìîâ ñòîõàñòè÷åñêîé àïïðîêñèìàöèè (2.2), èëè (2.6), èëè ÐÌHÊ (2.7), âûáðàâ â êà÷åñòâå íà÷àëüíîãî ïðèáëèæåíèÿ ^0 = 0. Äëÿ ðåøåíèÿ çàäà÷è îá îáíàðóæåíèè ñèãíàëà ìîæíî çàäàòü íåêîòîðîå ïîðîãîâîå çíà÷åíèå Æ > 0, íàïðèìåð, Æ = 1=2.  êà÷åñòâå ðåøàþùåãî ïðàâèëà â ìîìåíò âðåìåíè n, îïðåäåëÿþùåãî âûáîð ãèïîòåçû î

134

ÃËÀÂÀ 2. ËÈÍÅÉÍÛÅ ÇÀÄÀ×È

ïîìåõè

ïîëåçíûé ñèãíàë

Ðèñ. 2. Ïîëåçíûé ñèãíàë è ïîìåõè

2.4. ÝÊÑÏÅÐÈÌÅÍÒÀËÜÍÛÅ ÐÅÇÓËÜÒÀÒÛ

135

(2.29)

=0

óðîâåíü ïðèíÿòèÿ ðåøåíèÿ (2.27) (2.28)

Ðèñ. 3. Îöåíêè ÌHÊ, ÐÑÀ è ÐÌHÊ ïðè îòñóòñòâèè ñèãíàëà

(2.29)

=1

(2.28) (2.27) óðîâåíü ïðèíÿòèÿ ðåøåíèÿ

Ðèñ. 4. Îöåíêè ÌHÊ, ÐÌHÊ è ÐÑÀ ïðè íàëè÷èè ñèãíàëà íàëè÷èè ïîëåçíîãî ñèãíàëà â êàíàëå íàáëþäåíèÿ èëè îá åãî îòñóòñòâèè, ìîæíî çàäàòü îïåðàöèþ ñðàâíåíèÿ âåëè÷èíû òåêóùåé îöåíêè ñ ïîðîãîâûì çíà÷åíèåì Æ . Åñëè ^n < Æ , òî ïðèíèìàåòñÿ ãèïîòåçà ñèãíàëà íåò, â ïðîòèâíîì ñëó÷àå  ñèãíàë åñòü. Ðàññìîòðèì àëãîðèòì ñòîõàñòè÷åñêîé àïïðîêñèìàöèè (2.2) ñ n = 1=('2 n) (2.27)

^n = ^n

1

'n M' ^n ('n  '2 n

1

yn); n = 1; 2; : : : :

Âåðîÿòíîñòü ïðèíÿòèÿ íåïðàâèëüíîãî ðåøåíèÿ ìîæíî îöåíèòü ñ ïîìîùüþ íåðàâåíñòâà ×åáûøåâà (ñì. ïóíêò Ï.1.2 íà ñòð. 251), ïðèìåíèâ åãî ê ðåçóëüòàòó òåîðåìû 2.2 îá îöåíêå ñðåäíåêâàäðàòè÷íîé ñêîðîñòè

ÃËÀÂÀ 2. ËÈÍÅÉÍÛÅ ÇÀÄÀ×È

136 ñõîäèìîñòè. Äëÿ ëþáîãî

Pfj^n

n èìååì

j  Æg = Pfj^n

j

2

 g Æ2

 

Efj^n j2 g 1 Cv2 1 < 2 2 +o : 2 Æ n Æ ' n

Îòñþäà íåñëîæíî ïîëó÷èòü îöåíêó äëÿ êîëè÷åñòâà èòåðàöèé, íåîáõîäèìûõ äëÿ ïðèíÿòèÿ ðåøåíèÿ ñ òîé èëè èíîé ñòåïåíüþ óâåðåííîñòè. Äëÿ èëëþñòðàöèè ðàáîòîñïîñîáíîñòè ïðåäëîæåííûõ ðàíäîìèçèðîâàííûõ àëãîðèòìîâ (ÐÑÀ, ÐÌÍÊ) è ñðàâíåíèÿ ïîëó÷àåìûõ îöåíîê ïðè "ïëîõèõ" ïîìåõàõ ñ îöåíêàìè îáûêíîâåííîãî ÌHÊ áûëà ïðîâåäåíà ñåðèÿ ýêñïåðèìåíòîâ íà ÝÂÌ. Ïðèâåäåì îäèí òèïè÷íûé ðåçóëüòàò ñðàâíèòåëüíîãî ìîäåëèðîâàíèÿ ðàáîòû àëãîðèòìîâ (2.27), ÐÌHÊ

(2.28)

8 n > < ^

= ^n

> : n

=

1

n 1

n ('n

M' )('n ^n

n 1 ('n M' ) n 1 ('n M' )2 2

1+

2

;

1 0

yn ); ^0 = 0;

= 0:99 1 ;

è îáûêíîâåííîãî ðåãóëÿðèçîâàííîãî ÌHÊ (2.29)

^n =

Pn k=1 'k yk Pn 1: k=1 'k2 + (0:99)

Ïîëåçíûé ñèãíàë f'n g áûë âûáðàí ðàâíîìåðíî ðàñïðåäåëåííûì íà èíòåðâàëå [0:5; 1:5] è íàáëþäàëñÿ íà ôîíå íåèçâåñòíîé, íî îãðàíè÷åííîé äåòåðìèíèðîâàííîé ôóíêöèè jvn j  Cv = 2 (ñì. ðèñ. 2) ñî ñðåäíèì çíà÷åíèåì áîëüøå åäèíèöû. Äëÿ ýêñïåðèìåíòàòîðà ñðåäíåå çíà÷åíèå ïîìåõè íåèçâåñòíî, â ðàññìàòðèâàåìîì ïðèìåðå îíî âïîëíå ìîãëî áûòü è ìåíüøèì ìèíóñ åäèíèöû. Åñëè âûáðàòü óðîâåíü ïðèíÿòèÿ ðåøåíèÿ Æ = 0:5, òî äëÿ âåðîÿòíîñòè ïðèíÿòèÿ îøèáî÷íîãî ðåøåíèÿ ïî îöåíêàì àëãîðèòìà   (2.27) òåîðåòè÷åñ1 2 êèé àíàëèç äàåò: Pf "îøèáêè" g  48 n Cv + o n : Ðèñóíêè 3 è 4 ïîêàçûâàþò òðàåêòîðèè ïîñëåäîâàòåëüíîãî èçìåíåíèÿ îöåíîê äëÿ òðåõ àëãîðèòìîâ. Óðîâåíü ïîìåõè íàñòîëüêî âûñîê, ÷òî îöåíêè îáûêíîâåííîãî ÌHÊ ïî÷òè âñåãäà ïðåâûøàþò óðîâåíü ïðèíÿòèÿ ðåøåíèÿ âíå çàâèñèìîñòè îò íàëè÷èÿ èëè îòñóòñòâèÿ ñèãíàëà, â òî âðåìÿ êàê ïîñëå 50 èòåðàöèé ðàíäîìèçèðîâàííûå àëãîðèòìû äàþò ïðàâèëüíûå îòâåòû. Ñêîðîñòü èõ ñõîäèìîñòè îêàçàëàñü âûøå òåîðåòè÷åñêè ïðåäñêàçàííîé, òàê êàê, íàâåðíîå, â ïðèìåðå ðàññìàòðèâàëàñü íå ñàìàÿ ïëîõàÿ ïîñëåäîâàòåëüíîñòü ïîìåõ.

2.4. ÝÊÑÏÅÐÈÌÅÍÒÀËÜÍÛÅ ÐÅÇÓËÜÒÀÒÛ

n

137

(2.30) (2.31) (2.32)

Ðèñ. 5. Ôèëüòðàöèÿ ïðè áåëîøóìíûõ ïîìåõàõ

2.4.2

Ôèëüòðàöèÿ (ïðåäñêàçàíèå) ñëó÷àéíîãî ïðîöåññà

Ðàññìîòðèì ïðèìåð ïðèìåíåíèÿ ðàíäîìèçèðîâàííîãî àëãîðèòìà ôèëüòðàöèè (2.19) ê ðåøåíèþ çàäà÷è î ïðåäñêàçàíèè çíà÷åíèÿ ñêàëÿðíîãî ïðîöåññà f n g, ïîðîæäàþùåãîñÿ óñòîé÷èâûì ëèíåéíûì ôèëüòðîì

n+1 = 0:9999n + wn+1 ; n = 1; 2; : : : ; 1 = 0; ãäå fwn g ïðåäñòàâëÿåò ñîáîé ðåàëèçàöèþ íåçàâèñèìûõ ðàâíîìåðíî ðàñïðåäåëåííûõ íà èíòåðâàëå [ 13 ; 13 ] ñëó÷àéíûõ âåëè÷èí

Efwn g = 0; Efwn g = 2

2 : 81

Íàáëþäåíèþ â êàæäûé ìîìåíò âðåìåíè äîñòóïíû âåëè÷èíû

yn = 'n n + vn ; ïðåäñòàâëÿþùèå ñîáîé ñìåñü ïðåîáðàçîâàííîãî ïðîöåññà f n g è íåèçâåñòíîé, íî îãðàíè÷åííîé äåòåðìèíèðîâàííîé ïîìåõè fvn g: jvn j  2. Ïðè êîìïüþòåðíîì ìîäåëèðîâàíèè â êà÷åñòâå ïîñëåäîâàòåëüíîñòè êîýôôèöèåíòîâ ïðåîáðàçîâàíèÿ ïîëåçíîãî ñèãíàëà â êàíàëå íàáëþäåíèÿ f'n g áûëè âûáðàíû ñëó÷àéíûå âåëè÷èíû, ïîðîæäàåìûå ðàâíîìåðíûì ðàñïðåäåëåíèåì íà èíòåðâàëå [0:5; 1:5]. Ïðîöåññ f n g íàáëþäàëñÿ íà

ÃËÀÂÀ 2. ËÈÍÅÉÍÛÅ ÇÀÄÀ×È

138

n

(2.30) (2.31) (2.32)

Ðèñ. 6. Ôèëüòðàöèÿ ïðè íåðåãóëÿðíûõ ïîìåõàõ

2.4. ÝÊÑÏÅÐÈÌÅÍÒÀËÜÍÛÅ ÐÅÇÓËÜÒÀÒÛ èíòåðâàëå âðåìåíè îò 1 äî ñðåäíåé âåëè÷èíîé íåâÿçêè

200.

139

Êà÷åñòâî ïðåäñêàçàíèÿ îïðåäåëÿëîñü

199 1 X D~ (f^n g) = k^n+1 n+1k2 : 199 n=1

 () èç (2.21) äàåò çíà÷åíèå ? = 0:269. Îïòèìèçàöèÿ ïî  ôóíêöèè D Ïîäñòàâèâ ýòî çíà÷åíèå â ôîðìóëó äëÿ ? , ïîëó÷àåì äëÿ àëãîðèòìà (2.19) îïòèìàëüíîå â äàííîì ñëó÷àå çíà÷åíèå âåëè÷èíû ðàçìåðà øàãà ? = 11:3808, = 1=48 è îøèáêà ïðîãíîçèðîâàíèÿ íå ïðåâîñõîäèò

D(? ; ? ) = 1:3699 < Cv2 = 4: Ðèñ. 5 è 6 â òèïè÷íûõ ñëó÷àÿõ ïîêàçûâàþò ñðàâíèòåëüíîå ïîâåäåíèå îöåíîê ïðåäñêàçàíèÿ, ôîðìèðóåìûõ ïî òðåì àëãîðèòìàì: ðàíäîìèçèðîâàííîìó (2.30)

^n+1 = 0:9999(^n

0:2371('n

1:0)('n ^n yn ));

óïðîùåííîìó ôèëüòðó ÊàëìàíàÁüþñè (2.31)

^n+1 = 0:9999(^n

0:2371'n ('n ^n

yn))

è ôèëüòðó ÊàëìàíàÁüþñè (2.32)

Kn =

^n+1 = 0:9999^n Kn 'n ('n ^n yn); 0:9999 n 1 2 16 + 2 ; n = n 1 0:9999 ' n 1 n 3

'2n n2 1 2 + ; 0 = 0: 16 + 2 n 1 'n 81 3

Èçâåñòíî, ÷òî ôèëüòð ÊàëìàíàÁüþñè (2.32) äàåò îïòèìàëüíûå îöåíêè â ñëó÷àå ãàóññîâûõ íåçàâèñèìûõ ïîìåõ â íàáëþäåíèè, ìåòîä (2.31) äîñòàòî÷íî ýôôåêòèâåí ïðè öåíòðèðîâàííûõ íåçàâèñèìûõ ïîìåõàõ. Ïîýòîìó ïðè öåíòðèðîâàííûõ ñëó÷àéíûõ ïîìåõàõ ïîâåäåíèå îöåíîê, ãåíåðèðóåìûõ ïî àëãîðèòìàì (2.31),(2.32) äîñòàòî÷íî õîðîøåå, íåñìîòðÿ íà âûñîêèé óðîâåíü ïîìåõ íàáëþäåíèÿ (ñì. ðèñ. 5).  ñèòóàöèÿõ ñ ïîñòîÿííîé íåèçâåñòíîé ïîìåõîé èëè ïðè íóëåâîé â ñðåäíåì, íî íåäîñòàòî÷íî "ðàçíîîáðàçíîé", ñðåäíèå çíà÷åíèÿ îøèáîê àëãîðèòìîâ (2.31) è (2.32) ñîèçìåðèìû ñ êâàäðàòîì óðîâíÿ ïîìåõè (ñì. ðèñ. 6).  òî æå âðåìÿ ñðåäíèé óðîâåíü îøèáîê îöåíîê, äîñòàâëÿåìûõ ðàíäîìèçèðîâàííûì àëãîðèòìîì,

ÃËÀÂÀ 2. ËÈÍÅÉÍÛÅ ÇÀÄÀ×È

140

Ðèñ. 7. Ïîìåõè ïðè âðåìåííîì âêëþ÷åíèè ïîëåçíîãî ñèãíàëà âî âñåõ ñèòóàöèÿõ ïðèìåðíî îäèíàêîâûé è â íåñêîëüêî ðàç ëó÷øå êâàäðàòà óðîâíÿ ïîìåõè.  òàáëèöå 1 ñâåäåíû èòîãîâûå ðåçóëüòàòû ñðåäíèõ çíà÷åíèé îøèáîê òèïè÷íûõ êîìïüþòåðíûõ ýêñïåðèìåíòîâ. Òàáëèöà 1.

vn = 4:0  (rand() 0:5) vn = 0:1  sin(n)+ +1:9  sign(50 n mod100) vn = 2:0 vn = 2:0 2.4.3

D~ ((2:30)) D~ ((2:31)) D~ ((2:32)) 0.5309

0.1803

0.1256

0.5700 0.5954 0.7826

2.8254 3.1387 3.4989

2.2640 2.5335 3.9582

Îöåíèâàíèå èçìåíÿþùèõñÿ ïàðàìåòðîâ ñèãíàëà

Ðàññìîòðèì ïðèìåð ìîäåëèðîâàíèÿ íà ÝÂÌ äâóõ àëãîðèòìîâ ñòîõàñòè÷åñêîé àïïðîêñèìàöèè ñ ôèêñèðîâàííûì øàãîì: îáûêíîâåííîãî (2.33)

^n+1 = ^n 0:1'n ('n ^n yn )

è ðàíäîìèçèðîâàííîãî (2.34)

^n+1 = ^n 0:1('n

M' )(('n M' )^n yn )

â ïðèìåíåíèè ê çàäà÷å îá îòñëåæèâàíèè èçìåíÿþùèõñÿ ïàðàìåòðîâ ëèíåéíîé ðåãðåññèè ïî íàáëþäåíèÿì

2.4. ÝÊÑÏÅÐÈÌÅÍÒÀËÜÍÛÅ ÐÅÇÓËÜÒÀÒÛ

141

(2.33) (2.34) óðîâåíü ïðèíÿòèÿ ðåøåíèÿ

Ðèñ. 8. Îöåíêè ïðè âðåìåííîì âêëþ÷åíèè ïîëåçíîãî ñèãíàëà

yn = 'n n + vn ; n = 1; 2; : : : : Ïîëåçíûé ñèãíàë f'n g è ïîìåõè íàáëþäåíèÿ fvn g óäîâëåòâîðÿþò òåì æå óñëîâèÿì, ÷òî è â ïðåäûäóùåì ïóíêòå. Èçìåðåíèÿ ïðîèçâîäèëèñü íà èíòåðâàëå n = 1; 2; : : : ; 500. Ïîëåçíûé ñèãíàë âêëþ÷àëñÿ â êàíàë íàáëþäåíèÿ âðåìåííî, ñ ìîìåíòà n = 100 äî n = 350, õîòÿ åãî çíà÷åíèÿ áûëè äîñòóïíû ýêñïåðèìåíòàòîðó íà âñåì ïðîìåæóòêå âðåìåíè íàáëþäåíèÿ.  âûáðàííîì ïðèìåðå ìîäåëèðîâàíèÿ õàðàêòåð ïîâåäåíèÿ ïîìåõ íåðåãóëÿðíûé, ñì. ðèñ. 7. Ïåðâóþ ïîëîâèíó âðåìåíè íàáëþäåíèÿ ñðåäíåå çíà÷åíèå ïîìåõè áîëüøå åäèíèöû, íà âòîðîé ïîëîâèíå  ìåíüøå ìèíóñ åäèíèöû. Çàäà÷à ñîñòîèò â ïîñòðîåíèè ïðàâèëà, ïî êîòîðîìó â êàæäûé ìîìåíò âðåìåíè ìîæíî áûëî áû îòâåòèòü íà âîïðîñ ïîñòóïàåò ëè â êàíàë íàáëþäåíèÿ ïîëåçíûé ñèãíàë èëè ðåãèñòðèðóþòñÿ òîëüêî ïîìåõè. Hà ðèñ. 8 ïðèâåäåíû ãðàôèêè ïîâåäåíèÿ ïîñëåäîâàòåëüíîñòåé îöåíîê, ãåíåðèðóåìûõ ïî îáîèì àëãîðèòìàì. Ïðè âûáîðå â êà÷åñòâå ðåøàþùåãî ïðàâèëà îïåðàöèè ñðàâíåíèÿ òåêóùåãî çíà÷åíèÿ îöåíêè ñ ïîðîãîâûì çíà÷åíèåì Æ = 1=2 ðàíäîìèçèðîâàííûé àëãîðèòì â îòëè÷èå îò îáûêíîâåííîãî äîâîëüíî-òàêè òî÷íî îòñëåæèâàåò èçìåíåíèå ïàðàìåòðîâ ïîëåçíîãî ñèãíàëà, äàâàÿ òîëüêî 13% íåïðàâèëüíûõ îòâåòîâ. Áîëåå òîãî, îöåíêè îáûêíîâåííîãî àëãîðèòìà â ñåðåäèíå èíòåðâàëà âðåìåíè íàáëþäåíèÿ îøèáî÷íî (âñëåä çà èçìåíåíèåì ñðåäíåãî çíà÷åíèÿ ïîìåõè) ðåçêî ìåíÿþò õàðàêòåð ïîâåäåíèÿ.

ÃËÀÂÀ 2. ËÈÍÅÉÍÛÅ ÇÀÄÀ×È

142

2.5 Äîêàçàòåëüñòâà òåîðåì 2.12.6 Òåõíèêà äîêàçàòåëüñòâ òåîðåì 2.12.4 îïèðàåòñÿ íà [133]. Äîêàçàòåëüñòâî òåîðåìû 2.1. Îáîçíà÷èâ n = ^n 1  n ; n = vn Ef'n gT n , èç óðàâíåíèé äëÿ ìîäåëè íàáëþäåíèé (2.1) è àëãîðèòìà (2.2) ïîëó÷àåì

^n  = ^n

1

 n
n
Tn n + n
n n

è, ñëåäîâàòåëüíî,

k^n k2 = ((^n

)T nT n
n
Tn )((^n 1 ) n
n
Tn n ) + + 2n n2
Tn 2
n + ((^n 1 )T nT n
n
Tn )n n
n + + n n
Tn ((^n 1 ) n
n
Tn n ): Ðàññìîòðèì óñëîâíûå ïî îòíîøåíèþ ê  -àëãåáðå F~n 1 ìàòåìàòè÷åñêèå 1

îæèäàíèÿ îò îáåèõ ÷àñòåé ïîñëåäíåé ôîðìóëû. Ïðåäâàðèòåëüíî çàìåòèì, ÷òî ïî ïðåäïîëîæåíèþ (2.A)
n íå çàâèñèò îò F~n 1 è èìååò ñèììåòðè÷íîå ðàñïðåäåëåíèå Pn (
). Ñëåäîâàòåëüíî, âûïîëíÿþòñÿ ñîîòíîøåíèÿ

Ef(^n

1

)Tn n
n jF~n

è

1

g = (^n

1

)T n n Ef
n jF~n

EfnT n
n
Tn 2
n njF~n

1

1

g = 0;

g = 0:

Ó÷èòûâàÿ èõ, âûâîäèì

Efk^n

k2 jF^n

g = k^n 1 k2 nT nEf
n
Tn g (^n 1 ) (^n 1 )Tn Ef
n
Tn gn + 2n nT Ef
n
Tn 2
n
Tn gn + + 2n Efn2 jF~n 1 gEf
Tn 2
n g   k^n 1 k2 nT nBn (^n 1 ) (^n 1 )Tn Bn n + + 2n kn k2 EfTr[
n
Tn 2
n
Tn ]g + 2n n2 Tr[ Bn ]: 1

wn , ïîëó÷àåì k2jF^n 1 g  k^n 1 k2 (I+ 2n(k

Óñðåäíÿÿ ïî

Efk^n

(^n

+ 2n rw2 k

k2 Efk
n k4 g +2M'2 Tr[ Bn ]))

)Tn (Bn + Bn )(^n 1 ) + k2 Efk
nk4 g + 2n(2vn2 + M'2 w2 ))Tr[ Bn ]: 1

2.5. ÄÎÊÀÇÀÒÅËÜÑÒÂÀ ÒÅÎÐÅÌ 2.12.6

143

Äàëåå, óñðåäíÿÿ ïî vn , èìååì

Efk^n k2 jFn

1

g  k^n

(^n + 2n (rw2 k

k2 (I+ 2n (k

1

k2 Efk
nk4 g +2M'2 Tr[ Bn ]))

)Tn (Bn + Bn )(^n 1 ) + k2 Efk
nk4 g + (2v2 + rM'2 w2 )Tr[ Bn ]): 1

Òàê êàê

1 X

2n Efk
n k4 g <

1

2n Tr[ Bn ]) <

1;

n=1

è

1 X n=1

òî, ïðèìåíÿÿ ëåììó ÐîááèíñàÑèãìóíäà (ëåììà Ï.1 íà ñòð. 254), ïîëó÷àåì ñóùåñòâîâàíèå êîíå÷íîãî ïðåäåëà limn!1 k^n  k2 è, áîëåå òîãî, ñõîäèìîñòü ðÿäà

1 X n=1

(^n

1

)T n (Bn + Bn )(^n

1

) < 1 :

P Èç òîãî, ÷òî n = 1 è kBn k  
2 < 1, ñëåäóåò k^n k2 ! 0 ñ âåðîÿòíîñòüþ åäèíèöà. Ïåðâîå óòâåðæäåíèå òåîðåìû äîêàçàíî. Äîêàæåì âòîðîå óòâåðæäåíèå òåîðåìû. Îáîçíà÷èì Dn = (^n  )(^n T ) . Êàê è âûøå, èç óðàâíåíèé äëÿ ìîäåëè íàáëþäåíèé (2.1) è àëãîðèòìà (2.2) ìîæåì ïîëó÷èòü

Dn = Dn

n
n
Tn n (^n

1

1

)T n (^n

1

)nT
n
Tn +

+ 2n
n
Tn n nT
n
Tn + 2n n2
n
Tn + + (^n 1  n
n
Tn n )n n
Tn + nn
n (^n 1  n
n
Tn n )T : Äàëåå, óñðåäíèâ îáå ÷àñòè ïîñëåäíåãî ñîîòíîøåíèÿ ïî  -àëãåáðå F~n 1 , â ñèëó äîïóùåíèÿ (2.A), çàêëþ÷àåì, ÷òî

EfDn jF~n

g = Dn 1 n Bnn(^n )T n(^n 1 )nTBn + + 2n Ef
n
Tn n nT
n
Tn jF~n 1 g + 2n n2 Bn  1

 Dn

n Bn n (^n 1 )T n (^n 1 )nT Bn + + 2n Ef
n
Tn (Dn 1 + wn (^n 1 )T +(^n 1 )wnT + wn wnT )
n
Tn g + 1

ÃËÀÂÀ 2. ËÈÍÅÉÍÛÅ ÇÀÄÀ×È

144

+ 2n (vn2 (1 + M'2 ) + kDn ñ ëþáûì  > 0; òàê êàê 2kvn Ef'n gT (^n

1

+ 2n

1

g  Dn

n Bn Dn

1



(vn2 (1 + M'2 ) +

kDn 1 k

k 1 + M'2 kwn k2 ) Bn

)k2  M'2 vn2 + kDn

Òåïåðü ïðîèçâåäåì óñðåäíåíèå ïî ÷àñòü (2.Bii):

EfDn jF^n

1

1

-àëãåáðå F^n

1

k 1 :

1 , èñïîëüçóÿ âòîðóþ

nDTn 1 Bn +2n kDn

f

1 + rM 2  2 )B + E ' w n

1

kEfk
n k4 g 2 +


n
Tn Qw
n
Tn



g :

 çàêëþ÷åíèå, âçÿâ áåçóñëîâíîå ìàòåìàòè÷åñêîå îæèäàíèå è èñïîëüçîâàâ ïåðâóþ ÷àñòü äîïóùåíèÿ (2.Bii), ïîëó÷àåì äëÿ ìàòðèö Vn := EfDn g

Vn  Vn

1

n Bn Vn

1

n Vn 1 Bn + 2n (v2 (1+ M'2 )+ M'2 w2 )Bn +

+ 2n Ef
n
Tn Qw
n
Tn g + n n O(k Vn 1 k)

n = n (1 + Efk
n k4 g). Òàê êàê n ! 0 è n ! 0 ïðè n

ñ ! 1, òî ïðèìåíÿÿ ê ïîñëåäíåìó íåðàâåíñòâó ëåììó Ï.9 íà ñòð. 256, èìååì Vn ! 0 ïðè n ! 1. Äîêàçàòåëüñòâî òåîðåìû 2.2. Äëÿ íà÷àëà ïîêàæåì, ÷òî ìàòðè÷íîå óðàâíåíèå èç óòâåðæäåíèÿ òåîðåìû èìååò ðåøåíèå. Ïåðåïèøåì åãî â âèäå

( B

1 I)S + S(B 2

1 I) = R : 2

Òàê êàê B + 12 I ÿâëÿåòñÿ óñòîé÷èâîé, òî ïî ëåììå Ëÿïóíîâà (ñì. ëåììà Ï.8 íà ñòð. 256) ñóùåñòâóåò ïîëîæèòåëüíî îïðåäåëåííàÿ ìàòðèöà S, êîòîðàÿ ÿâëÿåòñÿ ðåøåíèåì ñîîòâåòñòâóþùåãî ìàòðè÷íîãî óðàâíåíèÿ. Âåðíåìñÿ ê ïîñëåäíåìó íåðàâåíñòâó èç äîêàçàòåëüñòâà ïðåäûäóùåé òåîðåìû.  ñèëó k n 1 Bn Bk = O (n 1 ) è ñâîéñòâ ïðåäåëà ïîñëåäîâàòåëüíîñòè f n g, ïîëó÷àåì

Vn  V n

1

ñ íåêîòîðîé Wn = n(Vn

Wn  Wn

1 BVn n

1 1 1 Vn 1 B + 2n n R + n O(kVn 1 k) + o( 2 ); n n n ïîñëåäîâàòåëüíîñòüþ f n g : n ! 0 ïðè n ! 1. Ïóñòü n S). Òîãäà â óñëîâèÿõ òåîðåìû 2.2 èìååì 1

1

(n 1) 1 ( B

1 I)Wn 2

1

(n 1) 1 Wn 1 (B

1 I) + 2

2.5. ÄÎÊÀÇÀÒÅËÜÑÒÂÀ ÒÅÎÐÅÌ 2.12.6

+ n 1 n O(kWn

1

145

k) + o(n 1 ):

Ñëåäîâàòåëüíî, ïðèìåíÿÿ îïÿòü ëåììó Ï.9 íà ñòð. 256, ïîëó÷àåì Wn ! 0 ïðè n ! 1, è, òàêèì îáðàçîì, òåîðåìà 2.2 äîêàçàíà. Äîêàçàòåëüñòâî òåîðåìû 2.3. Äëÿ ìàòðèö Vn = Ef(^n  )(^n )T g, êàê è ïðè äîêàçàòåëüñòâå òåîðåìû 2.1, ó÷èòûâàÿ = I; Bn = B è w = 0, èìååì Vn  Vn 1 n (Vn 1 B + BVn 1 ) + 2n v2 (1 + M'2 )B + n n O(kVn 1 k): Îòñþäà, â ñèëó óñëîâèÿ òåîðåìû 2.3 äëÿ n , ïîëüçóÿñü ëåììîé Ï.10 íà ñòð. 257, ìîæíî ñäåëàòü âûâîä î òîì, ÷òî

1 Vn = n v2 (1 + M'2 ) I + o (n ): 2 Îáîçíà÷èâ n = ^n 1  n ; n = vn Ef'n gT n , èç óðàâíåíèé äëÿ ìîäåëè íàáëþäåíèé è àëãîðèòìà (2.6) ïîëó÷àåì

^n  = ^n

1

 n
n
Tn n + n
nn ; 1 ~n 1 1 ~n  = (1 )( ) + (^n 1 ): n n Ñëåäîâàòåëüíî, ïðè Dn = (^n  )(^n  )T èìååì 1 ^n 1 1 (^n )(~n )T = (1 )( )(~n 1 )T + Dn n n  T 1 ~n 1 1 n
n
Tn n (1 )( ) + (^n 1 ) + n n  T 1 ~n 1 1 ^n 1 + n
n n (1 )( ) + ( ) : n n

1

 ñèëó ïðåäïîëîæåíèÿ (2.A), ïðîèçâåäÿ óñðåäíåíèå ñíà÷àëà ïðè óñëîâèè -àëãåáðû F~n 1 , à çàòåì ïî -àëãåáðå F^n 1 , ïðèõîäèì ê çàêëþ÷åíèþ

Ef(^n

)(~n )T jF^n

1

g = (1 n1 )(I n B)(^n

1 + (I n B)Dn 1 : n Ñëåäîâàòåëüíî, äëÿ ìàòðèö Wn := Ef(^n 1  )(~n ñîîòíîøåíèå

Wn = (1

1 )(I n B)Wn n

1 + (I

1

1

)(~n

1

)T +

)T g ñïðàâåäëèâî

1 n B) Vn 1 : n

ÃËÀÂÀ 2. ËÈÍÅÉÍÛÅ ÇÀÄÀ×È

146

Ó÷èòûâàÿ óñòàíîâëåííûé ðàíåå âèä àñèìïòîòè÷åñêîãî ïîâåäåíèÿ Vn è òîò ôàêò, ÷òî 1=n = o (n ), ê ïîñëåäíåìó óðàâíåíèþ ìîæíî ïðèìåíèòü ëåììó Ï.11 íà ñòð. 257 è ïîëó÷èòü

1 Wn = v2 (1 + M'2 )B 2

1

1 + o (n 1 ): n

Ïîäîáíûì îáðàçîì, âçÿâ ñíà÷àëà ïîñëåäîâàòåëüíî óñëîâíûå óñðåäíåíèÿ ïî îòíîøåíèþ F~n 1 è F^n 1 , à ïîòîì áåçóñëîâíîå ìàòåìàòè÷åñêîå îæèäàíèå, ìîæíî óáåäèòüñÿ â òîì, ÷òî äëÿ Tn := Ef(~n  )(~n  )T g âûïîëíÿåòñÿ

1 2 ) T + (1 n n 1

Tn = (1

1 1 1 ) (W + WnT ) + 2 Vn : n n n n

Ïîäñòàâèâ â ïîñëåäíåå ñîîòíîøåíèå ïîëó÷åííûå ðàíåå âûðàæåíèÿ äëÿ Vn è Wn è ïðèìåíèâ ëåììó Ï.12 íà ñòð. 258 èìååì

Tn =

1 2  (1 + M'2 )B 1 + o (n 1 ): n v

Òåîðåìà 2.3 äîêàçàíà. Äîêàçàòåëüñòâî òåîðåìû 2.4. Îáîçíà÷èì n = ^n 1  n ; n = vn Ef'n gT n . Ñëåäóþùèå âñïîìîãàòåëüíûå ðåçóëüòàòû áóäóò èñïîëüçîâàòüñÿ â äîêàçàòåëüñòâå òåîðåìû 2.4.

Ë å ì ì à 2.3 [133] Â óñëîâèÿõ òåîðåìû 2.4 âûïîëíÿþòñÿ ñâîéñòâà:

EfnT n n
njF~n 1 g = 0 è EfnT
n
Tn 2n
n njF~n 1 T 2 P (b)
n n
n < 1 c âåðîÿòíîñòüþ åäèíèöà,

(a)

1

g = 0;

n=1

(c) (d)

1 P n=1


Tn n
n =

P1 n=1

1 c âåðîÿòíîñòüþ åäèíèöà,

k
nk4 2max( n ) < 1 c âåðîÿòíîñòüþ åäèíèöà.

Äîêàçàòåëüñòâî (a). Èç (2.7) èìååì n
n =

Ef

n

T n 1
n
n n 1
n 1 +
Tn n 1
n

1
n

nT n n
n

jF~n

1

g=

=

n 1
n ; 1 +
Tn n 1
n

f 1 +
nT 1
n
F~n 1 g n n 1 n

nT n E

=

2.5. ÄÎÊÀÇÀÒÅËÜÑÒÂÀ ÒÅÎÐÅÌ 2.12.6

nT n n 1

=

Z

147

x

P (dx) 1 + xT n 1 x n

òàê êàê èíòåãðàë îò íå÷åòíîé ôóíêöèè àðãóìåíòà ðàñïðåäåëåíèþ Pn (
) ðàâåí íóëþ. Äàëåå,


n
Tn 2n
n =
n è

Ef
n
Tn 2n
n n jF~n

= 0;

x ïî ñèììåòðè÷íîìó


Tn 2n 1
n (1 +
Tn n 1
n )2

g

1 = 0 ïî òåì æå ïðè÷èíàì. Äîêàçàòåëüñòâî (b). Òàêæå èç (2.7) èìååì

Tr[ n ] = Tr[

Tr[ n 1
n
Tn n 1 ] = Tr[ 1 +
Tn n 1
n

n 1]

n 1]


Tn 2n 1
n : 1 +
Tn n 1
n

Òàê êàê Tr[ n ]  Tr[ n 1 ]  : : :  Tr[ 0 ], òî, â ñèëó ïîëîæèòåëüíîé îïðåäåëåííîñòè äëÿ âñåõ n ìàòðèö n , ñóùåñòâóåò ïðåäåë limn!1 Tr[ n ]. Äàëåå âûâîäèì n X


Tk 2k 1
k Tr[ n ] = Tr[ 0 ] T k=1 1 +
k k 1
k Óñòðåìëÿÿ

n

 Tr[ 0]

n X


Tk 2k 1
k T 2: k=1 (1 +
k k 1
k )

! 1, òàê êàê
Tk

2
k 1 k

=


Tk 2k 1
k ; (1 +
Tk k 1
k )2

ïîëó÷àåì çàêëþ÷åíèå (b). Äîêàçàòåëüñòâî (ñ). Ïî ñâîéñòâó ñîáñòâåííûõ çíà÷åíèé ìàòðèöû çàêëþ÷àåì, ÷òî

1 X n=1


Tn n
n

 =

1 X n=1

k
nk2 min ( n) =

1 X

1 X n=1

k
nk2 =max (

k
nk2 Tr[ n 1] k
k k2 )max (

Pn n=1 ( + k=1

n

n

1) :

Hî ïî ëåììå ÀáåëÿÄèíè (ñì. [180]) ñ âåðîÿòíîñòüþ åäèíèöà

1 X n=1

k
nk

2 =(

0+

n X k=1

k
k k2 ) = 1:

1)

=

ÃËÀÂÀ 2. ËÈÍÅÉÍÛÅ ÇÀÄÀ×È

148

Êðîìå òîãî, Tr[ n 1 ]=max ( n 1 ) = O (1). Ñëåäîâàòåëüíî, óòâåðæäåíèå (c) âåðíî. Äîêàçàòåëüñòâî (d). Íåòðóäíî óáåäèòüñÿ, ÷òî

1 X n=1

k
nk4 2max ( n) =

1 X n=1

2 ( k
nk4 min

n

1 ):

 ñîîòâåòñòâèè ñ óñèëåííûì çàêîíîì áîëüøèõ ÷èñåë Êîëìîãîðîâà (ñì. ïóíêò Ï.1.3 íà ñòð. 251), 1

n

n X k=1


k
Tk

!B

ñ âåðîÿòíîñòüþ åäèíèöà ïðè n ! 1. Ñëåäîâàòåëüíî, ñ âåðîÿòíîñòüþ åäèíèöà (nB) 1 n 1 !PI è n 1 min ( n 1 ) ! C > 0. Ñõîäèìîñòü ñ T 2 âåðîÿòíîñòüþ åäèíèöà 1 nP =1 (
n n
n ) áóäåò îáåñïå÷åíà, åñëè ñ âåðîÿò1 íîñòüþ åäèíèöà ñõîäèòñÿ n=1 n 2 k
n k4 . P 2 4 Äëÿ òîãî, ÷òîáû äîêàçàòü ñõîäèìîñòü ðÿäà 1 n=1 n k
n k , èñïîëüçóåì ñóììèðîâàíèå ÷àñòÿìè n X k=1

k

2

k
k k4 = n 1(n  n 1(n

1

n X k=1

1

n X k=1

k
k k4 ) +

k
k k4) +

nX1 k=1

nX1 k=1

(k

2k

2

21

k

(k + 1) 2 ) k X

k X t=1

k
t k4 :

t=1 P 1 k 4 t=1
t ñõîäèòñÿ ñ âå4
< , ñëåäîâàòåëüíî,

Hî ïîñëåäîâàòåëüíîñòü èç âåëè÷èí dk := k k k ðîÿòíîñòüþ åäèíèöà ïðè k ! 1, òàê êàê Efk n k g 1 P1 2 k=1 2k dk < 1 ñ âåðîÿòíîñòüþ åäèíèöà. Áîëåå òîãî, ïðè

n

2

n X k=1

k
t k4 

n

!1

k
k k4 ! 0:

P 2 4 Ñõîäèìîñòü 1 n=1 n k
n k äîêàçàíà, à çíà÷èò, çàêîí÷åíî äîêàçàòåëüñòâî (d). Âåðíåìñÿ ê äîêàçàòåëüñòâó òåîðåìû 2.4.  ñèëó àëãîðèòìà îöåíèâàíèÿ (2.7) èìååì

^n  = ^n

1



T n
n
n n + n
n n

2.5. ÄÎÊÀÇÀÒÅËÜÑÒÂÀ ÒÅÎÐÅÌ 2.12.6

149

è, ñëåäîâàòåëüíî,

k^n k2 = ((^n

1

)T nT
n
Tn n )((^n

1

)

T n
n
n n ) +

+ n2
Tn 2n
n + ((^n 1 )T nT
n
Tn n )n n
n + + n
Tn n ((^n 1 ) n
n
Tn n ): Ó÷èòûâàÿ ïîëó÷åííûå âûøå ñîîòíîøåíèÿ (a) ëåììû 2.3, ðàññìîòðèì óñëîâíûå ïî îòíîøåíèþ ê  -àëãåáðå F~n 1 ìàòåìàòè÷åñêèå îæèäàíèÿ îò îáåèõ ÷àñòåé ïîñëåäíåé ôîðìóëû

Efk^n

k2 jF~n

1

g = k^n

1

k2

nT Ef
n
Tn

n 1 n jF~n 1 g(^

)T Ef n
n
Tn jF~n 1 gn + nT Ef
n
Tn 2n
n
Tn jF~n + Ef(vn Ef'n gT n )2 jF~n 1 gEf
Tn 2n
n jF~n 1 g: Óñðåäíèâ ïî îòíîøåíèþ ê  -àëãåáðå F^n 1 , èìååì (^n

Efk^n

1

k2 jF^n

1

)

gn +

g  k^n 1 k2 + Efk
n k4 2max ( n)kn k2jF^n 1 g (^n 1 )TEf( n
n
Tn +
n
Tn n )jF^n 1 g(^n 1 ) + + (2vn2 + 2M'2 k^n 1 k2 + rM'2 w2 )Ef
Tn 2n
n jF^n 1 g: 1

Äàëåå, óñðåäíÿÿ ïî vn , íà îñíîâàíèè äîïóùåíèÿ (2.Bi), çàêëþ÷àåì

Efk^n

k^n

k2 jFn

1

g  (1 + Ef2M'2
Tn 2n
n + k
nk4 2max ( n)jFn 1 g)

k2 (^n 1 )T Ef( n
n
Tn +
n
Tn n)jFn 1 g(^n 1 ) + + rw2 Efk
n k4 2max ( n )jFn 1 g + (2v2 + rM'2 w2 )Ef
Tn 2n
n jFn 1 g: 1

Ïðèìåíÿÿ ëåììó ÐîááèíñàÑèãìóíäà (ñì. ëåììà Ï.1 íà ñòð. 254) ê ïîñëåäíåìó ñîîòíîøåíèþ, â ñèëó óòâåðæäåíèé (b) è (d) ëåììû 2.3, çàêëþ÷àåì, ÷òî ïîñëåäîâàòåëüíîñòü fk^n  k2 g ñ âåðîÿòíîñòüþ åäèíèöà èìååò êîíå÷íûé ïðåäåë è

1 X n=1

(^n

1

)TEf n
n
Tn +
n
Tn

n 1 n jF^n 1 g(^

) <

P1 T ^ Â ñèëó óòâåðæäåíèÿ (ñ) ëåììû 2.3, n=1 Ef n
n
n jFn 1 g n 2 ñëåäîâàòåëüíî, k^ k ! 0 ñ âåðîÿòíîñòüþ åäèíèöà ïðè Ïåðâîå óòâåðæäåíèå òåîðåìû äîêàçàíî.

1: = n

1, à, ! 1.

ÃËÀÂÀ 2. ËÈÍÅÉÍÛÅ ÇÀÄÀ×È

150

Äîêàæåì âòîðîå óòâåðæäåíèå òåîðåìû. Èç ëîãèêè ïîñòðîåíèÿ îöåíîê ÐÌHÊ ñëåäóåò, ÷òî

^n =

n

n X k=1

Ef'k gT ^n 1 );


k (yk

n=(

n X k=1


k
Tk + 0 I)

1

è, çíà÷èò,

^n

=

Îáîçíà÷èâ k

(^n

X n

k=1

= k +
Tk (k

)(^n

0 

n X i=1

 1 X n


k
Tk + 0 I


Ti i

)T

0

=

i=1

k=1


i i

)) 0  :

), èìååì

 n X

n X

k=1




k (k +
Tk (k

 1


k
Tk + 0 I

T +

n X i;j =1 i6=j

02 T +


i
Tj i j

Ñíà÷àëà ïîêàæåì, ÷òî äëÿ ëþáîãî

X n

k=1

n X k=1


k
Tk + 0 I

Ef

 1

:

i 6= j; i; j = 1; : : : ; n

X n

(e)


k
Tk 2k

 1 X  1 n T T T
k
k + 0 I
i
j i j
k
k + I k=1 k=1

g = 0:

Ïóñòü äëÿ îïðåäåëåííîñòè i > j è Fni   -àëãåáðà, ïîðîæäàåìàÿ ñëó÷àéíûìè âåëè÷èíàìè f
1 ; : : : ;
i 1 ;
i+1 ; : : : ;
n ; w1 ; : : : ; wi 1 ; wi+1 ; : : : ; wn ; 1 ; : : : ; n g. Ðàññìîòðèì óñëîâíîå ïî íåé ìàòåìàòè÷åñêîå îæèäàíèå, ó÷èòûâàÿ íåçàâèñèìîñòü ñëó÷àéíîé âåëè÷èíû
i îò wi : X n

Ef

k=1


k
Tk + 0 I

 1


i
Tj i j

X n

k=1

 1


k
Tk + 0 I

jFni g =

=
Tj j Ef n (
i i +
i
Ti wi )

=

i n jFn g = =
Tj j Ef n
i i n jFni g +
Tj j Ef n
i
Ti gEfwi n g = X  1 X  1 n n T T T
k
k + 0 I
i i
k
k + 0 I jFni g
j j Ef k=1 k=1

= 0;

òàê êàê, â ñèëó äîïóùåíèÿ (2.A), ñëó÷àéíàÿ âåëè÷èíà
i íå çàâèñèò îò f
1 ; : : : ;
i 1 ;
i+1 ; : : : ;
n ; i g, è âûðàæåíèå ïîä çíàêîì óñëîâíîãî

2.5. ÄÎÊÀÇÀÒÅËÜÑÒÂÀ ÒÅÎÐÅÌ 2.12.6

151

ìàòåìàòè÷åñêîãî îæèäàíèÿ ÿâëÿåòñÿ íå÷åòíîé ôóíêöèåé îò
i , èíòåãðèðóåìîé ïî ñèììåòðè÷íîìó ðàñïðåäåëåíèþ Pi (
). Ñëåäîâàòåëüíî, ñâîéñòâî (e) âûïîëíÿåòñÿ. Àíàëîãè÷íî ìîæíî ïîêàçàòü, ÷òî äëÿ ëþáîãî i = 1; : : : ; n X  1 X  1 n n T T T Ef
k
k + 0 I 
i i
k
k + I g = 0: k=1 k=1 Òåïåðü ïîëó÷àåì, â ñîîòâåòñòâèè ñ (2.Biii) è ïðåäïîëîæåíèåì òåîðåìû 2.4 îá îãðàíè÷åííîñòè
n , ïðè äîñòàòî÷íî áîëüøèõ n X  1 n n X n n T T Ef(^ )(^ ) g = Ef
k
k + 0 I (2 T +
k
Tk 2k ) k=1 k=1 X  1 n 
k
Tk + 0 I g  C^ Ef n g k=1 ^ Òàê êàê Pnk=1
k
Tk ! 1 ïðè n ! 1 ñ ñ íåêîòîðîé ïîñòîÿííîé C: âåðîÿòíîñòüþ åäèíèöà è k n k  0 1 , òî, ïî òåîðåìå Ëåáåãà î äîìèíèðóþùåé ïîñëåäîâàòåëüíîñòè (ñì. [99], ñòð. 204), ïîëó÷àåì Ef(^n  )(^n )T g ! 0 ïðè n ! 1. Äîêàçàòåëüñòâî òåîðåìû 2.4 çàêîí÷åíî. Äîêàçàòåëüñòâî òåîðåìû 2.6. Ïåðâàÿ ÷àñòü äîêàçûâàåòñÿ òàê æå, êàê è â òåîðåìå 2.1. Îñòàíîâèìñÿ òîëüêî íà äîêàçàòåëüñòâå âòîðîé ÷àñòè. 1  () Âåëè÷èíû n = n 2 ( ^n ), â ñèëó (2.15), ñâÿçàíû ñîîòíîøåíèåì

(n)



 I

1 (2 (1 + lnfng)
n2 2n

ãäå

n =

p

1 + lnfng
n

(1 )I) n ( )



(n) 1 +

p

n (^n 1 ) +  n

Rn

1 + lnfng n  ; 1+ n 2

;

è çíàê  îçíà÷àåò, ÷òî ðàâåíñòâî ïîíèìàåòñÿ ñ òî÷íîñòüþ äî âåëè÷èí, èìåþùèõ ïðè n ! 1 âûñøèé ïîðÿäîê ìàëîñòè, êîòîðûìè ìîæíî ïðåíåáðå÷ü. Èç óñëîâèé (2.A3) è (2.E), â ñèëó îãðàíè÷åííîñòè ïîìåõ fvt g è êîìïàêòíîñòè ìíîæåñòâà T , èìååì kn k  Ck^n 1 k ñ íåêîòîðîé ïîñòîÿííîé íîøåíèå

Efk

kj

C .

 óñëîâèÿõ òåîðåìû 2.6 ñïðàâåäëèâî ñîîò-

(n) 2 y0 ; : : : ; ysn; u0 ; : : : ; usn 1



g 1

2min( )B 1 +  n



k(n) 1k2 +

ÃËÀÂÀ 2. ËÈÍÅÉÍÛÅ ÇÀÄÀ×È

152

+ max( )2

2lnfng Efkn k2 jy0 ; : : : ; ysn ; u0 ; : : : ; usn n1+

1

g:

Ïîñêîëüêó âûïîëíåíû óñëîâèÿ

1 X

lnfng < 1; n1+ n=1

1 X

2min( )B 1 +  = 1; n n=1

òî, â ñèëó ëåììû ÐîááèíñàÑèãìóíäà (ñì. ëåììà Ï.1 íà ñòð. 254) î ñõîäèìîñòè ïî÷òè ïîëóìàðòèíãàëîâ è ëåììû Ï.7 íà ñòð. 256, óáåæäàåìñÿ â ñïðàâåäëèâîñòè âòîðîãî çàêëþ÷åíèÿ òåîðåìû 2.6.

Ãëàâà 3 Ðàíäîìèçèðîâàííûå àëãîðèòìû ñòîõàñòè÷åñêîé àïïðîêñèìàöèè

Ìíîãîìåðíàÿ ñòîõàñòè÷åñêàÿ îïòèìèçàöèÿ èãðàåò âàæíóþ ðîëü â àíàëèçå è óïðàâëåíèè ìíîãèìè òåõíè÷åñêèìè ñèñòåìàìè. Ïðàêòè÷åñêè âî âñåõ ïðèêëàäíûõ çàäà÷àõ îïòèìèçàöèè èñïîëüçóåòñÿ êàêîé-íèáóäü ìàòåìàòè÷åñêèé àëãîðèòì, êîòîðûé ïîñëåäîâàòåëüíî îòûñêèâàåò íóæíîå ðåøåíèå, òàê êàê àíàëèòè÷åñêîå ðåøåíèå çàäà÷è ðåäêî äîñòóïíî. Äëÿ ðåøåíèÿ òðóäíûõ ìíîãîìåðíûõ çàäà÷ îïòèìèçàöèè è ðàçðàáàòûâàëèñü ðàíäîìèçèðîâàííûå àëãîðèòìû ñòîõàñòè÷åñêîé àïïðîêñèìàöèè ñ âîçìóùåíèåì íà âõîäå. Ýòè àëãîðèòìû â ïîñëåäíåå âðåìÿ àêòèâíî èñïîëüçóþòñÿ â òàêèõ îáëàñòÿõ, êàê ñòàòèñòè÷åñêàÿ îöåíêà ïàðàìåòðîâ, óïðàâëåíèå ñ îáðàòíîé ñâÿçüþ, îñíîâàííàÿ íà ìîäåëèðîâàíèè îïòèìèçàöèÿ, îáðàáîòêà ñèãíàëîâ è èçîáðàæåíèé, ïëàíèðîâàíèå ýêñïåðèìåíòîâ. Èõ ñóùåñòâåííàÿ îñîáåííîñòü ñîñòîèò â òîì, ÷òî äëÿ àïïðîêñèìàöèè ãðàäèåíòà ôóíêöèè ïîòåðü, ëåæàùåé â îñíîâå ìíîãèõ àëãîðèòìîâ, òðåáóåòñÿ òîëüêî îäíî èëè äâà èçìåðåíèÿ ôóíêöèè íåçàâèñèìî îò ðàçìåðíîñòè çàäà÷è îïòèìèçàöèè. Ýòà îñîáåííîñòü îáåñïå÷èâàåò îòíîñèòåëüíóþ ëåãêîñòü ïðåäñòàâëåíèÿ àëãîðèòìîâ è ïîçâîëÿåò äîáèòüñÿ ñóùåñòâåííîãî óìåíüøåíèÿ çàòðàò íà ðåøåíèå, îñîáåííî â çàäà÷àõ îïòèìèçàöèè ïî áîëüøîìó êîëè÷åñòâó ïåðåìåííûõ. Êðîìå òîãî, â ñëó÷àå çàøóìëåííûõ èçìåðåíèé ôóíêöèè ïîòåðü äëÿ ýòèõ àëãîðèòìîâ óäàåòñÿ äîêàçàòü ñîñòîÿòåëüíîñòü äîñòàâëÿåìûõ îöåíîê ïðè î÷åíü íåçíà÷èòåëüíûõ îãðàíè÷åíèÿõ íà ïîìåõè.  ýòîé ãëàâå ðàññìàòðèâàåòñÿ áîëåå îáùàÿ, ÷åì îáû÷íî, ïîñòàíîâêà çàäà÷è ìèíèìèçàöèè ôóíêöèîíàëà òèïà ñðåäíåãî ðèñêà â óñëîâèÿõ èç155

156ÃËÀÂÀ 3. ÐÀÍÄÎÌÈÇÈÐÎÂÀÍÍÛÅ ÀËÃÎÐÈÒÌÛ ÑÀ ìåðåíèé çíà÷åíèé ïîäûíòåãðàëüíîé ôóíêöèè ñòîèìîñòè ñ ïî÷òè ïðîèçâîëüíûìè ïîìåõàìè. Äëÿ ðåøåíèÿ çàäà÷è ïðåäëàãàåòñÿ èñïîëüçîâàòü îäèí èç íåñêîëüêèõ ðàíäîìèçèðîâàííûõ àëãîðèòìîâ, äëÿ îöåíîê êàæäîãî èç êîòîðûõ óñòàíàâëèâàþòñÿ óñëîâèÿ ñõîäèìîñòè ê èñòèííîìó çíà÷åíèþ íåèçâåñòíûõ ïàðàìåòðîâ â òîì èëè èíîì âåðîÿòíîñòíîì ñìûñëå.

3.1. ÔÎÐÌÓËÈÐÎÂÊÈ È ÎÁÎÑÍÎÂÀÍÈß

157

3.1 Ôîðìóëèðîâêè è îáîñíîâàíèÿ ðàíäîìèçèðîâàííûõ àëãîðèòìîâ ÑÀ Ðàçâèòèå ìåòîäîâ ñòîõàñòè÷åñêîé àïïðîêñèìàöèè (ÑÀ) íà÷àëîñü â ïÿòèäåñÿòûå ãîäû ÕÕ âåêà ñ àëãîðèòìà ÐîááèíñàÌîíðî (ÐÌ) [186] è ïðîöåäóðû ÊèôåðàÂîëüôîâèöà (ÊÂ) [154]. Ðàññìîòðèì äëÿ ïðèìåðà çàäà÷ó î íàõîæäåíèè ñòàöèîíàðíîé òî÷êè  íåêîòîðîé ôóíêöèè f (
) (òî÷êè ëîêàëüíîãî ìèíèìóìà èëè ìàêñèìóìà) ïðè óñëîâèè, ÷òî äëÿ êàæäîãî çíà÷åíèÿ x 2 R  âõîäà àëãîðèòìà (óïðàâëÿåìîé ïåðåìåííîé)  íàáëþäàåòñÿ ñëó÷àéíàÿ âåëè÷èíà Y (x), ÿâëÿþùàÿñÿ çàøóìëåííûì çíà÷åíèåì ôóíêöèè f (
) â òî÷êå x

Y (x) = f (x) + V: Äæ.Êèôåð è Äæ.Âîëüôîâèö äëÿ ðåøåíèÿ ýòîé çàäà÷è ïðè íåêîòîðûõ äîïîëíèòåëüíûõ îãðàíè÷åíèÿõ îáîñíîâàëè ñõîäèìîñòü ê òî÷êå  ðåêóððåíòíîé ïîñëåäîâàòåëüíîñòè, îïðåäåëÿåìîé ïî ïðàâèëó (àëãîðèòìó)

^n = ^n

1

n

Y (^n 1 + n ) Y (^n 2 n

1

n )

;

ãäå fn g è f n g  íåêîòîðûå çàäàííûå óáûâàþùèå ÷èñëîâûå ïîñëåäîâàòåëüíîñòè ñ îïðåäåëåííûìè ñâîéñòâàìè. Îñíîâíîå óñëîâèåîãðàíè÷åíèå íà ñâîéñòâà ïîìåõ íàáëþäåíèÿ, êîòîðîå îáû÷íî ïðåäïîëàãàåòñÿ âûïîëíåííûì,  ýòî óñëîâíàÿ öåíòðèðîâàííîñòü ïîìåõ íàáëþäåíèÿ. Åãî ìîæíî ñôîðìóëèðîâàòü òàêèì îáðàçîì. Äëÿ ñòàòèñòèêè (ôóíêöèè, âûáîðî÷íûå çíà÷åíèÿ êîòîðîé òî÷íî íàáëþäàþòñÿ èëè âû÷èñëÿþòñÿ)

g(x; ) =

Y (x + ) Y (x ) 2

ìàòåìàòè÷åñêîå îæèäàíèå ïðè ìàëîì ôóíêöèè

áëèçêî ê çíà÷åíèþ ïðîèçâîäíîé

Efg(x; )g  f 0(x):

Ïîâåäåíèå ïîñëåäîâàòåëüíîñòè îöåíîê, äîñòàâëÿåìûõ àëãîðèòìîì ñòîõàñòè÷åñêîé àïïðîêñèìàöèè, çàâèñèò îò âûáîðà íàáëþäàåìûõ ôóíêöèéñòàòèñòèê g (x; ).  ðÿäå ïðàêòè÷åñêèõ ïðèëîæåíèé áûâàåò íåäîñòàòî÷íî èíôîðìàöèè îòíîñèòåëüíî ñòàòèñòè÷åñêèõ ñâîéñòâ îøèáîê èçìåðåíèÿ, èëè îíè ìîãóò ïðîñòî çàäàâàòüñÿ íåèçâåñòíîé ýêñïåðèìåíòàòîðó

158ÃËÀÂÀ 3. ÐÀÍÄÎÌÈÇÈÐÎÂÀÍÍÛÅ ÀËÃÎÐÈÒÌÛ ÑÀ äåòåðìèíèðîâàííîé ôóíêöèåé. Ïðè ýòîì âîçíèêàþò ñóùåñòâåííûå òðóäíîñòè â îáîñíîâàíèè ïðèìåíèìîñòè îáû÷íîé ïðîöåäóðû ÊèôåðàÂîëüôîâèöà, è ÷àñòî åå îöåíêè íå ñõîäèòñÿ ê èñêîìîé òî÷êå. Hî ýòî íå îçíà÷àåò, ÷òî, ðåøàÿ òàêèå ïðîáëåìû, íàäî âîîáùå îòêàçàòüñÿ îò èñïîëüçîâàíèÿ äîñòàòî÷íî ïðîñòûõ â ïðåäñòàâëåíèè àëãîðèòìîâ ñòîõàñòè÷åñêîé àïïðîêñèìàöèè. Âûøå ïðè ðåøåíèè çàäà÷ ñ ïðîèçâîëüíûìè ïîìåõàìè óæå ïðåäëàãàëîñü èñïîëüçîâàòü "äðóãèå" íàáëþäåíèÿ. Åñëè óäà÷íî çàìåíèòü ñòàòèñòèêó g (x; ) íà äðóãóþ, êîòîðàÿ "â ñðåäíåì" ëó÷øå àïïðîêñèìèðóåò ïðîèçâîäíóþ ôóíêöèè f (
), òî ìîæíî íàäåÿòüñÿ íà ïîëó÷åíèå ëó÷øåãî êà÷åñòâà ïîâåäåíèÿ ïîñëåäîâàòåëüíîñòè îöåíîê. Ïðåäïîëîæèì, ÷òî ôóíêöèÿ f (
) äâàæäû íåïðåðûâíî äèôôåðåíöèðóåìà è çàäàíà íàáëþäàåìàÿ ðåàëèçàöèÿ íåêîòîðîé áåðíóëëèåâñêîé ïîñëåäîâàòåëüíîñòè íåçàâèñèìûõ ñëó÷àéíûõ âåëè÷èí f
n g, ðàâíûõ ñ îäèíàêîâîé âåðîÿòíîñòüþ ïëþñ/ìèíóñ åäèíèöå, íåêîððåëèðîâàííûõ ñ îøèáêàìè íàáëþäåíèÿ íà øàãå n. Òîãäà ïðîöåäóðó ÊèôåðàÂîëüôîâèöà ìîæíî ìîäèôèöèðîâàòü, èñïîëüçóÿ ðàíäîìèçèðîâàííóþ ñòàòèñòèêó

g~(x; ;
) = g(x;
): Ðàçëîæèâ ôóíêöèþ f (x) ïî ôîðìóëå Òåéëîðà è âîñïîëüçîâàâøèñü íåêîððåëèðîâàííîñòüþ
n è ïîìåõ íàáëþäåíèÿ, äëÿ ýòîé íîâîé ñòàòèñòèêè èìååì

1 Efg~(x; ;
)g = f 0(x) + Ef V g + O( ) = f 0(x) + O( ):
Åñëè çíà÷åíèÿ ÷èñëîâîé ïîñëåäîâàòåëüíîñòè f n g â àëãîðèòìå ñòðåìÿòñÿ

ê íóëþ, òî â ïðåäåëå ýòà ñòàòèñòèêà "â ñðåäíåì" ñîâïàäàåò ñî çíà÷åíèåì ïðîèçâîäíîé ôóíêöèè f (
). Òàêèìè æå ñâîéñòâàìè îáëàäàåò è áîëåå ïðîñòàÿ ñòàòèñòèêà

g(x; ;
) =


Y (x +
);

èñïîëüçóþùàÿ òîëüêî îäíî íàáëþäåíèå íà êàæäîé èòåðàöèè (øàãå). Äîáàâëåíèå â àëãîðèòì è êàíàë íàáëþäåíèÿ íîâîãî ñëó÷àéíîãî ïðîöåññà f
ng, íàçûâàåìîãî ïðîáíûì îäíîâðåìåííûì âîçìóùåíèåì, ïðèâîäèò ê îáîãàùåíèþ ïîñëåäîâàòåëüíîñòè íàáëþäåíèé. Ïðîáíîå âîçìóùåíèå ïî ñâîåé ñóòè ÿâëÿåòñÿ âîçáóæäàþùèì âîçäåéñòâèåì, òàê êàê ãëàâíàÿ öåëü åãî èñïîëüçîâàíèÿ çàêëþ÷àåòñÿ â ñòðåìëåíèè äîáèòüñÿ íåâûðîæäåííîñòè ïîëó÷àåìûõ íàáëþäåíèé.  ìíîãîìåðíîì ñëó÷àå, êîãäà  2 R r , äëÿ ïîñòðîåíèÿ ïîñëåäîâàòåëüíîñòè îöåíîê îáû÷íàÿ ïðîöåäóðà ÊèôåðàÂîëüôîâèöà, îñíîâàííàÿ

3.1. ÔÎÐÌÓËÈÐÎÂÊÈ È ÎÁÎÑÍÎÂÀÍÈß

159

íà êîíå÷íîðàçíîñòíûõ àïïðîêñèàöèÿõ âåêòîðàãðàäèåíòà ôóíêöèè, èñïîëüçóåò 2r íàáëþäåíèé íà êàæäîé èòåðàöèè (ïî äâà íàáëþäåíèÿ äëÿ àïïðîêñèìàöèè êàæäîé êîìïîíåíòû r -ìåðíîãî âåêòîðàãðàäèåíòà). Ðàíäîìèçèðîâàííûå ñòàòèñòèêè g~(x; ;
) è g(x; ;
) äîïóñêàþò áîëåå ïðîñòîé ñ âû÷èñëèòåëüíîé òî÷êè çðåíèÿ ñïîñîá îáîáùåíèÿ íà ìíîãîìåðíûé ñëó÷àé, èñïîëüçóþùèé âñåãî äâà èëè îäíî èçìåðåíèå ôóíêöèè íà êàæäîé èòåðàöèè. Ïóñòü f
n g  áåðíóëëèåâñêèé r -ìåðíûé ñëó÷àéíûé ïðîöåññ. Òîãäà 0 1 1
1 B 1 C B
2 C Y (x +
) Y (x
) g~(x; ;
) = B . C ; 2 @ .. A 1
r à âèä ôîðìóëû äëÿ g(x; ;
) òàêîé æå, êàê è â ñêàëÿðíîì ñëó÷àå. Èñïîëüçîâàòü ñòàòèñòèêó g~(x; ;
) áûëî ïðåäëîæåíî Äæ.Ñïàëîì â [199, 200].  åãî îñíîâíîé ðàáîòå [200], â ÷àñòíîñòè, ïîêàçàíî, ÷òî äëÿ áîëüøèõ n âåðîÿòíîñòíîå ðàñïðåäåëåíèå ñîîòâåòñòâóþùèì îáðàçîì îòìàñøòàáèðîâàííûõ îøèáîê îöåíèâàíèÿ ÿâëÿåòñÿ ïðèáëèçèòåëüíî íîðìàëüíûì. Ïîëó÷åííàÿ ôîðìóëà äëÿ àñèìïòîòè÷åñêîé äèñïåðñèè îøèáêè âìåñòå ñ ïîäîáíîé õàðàêòåðèñòèêîé îáûêíîâåííîé ïðîöåäóðû ÊèôåðàÂîëüôîâèöà áûëà èì èñïîëüçîâàíà äëÿ ñðàâíåíèÿ äâóõ àëãîðèòìîâ. Âûÿñíèëîñü, ÷òî ïðè ïðî÷èõ ðàâíûõ óñëîâèÿõ íîâûé àëãîðèòì èìååò òó æå ñêîðîñòü ñõîäèìîñòè, ÷òî è îáû÷íàÿ ïðîöåäóðà ÊèôåðàÂîëüôîâèöà, íåñìîòðÿ íà òî, ÷òî â ìíîãîìåðíîì ñëó÷àå èñïîëüçóåò ñóùåñòâåííî ìåíüøå íàáëþäåíèé (â r ðàç ìåíüøå ïðè n ! 1). Còàòèñòèêà g(x; ;
) âïåðâûå áûëà ïðåäëîæåíà àâòîðàìè â [20, 72].  [20] îíà èñïîëüçîâàëàñü äëÿ ïîñòðîåíèÿ ïîñëåäîâàòåëüíîñòè îöåíîê, ñîñòîÿòåëüíûõ ïðè ïî÷òè ïðîèçâîëüíûõ ïîìåõàõ â íàáëþäåíèè. Âîïðîñ î ñêîðîñòè ñõîäèìîñòè îöåíîê àëãîðèòìîâ ñòîõàñòè÷åñêîé àïïðîêñèìàöèè áûë, íàâåðíîå, îñíîâíûì, ñòèìóëèðóþùèì ìîäèôèêàöèè ïåðâîíà÷àëüíûõ àëãîðèòìîâ. Ñâîéñòâà îöåíîê îáû÷íîé ïðîöåäóðû ÊèôåðàÂîëüôîâèöà è íåêîòîðûõ åå îáîáùåíèé äåòàëüíî èçó÷åíû â [11, 33, 34, 35, 45, 56, 61, 65, 70, 80, 85, 89, 113, 157, 158, 188, 210] è âî ìíîãèõ äðóãèõ ðàáîòàõ. Ñêîðîñòü ñõîäèìîñòè çàâèñèò îò ãëàäêîñòè ôóíêöèè f (
). Åñëè îíà äâàæäû äèôôåðåíöèðóåìà, òî ñðåäíåêâàäðà1 òè÷íàÿ îøèáêà îáûêíîâåííîãî àëãîðèòìà Ê óáûâàåò êàê O (n 2 ), åñëè 2 òðèæäû äèôôåðåíöèðóåìà  êàê O (n 3 ) [11]. Â.Ôàáèàí [128] ìîäèôèöèðîâàë ïðîöåäóðó ÊèôåðàÂîëüôîâèöà, ïðåäëîæèâ èñïîëüçîâàòü êðîìå àïïðîêñèìàöèè ïåðâîé ïðîèçâîäíîé êîíå÷íîðàçíîñòíûå àïïðîê-

160ÃËÀÂÀ 3. ÐÀÍÄÎÌÈÇÈÐÎÂÀÍÍÛÅ ÀËÃÎÐÈÒÌÛ ÑÀ ñèìàöèè ïðîèçâîäíûõ âûñøèõ ïîðÿäêîâ ñ îïðåäåëåííûìè âåñàìè. Åñëè ôóíêöèÿ f (
) èìååò ` íåïðåðûâíûõ ïðîèçâîäíûõ, òîãäà àëãîðèòì Ôàáèàíà îáåñïå÷èâàåò ñðåäíåêâàäðàòè÷íóþ ñêîðîñòü ñõîäèìîñòè ïîðÿäêà O(n ` ` 1 ) äëÿ íå÷åòíûõ `. Ñ âû÷èñëèòåëüíîé òî÷êè çðåíèÿ àëãîðèòì Ôàáèàíà î÷åíü óñëîæíåí, ÷èñëî íàáëþäåíèé íà îäíîé èòåðàöèè áûñòðî óâåëè÷èâàåòñÿ ñ ðîñòîì ãëàäêîñòè è ðàçìåðíîñòè, êðîìå ýòîãî, íà êàæäîì øàãå ïðèõîäèòñÿ îáðàùàòü íåêîòîðóþ ìàòðèöó. Ïðè èñïîëüçîâàíèè ðàíäîìèçèðîâàííûõ àëãîðèòìîâ ÑÀ â çàäà÷àõ ñ äîñòàòî÷íî ãëàäêèìè èññëåäóåìûìè ôóíêöèÿìè f (
) äîáèòüñÿ óâåëè÷åíèÿ àñìïòîòè÷åñêîé ñðåäíåêâàäðàòè÷íîé ñêîðîñòè ñõîäèìîñòè óäàåòñÿ áåç óâåëè÷åíèÿ êîëè÷åñòâà èçìåðåíèé ôóíêöèè íà êàæäîé èòåðàöèè.  òîì ñëó÷àå, êîãäà íåêîòîðûé îáîáùåííûé ïîêàçàòåëü ãëàäêîñòè ôóíêöèè f (
) ðàâåí ( = ` + 1, åñëè âñå ÷àñòíûå ïðîèçâîäíûå ôóíêöèè ïîðÿäêà äî ` âêëþ÷èòåëüíî óäîâëåòâîðÿþò óñëîâèþ Ëèïøèöà) â [72] áûëî ïðåäëîæåíî èñïîëüçîâàòü ñòàòèñòèêè âèäà

g~ (x; ;
) = K(
) è

g (x; ;
) =

Y (x +
) Y (x
) 2 1 K(
)Y (x +
);

ãäå K(
)  íåêîòîðàÿ âåêòîðôóíêöèÿ ñ êîíå÷íûì íîñèòåëåì (äèôôåðåíöèðóþùåå ÿäðî), îïðåäåëÿåìàÿ ñ ïîìîùüþ îðòîãîíàëüíûõ ìíîãî÷ëåíîâ Ëåæàíäðà ñòåïåíè ìåíüøåé . Äâà ñîîòâåòñòâóþùèõ ðàíäîìèçðîâàííûõ àëãîðèòìà äàþò ñðåäíåêâàäðàòè÷íóþ ñêîðîñòü ñõîäèìîñòè ïî 1 ñëåäîâàòåëüíîñòè îöåíîê, ðàâíóþ O (n ).  òîé æå ðàáîòå áûëî ïîêàçàíî, ÷òî äëÿ øèðîêîãî êëàññà àëãîðèòìîâ ýòà ñêîðîñòü ñõîäèìîñòè îïòèìàëüíà â íåêîòîðîì àñèìïòîòè÷åñêè ìèíèìàêñíîì ñìûñëå, ò. å. íå ìîæåò áûòü óëó÷øåíà íè äëÿ êàêîãîëèáî äðóãîãî àëãîðèòìà, íè äëÿ ëþáîãî äðóãîãî äîïóñòèìîãî ïðàâèëà âûáîðà òî÷åê èçìåðåíèÿ. Äëÿ íå÷åòíûõ ` ýòîò æå ôàêò ðàíåå áûë óñòàíîâëåí Õ.Ô.×åíîì [118]. Ñõîäèìîñòü ðàíäîìèçèðîâàííûõ àëãîðèòìîâ ñòîõàñòè÷åñêîé àïïðîêñèìàöèè â ìíîãîìåðíîì ñëó÷àå ïðè ïî÷òè ïðîèçâîëüíûõ ïîìåõàõ îáîñíîâàíà â [22, 23, 119, 177].  [72] è ïîçæå â [203] ïîêàçàíî, ÷òî àëãîðèòì ñ îäíèì èçìåðåíèåì â àñèìïòîòè÷åñêîì ñìûñëå âåäåò ñåáÿ õóæå, ÷åì àëãîðèòì ñ äâóìÿ èçìåðåíèÿìè. Êàê áóäåò ïîêàçàíî íèæå, ýòî íå ñîâñåì òàê, åñëè ïðè ñðàâíåíèè àëãîðèòìîâ ðàññìàòðèâàòü êîëè÷åñòâî èòåðàöèé, óìíîæåííîå íà êîëè÷åñòâî èçìåðåíèé. Êðîìå òîãî, âî ìíîãèõ ïðàêòè÷åñêèõ ïðèìåíåíèÿõ, â ÷àñòíîñòè, ïðè îïòèìèçàöèè ðàáîòû ñèñòåì ðåàëüíîãî âðåìåíè, ëåæàùèå â îñíîâå ìàòåìàòè÷åñêîé ìîäåëè äèíàìè÷åñêèå

3.1. ÔÎÐÌÓËÈÐÎÂÊÈ È ÎÁÎÑÍÎÂÀÍÈß

161

ïðîöåññû ìîãóò èçìåíÿòüñÿ ñëèøêîì áûñòðî, íå ïîçâîëÿÿ óñïåòü ïîëó÷èòü äâà ïîñëåäîâàòåëüíûõ èçìåðåíèÿ.  íåêîòîðûõ çàäà÷àõ ïðîñòî íåâîçìîæíî äëÿ îäíîãî øàãà àëãîðèòìà ñäåëàòü äâà èçìåðåíèÿ òàêèõ, ÷òîáû ïîìåõè íàáëþäåíèÿ â îáåèõ òî÷êàõ ^n 1 + n
n è ^n 1 n
n áûëè íåêîððåëèðîâàííû ñ
n . (Ýòî îäíî èç îñíîâíûõ óñëîâèé ïðèìåíèìîñòè àëãîðèòìà!). Èçáåæàòü ïîñëåäíåãî íåäîñòàòêà ïîçâîëÿåò ïðåäëîæåííûé â [119] àëãîðèòì ñ äâóìÿ ïîñëåäîâàòåëüíûìè íàáëþäåíèÿìè â òî÷êàõ ^n 1 è ^n 1 + n
n.  [136] îáîñíîâàíèå ñõîäèìîñòè ðàíäîìèçèðîâàííîãî àëãîðèòìà ÑÀ ñ îäíèì íàáëþäåíèåì ïðè ïî÷òè ïðîèçâîëüíûõ ïîìåõàõ áûëî ðàñïðîñòðàíåíî íà ñëó÷àé äîïîëíèòåëüíûõ ìóëüòèïëèêàòèâíûõ ïîìåõ è îñëàáëÿþùåéñÿ çàâèñèìîñòè ìåæäó ïðîáíûì âîçìóùåíèåì è ïîìåõàìè íàáëþäåíèÿ.  ðàáîòàõ [137] è [191] íà îñíîâå àíàëèçà àñèìïòîòè÷åñêèõ ñâîéñòâ ïîñëåäîâàòåëüíîñòè ïîëó÷àåìûõ îöåíîê ðàññìàòðèâàëñÿ âîïðîñ î âûáîðå íàèëó÷øåãî ðàñïðåäåëåíèÿ äëÿ âåêòîðà ïðîáíîãî îäíîâðåìåííîãî âîçìóùåíèÿ
n . Â [191] ïîêàçàíî, ÷òî îïòèìàëüíîå ðàñïðåäåëåíèå äëÿ êîìïîíåíò âåêòîðà
n  ýòî ñèììåòðè÷íîå ðàñïðåäåëåíèå Áåðíóëëè. Ýôôåêòèâíîñòü èñïîëüçîâàíèÿ ýòîãî ïðîñòîãî ðàñïðåäåëåíèÿ òàêæå ïîäòâåðæäàåòñÿ âî ìíîãèõ ïðèìåðàõ íà ïðàêòèêå è ïðè êîíå÷íîé âûáîðêå íàáëþäåíèé. Èíîãäà â ïðàêòè÷åñêèõ çàäà÷àõ æåëàòåëüíî âûáðàòü íåêîòîðîå äðóãîå ðàñïðåäåëåíèå. Íàïðèìåð, â [168] ïðè ïîñòðîåíèè óñòðîéñòâà óïðàâëåíèÿ ðîáîòîì èñïîëüçóåòñÿ ñèììåòðè÷íîå ðàâíîìåðíîå ðàñïðåäåëåíèå, ñîñòîÿùåå èç äâóõ ÷àñòåé, ò. å. ðàâíîìåðíîå ðàñïðåäåëåíèå ñ óäàëåííîé íåêîòîðîé îêðåñòíîñòüþ íóëÿ, ÷òî íåîáõîäèìî äëÿ ñîõðàíåíèÿ îãðàíè÷åííîñòè îáðàòíûõ ìîìåíòîâ â àëãîðèòìå, ïðåäëîæåííîì Äæ.Ñïàëîì [200]. Äåòåðìèíèðîâàííûé àíàëèç ñõîäèìîñòè ðàíäîìèçèðîâàííûõ àëãîðèòìîâ ñòîõàñòè÷åñêîé àïïðîêñèìàöèè ìîæíî íàéòè â ðàáîòàõ [119] è [214]. Ñêîðîñòü ñõîäèìîñòè àëãîðèòìîâ èññëåäóåòñÿ â [131].  ñïèñêå ëèòåðàòóðû åñòü ðàáîòû, ñîäåðæàùèå íåêîòîðûå îáîáùåíèÿ îñíîâíûõ àëãîðèòìîâ. Íàïðèìåð, ïîäõîäÿùèé àëãîðèòì äëÿ èñïîëüçîâàíèÿ â ðåøåíèè çàäà÷è îá óïðàâëåíèè ñ îáðàòíîé ñâÿçüþ â òîì ñëó÷àå, êîãäà ôóíêöèîíàë êà÷åñòâà ìåíÿåòñÿ ñî âðåìåíåì, ïðèâîäèòñÿ â [201, 202, 208].  [201] òàêæå ðàññìàòðèâàåòñÿ èäåÿ ñãëàæèâàíèÿ ãðàäèåíòà, êîòîðàÿ ïîìîãàåò ñíèçèòü âëèÿíèå ïîìåõ è ðàñøèðÿåò óñëîâèÿ ñõîäèìîñòè. Àëüòåðíàòèâíàÿ âîçìîæíîñòü äëÿ ïîíèæåíèÿ âëèÿíèÿ ïîìåõ, ñîñòîÿùàÿ â óñðåäíåíèè íåñêîëüêèõ àïïðîêñèìàöèé ãðàäèåíòà íà êàæäîé èòåðàöèè (çà ñ÷åò äîïîëíèòåëüíûõ èçìåðåíèé ôóíêöèè), ðàññìàòðèâàëàñü

162ÃËÀÂÀ 3. ÐÀÍÄÎÌÈÇÈÐÎÂÀÍÍÛÅ ÀËÃÎÐÈÒÌÛ ÑÀ â [200]. Âîçìîæíîñòè èñïîëüçîâàíèÿ ðàíäîìèçèðîâàííûõ àëãîðèòìîâ ÑÀ ïðè ðåøåíèè ïðîáëåìû ãëîáàëüíîé ìèíèìèçàöèè îáñóæäàëèñü â [120, 170] äëÿ ñëó÷àÿ, êîãäà ó èññëåäóåìîé ôóíêöèè èìåþòñÿ íåñêîëüêî ëîêàëüíûõ ìèíèìóìîâ. Çàäà÷è ñ îãðàíè÷åíèÿìè â âèäå ðàâåíñòâ è íåðàâåíñòâ ðàññìàòðèâàëèñü â [130, 189] ïðè èñïîëüçîâàíèè ïðîåêöèîííîãî ïîäõîäà. Óñêîðåííûå ôîðìû ðàíäîìèçèðîâàííûõ àëãîðèòìîâ ÑÀ ïðåäëàãàþòñÿ â [137, 204, 209], ãäå ñ öåëüþ óâåëè÷åíèÿ ñêîðîñòè ñõîäèìîñòè èñïîëüçóþòñÿ îöåíêè ïðîèçâîäíûõ âòîðîãî ïîðÿäêà.  àëãîðèòìå èç [204, 209] íà êàæäîé èòåðàöèè òðåáóþòñÿ ÷åòûðå èçìåðåíèÿ äëÿ òîãî, ÷òîáû îöåíèòü âåêòîðãðàäèåíò ôóíêöèè è îáðàòíóþ ìàòðèöó âòîðûõ ïðîèçâîäíûõ, è èíîãäà îäíî äîïîëíèòåëüíîå èçìåðåíèå äëÿ ïðîâåðêè êà÷åñòâà ïîâåäåíèÿ îöåíîê.

3.1.1

Ïîñòàíîâêà çàäà÷è è îñíîâíûå ïðåäïîëîæåíèÿ

Ïóñòü F (w; x) : Rp Rr ! R1  äèôôåðåíöèðóåìàÿ ïî âòîðîìó àðãóìåíòó ôóíêöèÿ, x1 ; x2 ; : : :  âûáèðàåìàÿ ýêñïåðèìåíòàòîðîì ïîñëåäîâàòåëüíîñòü òî÷åê èçìåðåíèÿ (ïëàí íàáëþäåíèÿ), â êîòîðûõ â êàæäûé ìîìåíò âðåìåíè n = 1; 2; : : : äîñòóïíî íàáëþäåíèþ ñ àääèòèâíûìè ïîìåõàìè vn çíà÷åíèå ôóíêöèè F (wn ;
) yn = F (wn ; xn ) + vn ; ãäå fwn g  íåêîíòðîëèðóåìàÿ ïîñëåäîâàòåëüíîñòü ñëó÷àéíûõ âåëè÷èí, wn 2 Rp , èìåþùèõ îäèíàêîâîå, âîîáùå ãîâîðÿ, íåèçâåñòíîå ðàñïðåäåëå-

íèå Pw (
) ñ êîíå÷íûì íîñèòåëåì. Òðåáóåòñÿ ïî íàáëþäåíèÿì y1 ; y2 : : : ïîñòðîèòü ïîñëåäîâàòåëüíîñòü îöåíîê f^n g íåèçâåñòíîãî âåêòîðà  , ìèíèìèçèðóþùåãî ôóíêöèþ

f (x) =

Z

F (w; x)Pw (dw) Rp òèïà ôóíêöèîíàëà ñðåäíåãî ðèñêà, îïðåäåëåííîãî â ï. 1.1.4 íà ñòð. 34. Îáû÷íî ðàññìàòðèâàåòñÿ çàäà÷à ìèíèìèçàöèè ôóíêöèè f ( ) ïðè áîëåå ïðîñòîé ìîäåëè íàáëþäåíèé




yn = f (xn ) + vn ; êîòîðàÿ ëåãêî óêëàäûâàåòñÿ â îáùóþ ñõåìó. Ñäåëàííîå îáîáùåíèå â ïîñòàíîâêå çàäà÷è äèêòóåòñÿ ñòðåìëåíèåì ó÷åñòü ñëó÷àé ìóëüòèïëèêàòèâíûõ ïîìåõ â íàáëþäåíèÿõ yn = wn f (xn ) + vn ;

3.1. ÔÎÐÌÓËÈÐÎÂÊÈ È ÎÁÎÑÍÎÂÀÍÈß

163

êîòîðûé âõîäèò â îáùóþ ñõåìó ñ ôóíêöèåé F (w; x) = wf (x), è æåëàíèåì îáîáùèòü ìîäåëü íàáëþäåíèé (2.1) èç ï. 2.1.1. Ïåðå÷èñëèì îñíîâíûå ïðåäïîëîæåíèÿ, êîòîðûå â äàëüíåéøåì â òîé èëè èíîé ñòåïåíè áóäóò äåëàòüñÿ ïðè òî÷íûõ ôîðìóëèðîâêàõ ðåçóëüòàòîâ.

(3.A) Ôóíêöèÿ f (
)  ñèëüíîâûïóêëàÿ, ò. å. èìååò åäèíñòâåííûé ìèíèìóì â R r â íåêîòîðîé òî÷êå

 = (f (
)) è

hx ; rf (x)i  kx k2; 8x 2 Rr ñ íåêîòîðîé ïîñòîÿííîé

 > 0.

(3.B) Óñëîâèå Ëèïøèöà íà ãðàäèåíò ôóíêöèè f (
)

krf (x) rf ()k  Akx k; 8x;  2 Rr ñ íåêîòîðîé ïîñòîÿííîé

A > .

(3.C) Ôóíêöèÿ f (
) 2 C ` (`-ðàç íåïðåðûâíî äèôôåðåíöèðóåìà) è âñå åå ÷àñòíûå ïðîèçâîäíûå äî ïîðÿäêà ` âêëþ÷èòåëüíî óäîâëåòâîðÿþò íà R r óñëîâèþ Ãåëüäåðà ïîðÿäêà , 0 <   1:

jf (x) ãäå

M

X

jkj`

1 k k

k! D f ()(x ) j  M kx k ;

 íåêîòîðàÿ ïîñòîÿííàÿ,

= ` +   2, x 2 R r 0

xk = xk11


xkr r ;

jkj

k1 1 B k2 C B C

Dk = (@x )k1 @


(@x )kr ; k = @ 1

r

ìóëüòèèíäåêñ, j k j= k1 + : : : + kr ; k! = k1 !


kr !; ki Ïðè = 2 ïîëàãàåì M = A=2.

.. A . kr

 0; i = 1; : : : ; r:

164ÃËÀÂÀ 3. ÐÀÍÄÎÌÈÇÈÐÎÂÀÍÍÛÅ ÀËÃÎÐÈÒÌÛ ÑÀ

3.1.2

Ïðîáíîå âîçìóùåíèå è ðàíäîìèçèðîâàííûå àëãîðèòìû

Ïóñòü ïðîáíîå îäíîâðåìåííîå âîçìóùåíèå
n ; n = 1; 2; : : :  íàáëþäàåìàÿ ïîñëåäîâàòåëüíîñòü íåçàâèñèìûõ ñëó÷àéíûõ âåêòîðîâ èç R r ñ ôóíêöèÿìè ðàñïðåäåëåíèÿ Pn (
), fn g è f n g  ïîñëåäîâàòåëüíîñòè ïîëîæèòåëüíûõ ÷èñåë, ñòðåìÿùèåñÿ ê íóëþ, ^0 2 R r  ôèêñèðîâàííûé íà÷àëüíûé âåêòîð. Äëÿ ïîñòðîåíèÿ ïîñëåäîâàòåëüíîñòåé òî÷åê èçìåðåíèÿ fxn g è îöåíîê f^n g ïðåäëàãàþòñÿ òðè àëãîðèòìà. Ïåðâûé èç íèõ èñïîëüçóåò íà êàæäîé èòåðàöèè îäíî íàáëþäåíèå: 8 n <x

(3.1)

= ^n

: ^n

 = ^n

1+

n
n ; yn

1

= F (wn ; xn ) + vn ;

n Kn (
)y ; n n n

à âòîðîé è òðåòèé ïî äâà íàáëþäåíèÿ: 8 2n <x

(3.2)

= ^n 1 + n
n; x2n

: ^n

 = ^n

8 2n <x

(3.3)

: ^n

1

= ^n

 = ^n

= ^n

K

n n (
)(y n 2n 2 n 1+

n
n ;

1

1

x2n

n Kn (
)(y n 2n n

1

n
n ;

y2n 1 ); 1

= ^n 1 ;

y2n 1 ):

Âî âñåõ òðåõ àëãîðèòìàõ èñïîëüçóþòñÿ íåêîòîðûå âåêòîðôóíêöèè (ÿäðà) Kn (
) : R r ! R r ; ñ êîìïàêòíûì íîñèòåëåì, óäîâëåòâîðÿþùèå âìåñòå ñ ôóíêöèÿìè ðàñïðåäåëåíèÿ ïðîáíîãî âîçìóùåíèÿ Pn (
) óñëîâèÿì R

(3.4)

Kn (x)Pn(dx) = 0;

supn

R

R

Kn(x)xT Pn(dx) = I;

kKn (x)k2 Pn(dx) < 1; n = 1; 2; : : : :

Àëãîðèòì (3.2) ðàññìàòðèâàëñÿ â êíèãå Ã.Êóøíåðà è Ä.Êëàðêà [157] äëÿ ñëó÷àÿ ðàâíîìåðíîãî ðàñïðåäåëåíèÿ è ôóíêöèè Kn (
n ) =
n : Â ðàáîòå [20] ñ òîé æå ïðîñòîé ôóíêöèåé ÿäðà, íî äëÿ áîëåå îáùåãî êëàññà ïðîáíûõ âîçìóùåíèé, áûë âïåðâûå ïðåäëîæåí àëãîðèòì (3.1) ïîñòðîåíèÿ ïîñëåäîâàòåëüíîñòè îöåíîê, ñîñòîÿòåëüíûõ ïðè ïî÷òè ïðîèçâîëüíûõ ïîìåõàõ â íàáëþäåíèè. Â [72] áûëè ðàññìîòðåíû îáà àëãîðèòìà (3.1) è (3.2) ñ âåêòîðôóíêöèåé Kn (
) äîñòàòî÷íî îáùåãî âèäà â ñèòóàöèè ðàâíîìåðíî ðàñïðåäåëåííîãî ïðîáíîãî âîçìóùåíèÿ è ïðè ïðåäïîëîæåíèè î íåçàâèñèìîñòè è öåíòðèðîâàííîñòè ïîìåõ íàáëþäåíèÿ.  [136]

3.1. ÔÎÐÌÓËÈÐÎÂÊÈ È ÎÁÎÑÍÎÂÀÍÈß

165

èññëåäîâàëèñü ñâîéñòâà àëãîðèòìà (3.1) ïðè îáùèõ ïðåäïîëîæåíèÿõ î ñòðóêòóðå ïðîáíîãî âîçìóùåíèÿ è âåêòîðôóíêöèè Kn (
). Äæ.Ñïàë â [199, 200] ðàññìàòðèâàë àëãîðèòì (3.2) äëÿ ñëó÷àÿ ðàñïðåäåëåíèÿ ïðîáíîãî âîçìóùåíèÿ ñ êîíå÷íûìè îáðàòíûìè ìîìåíòàìè è âåêòîðôóíêöèåé Kn (
), çàäàâàåìîé ïî ïðàâèëó

K

0 1
n1 B 1
n2 n (
) = B B . n @ .. 1
nr

1 C C C: A

Ñ òåìè æå âåêòîðôóíêöèåé Kn (
) è îãðàíè÷åíèÿìè íà âèä ðàñïðåäåëåíèÿ ïðîáíîãî îäíîâðåìåííîãî âîçìóùåíèÿ Õ.-Ô.×åíîì è äð. â [119] áûëî ïðåäëîæåíî ðàññìàòðèâàòü àëãîðèòì (3.3).

3.1.3

Ñõîäèìîñòü îöåíîê ñ âåðîÿòíîñòüþ åäèíèöà è â ñðåäíåêâàäðàòè÷íîì ñìûñëå

Âìåñòî àëãîðèòìà (3.1) áóäåì ðàññìàòðèâàòü áëèçêèé ê íåìó àëãîðèòì ñ ïðîåêòèðîâàíèåì (3.5)

8 n <x

= ^n 1 + n
n; yn = F (wn ; xn ) + vn ;

 = Pn (^n

: ^n

n Kn (
)y ); n n n

1

äëÿ êîòîðîãî óäîáíåå ïðîâåñòè äîêàçàòåëüñòâî ñîñòîÿòåëüíîñòè ïîñëåäîâàòåëüíîñòè ôîðìèðóåìûõ îöåíîê. Â ýòîì àëãîðèòìå Pn (
)  îïåðàòîðû ïðîåêòèðîâàíèÿ íà íåêîòîðûå âûïóêëûå çàìêíóòûå îãðàíè÷åííûå ïîäìíîæåñòâà n  Rr , êîòîðûå ñîäåðæàò, íà÷èíàÿ ñ íåêîòîðîãî n  1, èñêîìóþ òî÷êó  . Åñëè çàðàíåå èçâåñòíî îãðàíè÷åííîå çàìêíóòîå âûïóêëîå ìíîæåñòâî :  2 , òî ìîæíî ñ÷èòàòü n = .  ïðîòèâíîì ñëó÷àå, ìíîæåñòâà fn g ìîãóò ðàñøèðÿòüñÿ äî áåñêîíå÷íîñòè. Èíîãäà ñïåöèôèêà êîíêðåòíîé çàäà÷è ïîçâîëÿåò ïîñòðîèòü óáûâàþùóþ ïîñëåäîâàòåëüíîñòü ìíîæåñòâ fn g. Oáîçíà÷èì W = supp(Pw (
))  R p  íîñèòåëü ðàñïðåäåëåíèÿ Pw (
); Fn 1  -àëãåáðó âåðîÿòíîñòíûõ ñîáûòèé, ïîðîæäàåìóþ ñëó÷àéíûìè âåëè÷èíàìè ^0 ; ^1 ; : : : ; ^n 1 , ôîðìèðóåìûìè ïî àëãîðèòìó (3.2) (èëè (3.3), èëè (3.5)); ïðè èñïîëüçîâàíèè àëãîðèòìîâ (3.2) èëè (3.3)

vn = v2n v2n 1 ;

wn

=



w2n w2n



1

; d n = 1;

166ÃËÀÂÀ 3. ÐÀÍÄÎÌÈÇÈÐÎÂÀÍÍÛÅ ÀËÃÎÐÈÒÌÛ ÑÀ à ïðè ïîñòðîåíèè îöåíîê ïî àëãîðèòìó (3.5)

vn = vn ; w n = wn ; dn = diam(n ); ãäå

diam(
)  åâêëèäîâûé äèàìåòð ìíîæåñòâà.

Ò å î ð å ì à 3.1 [27] Ïóñòü âûïîëíåíû óñëîâèÿ: (3.A) äëÿ ôóíêöèè f (x) = Ew fF (w; x)g; (3.B) äëÿ ôóíêöèé F (w;
), 8w 2 W ;

8x 2 Rr

ôóíêöèè F (
; x) è rx F (
; x) ðàâíîìåðíî íà W îãðàíè÷åíû; (3.4) äëÿ ôóíêöèé Kn (
) è Pn(
); n = 1; 2; : : :; 8n  1 Efvn2 g  n2 ; ñëó÷àéíûå âåëè÷èíû v1; : : : ; vn è âåêòîðû w1 ; : : : ; wn 1 íå çàâèñÿò îò w n ;
n , à ñëó÷àéíûé âåêòîð wn íå çàâèñèò îò
n . P Åñëè n n = 1 è n ! 0; n ! 0; 2n n 2 (1 + d2n + n2 ) ! 0 ïðè

n ! 1;

òîãäà Efk^n

k2 g ! 0 ïðè n ! 1, ò. å. ïîñëåäîâàòåëüíîñòü n îöåíîê f^ g, äîñòàâëÿåìûõ àëãîðèòìîì (3.2) (èëè (3.3), èëè (3.5)), ñõîäèòñÿ ê  â ñðåäíåêâàäðàòè÷íîì ñìûñëå. P Åñëè, áîëåå òîãî, n n n2 < 1 è ñ âåðîÿòíîñòüþ åäèíèöà X

n

2n n 2 (1 + Efvn2 jFn

1

g) < 1;

òîãäà ^n !  ïðè n ! 1 ñ âåðîÿòíîñòüþ åäèíèöà. Äîêàçàòåëüñòâî òåîðåìû 3.1 ïðèâåäåíî â ðàçäåëå 3.4. Çàìå÷àíèå 3.1. Äëÿ ôóíêöèè F (w; x) = wf (x) óñëîâèÿ òåîðåìû 3.1 âûïîëíÿþòñÿ, åñëè ôóíêöèÿ f (x) óäîâëåòâîðÿåò óñëîâèÿì (3.A,B). Çàìå÷àíèå 3.2. Çàäà÷à îá îöåíêå ïàðàìåòðîâ ëèíåéíîé ðåãðåññèè ñ ìîäåëüþ íàáëþäåíèé (2.1) ñîîòâåòñòâóåò ìèíèìèçàöèè ôóíêöèîíàëà ñðåäíåãî ðèñêà

1 F (w; x) = (x  w)T (x  w): 2 Àëãîðèòì (2.2) ñ = B 1 â òî÷íîñòè ñîâïàäàåò ñ (3.2). Ïðè âûïîëíåíèè óñëîâèÿ (2.A') äëÿ âõîäîâ ìîäåëè ëèíåéíîé ðåãðåññèè óòâåðæäåíèÿ òåîðåìû 2.1 î ñèëüíîé ñîñòîÿòåëüíîñòè îöåíîê àëãîðèòìà (2.2) è èõ ñõîäèìîñòè â ñðåäíåêâàäðàòè÷íîì ñìûñëå ÿâëÿþòñÿ ñëåäñòâèåì òåîðåìû 3.1. Çàìå÷àíèå 3.3.  òåîðåìå 3.1 ïîìåõè íàáëþäåíèÿ vn ìîæíî óñëîâíî íàçâàòü ïî÷òè ïðîèçâîëüíûìè, òàê êàê îíè ìîãóò áûòü íåñëó÷àéíûìè

3.1. ÔÎÐÌÓËÈÐÎÂÊÈ È ÎÁÎÑÍÎÂÀÍÈß

167

(äåòåðìèíèðîâàííûìè), íî íåèçâåñòíûìè è îãðàíè÷åííûìè, èëè ïðåäñòàâëÿòü èç ñåáÿ ðåàëèçàöèþ íåêîòîðîãî ñòîõàñòè÷åñêîãî ïðîöåññà ñ ïðîèçâîëüíîé ñòðóêòóðîé çàâèñèìîñòåé.  ÷àñòíîñòè, äëÿ äîêàçàòåëüñòâà óòâåðæäåíèé òåîðåìû 3.1 íåò íåîáõîäèìîñòè ïðåäïîëàãàòü ÷òî-ëèáî î çàâèñèìîñòè ìåæäó vn è Fn 1 . Çàìå÷àíèå 3.4. Óòâåðæäåíèÿ òåîðåìû 3.1 ñòàíîâÿòñÿ íåâåðíûìè, åñëè ïîìåõè vn èìåþò îïðåäåëåííóþ ñòðóêòóðó çàâèñèìîñòè îò òî÷êè íàáëþäåíèÿ vn = vn (xn ). Åñëè æå òàêàÿ çàâèñèìîñòü èìååò ìåñòî, íàïðèìåð, â ñâÿçè ñ îøèáêàìè îêðóãëåíèÿ, òî ïðè ïîïûòêàõ ðåøåíèÿ òàêîãî òèïà çàäà÷, íàâåðíîå, öåëåñîîáðàçíî ïîìåõó íàáëþäåíèÿ ðàçáèòü íà äâå ÷àñòè: vn (xn ) = v~n +  (xn ), ïåðâàÿ èç êîòîðûõ, ìîæåò áûòü, óäîâëåòâîðÿåò óñëîâèÿì òåîðåìû 3.1. Åñëè âòîðàÿ  ðåçóëüòàò îøèáîê îêðóãëåíèÿ, òî, êàê ïðàâèëî, òàêèå ïîìåõè îáëàäàþò õîðîøèìè ñòàòèñòè÷åñêèìè ñâîéñòâàìè è, ìîæåò áûòü, èõ íàëè÷èå íå ïîìåøàåò ñîñòîÿòåëüíîñòè îöåíîê. Çàìå÷àíèå 3.5. Óñëîâèå íåçàâèñèìîñòè ïîìåõ íàáëþäåíèÿ îò ïðîáíîãî âîçìóùåíèÿ ìîæåò áûòü îñëàáëåíî (ñì. [136]). Äîñòàòî÷íî ïîòðåáîâàòü ñòðåìëåíèå ê íóëþ ñ âåðîÿòíîñòüþ åäèíèöà ïðè n ! 1 óñëîâíîé âçàèìíîé êîððåëÿöèè ìåæäó vn è Kn (
n ) ñî ñêîðîñòüþ íå ìåíüøåé, ÷åì n n 1 : kEfvn Kn (
n)jFn 1 gk = O(  n ): n Çàìå÷àíèå 3.6. Íåñìîòðÿ íà êàæóùóþñÿ áëèçîñòü àëãîðèòìîâ (3.2) è (3.3), â ñëó÷àå ïðîèçâîëüíûõ ïîìåõ â íàáëþäåíèÿõ èñïîëüçîâàíèå âòîðîãî èç íèõ â ñèñòåìàõ ðåàëüíîãî âðåìåíè áîëåå îïðàâäàííî. Äëÿ àëãîðèòìà (3.2) âûïîëíåíèå óñëîâèÿ î íåçàâèñèìîñòè ïîìåõè íàáëþäåíèÿ v2n îò ïðîáíîãî âîçìóùåíèÿ
n ñëèøêîì îãðàíè÷èòåëüíî, òàê êàê â ïðåäûäóùèé ìîìåíò âðåìåíè 2n 1 âåêòîð
n óæå èñïîëüçîâàëñÿ â ñèñòåìå. Ïðè ðàáîòå ñ àëãîðèòìîì (3.3) ïîìåõà v2n è âåêòîð ïðîáíîãî âîçìóùåíèÿ
n ïîÿâëÿþòñÿ â ñèñòåìå îäíîâðåìåííî, ÷òî ïîçâîëÿåò íàäåÿòüñÿ íà èõ íåçàâèñèìîñòü. Çàìå÷àíèå 3.7. Äëÿ åùå áîëüøåãî îáîáùåíèÿ óñëîâèé ñõîäèìîñòè àëãîðèòìîâ (3.2), (3.3) è (3.5) ìîæíî ðàññìàòðèâàòü ñëó÷àéíûå, èçìåðèìûå îòíîñèòåëüíî  -àëãåáðû Fn ïîñëåäîâàòåëüíîñòè fn g è f n g. Ïðàêòè÷åñêàÿ ïîòðåáíîñòü â òàêîãî ðîäà îáîáùåíèè ïîÿâëÿåòñÿ, íàïðèìåð, â òåõ ñëó÷àÿõ, êîãäà ïàðàëëåëüíî ñ âû÷èñëåíèåì îöåíîê ïî àëãîðèòìó ñòîõàñòè÷åñêîé àïïðîêñèìàöèè äîïîëíèòåëüíûå óñëîâèÿ çàäà÷è ïîçâîëÿþò ãîâîðèòü î êà÷åñòâå îöåíîê. Åñëè îöåíêè åùå "ïëîõèå", òî öåëåñîîáðàçíî çàìåäëèòü ñõîäèìîñòü ê íóëþ ïîñëåäîâàòåëüíîñòè fn g, à ìîæåò áûòü íà êàêîå-òî âðåìÿ è óâåëè÷èòü åå çíà÷åíèÿ.

168ÃËÀÂÀ 3. ÐÀÍÄÎÌÈÇÈÐÎÂÀÍÍÛÅ ÀËÃÎÐÈÒÌÛ ÑÀ

3.1.4

Äèôôåðåíöèðóþùèå ÿäðà è âûáîð ðàñïðåäåëåíèÿ ïðîáíîãî âîçìóùåíèÿ

Ðàññìîòðèì áîëåå êîíêðåòíóþ ñòðóêòóðó ôóíêöèé ðàñïðåäåëåíèÿ ïðîáíîãî âîçìóùåíèÿ è íåêîòîðûé ñïåöèàëüíûé âèä âåêòîðôóíêöèé Kn (
); n = 1; 2; : : :, óäîâëåòâîðÿþùèõ óñëîâèÿì (3.4), ïðè èñïîëüçîâàíèè êîòîðûõ àëãîðèòìû (3.2), (3.3) è (3.5) äîñòèãàþò êàê â [72] àñèìïòîòè÷åñêè

1

îïòèìàëüíîé ñðåäíåêâàäðàòè÷íîé ñêîðîñòè ñõîäèìîñòè O (n ) â òîì ñëó÷àå, êîãäà èññëåäóåìàÿ ôóíêöèÿ óäîâëåòâîðÿåò óñëîâèþ ãëàäêîñòè (3.C). Ïóñòü íåçàâèñèìûå ñëó÷àéíûå âåëè÷èíû f
n g ðàñïðåäåëåíû îäèíàêîâî ïðè n = 1; 2; : : :, âñå êîìïîíåíòû âåêòîðà
n íå çàâèñÿò äðóã îò äðóãà è èìåþò îäèíàêîâóþ ñêàëÿðíóþ ôóíêöèþ ðàñïðåäåëåíèÿ P
(
) ñ êîíå÷íûì íîñèòåëåì, à âåêòîðôóíêöèè Kn (
) íå çàâèñÿò îò n:

K1 (x) 1 B K2 (x) C B C 0

Kn(x) = K(x) = @

.. .

Kr (x)

A;

x 2 Rr ; n = 1; 2; : : : ;

Ki (
); i = 1; : : : ; r âû÷èñëÿþòñÿ ïî ôîðìóëàì Y Ki (x) = K0(xi ) K1 (xj ); i; j = 1; : : : ; r; x 2 Rr ;

è èõ êîìïîíåíòû (3.6)

j 6=i

ãäå K0 (
) è K1 (
)  íåêîòîðûå ñêàëÿðíûå îãðàíè÷åííûå ôóíêöèè (ÿäðà), óäîâëåòâîðÿþùèå óñëîâèÿì Z

(3.7)

Z

uK0 (u)P
(du) = 1;

K1 (u)P
(du) = 1;

Z

Z

uk K0 (u)P
(du) = 0; k = 0; 2; : : : ; `;

uk K1 (u)P
(du) = 0; k = 1; : : : ; ` 1:

 ÷àñòíîñòè, â îäíîìåðíîì ñëó÷àå (r = 1) äëÿ çàäàíèÿ K(x) äîñòàòî÷íî îäíîé ôóíêöèè K0 (x). Íåñëîæíî óáåäèòüñÿ, ÷òî ïðè îáåñïå÷åíèè óñëîâèé (3.7) äëÿ ôóíêöèè K(
) è ðàñïðåäåëåíèÿ ïðîáíîãî âîçìóùåíèÿ

Pn (x) = P(x) =

r Y i=1

P
(xi )

3.1. ÔÎÐÌÓËÈÐÎÂÊÈ È ÎÁÎÑÍÎÂÀÍÈß

169

âûïîëíåíû óñëîâèÿ (3.4). Ñëåäóÿ ðàáîòàì [39] è [72], óêàæåì îäèí èç âîçìîæíûõ ñïîñîáîâ ïîñòðîåíèÿ ÿäåð K0 (
) è K1 (
), óäîâëåòâîðÿþùèõ óñëîâèÿì (3.7). Ïóñòü fpm (
)g`m=0  íåêîòîðàÿ ñèñòåìà ìíîãî÷ëåíîâ, çàäàííûõ íà íîñèòåëå ðàñïðåäåëåíèÿ P
(
), îðòîãîíàëüíûõ îòíîñèòåëüíî ïîðîæäàåìîé èì ìåðû. Âîçüìåì

K0 (u) = K1 (u) =

` X m=0 ` 1 X m=0

am pm (u) ; bm pm (u) ;

am = p0 m (0)= bm = pm (0) =

Z

Z

p2m (u)P
(du) ; p2m (u)P
(du):

Ïðîâåðèì, ÷òî òàêèì îáðàçîì îïðåäåëåííûå ôóíêöèè K0 (
) è K1 (
) óäîâëåòâîðÿþò óñëîâèÿì (3.7).  ñàìîì äåëå, ôóíêöèþ uk ìîæíî ïðåäñòàâèòü â âèäå k X uk = cj pj (u); j =0 ãäå cj  ÷èñëîâûå êîýôôèöèåíòû. Ñëåäîâàòåëüíî, äëÿ ïîñòðîåííîãî ïî îðòîãîíàëüíûì ìíîãî÷ëåíàì ÿäðà K0 (
) Z

uk K0 (u)P
(du) =

` X k Z X m=0 j =0

am cj pm (u)pj (u)P
(du) =

k X j =0

cj p0 j (0) = Æk1 ;

ãäå Æij  ñèìâîë Êðîíåêåðà. Ïîñëåäíåå ðàâåíñòâî ïîëó÷àåòñÿ, åñëè ïðîäèôôåðåíöèðîâàòü ôîðìóëó ðàçëîæåíèÿ äëÿ uk è çàòåì ïîëîæèòü u = 0. Ïðîùå äîêàçûâàåòñÿ òîò ôàêò, ÷òî ÿäðî K1 (
) óäîâëåòâîðÿåò óñëîâèÿì (3.7).  [72] â êà÷åñòâå âåðîÿòíîñòíîãî ðàñïðåäåëåíèÿ êîìïîíåíò ïðîáíîãî âîçìóùåíèÿ P
(
) áûëî âûáðàíî ðàâíîìåðíîå íà èíòåðâàëå [ 12 ; 21 ] è äëÿ ïîñòðîåíèÿ ÿäåð K0 (
) è K1 (
) íà èíòåðâàëå [ 1=2; 1=2] áûëî ïðåäëîæåíî èñïîëüçîâàòü îðòîãîíàëüíûå ìíîãî÷ëåíû Ëåæàíäðà.  ýòîì ñëó÷àå äëÿ íà÷àëüíûõ çíà÷åíèé ` = 1; 2 (ò. å. 2   3) èìååì

j u j 1=2; äëÿ ñëåäóþùèõ çíà÷åíèé ` = 3; 4 (ò. å. 3 <  5) K0 (u) = 5u(15 84u2 ); K1 (u) = 9=4 15u2 ; j u j 1=2; K0 (u) = 12u; K1 (u) = 1;

170ÃËÀÂÀ 3. ÐÀÍÄÎÌÈÇÈÐÎÂÀÍÍÛÅ ÀËÃÎÐÈÒÌÛ ÑÀ è ïðè juj > 1=2 îáå ôóíêöèè ðàâíû íóëþ. Ðàññìîòðåíèå áîëåå îáùåãî, ÷åì ðàâíîìåðíîå èç [72], òèïà âåðîÿòíîñòíûõ ðàñïðåäåëåíèé ïðîáíîãî âîçìóùåíèÿ îáóñëàâëèâàåòñÿ òåì, ÷òî ÷àñòî íà ïðàêòèêå ïîñòàíîâêà çàäà÷è èíîãäà ñàìà ïî ñåáå çàäàåò îïðåäåëåííûé òèï ðàñïðåäåëåíèÿ ïðîáíîãî âîçìóùåíèÿ P
(
), êîòîðîå óäîáíåå ìîäåëèðîâàòü, èëè â íåêîòîðûõ ñëó÷àÿõ ìîæíî èñïîëüçîâàòü ðàñïðåäåëåíèÿ òîëüêî èç íåêîòîðîãî óçêîãî ôèêñèðîâàííîãî êëàññà. Âîçìîæíîñòü âûáîðà ñðåäè ðàçëè÷íûõ ñèñòåì îðòîãîíàëüíûõ ìíîãî÷ëåíîâ ïîçâîëÿåò ïîëó÷èòü ëó÷øåå èëè õóäøåå êà÷åñòâî îöåíèâàíèÿ ïðè îäèíàêîâîì àñèìïòîòè÷åñêîì ïîðÿäêå ñêîðîñòè ñõîäèìîñòè.

3.1.5

Ñêîðîñòü ñõîäèìîñòè îöåíîê

Ñëåäóþùàÿ òåîðåìà äàåò äîñòàòî÷íûå óñëîâèÿ äëÿ òîãî, ÷òîáû àñèìïòîòè÷åñêàÿ ñêîðîñòü ñõîäèìîñòè àëãîðèòìîâ (3.2),(3.3) è (3.5) áûëà îïòèìàëüíîé.

Ò å î ð å ì à 3.2 [29, 72, 177] Ïóñòü â àëãîðèòìå (3.2) (èëè (3.3), èëè (3.5)) âåêòîðôóíêöèè Kn (
) îïðåäåëÿþòñÿ ïî ôîðìóëàì (3.6) è

n =  n 1 ;

n = n

1 2

; > 0; n = 1; 2; : : : :

Åñëè âûïîëíåíû óñëîâèÿ: (3.A,C) ïðè  2;  > 2 1 äëÿ ôóíêöèè f (x) = Ew fF (w; x)g; (3.B) äëÿ ôóíêöèé F (w;
) 8w 2 W ; 8x 2 Rr ôóíêöèè F (
; x) è rxF (
; x) ðàâíîìåðíî íà W îãðàíè÷åíû; (3.7) äëÿ ôóíêöèé K0 (
); K1 (
) è P
(
); 1 dn n 1+ 2 ! 0 ïðè n ! 1; 8n  1 ñëó÷àéíûå âåêòîðû wn ;
n íå çàâèñÿò îò v1 ; : : : ; vn ; w1 ; : : : ; wn 1 , è ñëó÷àéíûé âåêòîð
n íå çàâèñèò îò w n ; Ef(v2n v2n 1 )2 =2g  22 ; (Efvn2 g  12 ); òîãäà äëÿ ñðåäíåêâàäðàòè÷íîé ñêîðîñòè ñõîäèìîñòè ïîñëåäîâàòåëüíîñòè îöåíîê f^n g, ñãåíåðèðîâàííûõ àëãîðèòìîì (3.2) (èëè (3.3), èëè (3.5)), àñèìïòîòè÷åñêè ïðè n ! 1 âûïîëíÿåòñÿ

Efk^n

k2 g = O(n

1

):

Äîêàçàòåëüñòâî òåîðåìû 3.2 òàêæå ïðèâåäåíî â ïîñëåäíåì ðàçäåëå ýòîé ãëàâû. Çàìå÷àíèå 3.8. Êàê è â òåîðåìå 3.1, óñëîâèå íåçàâèñèìîñòè ïîìåõ íàáëþäåíèÿ è ïðîáíîãî âîçìóùåíèÿ ìîæíî îñëàáèòü, ïîòðåáîâàâ òîëüêî

3.1. ÔÎÐÌÓËÈÐÎÂÊÈ È ÎÁÎÑÍÎÂÀÍÈß

171

ñòðåìëåíèå ê íóëþ óñëîâíîé âçàèìíîé êîððåëÿöèè vn K(
n ):

kEfvn K(
n )jFn 1 gk = O(n

1+ 21

):

Äëÿ óäîáñòâà çàïèñè ïîñëåäóþùèõ ôîðìóë îïðåäåëèì êîíñòàíòó , ðàâíóþ åäèíèöå, åñëè ïîìåõè íàáëþäåíèÿ fvn g  íåçàâèñèìûå è öåíòðèðîâàííûå, è äâóì  â îñòàëüíûõ ñëó÷àÿõ. Îáîçíà÷èì

K~ =

Z

kK(x)k

2 P(dx);

K =

Z

kxk kK(x)kP(dx):

~ è K êîíå÷íû èççà îãðàíè÷åííîñòè âåêòîðôóíêöèè K(
) Âåëè÷èíû K è êîíå÷íîñòè íîñèòåëÿ ðàñïðåäåëåíèÿ P
(
). Çàìå÷àíèå 3.9. Ïðè äîêàçàòåëüñòâå òåîðåìû 3.2 äëÿ ñëó÷àÿ M > 0 áóäóò óñòàíîâëåíû îïòèìàëüíûå çíà÷åíèÿ ïàðàìåòðîâ p

1 ? = 1=; ? = (2(i + i2 =i)K~ ) 2 ( ( 1)M K )

1

è êîëè÷åñòâåííûå îöåíêè àñèìïòîòè÷åñêîé ñêîðîñòè ñõîäèìîñòè àëãîðèòìîâ (3.2) è (3.5):

Efk^n

i = ãäå

1+

k2 g  n

(

1)

1



1

1 2 i K~ K + o(n

 2 ((i + i2 =i))

1

1

);

2

M ; i = 1; 2 ;





2 1 1 = sup F (w; ) + (rx F (w; ))2 ; 2 w 2W

ñîîòâåòñòâóåò àëãîðèòìó ñ îäíèì èçìåðåíèåì (3.5), à äëÿ (3.2) 2 

j

2 F (w1 ; )

F (w2 ; )

j + (rx

rx

F (w1 ; ))2 + (

= sup 8 w1 ;w2 2W Åñëè F (w; x) = f (x); òî, êàê âèäíî èç ñðàâíåíèÿ 1

=

F (w2 ; ))2

2

:

è 2 , àñèìïòîòè÷åñêàÿ ñêîðîñòü ñõîäèìîñòè ïî èòåðàöèÿì ïîñëåäîâàòåëüíîñòè îöåíîê, ôîðìèðóåìîé ïî àëãîðèòìó (3.2), èñïîëüçóþùåìó äâà íàáëþäåíèÿ, âñåãäà ëó÷øå, ÷åì äëÿ àëãîðèòìà (3.5). Åñëè ïðîèçâåñòè ñðàâíåíèå ïî ïðèíöèïó, ó÷èòûâàþùåìó êîëè÷åñòâî èçìåðåíèé, òî ïðåèìóùåñòâî àëãîðèòìà (3.2) ïåðåñòàåò áûòü áåññïîðíûì. Ñðàâíèâàÿ çíà÷åíèÿ 1 è 22 , íåñëîæíî óáåäèòüñÿ â òîì, ÷òî ïðè 1

2 1 22

12 > 1

1

2 1 2

172ÃËÀÂÀ 3. ÐÀÍÄÎÌÈÇÈÐÎÂÀÍÍÛÅ ÀËÃÎÐÈÒÌÛ ÑÀ àñèìïòîòè÷åñêàÿ ñêîðîñòü ñõîäèìîñòè, ó÷èòûâàþùàÿ êîëè÷åñòâî èçìåðåíèé, äëÿ àëãîðèòìà (3.5) ëó÷øå, ÷åì äëÿ (3.2). Ðàññìîòðèì ñêàëÿðíûé ñëó÷àé r = 1 ïðè F (w; x) = f (x) ñ ïðîáíûì îäíîâðåìåííûì âîçìóùåíèåì f
n g, ôîðìèðóåìûì íåçàâèñèìûìè, îäèíàêîâî ðàâíîìåðíî ðàñïðåäåëåííûìè ñëó÷àéíûìè âåëè÷èíàìè èç îòðåçêà [ 1=2; 1=2], è íåçàâèñèìûìè öåíòðèðîâàííûìè ïîìåõàìè íàáëþäåíèÿ fvn g : Efvn2 g  v2 , ïðè = 2 è K(x) = 12x; jxj  1=2, â ñèëó ïîëó÷åííûõ îöåíîê ñêîðîñòè ñõîäèìîñòè, äëÿ àëãîðèòìà (3.2) èìååì

Efk^n

k

2

g

9Av p n 4 32

à äëÿ (3.5) 

Efk^n Îòñþäà, åñëè ìîì (3.5).

p

1=2 + o(n 1=2 );

p

k2 g  4; 5 f ()2 + v2 =( 62 ) n f ()2 < v2 ,

p

4  1 ? = ; ? = p p4v ;  A 3 1=2 + o(n 1=2 ):

òî ïðåäïî÷òèòåëüíåå ïîëüçîâàòüñÿ àëãîðèò-

3.2. ÎÏÒÈÌÀËÜÍÛÅ ÏÎÐßÄÊÈ ÒÎ×ÍÎÑÒÈ

173

3.2 Îïòèìàëüíûå ïîðÿäêè òî÷íîñòè àëãîðèòìîâ ñòîõàñòè÷åñêîé îïòèìèçàöèè Ñëåäóÿ [72], îïèøåì áîëåå ôîðìàëüíî êëàññ äîïóñòèìûõ ïëàíîâ íàáëþäåíèÿ x1 ; x2 ; : : :. Ïóñòü
 ñëó÷àéíàÿ âåëè÷èíà ñî çíà÷åíèÿìè â èçìåðèìîì ïðîñòðàíñòâå ( ; X ). Îáîçíà÷èì n  ìíîæåñòâî âñåõ íàáîðîâ âèäà n = fX 1 (
); : : : ; X n (
); P
(
)g, ãäå X 1 : ! Rr ; X i : R(i 1)(r+1) 

! Rr ; i = 2; : : : ; n  èçìåðèìûå ôóíêöèè, P
(
)  ïðîèçâîëüíàÿ âåðîÿòíîñòíàÿ ìåðà íà X . Äîïóñòèìûå ñòðàòåãèè âûáîðà (ïëàíû íàáëþäåíèÿ) x1 ; x2 ; : : : ; xn îïðåäåëÿþòñÿ ñîîòíîøåíèÿìè (3.8)

x1 = X 1 (
); xi+1 = X i+1 (x1 ; : : : ; xi ; y1 ; : : : ; yi ;
); i = 1; : : : ; n


(
)g 2 n . ïðè fX 1 (
); : : : ; X n (
); P Ïðîèçâîëüíîé îöåíêîé T n òî÷êè ìèíèìóìà  áóäåì íàçûâàòü ëþáóþ áîðåëåâñêóþ ôóíêöèþ T n (x1 ; : : : ; xn ; y1 ; : : : ; yn ). 3.2.1

Ìèíèìàêñíûé ïîðÿäîê ñêîðîñòè ñõîäèìîñòè ðàíäîìèçèðîâàííûõ àëãîðèòìîâ ÑÀ

Äëÿ óïðîùåíèÿ, áóäåì ðàññìàòðèâàòü ñëó÷àé òîëüêî àääèòèâíûõ ïîìåõ â íàáëþäåíèè f (
) = F (w;
). Ïóñòü Ef (
);n f
g  çíàê ìàòåìàòè÷åñêîãî îæèäàíèÿ ïî ñîâìåñòíîìó ðàñïðåäåëåíèþ x1 ; : : : ; xn ; y1 ; : : : ; yn , ãäå yi = f (xi ) + vi è x1 ; x2 ; : : : ; xn 
(
)g = n 2 n . Îáîçíà÷èì óäîâëåòâîðÿþò (3.8) ïðè fX 1 (
); : : : ; X n (
); P ( ; M; ; A)  êëàññ (ìíîæåñòâî) âñåõ ôóíêöèé, óäîâëåòâîðÿþùèõ óñëîâèÿì (3.AC), è 0 ( ; M; ; A; B )  êëàññ ôóíêöèé èç ìíîæåñòâà ( ; M; ; A), ó êîòîðûõ çíà÷åíèå kf ((f (
)))k ðàâíîìåðíî îãðàíè÷åíî êîíñòàíòîé B . Ïðè âûïîëíåíèè óñëîâèé òåîðåìû 3.2, êàê âèäíî èç àíàëèçà åå äîêàçàòåëüñòâà, äëÿ ïîñëåäîâàòåëüíîñòè îöåíîê f^n g, ôîðìèðóåìûõ ïî àëãîðèòìó (3.5), âûïîëíÿåòñÿ

sup

sup

n f (
)20 ( ;M;;A;B )

Ef (
);n fk^n

(f (
))k2 gn

1

< 1;

à äëÿ àëãîðèòìà (3.2) 

sup

sup

n f (
)2( ;M;;A)

Ef (
);n fk^n

(f (
))k2 gn

1

< 1:

174ÃËÀÂÀ 3. ÐÀÍÄÎÌÈÇÈÐÎÂÀÍÍÛÅ ÀËÃÎÐÈÒÌÛ ÑÀ Èç ýòèõ ñîîòíîøåíèé, â ÷àñòíîñòè, ñëåäóåò, ÷òî àëãîðèòì (3.2), ïî ñðàâíåíèþ ñ (3.5), îïòèìàëüíî ýôôåêòèâåí äëÿ áîëåå øèðîêîãî êëàññà ôóíêöèé.  ñëåäóþùåì ïóíêòå áóäåò ñôîðìóëèðîâàíî óòâåðæäåíèå î òîì, ÷òî äëÿ ñîîòâåòñòâóþùèõ êëàññîâ ôóíêöèé f (
) íå ñóùåñòâóåò àëãîðèòìîâ àñèìïòîòè÷åñêè áîëåå ýôôåêòèâíûõ â ìèíèìàêñíîì ñìûñëå, ò. å.

sup E fkT n ;n f (
)2 f (
);n

inf inf n n T

ãäå  ðàâíî 0 ( ; M; ; A; B ) èëè ãðàíü ïî âñåì îöåíêàì T n è âñåì n

3.2.2

(f (
))k2 gn

( ; M; ; A) 2 n.

1

è

> 0;

inf Tn ;n

 íèæíÿÿ

Íèæíÿÿ ãðàíèöà äëÿ àñèìïòîòè÷åñêîé ñêîðîñòè ñõîäèìîñòè

(t)  ìîíîòîííàÿ íåóáûâàþùàÿ ôóíêöèÿ, îïðåäåëåííàÿ íà [0; 1): (t) 6 0, (0) = 0, è  > 0  íåêîòîðîå ÷èñëî: (=2) > 0.

Ïóñòü

Áóäåì ñ÷èòàòü, ÷òî ïîìåõè íàáëþäåíèÿ  ñëó÷àéíûå âåëè÷èíû ñ îäèíàêîâûìè ôóíêöèÿìè ðàñïðåäåëåíèÿ Pv (
). Â [72] äîêàçàíà ñëåäóþùàÿ òåîðåìà.

Ò å î ð å ì à 3.3 ([72], òåîðåìà 3) Åñëè Z

ln(dPv (u)=dPv (u + t))dPv (u)  I0 t2 ; jtj  t0 ;

ïðè íåêîòîðûõ 0 < I0 < 1; 0 < t0  1; òîãäà äëÿ ëþáûõ n  1;  2

1

 2 kT n sup E f (Cn ;n f (
)2 f (
);n

inf n

T

(f (
))k)g  (=2)2 (1=2);

ãäå C  êîíå÷íàÿ ïîñòîÿííàÿ, çàâèñÿùàÿ òîëüêî îò ; M; ; A; B; ; I0 ; t0 , à 2 (1=2)  ðåøåíèå óðàâíåíèÿ t ln(t) + (1 t) ln(1 t) = 12 ln 21 , ïðèíàäëåæàùåå èíòåðâàëó (0; 1=2). Ïðè âûïîëíåíèè óñëîâèé òåîðåìû 3.3 íåñëîæíî óáåäèòüñÿ â ñïðàâåäëèâîñòè îöåíêè ñíèçó äëÿ âñåõ n  1;  2

sup E fkT n ;n f (
)2 f (
);n

inf n

T

ïðè

(f (
))k2 gn

1

 , ðàâíîì 0 ( ; M; ; A; B ) èëè ( ; M; ; A).

>

2 (1=2) ; 4C 2

3.3. ÝÊÑÏÅÐÈÌÅÍÒÀËÜÍÛÅ ÐÅÇÓËÜÒÀÒÛ

175

Ïðèâåäåì ïðèìåð âû÷èñëåíèÿ ïîñòîÿííîé C^ . Ïóñòü r = 1; = 2 è Pv (
)  ãàóññîâñêîå ðàñïðåäåëåíèå ñ íóëåâûì ñðåäíèì è äèñïåðñèåé v2 . Òîãäà, êàê ïîêàçàíî â [72], â ïîñëåäíåì íåðàâåíñòâå ìîæíî âçÿòü v u u t

C^ = 4 5

1 + 9(A16) p : 2 2 ln 2v

 ÷àñòíîñòè, ïðè êâàäðàòè÷íîé ôóíêöèè ïîòåðü

inf sup E T n ;n f (
)22 f (
);n

fkT n

(
) ïîëó÷àåì p

 (1=2) ln 2=2v (f (
))k gn > 2 : 80(1 + 9(A16) ) 1 2

2

3.3 Ýêñïåðèìåíòàëüíûå ðåçóëüòàòû 3.3.1

Ñðàâíèòåëüíîå ìîäåëèðîâàíèå îöåíîê ÊÊÂ è SPSA àëãîðèòìîâ

Âñå àëãîðèòìû îöåíèâàíèÿ, ðàññìàòðèâàåìûå â ýòîé ãëàâå, ìîæíî çàïèñàòü â âèäå ^n = ^n 1 n g^n (^n 1 ); ãäå g^n (x)  îöåíêà ôóíêöèè g (x) = rf (x) (ãðàäèåíòà), âû÷èñëÿþùàÿñÿ

ïî ïðåäûäóùèì íàáëþäåíèÿì çàøóìëåííûõ çíà÷åíèé ôóíêöèè f (
).  êëàññè÷åñêîì àëãîðèòìå ÊèôåðàÂîëüôîâèöà (ÊÊÂ) îöåíêà ãðàäèåíòà ñòðîèòñÿ êàê êîíå÷íî-ðàçíîñòíàÿ àïïðîêñèìàöèÿ. Äëÿ àïïðîêñèìàöèè êàæäîé êîìïîíåíòû âåêòîðàãðàäèåíòà áåðåòñÿ äâà èçìåðåíèÿ

Y (^n 1 + n ei ) Y (^n g^in (^n 1 ) = 2 n

1

n ei )

; i = 1; 2; : : : ; r;

ãäå ei  âåêòîð, ñîñòàâëåííûé èç íóëåé è îäíîé åäèíèöû íà ìåñòå i-îé êîìïîíåíòû. Äëÿ ñðàâíèòåëüíîé õàðàêòåðèñòèêè ïîâåäåíèÿ ïðîöåäóðû ÊÊ è êàêîãîëèáî èç ðàíäîìèçèðîâàííûõ àëãîðèòìîâ ñòîõàñòè÷åñêîé àïïðîêñèìàöèè ìîæíî ðàññìîòðåòü ñëó÷àé "õîðîøèõ" ïîìåõ â íàáëþäåíèè, òàê êàê ïðè "ïëîõèõ" îöåíêè ÊÊ íå ñõîäÿòñÿ ê òî÷êå  ìèíèìóìà ôóíêöèè f (
). Ñðåäè ðàíäîìèçèðîâàííûõ àëãîðèòìîâ áîëåå âñåãî ïîõîæ íà ÊÊ àëãîðèòì òèïà (3.2), ïðîàíàëèçèðîâàííûé Äæ.Ñïàëîì â [200], àïïðîêñèìàöèÿ ãðàäèåíòà â êîòîðîì âû÷èñëÿåòñÿ ïî ôîðìóëå

Y (^n 1 + n
n ) Y (^n g^in (^n 1) = 2 n
ni

1

n
n )

; i = 1; 2; : : : ; r;

176ÃËÀÂÀ 3. ÐÀÍÄÎÌÈÇÈÐÎÂÀÍÍÛÅ ÀËÃÎÐÈÒÌÛ ÑÀ

Îáùåå êîëè÷åñòâî èòåðàöèé: ÊÊ = 65 920 SPSA= 160

SPSA ÊÊ Ìèíèìàëüíî äîñòèæèìîå çíà÷åíèå

Ðèñ. 9. Ñðàâíåíèå ðàáîòû àëãîðèòìîâ ÊÊ è SPSA ïðè íàñòðîéêå ðåãóëÿòîðà â ñèñòåìå îáðàáîòêè ñòî÷íûõ âîä

ãäå
n 2 R r  ïðîáíîå îäíîâðåìåííîå âîçìóùåíèå. Äëÿ îïðåäåëåííîñòè, ýòîò àëãîðèòì áóäåì íàçûâàòü ðàíäîìèçèðîâàííûì àëãîðèòìîì òèïà ÊèôåðàÂîëüôîâèöà è ñîêðàùåííî  SPSA, êàê ýòî ïðèíÿòî â àíãëîÿçû÷íîé ëèòåðàòóðå. Çàìåòèì, ÷òî ÷èñëî èçìåðåíèé çíà÷åíèé ôóíêöèè Y (
), íåîáõîäèìîå äëÿ âûïîëíåíèÿ êàæäîé èòåðàöèè ÊÊÂ, ðàñòåò ñ óâåëè÷åíèåì ðàçìåðíîñòè çàäà÷è r . Ïðèíèìàÿ âî âíèìàíèå òîò ôàêò, ÷òî â àëãîðèòìå SPSA íåîáõîäèìû òîëüêî äâà èçìåðåíèÿ âíå çàâèñèìîñòè îò r , ìîæíî íàäåÿòüñÿ, ÷òî îí ïîçâîëÿåò ïðè áîëüøèõ r ñóùåñòâåííî ýêîíîìèòü çàòðàòû íà îïòèìèçàöèþ ïî ñðàâíåíèþ ñ ÊÊÂ. Íî ýòà íàäåæäà îáîñíîâàíà òîëüêî â òåõ ñëó÷àÿõ, êîãäà ìîæíî ïîêàçàòü, ÷òî ÷èñëî èòåðàöèé, íåîáõîäèìûõ äëÿ ýôôåêòèâíîé ñõîäèìîñòè ê  , íå óâåëè÷èâàåòñÿ ïðè òàêîì ñîêðàùåíèè êîëè÷åñòâà èçìåðåíèé íà êàæäîì øàãå. Ýòî áûëî ïîêàçàíî Äæ.Ñïàëîì â [200] äëÿ äâóõ ïîõîæèõ àëãîðèòìîâ ÊÊ è SPSA. Ðèñóíîê 9 èëëþñòðèðóåò ýòîò ôàêò â ïðèëîæåíèè ê îäíîé ïðàêòè÷åñêîé çàäà÷å î ðåãóëèðîâàíèè ÷èñòîòû âîäû è ïðèìåñåé ìåòàíà â ïðîöåññå îáðàáîòêè ñòî÷íûõ âîä, áîëåå äåòàëüíî ðàññìîòðåííîé â [202]. Ãðàôèêè ïîêàçûâàþò ñðàâíèòåëüíûå ðåçóëüòàòû ïðîöåññîâ ìîäåëèðîâàíèÿ ïðè íàñòðîéêå ïàðàìåòðîâ íåéðîííîé ñåòè, èñïîëüçóþùåéñÿ äëÿ ðåøåíèÿ ýòîé ïðîáëåìû. Ïî âåðòèêàëüíîé îñè îòëîæåíû íîðìèðîâàííûå çíà÷åíèÿ ôóíêöèè ïîòåðü f (
) (îòêëîíåíèÿ îò íåêîòîðîãî çàäàííîãî çíà÷åíèÿ ñîîòíîøåíèÿ ÷èñòîòû âîäû è ïðèìåñåé ãàçà ìåòàíà), à ïî ãîðèçîíòàëüíîé îñè  êîëè÷åñòâî èòåðàöèé. Ðàçìåðíîñòü ïðîñòðàíñòâà îöåíèâàåìûõ ïàðàìåòðîâ ðàâíà 412, ñîîòâåòñòâóÿ êîëè÷åñòâó ïîäñòðàèâàåìûõ âåñîâûõ êîýôôèöèåíòîâ â íåéðîííîé ñåòè. Îñíîâíîé âûâîä èç àíàëèçà ãðàôèêîâ äëÿ ïîñëåäîâàòåëüíîñòåé îöåíîê ÊÊ è SPSA çàêëþ-

3.3. ÝÊÑÏÅÐÈÌÅÍÒÀËÜÍÛÅ ÐÅÇÓËÜÒÀÒÛ

177

÷àåòñÿ â òîì, ÷òî îáà àëãîðèòìà ïîñëå ïåðâûõ äâàäöàòè èòåðàöèé âûõîäÿò íà îäèíàêîâûé óðîâåíü òî÷íîñòè çà ðàâíîå êîëè÷åñòâî èòåðàöèé. Íî äëÿ êàæäîé èòåðàöèè â àëãîðèòìå SPSA èñïîëüçîâàëîñü òîëüêî 2 ýêñïåðèìåíòà, òîãäà êàê äëÿ àëãîðèòìà ÊÊ íåîáõîäèìî áûëî ïðîâåñòè 824 äîðîãîñòîÿùèõ ýêñïåðèìåíòà! Ýòà ðàçíèöà, î÷åâèäíî, âåäåò ê î÷åíü çàìàí÷èâîé ýêîíîìèè âû÷èñëèòåëüíûõ ðåñóðñîâ â èìèòàöèîííîì ýêñïåðèìåíòå èëè âðåìåíè è äåíåã ïðè íàñòðîéêå ðåàëüíîé óñòàíîâêè äëÿ îáðàáîòêè îòõîäîâ. Êðóòîé íà÷àëüíûé íàêëîí ãðàôèêà äëÿ ÊÊ íà ðèñ. 8 íå äîëæåí ââîäèòü â çàáëóæäåíèå, äëÿ ïåðâûõ äâóõ èòåðàöèé ïî àëãîðèòìó ÊÊ íàäî ñäåëàòü 1648 èçìåðåíèé ïðîòèâ 160 äëÿ âñåõ èòåðàöèé ïî SPSA. Äðóãîé ïîêàçàòåëüíûé ïðèìåð ñðàâíèòåëüíîãî ñ SPSA ìîäåëèðîâàíèÿ ðàáîòû ðàçëè÷íûõ àëãîðèòìîâ ìîæíî íàéòè â [126]. Ñðàâíåíèþ ìåæäó ñîáîé ðàçíûõ ðàíäîìèçèðîâàííûõ àëãîðèòìîâ ñòîõàñòè÷åñêîé àïïðîêñèìàöèè ïîñâÿùåíà ðàáîòà [123].

178ÃËÀÂÀ 3. ÐÀÍÄÎÌÈÇÈÐÎÂÀÍÍÛÅ ÀËÃÎÐÈÒÌÛ ÑÀ

3.3.2

Ïîøàãîâîå âûïîëíåíèå àëãîðèòìà

Ñëåäóþùåå ðåçþìå íà ïðèìåðå àëãîðèòìà (3.3) ñ îäèíàêîâî ðàñïðåäåëåííûì ïðîáíûì âîçìóùåíèåì
n è c âåêòîðôóíêöèåé Kn (
n ) =
n ïîêàçûâàåò, êàê ïîñëåäîâàòåëüíî ïî èòåðàöèÿì ôîðìèðîâàòü îöåíêè. Ïóñòü ôóíêöèÿ ðàñïðåäåëåíèÿ Pn (
) ðàâíîìåðíî ñîñðåäîòî÷åíà â âåðøèíàõ r -ìåðíîãî êóáà [ 1; 1]r , êîìïîíåíòû âåêòîðà ïðîáíîãî âîçìóùåíèÿ âçàèìíî íåçàâèñèìû è ðàâíû 1 ñ îäèíàêîâîé âåðîÿòíîñòüþ (ðàñïðåäåëåíèå Áåðíóëëè). Øàã 1: Èíèöèàëèçàöèÿ è âûáîð êîýôôèöèåíòîâ. Óñòàíîâèòå ñ÷åò÷èê àëãîðèòìà n = 1. Âûáåðèòå íà÷àëüíîå ïðèáëèæåíèå ^0 è çíà÷åíèÿ äëÿ íåîòðèöàòåëüíûõ êîýôôèöèåíòîâ ; ; ; Æ è  .  àëãîðèòìå èñïîëüçóþòñÿ ïîñëåäîâàòåëüíîñòè n = =(Æ + n) è n = =n . Âûáîð ïîñëåäîâàòåëüíîñòåé n è n èãðàåò êðèòè÷åñêóþ ðîëü â ðàáîòå àëãîðèòìà.  çàìå÷àíèè 3.9 ê òåîðåìå 3.2 èëè â [206] îáîñíîâûâàþòñÿ íåêîòîðûå ñîîáðàæåíèÿ ïî âûáîðó ýòèõ êîýôôèöèåíòîâ áîëåå ýôôåêòèâíûì äëÿ ïðàêòèêè ñïîñîáîì.  ñèòóàöèè, êîãäà êîìïîíåíòû âåêòîðà  ñóùåñòâåííî îòëè÷àþòñÿ ïî âåëè÷èíå, æåëàòåëüíî èñïîëüçîâàòü ìàòðè÷íîå ìàñøòàáèðîâàíèå n , åñëè ïðåäâàðèòåëüíî äîñòóïíà èíôîðìàöèÿ îá èõ îòíîñèòåëüíûõ âåëè÷èíàõ. Øàã 2: Ãåíåðàöèÿ âåêòîðà ïðîáíîãî âîçìóùåíèÿ. Ñãåíåðèðóéòå r ìåðíûé ñëó÷àéíûé âåêòîð âîçìóùåíèÿ
n , â êîòîðîì âñå r êîìïîíåíò íåçàâèñèìî ñìîäåëèðîâàííû ïî âåðîÿòíîñòíîìó ðàñïðåäåëåíèþ Áåðíóëëè 1 ñ âåðîÿòíîñòüþ 1=2 äëÿ êàæäîãî ðåçóëüòàòà. Øàã 3: Èçìåðåíèå çíà÷åíèé ôóíêöèè. Ïîëó÷èòå äâà èçìåðåíèÿ ôóíêöèè f (
) â òî÷êàõ ^n 1 è âîçìóùåííîé îòíîñèòåëüíî òåêóùåé îöåíêè ^n 1 + n
n: y(^n 1) è y(^n 1 + n
n). Øàã 4: Àïïðîêñèìàöèÿ ãðàäèåíòà. Ñãåíåðèðóéòå êîìïîíåíòû âåêòîðà àïïðîêñèìàöèè ãðàäèåíòà ïî ïðàâèëó

g^in (^n 1 ) = n
ni

y(^n 1 + n
n ) y(^n 1 ) ; i = 1; 2; : : : ; r;

ãäå
ni  i-ÿ êîìïîíåíòà âåêòîðà
n . Çàìåòèì, ÷òî âòîðîé ñîìíîæèòåëü â ôîðìóëàõ äëÿ âû÷èñëåíèÿ âñåõ r êîìïîíåíò îäèíàêîâûé, â îòëè÷èå îò ïðàâèëà àïïðîêñèìàöèè ãðàäèåíòà ïî ÊÊÂ. Øàã 5: Îáíîâëåíèå îöåíêè ^. Èñïîëüçóéòå ñòàíäàðòíóþ ôîðìó àëãîðèòìà ñòîõàñòè÷åñêîé àïïðîêñèìàöèè

^n = ^n

1

 g^n (^n 1 ); (Æ + n)

3.4. ÄÎÊÀÇÀÒÅËÜÑÒÂÀ ÒÅÎÐÅÌ 3.1 È 3.2

179

äëÿ ïåðåõîäà îò ^n 1 ê íîâîìó çíà÷åíèþ ^n . Èíîãäà æåëàòåëüíî íàëîæèòü îãðàíè÷åíèÿ. Åñëè ïîëó÷åííîå îñíîâíîå çíà÷åíèå îöåíêè êàæåòñÿ íåæåëàòåëüíûì, òîãäà ëèáî âûïîëíÿþò îòäåëüíûé áëîê ìîäèôèêàöèè, ëèáî áåðóò ñëåäóþùóþ îöåíêó. Îäèí èç òàêîãî ðîäà ïðîñòûõ ñëó÷àåâ  êîãäà èçâåñòíû çàðàíåå çíà÷åíèÿ ìàêñèìóìà è ìèíèìóìà êàêîé-ëèáî èç êîìïîíåíò âåêòîðà  . Øàã 6: Èòåðàöèÿ èëè çàâåðøåíèå. Âîçâðàòèòåñü ê øàãó 2 ñ çàìåíîé n íà n + 1. Çàêîí÷èòå ðàáîòó ïî àëãîðèòìó, åñëè íà íåñêîëüêèõ ïîñëåäîâàòåëüíûõ èòåðàöèÿõ îöåíêè èçìåíÿëèñü íåñóùåñòâåííî èëè ïîñëå âûïîëíåíèÿ ìàêñèìàëüíî äîïóñòèìîãî êîëè÷åñòâà èòåðàöèé. (Áîëåå ôîðìàëüíîå ïðàâèëî çàâåðøåíèÿ îáñóæäàåòñÿ â [176], ñòð. 297300).

3.4 Äîêàçàòåëüñòâà òåîðåì 3.1 è 3.2 Äîêàçàòåëüñòâî òåîðåìû 3.1. Ðàññìîòðèì ñíà÷àëà àëãîðèòì (3.5). Äëÿ äîñòàòî÷íî áîëüøèõ n, ïðè êîòîðûõ  =  (f (
)) 2 n , èñïîëüçóÿ ñâîéñòâà ïðîåêöèè, íåòðóäíî ïîëó÷èòü

k^n k2  k^n

1



n n K (
n)ynk2 : n

Ïðèìåíèâ ê ïîñëåäíåìó íåðàâåíñòâó îïåðàöèþ óñëîâíîãî ìàòåìàòè÷åñêîãî îæèäàíèÿ îòíîñèòåëüíî  -àëãåáðû Fn 1 , èìååì

Efk^n (3.9)

2

n ^n h n +

k2 jFn

1

g  k^n

k2

1

; EfKn (
n )yn jFn

1

2n 2 n Efy kK (
n )k2 jFn n2 n

1

1

gi +

g:

 ñèëó òåîðåìû î ñðåäíåì çíà÷åíèè, èç óñëîâèÿ (3.B) äëÿ ôóíêöèè F (
;
) ñëåäóåò

jF (w; x) F (w; )j  21 rxF (w; )2 + (A + 12 )kx k2; x 2 Rr :

Îòñþäà, â ñèëó ðàâíîìåðíîé îãðàíè÷åííîñòè ôóíêöèè F (
;  ), îáîçíà÷èâ

1 = sup (jF (w; )j + w2W

1 r F (w; )2 ); 2 x

180ÃËÀÂÀ 3. ÐÀÍÄÎÌÈÇÈÐÎÂÀÍÍÛÅ ÀËÃÎÐÈÒÌÛ ÑÀ ïîëó÷àåì

F (w; ^n 1 + n x)2  (1 + (2A + 1)(k^n ðàâíîìåðíî ïî

w2W.

1

k2 + k n xk2 ))2

 ñèëó óñëîâèÿ (3.4), èìååì

Efvn2 kKn (
n )k2 jFn

1

g  sup Kn (x)2 Efvn2 jFn 1 g: x

Äëÿ ïîñëåäíåãî ñëàãàåìîãî â ïðàâîé ÷àñòè (3.9) èç äâóõ ïîñëåäíèõ íåðàâåíñòâ, ó÷èòûâàÿ îãðàíè÷åííîñòü âåêòîðôóíêöèé Kn (
) è êîìïàêòíîñòü èõ íîñèòåëÿ, ïîñëåäîâàòåëüíî âûâîäèì

Efkyn k2 kKn (
n )k2 jFn +2

Z Z

1

g  2Efvn2 kKn (
n)k2 jFn 1 g +

F (w; ^n 1 + n x)2 kKn (x)k2 Pn (dx)Pw (dw)

 C1 + C2((d2n + 1)k^n



k2 + n2 ) + C3 Efvn2 jFn 1 g: Çäåñü è íèæå îáîçíà÷åíû ÷åðåç Ci ; i = 1; 2; : : : íåêîòîðûå ïîëîæèòåëüíûå 1

êîíñòàíòû. Äàëåå ðàññìîòðèì

n 1 EfynKn (
n )jFn (3.10)

= n

1

Z Z

1

g=

F (w; ^n 1 + n x)Kn (x)Pn (dx)Pw (dw)+ + n 1 Efvn Kn (
n )jFn

1

g:

Äëÿ âòîðîãî ñëàãàåìîãî â ïðàâîé ÷àñòè (3.10), â ñèëó íåçàâèñèìîñòè vn c
n è óñëîâèÿ (3.4), èìååì

Efvn

Kn (


n )jFn 1 g = Efvn jFn 1 g

Z

Kn (x)Pn(dx) = 0:

 ñèëó ðàâíîìåðíîé îãðàíè÷åííîñòè ôóíêöèè Z

rxF (
; x)

rxF (w; x)Pw (dw) = rf (x):

Rp

Èñïîëüçóÿ ïîñëåäíåå ñîîòíîøåíèå è óñëîâèå (3.4), ïðåîáðàçóåì ïåðâîå ñëàãàåìîå â ïðàâîé ÷àñòè (3.10) ê âèäó

n

1

Z Z

F (w; ^n

1+

n

x)Kn (x)P

n 1 n (dx)Pw (dw) = rf (^ ) +

Z 

n 1 

3.4. ÄÎÊÀÇÀÒÅËÜÑÒÂÀ ÒÅÎÐÅÌ 3.1 È 3.2



Z

F (w; ^n 1 + n x)Kn (x)Pn (dx)

Z Z

Kn (x)xT

Z 1

181 

rx F (w; ^n 1 ) Pw (dw) = rf (^n 1)+

r

r

( x F (w; ^n 1 +t n x) xF (w; ^n 1 ))dtPn (dx)Pw (dw): 0 Äëÿ àáñîëþòíîé âåëè÷èíû âòîðîãî ñëàãàåìîãî â ïîñëåäíåì ðàâåíñòâå, â ñèëó âûïîëíåíèÿ óñëîâèé (3.B) äëÿ ëþáîé èç ôóíêöèé F (w; ) è (3.4) äëÿ n ( ), èìååì +




K


Z Z

Kn (x)xT 

Z 1

0 Z Z

(rx F (w; ^n 1 +t n x)



rxF (w; ^n 1))dtPn (dx)Pw (dw) 

kKn (x)kkxkAk n xkPn(dx)Pw (dw)  C4 n:

Ñëåäîâàòåëüíî, â èòîãå äëÿ âòîðîãî ñëàãàåìîãî â ïðàâîé ÷àñòè íåðàâåíñòâà (3.9) ïîëó÷àåì

2

n ^n h n

; EfKn (
n )yn jFn

1

1

gi  2nh^n

+ 2C4 n n k^n

1

; rf (^n 1)i +

1

k:

Ïîäñòàâèâ â (3.9) ïîëó÷åííûå âûøå ñîîòíîøåíèÿ äëÿ âòîðîãî è òðåòüåãî ñëàãàåìûõ â ïðàâîé ÷àñòè, ìîæíî çàêëþ÷èòü, ÷òî

Efk^n

k2 jFn

1

g  k^n

1

k2 2n h^n

1

; rf (^n 1)i +





2 + 2C4 n n k + n2 C1 + C2 ((d2n + 1)k^n 1 k2 + n2 ) + C3 n2 ; n ãäå îáîçíà÷åíî n2 = Efvn2 jFn 1 g. Èñïîëüçóÿ âûïîëíåíèå óñëîâèÿ (3.A) äëÿ ôóíêöèè f (
) è ñïðàâåäëèâîå ïðè ëþáîì " > 0 íåðàâåíñòâî

k^n 1

k^n

k 

1

" 1 n + " n 1 k^n 2

1

k2

;

âûâîäèì

Efk^n k2 jFn

n 1 g  k^

+"

1C

1



k 1 (2

2 4 n n +

2



 2 2 2 "C4 )n + C2 n n (dn + 1) + 

2n C + C2 n2 + C3 n2 : n2 1

182ÃËÀÂÀ 3. ÐÀÍÄÎÌÈÇÈÐÎÂÀÍÍÛÅ ÀËÃÎÐÈÒÌÛ ÑÀ Âûáåðåì " íàñòîëüêî ìàëûì, ÷òîáû "C4 < 2 è ïóñòü n äîñòàòî÷íî âåëèêî. Èñïîëüçóÿ óñëîâèÿ òåîðåìû 3.1 äëÿ ÷èñëîâûõ ïîñëåäîâàòåëüíîñòåé, ïðåîáðàçóåì ïîñëåäíåå íåðàâåíñòâî ê âèäó

Efk^n

k2 jFn

1

g  k^n

k2 (1 C5 n ) + C6 (n n2 + 2n n 2 (1 + n2 )):

1

P

Îòñþäà âèäíî, â ñèëó óñëîâèé òåîðåìû 3.1 ( n n = 1 è ñ âåðîÿòíîñòüþ P 2 åäèíèöà n  n2 (1+ n2 ) < 1), ÷òî âûïîëíåíû âñå óñëîâèÿ ëåììû Ðîááèín ñàÑèãìóíäà (ñì. ëåììà Ï.1 íà ñòð. 254), íåîáõîäèìûå äëÿ ñõîäèìîñòè ñ âåðîÿòíîñòüþ åäèíèöà ^n !  ïðè n ! 1. Äëÿ äîêàçàòåëüñòâà â ñîîòâåòñòâóþùèõ óñëîâèÿõ òåîðåìû 3.1 ñõîäèìîñòè â ñðåäíåêâàäðàòè÷íîì ñìûñëå âîçüìåì áåçóñëîâíîå ìàòåìàòè÷åñêîå îæèäàíèå îò îáåèõ ÷àñòåé ïîñëåäíåãî íåðàâåíñòâà:

Efk^n

k2 g  Efk^n

1

k2 g(1 C5 n ) + C6 (n n2 + 2n n 2 (1 + n2 )):

Ñõîäèìîñòü ê òî÷êå  ïîñëåäîâàòåëüíîñòè îöåíîê f^n g â ñðåäíåêâàäðàòè÷íîì ñìûñëå ñëåäóåò èç ëåììû Ï.7 íà ñòð. 256. Äëÿ àëãîðèòìîâ (3.2) è (3.3) äîêàçàòåëüñòâà íåñêîëüêî îòëè÷àþòñÿ. Ïî àíàëîãèè ñ ïðåäûäóùèì, ïîëó÷àåì íåðàâåíñòâî, ïîõîæåå íà (3.9):

Efk^n 2

n ^n h n +

1

k2 jFn

1

g  k^n

 ; EfKn (
n )

k2

1

y2n y2n 2

1

jFn 1 gi +

2n (y2n y2n 1 )2 n Ef kK (
n)k2 jFn n2 4

1

g:

Ïîñëåäíåå ñëàãàåìîå â ïðàâîé ÷àñòè ýòîãî íåðàâåíñòâà ìîæíî ïðåîáðàçîâàòü ê âèäó

Ef



(y2n

1 (sup Kn (x)2 Efv22n 2 x

F (w2 ; ^n 1

 C7 n2 (k^n

1

n

y2n 1 )2 n kK (
n)k2 jFn 4 2 1 + v2n

x))2

jFn 1 g +

1

g

Z Z Z 

kKn (x)k2 P

n (dx)Pw

k2 + n2 ) + C8 n2 = C7 n2 k^n

F (w1 ; ^n 1 + n x) 

(dw1 )P

w

1

(dw2 )



k2 + C8 n2 + o( n2 );

3.4. ÄÎÊÀÇÀÒÅËÜÑÒÂÀ ÒÅÎÐÅÌ 3.1 È 3.2 èñïîëüçîâàâ îãðàíè÷åííîñòü âåêòîðôóíêöèé íîñèòåëÿ è íåðàâåíñòâî

183

Kn(
),

êîìïàêòíîñòü èõ

jF (w1 ;  + x) F (w2 ;  x)j  jF (w1 ;  + x) F (w1 ; )j + + jF (w2 ; 

x) F (w2 ; )j + jF (w1 ; ) F (w2 ; )j:

Òàê æå, ïî àíàëîãèè ñ äîêàçàòåëüñòâîì äëÿ àëãîðèòìà (3.5), ìîæíî ïîêàçàòü, ÷òî ïðè âûïîëíåíèè óñëîâèé òåîðåìû 3.1 ñïðàâåäëèâà îöåíêà 1 E n

fKn (


y2n y2n n) 2

1



rf (^n 1)  C9 n:

jFn 1g

Ñ ó÷åòîì ïîëó÷åííûõ îöåíîê â âèäå íåðàâåíñòâ, êàê è ðàíåå, äëÿ óñëîâíîãî ñðåäíåãî îøèáêè àëãîðèòìà âûïîëíÿåòñÿ íåðàâåíñòâî

Efk^n k2 jFn

1

g  k^n

k2(1 C10 n ) + C11 (n n2 + 2n n 2 (1 + n2 )):

1

Êàê âèäíî, è â ýòîì ñëó÷àå âûïîëíåíû âñå óñëîâèÿ ëåììû Ðîááèíñà Ñèãìóíäà (ñì. ëåììà Ï.1 íà ñòð. 254), íåîáõîäèìûå äëÿ ñõîäèìîñòè ñ âåðîÿòíîñòüþ åäèíèöà ^n !  ïðè n ! 1. Äàëüíåéøåå äîêàçàòåëüñòâî ñõîäèìîñòè â ñðåäíåêâàäðàòè÷íîì ñìûñëå ïîëíîñòüþ ïîâòîðÿåò ñîîòâåòñòâóþùóþ ÷àñòü äîêàçàòåëüñòâà äëÿ àëãîðèòìà (3.5). Äîêàçàòåëüñòâî òåîðåìû 3.1 çàêîí÷åíî. Äîêàçàòåëüñòâî òåîðåìû 3.2. Ñõåìà äîêàçàòåëüñòâà âî ìíîãîì ïîâòîðÿåò äîêàçàòåëüñòâî òåîðåìû 3.1. Ðàññìîòðèì ñíà÷àëà àëãîðèòì (3.5). Äëÿ äîñòàòî÷íî áîëüøèõ n, ïðè êîòîðûõ  2 n , èñïîëüçóÿ ñâîéñòâà ïðîåêöèè, íåòðóäíî ïîëó÷èòü

k^n k2  k^n

1

  1 n

1+ 21

K(
n)ynk2 :

Ïðèìåíèâ ê ïîñëåäíåìó íåðàâåíñòâó îïåðàöèþ óñëîâíîãî ìàòåìàòè÷åñêîãî îæèäàíèÿ îòíîñèòåëüíî  -àëãåáðû Fn 1 , ïîëó÷àåì (3.11)

Efk^n

k2 jFn

1

Efyn K(
n )jFn Òàê êàê

R

g  k^n 1

1

k2 2 1 n

gi + 2 2 n

2+ 1

1+ 21

h^n

1

Efyn2 kK(
n )k2 jFn

; 1

g:

K(x)P(dx) = 0, òî, â ñèëó íåçàâèñèìîñòè
n c vn, èìååì Efvn K(
n )jFn

Z

1

g = EfvnjFn 1 g K(x)P(dx) = 0:

184ÃËÀÂÀ 3. ÐÀÍÄÎÌÈÇÈÐÎÂÀÍÍÛÅ ÀËÃÎÐÈÒÌÛ ÑÀ è, ñëåäîâàòåëüíî,

Efyn K(
n )jFn

1

g=

Z Z

F (w; ^n 1 + n

1 2

x)K(x)P(dx)Pw (dw):

Çàìåòèì, ÷òî, â ñèëó (3.6) è (3.7),

n

1

Z

X

(

jkj`

1 k ^n 1 jkj k k! D f ( ) n x )K(x)P(dx) =

rf (^n 1):

Èñïîëüçóÿ îïðåäåëåíèå ôóíêöèè f (
) è óñëîâèå (3.4), ïðåîáðàçóåì ïåðâîå ñëàãàåìîå â (3.11) ê âèäó

n

1

Z Z

( F (w; n

Z

+ n 1 (f (^n

1+

1+

n x)Pw (dw))K(x)P(dx)

1 k ^n 1 jkj k D f ( ) n x )K(x)P(dx): k !

X

n x)

= rf (^n 1) +

jkj`

Âûïîëíåíèå óñëîâèÿ (3.C) âëå÷åò çà ñîáîé ñïðàâåäëèâîñòü íåðàâåíñòâà Z

(f (^n 1 + n x)

1 k ^n 1 jkj j2k j k k! D f ( ) n x )K(x)P(dx)  jkj` X

Z

 M kx n

1 2

 n 21 : k kK(x)kP(dx)  M K

Èñïîëüçóÿ ñïðàâåäëèâîå ïðè ëþáîì

k^n

1

k 

1 2

" 1n

 M K

" > 0 íåðàâåíñòâî

1 + "(n

1 2

2

 1) M K

1

k n

1

k2

;

ïîäñòàâèâ ïîëó÷åííûå âûøå ñîîòíîøåíèÿ âî âòîðîå ñëàãàåìîå â ïðàâîé ÷àñòè (3.11), èç óñëîâèÿ (3.A) ïîñëåäîâàòåëüíî âûâîäèì

Efk^n + 2n

1

k2 jFn

1 2

 k^n

 M K

1

~ ( +2 2 K

1

g  k^n 1

k^n

1

1

k2 2n

k + 2 2 n

k2 (1 (2 ")n 1 ) + n

Z Z

F (w; ^n 1 + n

1 2

h

1 ^n 1 2+ 1 2+ 1

; rf (^n 1)i +

Efyn2 kK(
n )k2 jFn

1

g

( 2 2 " 1 M 2 K 2 +

x)2 P(dx)Pw (dw) + Efvn2 jFn

1

g)):

3.4. ÄÎÊÀÇÀÒÅËÜÑÒÂÀ ÒÅÎÐÅÌ 3.1 È 3.2

185

Êàê è ïðè äîêàçàòåëüñòâå òåîðåìû 3.1 ìîæíî ïîëó÷èòü, ÷òî

p F (w; ^n 1 + n x)2  1 + 2(2A + 1) 1 (k^n 1 k2 + k n xk2 )+ +(2A + 1)2 (k^n 1 k4 + k n xk4 )

ðàâíîìåðíî ïî w 2 W . Ñ ó÷åòîì ýòîãî ôàêòà, âçÿâ áåçóñëîâíîå ìàòåìàòè÷åñêîå îæèäàíèå, èìåÿ â âèäó óñëîâèå òåîðåìû 3.2 äëÿ fdn g, çàêëþ÷àåì

Efk^n

k2 g  Efk^n

k2 g(1

1

1

n 1 + o(n 1 )) + C1 n 2 + o(n 2 ); ~ (1 + 12 ). Ïî ëåììå ãäå = (2 "); C1 =  2 2 " 1 M 2 K 2 + 2 K ×æóíà ([6], ñòð. 51), åñëè > ( 1)= , òî 1

1 1 n1 Efk^n k2 g  C1 ((2 ") (3.12) ) + o(1);

ãäå o(1) íå çàâèñèò îò f (
) 2 0 . Îñòàåòñÿ çàìåòèòü, ÷òî, â ñèëó ïðîèçâîëüíîñòè " > 0, âûïîëíåíèå íåðàâåíñòâà > ( 1)= ýêâèâàëåíòíî óñëîâèþ 2 > ( 1)= . 1

Äëÿ àëãîðèòìîâ (3.2) è (3.3) äîêàçàòåëüñòâî ìîæíî ïðîâåñòè ïî òîé æå ñõåìå, îíî îòëè÷àåòñÿ òîëüêî íåêîòîðûìè òåõíè÷åñêèìè äåòàëÿìè. Ïðè âûïîëíåíèè óñëîâèé òåîðåìû 3.2 íåòðóäíî ïîëó÷èòü ðàâíîìåðíóþ ïî w 2 W îöåíêó

1 (F (w1 ; x + x0 ) F (w2 ; x x0 ))2  2 + 2(2A + 1)2 (kxk2 + kx x0 k2 )2 2 è óáåäèòüñÿ â ñïðàâåäëèâîñòè íåðàâåíñòâà Z 1 n

(

f (^n 1 + n x) f (^n 2

K

1

n x)

(x)P(dx)

X

jkj`

1 k ^n 1 k k k! D f ( ) n x )

 C3 n 1:

 èòîãå äîêàçàòåëüñòâà âûâîäèòñÿ àíàëîãè÷íàÿ (3.12) àñèìïòîòè÷åñêàÿ îöåíêà ñðåäíåêâàäðàòè÷íîé ñêîðîñòè ñõîäèìîñòè, â êîòîðîé âìåñòî êîíñòàíòû C1 ïîëó÷àåòñÿ

^ (2 + 22 =2): C2 =  2 2 " 1 M 2 K 2 + 2 K Èíòåðåñíî îòìåòèòü ñâÿçü ìåæäó êîíñòàíòàìè C1 è C2 : C1 = C2 + ^ 2 (1 + 12 22 =2 2 ): Êàê âèäíî, åñëè F (w; x) = f (x), òî àñèìïòîK òè÷åñêàÿ ñêîðîñòü ñõîäèìîñòè ïî èòåðàöèÿì àëãîðèòìà, èñïîëüçóþùåãî

186ÃËÀÂÀ 3. ÐÀÍÄÎÌÈÇÈÐÎÂÀÍÍÛÅ ÀËÃÎÐÈÒÌÛ ÑÀ äâà íàáëþäåíèÿ, âñåãäà ëó÷øå, ÷åì àëãîðèòìà (3.5).  îáùåì ñëó÷àå íåîáõîäèìî ñðàâíèâàòü âåëè÷èíû 1 + 12 è 2 + 22 =2. Äîêàæåì çàìå÷àíèå 3.9 ê òåîðåìå 3.2. Ïðàâàÿ ÷àñòü â (3.12) ïðåäñòàâëÿåò ñîáîé ôóíêöèþ îò ; è ". Îïòèìèçèðóÿ ïî ýòèì ïàðàìåòðàì, ïîëó÷àåì ïîëó÷àåì çíà÷åíèÿ ? ; ? è "? = 2= . Àíàëîãè÷íî, îïòèìèçèðóÿ ïî ; è " âåðõíþþ ãðàíèöó àñèìïòîòè÷åñêîé ñêîðîñòè ñõîäèìîñòè äëÿ îöåíîê àëãîðèòìà (3.2), íàõîäÿòñÿ îïòèìàëüíûå çíà÷åíèÿ åãî ïàðàìåòðîâ. Åñëè ðàññìîòðåòü îòíîøåíèå 22 =1 , òî ïîëó÷àåì 

 +  2 =2 22 =1 = 2 2 2 2 1 + 1



1

:

Ñëåäîâàòåëüíî, ïðè 1

2 1 22

12 > 1

2 1 2

àñèìïòîòè÷åñêàÿ ñêîðîñòü ñõîäèìîñòè, ó÷èòûâàþùàÿ êîëè÷åñòâî èçìåðåíèé, äëÿ àëãîðèòìà (3.5) ëó÷øå, ÷åì äëÿ (3.2). Äîêàçàòåëüñòâî òåîðåìû 3.2 è çàìå÷àíèÿ 3.9 ê íåé çàêîí÷åíî.

Ãëàâà 4 Ïðèìåíåíèÿ ðàíäîìèçèðîâàííûõ àëãîðèòìîâ

Áîëüøèíñòâî ïðèìåðîâ, ðàññìàòðèâàåìûõ â ýòîé êíèãå, ìîæíî â îáîáùàþùåé ôîðìå ñôîðìóëèðîâàòü â âèäå çàäà÷è îá îöåíèâàíèè ïàðàìåòðîâ ñèãíàëà. Ïóñòü íàáëþäàåìûé ñèãíàë fyn g èìååò ñòðóêòóðó

yn = sn(wn ; n ) + vn ; n = 1; 2; : : : ; â êîòîðîé ïîëåçíûé ñèãíàë fsn g èçìåíÿåòñÿ ñî âðåìåíåì, è åãî çíà÷åíèÿ çàâèñÿò îò íàáîðà  n ñóùåñòâåííûõ (èíôîðìàöèîííûõ) ïàðàìåòðîâ è íàáîðà wn íåñóùåñòâåííûõ ïàðàìåòðîâ; êàê è ðàíåå, fvn g  ïîìåõè íàáëþäåíèÿ. Òðåáóåòñÿ îöåíèòü íàáîð èíôîðìàöèîííûõ ïàðàìåòðîâ  n .  íåêîòîðûõ ñëó÷àÿõ ïàðàìåòðàì ñèãíàëà wn ;  n îáîñíîâàííî ìîæíî ïðèïèñàòü íåêîòîðûå ñòàòèñòè÷åñêèå ñâîéñòâà è òîãäà, ñäåëàâ òå èëè èíûå ïðåäïîëîæåíèÿ î ïîìåõàõ fvn g, ïðèìåíèòü ñîîòâåòñòâóþùèå àëãîðèòìû îöåíèâàíèÿ.  äðóãèõ âàðèàíòàõ íàáîð ïàðàìåòðîâ wn ;  n ìîæåò áûòü íåñëó÷àéíûì. Íàïðèìåð, â çàäà÷å î âûäåëåíèè ñêðûòûõ ïåðèîäè÷íîñòåé ïîëåçíûé ñèãíàë ïðåäñòàâëÿåò ñîáîé òðèãîíîìåòðè÷åñêèé ìíîãî÷ëåí ñ íåèçâåñòíûìè ÷àñòîòàìè. Äëÿ ðåøåíèÿ êàæäîé êîíêðåòíîé çàäà÷è ìîæíî ïðåäëîæèòü íåñêîëüêî ðàçíîîáðàçíûõ àëãîðèòìîâ îöåíèâàíèÿ. Ïîýòîìó ïîëåçíî èìåòü íåêîòîðûé ñïîñîá ñðàâíåíèÿ èõ ìåæäó ñîáîé.  ÷àñòíîñòè, ìîæíî ðàññìàòðèâàòü ïîñòàíîâêó çàäà÷è î ïîëó÷åíèè íàèëó÷øèõ (îïòèìàëüíûõ) îöåíîê. Äëÿ ýòîãî äîëæåí áûòü çàäàí êàêîé-íèáóäü êðèòåðèé êà÷åñòâà. 187

188

ÃËÀÂÀ 4. ÏÐÈÌÅÍÅÍÈß ÀËÃÎÐÈÒÌÎÂ

Îáû÷íî êðèòåðèé êà÷åñòâà îöåíîê ñîñòîèò â ìèíèìèçàöèè (èëè ìàêñèìèçàöèè) íåêîòîðîãî ôóíêöèîíàëà, íàçûâàåìîãî ôóíêöèîíàëîì êà÷åñòâà èëè ôóíêöèåé ïîòåðü. Íàèáîëåå òèïè÷íûé âèä ôóíêöèîíàëà êà÷åñòâà ïðè êîíå÷íîì âðåìåíè íàáëþäåíèÿ è ïîñòîÿííîì âåêòîðå ñóùåñòâåííûõ ïàðàìåòðîâ  =  n , èìååò âèä N X

fN (x) = Ef èëè

k=1

N X

f ;N (x) = Ef

kyk sk (wk ; x)k2 j g k ky

N

sk (wk ; x)k2 j g;

k

k=1 ãäå N  âðåìÿ íàáëþäåíèÿ ñèãíàëà, 2 (0; 1)  çàáûâàþùèé ìíîæèòåëü, Ef
j  g îçíà÷àåò îïåðàöèþ óñðåäíåíèÿ ïî àíñàìáëþ âîçìîæíûõ ðåàëèçàöèé âåëè÷èí fyk g, fsk g, îòâå÷àþùèõ ôèêñèðîâàííîìó çíà÷åíèþ ïàðàìåòðà  , êîòîðûé, âîîáùå ãîâîðÿ, íåèçâåñòåí. Îïåðàöèÿ óñðåäíåíèÿ îáû÷íî èñïîëüçóåòñÿ ïðè ñòàòèñòè÷åñêîì ïîäõîäå ê ïîñòàíîâêå çàäà÷è. Åñëè âìåñòî óñðåäíåíèÿ ðàññìàòðèâàåòñÿ îïåðàöèÿ ìàêñèìèçàöèè, òî ãîâîðÿò î ìèíèìàêñíîé ïîñòàíîâêå çàäà÷è. Ïðè ýòîì îáû÷íî äëÿ âñåõ íåîïðåäåëåííîñòåé ïðåäïîëàãàþòñÿ çàäàííûìè îãðàíè÷åííûå ìíîæåñòâà èõ âîçìîæíûõ çíà÷åíèé, à îïåðàöèÿ ìàêñèìèçàöèè áåðåòñÿ ïî âñåâîçìîæíûì çíà÷åíèÿì. Èññëåäóÿ êà÷åñòâî îöåíîê ðàíäîìèçèðîâàííûõ àëãîðèòìîâ, â ýòîé ãëàâå áóäåì ðàññìàòðèâàòü ôóíêöèîíàëû êà÷åñòâà â ñòàòèñòè÷åñêîé ïîñòàíîâêå. Ïðè áåñêîíå÷íîì èíòåðâàëå âðåìåíè íàáëþäåíèé ðàññìàòðèâàþò ëèáî ïðåäåëüíûå ôóíêöèîíàëû êà÷åñòâà

1 N !1 N

f1 (x) = Ef lim f ;1(x) = Ef lim

N !1

N X k=1

N X k=1

N

kyk sk (wk ; x)k2 j g; k ky

k

sk (wk ; x)k2 j g;

f (x) = Ef lim kyN

sN (wN ; x)k2 j g; N !1 ëèáî äèñêîíòèðóþùèé, åñëè íåîáõîäèìî ìèíèìèçèðîâàòü è ïåðåõîäíûå ïðîöåññû (ïîëó÷èòü õîðîøåå êà÷åñòâî îöåíîê íà êîíå÷íûõ èíòåðâàëàõ âðåìåíè) f () = Ef

1

1 X

(1 ) k=1

k kyk

sk (wk ; x)k2 j g:

190

ÃËÀÂÀ 4. ÏÐÈÌÅÍÅÍÈß ÀËÃÎÐÈÒÌÎÂ

Êàê äëÿ êîíå÷íîãî âðåìåíè íàáëþäåíèé, òàê è äëÿ áåñêîíå÷íîãî ìîãóò ðàññìàòðèâàþòñÿ è äðóãèå ôóíêöèîíàëû êà÷åñòâà.  ýòîé ãëàâå îïèñûâàþòñÿ íåñêîëüêî ìîäåëüíûõ ïðèìåðîâ ïðàêòè÷åñêèõ çàäà÷, â êîòîðûõ äëÿ ðåøåíèÿ ïðîáëåì îïòèìèçàöèè èëè îöåíèâàíèÿ íåèçâåñòíûõ ïàðàìåòðîâ öåëåñîîáðàçíî èñïîëüçîâàòü ðàíäîìèçèðîâàííûå àëãîðèòìû èç ïðåäûäóùèõ ãëàâ.  ïåðâûõ äâóõ ðàçäåëàõ ðàññìàòðèâàþòñÿ ïðèìåðû çàäà÷ â "ëèíåéíîé" ïîñòàíîâêå. Ýôôåêòèâíîñòü ðàíäîìèçèðîâàííûõ àëãîðèòìîâ ñòîõàñòè÷åñêîé àïïðîêñèìàöèè, â ÷àñòíîñòè SPSA, íåîäíîêðàòíî óïîìèíàåìàÿ â òðåòüåé ãëàâå, èìååò áîëüøîå çíà÷åíèå äëÿ ïðàêòè÷åñêîãî èñïîëüçîâàíèÿ â çàäà÷àõ ìíîãîìåðíîé îïòèìèçàöèè. Ìíîãèå ïðîáëåìû, ðåøåíèå êîòîðûõ ïðåæäå äðóãèìè ñïîñîáàìè äîñòèãàëîñü ñ áîëüøèìè òðóäîçàòðàòàìè â îáðàáîòêå äàííûõ, ìîãóò áûòü ðàçðåøèìû áîëåå ïðîñòûì ñïîñîáîì. Øèðîêèé îáçîð êîíêðåòíûõ ïðàêòè÷åñêèõ ïðèìåíåíèé SPSA äàí â ðàáîòå Äæ.Ñïàëà [207]. Îïèñàíèå ïðèìåíåíèÿ àëãîðèòìà SPSA ïðè èññëåäîâàíèè âçàèìîäåéñòâèÿ ÷åëîâåêà è ìàøèíû äëÿ ñëîæíîé ôèçè÷åñêîé ìîäåëè ìîæíî íàéòè â [175]. Ïðèëîæåíèå àëãîðèòìà SPSA â óïðàâëåíèè âîçäóøíûì äâèæåíèåì îïèñàíî â [155] äëÿ ðåøåíèÿ çàäà÷è îïòèìèçàöèè, îñíîâàííîì íà ìîäåëèðîâàíèè.  [150] îïèñàíî ïðèìåíåíèå ïðè óïðàâëåíèè òÿæåëûì èîííûì ïó÷êîì, â [183, 184]  ïðè ïðîâåðêå êà÷åñòâà â ïðîìûøëåííîñòè, â [126]  ïðè ðåøåíèè çàäà÷è îáðàùåíèÿ ñèãíàëà.  [166] àëãîðèòì SPSA èñïîëüçóåòñÿ äëÿ ðàñïîçíàâàíèÿ îáðàçîâ, â [132]  äëÿ êëàññèôèêàöèè ñèãíàëîâ ÝÊà ïðè îáñëåäîâàíèè ñåðäöà, â [171]  äëÿ ìîäåëèðîâàíèÿ ïðîöåññîâ èññëåäîâàíèÿ ñåðäöà, â [163]  äëÿ ïîñòðîåíèÿ ìåòîäèêè ïîìîùè â ïðèíÿòèè ðåøåíèé, îñíîâàííîé íà ìîäåëèðîâàíèè, â [109]  äëÿ îöåíèâàíèÿ ïàðàìåòðîâ ñòàòèñòè÷åñêîé ìîäåëè, â [190]  äëÿ ðåøåíèÿ çàäà÷è î ðàçìåùåíèè è êîíôèãóðàöèè äàò÷èêîâ, â [174]  äëÿ óïðàâëåíèÿ õèìè÷åñêîé ðåàêöèåé, â [202]  äëÿ íàñòðîéêè ïàðàìåòðîâ â ñèñòåìå ðåãóëèðîâàíèÿ ÷èñòîòû âîäû è ïðèìåñåé ìåòàíà ïðè ïðîöåññå îáðàáîòêè ñòî÷íûõ âîä, â [172]  äëÿ îïðåäåëåíèÿ ýôôåêòèâíîé ìàêðîýêîíîìè÷åñêîé ïîëèòèêè, â [121, 125, 205]  äëÿ âûðàáîòêè ñòðàòåãèè ñèíõðîíèçàöèÿ ñèãíàëîâ ñâåòîôîðîâ ïðè óïðàâëåíèè äâèæåíèåì íà ñåòè äîðîã, â [146, 148]  äëÿ îïðåäåëåíèÿ îïòèìàëüíûé íàáîðà öåëåé äëÿ ñèñòåì îðóæèÿ, â [124]  ïðè êîíñòðóèðîâàíèè ýëåêòðîïðîâîäíîãî ëîêàòîðà îáúåêòîâ, â [25]  ïðè èññëåäîâàíèè ðèòìè÷åñêîé ñòðóêòóðû ñòèõîòâîðíîãî òåêñòà.  [27] îáñóæäàåòñÿ âîçìîæíîñòü ðåàëèçàöèè ðàíäîìèçèðîâàííûõ àëãîðèòìîâ ñòîõàñòè÷åñêîé àïïðîêñèìàöèè íà "ãèïîòåòè÷åñêîì" êâàíòîâîì âû÷èñëèòåëå.

4.1. ÎÏÐÅÄÅËÅÍÈÅ ÕÈÌÈ×ÅÑÊÎÃÎ ÑÎÑÒÀÂÀ ÌÈØÅÍÈ

191

4.1 Ñïîñîá îáíàðóæåíèÿ íåêîòîðûõ ýëåìåíòîâ õèìè÷åñêîãî ñîñòàâà ìèøåíè  ñåðåäèíå 80-õ ãîäîâ îäèí èç àâòîðîâ ñòîëêíóëñÿ ñ çàäà÷åé î ðàçðàáîòêå ìåòîäèêè ïîñòðîåíèÿ àëãîðèòìîâ îáíàðóæåíèÿ äåëÿùèõñÿ ìàòåðèàëîâ â ìèøåíè, îáëó÷àåìîé ñåðèåé ïó÷êîâ ýëåìåíòàðíûõ ÷àñòèö. Îäíîé èç õàðàêòåðèñòèê, óêàçûâàþùåé íà ïðèñóòñòâèå â ìèøåíè êàêîãî-ëèáî äåëÿùåãîñÿ ìàòåðèàëà (óðàí, ïëóòîíèé è ò. ï.), ÿâëÿåòñÿ âîçíèêíîâåíèå çàïàçäûâàþùåãî âî âðåìåíè ïîòîêà íåéòðîíîâ ïîñëå îáëó÷åíèÿ ìèøåíè ðåëÿòèâèñòñêèì ïó÷êîì ýëåêòðîíîâ. Íà ýòîì îñíîâàíà îäíà èç îñíîâíûõ ìåòîäèê èíñïåêöèè ïîäîçðèòåëüíûõ îáúåêòîâ "ïðîòèâíèêà", ïðè ýòîì ïî èçìåíåíèþ âî âðåìåíè èíòåíñèâíîñòè çàïàçäûâàþùåãî èçëó÷åíèÿ ìîæíî ñäåëàòü âûâîä î òèïå äåëÿùåãîñÿ âåùåñòâà. Åñëè ó ïðîòèâíèêà åñòü âîçìîæíîñòü ïðîòèâîäåéñòâèÿ, òî ïðè èñïîëüçîâàíèè ýòîé ìåòîäèêè îí ìîæåò îïðåäåëèòü ìîìåíò íà÷àëà èíñïåêöèè (çàñå÷ü ýëåêòðîííûé ïó÷îê) è, èìåÿ íåêîòîðûé çàïàñ âî âðåìåíè âîçíèêíîâåíèÿ çàïàçäûâàþùåãî èçëó÷åíèÿ, äîáàâèòü ê ïîòîêó çàïàçäûâàþùèõ íåéðîíîâ çàãëóøàþùèé ïîòîê, ëèêâèäèðóþùèé âîçìîæíîñòü èíñïåêöèè. Îñíîâíàÿ èäåÿ ðàññìàòðèâàåìîãî íèæå ñïîñîáà, èñïîëüçóþùåãî ïðîáíûå âîçìóùåíèÿ, çàêëþ÷àåòñÿ â çàäàíèè ñåðèè îáëó÷àþùèõ ýëåêòðîííûõ ïó÷êîâ, ïîñëåäîâàòåëüíîñòü èíòåíñèâíîñòåé êàæäîãî èç êîòîðûõ îïðåäåëÿåòñÿ íåêîòîðûì ñëó÷àéíûì ïðîöåññîì ñ çàäàâàåìûìè èëè õîðîøî èçâåñòíûìè ñòàòèñòè÷åñêèìè ñâîéñòâàìè. Ýòîò àëãîðèòì ïîçâîëÿåò ôèêñèðîâàòü íàëè÷èå è õàðàêòåðèñòèêè çàïàçäûâàþùåãî èçëó÷åíèÿ íåéòðîíîâ, äàæå íåñìîòðÿ íà âûñîêèé óðîâåíü ãåíåðèðóåìûõ ïðîòèâíèêîì ïîìåõ. Ïðè îáëó÷åíèè ìèøåíè äîñòàòî÷íî ìîùíûì ïî èíòåíñèâíîñòè ðåëÿòèâèñòñêèì ýëåêòðîííûì ïó÷êîì îòâåòíàÿ ðåàêöèÿ âåùåñòâà ìèøåíè, çàêëþ÷àþùàÿñÿ â èçëó÷åíèè ïîòîêà ýëåìåíòàðíûõ ÷àñòèö (íàïðèìåð, íåéòðîíîâ), ñîñòîèò èç äâóõ ÷àñòåé: ïîòîêà ìãíîâåííûõ ÷àñòèö, íàëè÷èå êîòîðîãî õàðàêòåðíî äëÿ ëþáîãî õèìè÷åñêîãî ñîñòàâà âåùåñòâà, è ïîòîêà çàïàçäûâàþùèõ ÷àñòèö, óêàçûâàþùåãî íà ïðèñóòñòâèå îïðåäåëåííûõ õèìè÷åñêèõ ýëåìåíòîâ (óðàí, ïëóòîíèé è ò. ä.). Ïðåäïîëîæèì, ÷òî èññëåäîâàòåëü ïîñûëàåò â íàïðàâëåíèè ìèøåíè ïîñëåäîâàòåëüíîñòü ðåëÿòèâèñòñêèõ ýëåêòðîííûõ ïó÷êîâ. Ýëåêòðîííàÿ ïóøêà íà÷èíàåò èçëó÷åíèå êàæäîãî èç íèõ â íåêîòîðûå ìîìåíòû âðåìåíè t1 ; t2 ; : : :. Ìîùíîñòü ïóøêè áóäåì ñ÷èòàòü ïîñòîÿííîé è ðàâíîé W . Ýêñïåðèìåíòàòîð ìîæåò âûáèðàòü äëèòåëüíîñòü èìïóëüñîâ èçëó÷åíèÿ â îïðåäåëåííûõ ïðåäåëàõ, ëèáî èìååò âîçìîæíîñòü òî÷íîãî èçìåðåíèÿ ôàêòè÷åñêîãî âðåìåíè èçëó-

192

ÃËÀÂÀ 4. ÏÐÈÌÅÍÅÍÈß ÀËÃÎÐÈÒÌÎÂ

÷åíèÿ. Áóäåì ñ÷èòàòü, ÷òî äëèòåëüíîñòè èçëó÷åíèÿ ýëåêòðîííûõ ïó÷êîâ '1 ; '2 ; : : : ïðåäñòàâëÿþò ñîáîé ðåàëèçàöèþ íåêîòîðîé ïîñëåäîâàòåëüíîñòè íåçàâèñèìûõ, îäèíàêîâî ðàñïðåäåëåííûõ îãðàíè÷åííûõ ñëó÷àéíûõ âåëè÷èí ñ èçâåñòíûì ñðåäíèì çíà÷åíèåì M' , êîíå÷íîé ïîëîæèòåëüíîé äèñïåðñèåé '2 > 0, íóëåâûì òðåòüèì öåíòðàëüíûì ìîìåíòîì è êîíå÷íûì ÷åòâåðòûì öåíòðàëüíûì ìîìåíòîì M44 . ×èñëî ýëåêòðîíîâ â n-ì ïó÷êå ðàâíÿåòñÿ Nne = W 'n :

Ïîñëåäîâàòåëüíîñòü
n = 'n M' áóäåì íàçûâàòü ïðîáíûì âîçìóùåíèåì. Äåòåêòîð (ðåãèñòðàòîð íåéòðîíîâ) âêëþ÷àåòñÿ â ìîìåíòû âðåìåíè tn + ÆTd ; n = 1; 2; : : :, ãäå ÆTd  âðåìÿ çàäåðæêè, îïðåäåëÿåìîå ðàññòîÿíèÿìè îò ìèøåíè äî èíæåêòîðà (ýëåêòðîííîé ïóøêè) è äî äåòåêòîðà, à òàêæå ñðåäíåé ìîùíîñòüþ ýëåêòðîííîãî ïó÷êà. Îíî äîëæíî áûòü äîñòàòî÷íî áîëüøèì, ÷òîáû ïðîøåë ïîòîê ìãíîâåííûõ ÷àñòèö. Âðåìÿ ðàáîòû äåòåêòîðà ÆTm îäèíàêîâî äëÿ ëþáîé ñåðèè è îïðåäåëÿåòñÿ ïðåäïîëàãàåìûìè ñâîéñòâàìè âåùåñòâà ìèøåíè. Îáû÷íî äëÿ óìåíüøåíèÿ âëèÿíèÿ ïîòîêà ìãíîâåííûõ íåéòðîíîâ è óìåíüøåíèÿ âçàèìíîãî âëèÿíèÿ ìåæäó ïîñëåäîâàòåëüíûìè èñïûòàíèÿìè ïðåäïîëàãàåòñÿ, ÷òî tn + ÆTd + ÆTm << tn+1 ; n = 1; 2; : : :. Îòâåòíûé ñèãíàë, ôèêñèðóåìûé äåòåêòîðîì,

Nnn = Nnd + Nnext ; n = 1; 2; : : : ; îïðåäåëÿåòñÿ êîëè÷åñòâîì çàðåãèñòðèðîâàííûõ çàïàçäûâàþùèõ ÷àñòèö (íåéòðîíîâ) Nnd , èçëó÷àåìûõ ìèøåíüþ â îòâåò íà ýëåêòðîííûé ïó÷îê ìîùíîñòè Nne , è ðåãèñòðèðóåìûìè âíåøíèìè ÷àñòèöàìè Nnext (ïîìåõàìè â íàáëþäåíèè), êîëè÷åñòâî êîòîðûõ îïðåäåëÿåòñÿ ìîùíîñòüþ ôîíîâîãî êîñìè÷åñêîãî èçëó÷åíèÿ (ñîëíå÷íûé âåòåð è ò. ï.) è âîçìîæíûì ïðîòèâîäåéñòâèåì ïðîòèâíèêà, ìåøàþùåãî èññëåäîâàíèþ. Çàìåòèì, ÷òî â òàêîé ïîñòàíîâêå çàäà÷è ìû íå ìîæåì ïðåäâàðèòåëüíî ÷òîëèáî ñóùåñòâåííîå óòâåðæäàòü î ñòàòèñòè÷åñêèõ ñâîéñòâàõ ïîìåõ â íàáëþäåíèè Nnext (ñðåäíåå çíà÷åíèå, ñâîéñòâà ðàñïðåäåëåíèÿ) è, ñîîòâåòñòâåííî, íåëüçÿ âîñïîëüçîâàòüñÿ ìåòîäàìè îöåíèâàíèÿ, îïèðàþùèìèñÿ íà íèõ. Íî êàæåòñÿ âïîëíå îáîñíîâàííîé âîçìîæíîñòü ñäåëàòü ïðåäïîëîæåíèÿ î íåçàâèñèìîñòè êîëè÷åñòâà âíåøíèõ ÷àñòèö îò ïðîáíîãî âîçìóùåíèÿ è îãðàíè÷åííîñòè èõ ïîòîêà â ñðåäíåêâàäðàòè÷åñêîì ñìûñ2 : ëå: Ef(Nnext )2 g  ext Êîëè÷åñòâî ðåãèñòðèðóåìûõ äåòåêòîðîì çàïàçäûâàþùèõ ÷àñòèö (íåéòðîíîâ) ïðÿìî ïðîïîðöèîíàëüíî ìîùíîñòè ñîîòâåòñòâóþùåãî ýëåêòðîííîãî ïó÷êà: Nnd =  n Nne =  n W 'n

4.1. ÎÏÐÅÄÅËÅÍÈÅ ÕÈÌÈ×ÅÑÊÎÃÎ ÑÎÑÒÀÂÀ ÌÈØÅÍÈ

193

(ñì. [42, 110]). Âåëè÷èíû  n ; (0   n  max ) îïðåäåëÿþòñÿ ýôôåêòèâíîñòüþ ðåãèñòðàöèè ÷àñòèö, êîòîðàÿ çàâèñèò îò òèïà èñïîëüçóåìîãî äåòåêòîðà, âåëè÷èíû òåëåñíîãî óãëà ñ âåðøèíîé â òî÷êå ïîïàäàíèÿ ýëåêòðîííîãî ïó÷êà â ìèøåíü è îïèðàþùåãîñÿ íà ïîëåçíóþ ïëîùàäü äåòåêòîðà (ýòè âåëè÷èíû ìîæíî ñ÷èòàòü ïîñòîÿííûìè ïðè ñåðèè èñïûòàíèé èëè äîñòàòî÷íî òî÷íî ðàññ÷èòûâàåìûìè), óãëà ìåæäó íàïðàâëåíèåì ðàñïðîñòðàíåíèÿ ýëåêòðîííîãî ïó÷êà è íîðìàëüþ ê ïîâåðõíîñòè ìèøåíè â òî÷êå ïîïàäàíèÿ (ýòó õàðàêòåðèñòèêó òî÷íî ó÷åñòü ñëîæíåå) è íåêîòîðîé ñòàòèñòè÷åñêîé âåëè÷èíîé, îïðåäåëÿåìîé õèìè÷åñêèì ñîñòàâîì âåùåñòâà ìèøåíè. Ïîñëåäíÿÿ õàðàêòåðèñòèêà ïðèíöèïèàëüíî íå ìîæåò áûòü çàðàíåå òî÷íî ðàññ÷èòàíà, íî åå âåðîÿòíîñòíîå ðàñïðåäåëåíèå äëÿ ðàçëè÷íûõ âåùåñòâ õîðîøî èçó÷åíî. Ìîæíî ñ÷èòàòü, ÷òî îíà, êàê ñëó÷àéíàÿ âåëè÷èíà, íå çàâèñèò îò ïðîáíîãî âîçìóùåíèÿ. (Òîëüêî â ñëó÷àå îòñóòñòâèÿ â ìàòåðèàëå ìèøåíè äåëÿùåãîñÿ âåùåñòâà  n = 0.) Áóäåì ñ÷èòàòü f ng ïîñëåäîâàòåëüíîñòüþ íåçàâèñèìûõ îäèíàêîâî ðàñïðåäåëåííûõ ñëó÷àéíûõ âåëè÷èí ñî ñðåäíèì çíà÷åíèåì M è äèñïåðñèåé 2 . Îáîçíà÷èâ ÷åðåç yn = Nnd ,  n =  n W , vn = Nnext ,  = M W è wn = ( n M )W , ïîëó÷àåì ñîîòíîøåíèÿ äëÿ ïîñëåäîâàòåëüíîñòè íàáëþäåíèé

yn = 'n n + vn ; n =  + wn ; n = 1; 2; : : : : Çàäà÷à îá îáíàðóæåíèè äåëÿùåãîñÿ âåùåñòâà â ìèøåíè ñâåëàñü ê ïîñòðîåíèþ ïîñëåäîâàòåëüíîñòè îöåíîê ñðåäíåãî çíà÷åíèÿ ïàðàìåòðà ëèíåéíîé ðåãðåññèè. Âî âòîðîé ãëàâå áûëî ïîêàçàíî, ÷òî ïðè ñäåëàííûõ âûøå ïðåäïîëîæåíèÿõ äëÿ åå ðåøåíèÿ ìîæíî îáîñíîâàííî âîñïîëüçîâàòüñÿ èëè àëãîðèòìîì ñòîõàñòè÷åñêîé àïïðîêñèìàöèè (2.2), èëè (2.6), èëè ðàíäîìèçèðîâàííûì ìåòîäîì íàèìåíüøèõ êâàäðàòîâ (2.7). Àëãîðèòì ñòîõàñòè÷åñêîé àïïðîêñèìàöèè (2.2) ñ n = 1=('2 n) ïðè ââåäåííûõ îáîçíà÷åíèÿõ èìååò âèä

^n = ^n

1

'n M' ^n ('n  '2 n

1

Nnd ); n = 1; 2; : : : :

Åñëè ïîñëåäîâàòåëüíîñòü îöåíîê f^n g ñõîäèòñÿ ê íóëþ, òî ìîæíî äîñòîâåðíî óòâåðæäàòü, ÷òî çàïàçäûâàþùåãî èçëó÷åíèÿ èç ìèøåíè íåò è, ñëåäîâàòåëüíî, â ñîñòàâå õèìè÷åñêîãî âåùåñòâà ìèøåíè îòñóòñòâóþò óðàí, ïëóòîíèé è ò. ï.. Åñëè îöåíêè ñõîäÿòñÿ ê íåêîòîðîìó ÷èñëó  > 0, òî çàïàçäûâàþùåå èçëó÷åíèå ïðèñóòñòâóåò, è ÷èñëî  íåêîòîðûì îáðàçîì ñâÿçàíî ñ åãî ìîùíîñòüþ. Ïðè äîïîëíèòåëüíûõ ðàñ÷åòàõ (ñì. [42, 110]) ìîæíî äàòü îòâåò è î êîíêðåòíîì òèïå âåùåñòâà â çàâèñèìîñòè îò âåëè÷èíû  .  ðåàëüíîé ïðàêòèêå ìîæíî ðàññ÷èòûâàòü òîëüêî íà ïîëó÷åíèå

194

ÃËÀÂÀ 4. ÏÐÈÌÅÍÅÍÈß ÀËÃÎÐÈÒÌÎÂ

êîíå÷íîé âûáîðêè íàáëþäåíèé. Ïðåäïîëîæèì, ÷òî ïîñëå n? íàáëþäåíèé ïîñëåäîâàòåëüíîñòü îöåíîê f^n g ñòàáèëèçèðîâàëàñü è ñòàíîâèòñÿ îòäåëåííîé îò íóëÿ íåêîòîðîé âåëè÷èíîé , ò. å. ïðè n  n?

^n   > 0:

Åñëè â ðåçóëüòàòå ñåðèè èç n ýêñïåðèìåíòîâ ïðèíèìàåòñÿ ãèïîòåçà î òîì, ÷òî

M W



 2 > 0;

òî ïðè ñäåëàííûõ âûøå ïðåäïîëîæåíèÿõ èç ðåçóëüòàòà òåîðåìû 2.2 è íåðàâåíñòâà ×åáûøåâà (ñì. ïóíêò Ï.1.2 íà ñòð. 251) ñëåäóåò îöåíêà 2 +  2 W 2 (M 2 + M4 )   ext  ' '2   1 n ^ PfM W < g  Pfj M W j  g < +o ; 2 2  2 2 n n(=2) ' 4

ïîêàçûâàþùàÿ, â ÷àñòíîñòè, çàâèñèìîñòü âåðîÿòíîñòè ïðèíÿòèÿ íåïðàâèëüíîé ãèïîòåçû îò êîëè÷åñòâà èòåðàöèé.

4.2 Àäàïòèâíîå óïðàâëåíèå ïðè ïðîèçâîëüíûõ îãðàíè÷åííûõ ïîìåõàõ  ýòîì ðàçäåëå èëëþñòðèðóþòñÿ âîçìîæíîñòè ìåòîäà èäåíòèôèêàöèè ñ èñïîëüçîâàíèåì ïðîáíûõ âîçäåéñòâèé â çàäà÷å àäàïòèâíîãî ìèíèìàêñíîãî óïðàâëåíèÿ äèñêðåòíûì îáúåêòîì, êîòîðûé îïèñûâàåòñÿ ëèíåéíûì óðàâíåíèåì ñ àääèòèâíîé îãðàíè÷åííîé ïîìåõîé. Ïîìåõà ìîæåò íå áûòü ñëó÷àéíîé è íå îáëàäàòü ïîëåçíûìè ñòàòèñòè÷åñêèìè ñâîéñòâàìè.  ðÿäå ïðèëîæåíèé ïðèõîäèòñÿ ðåøàòü çàäà÷ó ñèíòåçà îáðàòíûõ ñâÿçåé äëÿ óïðàâëåíèÿ îáúåêòîì (ÎÓ) â óñëîâèÿõ, êîãäà íåêîòîðûå èç åãî ïàðàìåòðîâ (êîýôôèöèåíòîâ óðàâíåíèÿ ÎÓ) íåèçâåñòíû. Çàäà÷à ñîñòîèò â îáåñïå÷åíèè çàäàâàåìîé öåëè óïðàâëåíèÿ. Ïðè ïîëîæèòåëüíîì ðåøåíèè çàäà÷è ïîëó÷åííóþ óïðàâëÿþùóþ ñèñòåìó íàçûâàþò àäàïòèâíîé ïî îòíîøåíèþ ê ýòîé öåëè. Àäàïòèâíàÿ ñèñòåìà õàðàêòåðèçóåòñÿ êëàññîì àäàïòàöèè  ìíîæåñòâîì âîçìîæíûõ çíà÷åíèé íåèçâåñòíîãî ïàðàìåòðà è êëàññîì ïîìåõ, ïðè êîòîðûõ îáåñïå÷èâàåòñÿ âûïîëíåíèå öåëè óïðàâëåíèÿ. Ê íàñòîÿùåìó âðåìåíè â ëèòåðàòóðå ïî òåîðèè óïðàâëåíèÿ ñëîæèëèñü äâà ïîäõîäà ê îïèñàíèþ ñâîéñòâ íåîïðåäåëåííîñòåé â óðàâíåíèè îáúåêòà óïðàâëåíèÿ: ñòîõàñòè÷åñêèé è ìèíèìàêñíûé. Ïðè ñòîõàñòè÷åñêîé ïîñòàíîâêå çàäà÷è ïîìåõàì è íåèçâåñòíûì ïàðàìåòðàì ïðèïèñûâàþòñÿ êàêèåëèáî ñòàòèñòè÷åñêèå ñâîéñòâà è äîñòèæåíèå öåëè óïðàâëåíèÿ

4.2. ÀÄÀÏÒÈÂÍÎÅ ÓÏÐÀÂËÅÍÈÅ

195

ïîíèìàåòñÿ â ñòàòèñòè÷åñêîì ñìûñëå. Ðåçóëüòàòû, ïîëó÷åííûå â ýòîé îáëàñòè, õîðîøî èçâåñòíû, íîñÿò äîñòàòî÷íî çàêîí÷åííûé õàðàêòåð è, â öåëîì, ñîñòàâëÿþò ñòðîéíóþ ìàòåìàòè÷åñêóþ òåîðèþ. Âî ìíîãèõ ðàáîòàõ ïðè ñèíòåçå àäàïòèâíîãî óïðàâëåíèÿ èñïîëüçóþò èäåíòèôèêàöèîííûé ïîäõîä (ñì., íàïðèìåð, [58, 84, 86, 89, 96, 134, 135, 160]). Åñëè ïðè èçâåñòíûõ çíà÷åíèÿõ ïàðàìåòðîâ ìû óìååì ðåøàòü çàäà÷ó ñèíòåçà íóæíûõ óïðàâëåíèé, òî åñòåñòâåííîé ÿâëÿåòñÿ èäåÿ î ñîâìåùåíèè àëãîðèòìà èäåíòèôèêàöèè äèíàìè÷åñêîãî îáúåêòà ñ èçâåñòíûì çàêîíîì ôîðìèðîâàíèÿ óïðàâëåíèé ïðè èñïîëüçîâàíèè â ýòîì çàêîíå âìåñòî âåêòîðà èñòèííûõ ïàðàìåòðîâ ÎÓ òåêóùèå îöåíêè èõ çíà÷åíèé, ïîëó÷àåìûå â ïðîöåññå èäåíòèôèêàöèè. Ïðè ìèíèìàêñíîé ïîñòàíîâêå çàäà÷è ïðåäïîëàãàåòñÿ, ÷òî íåèçâñòíûå ïàðàìåòðû óðàâíåíèÿ, îïèñûâàþùåãî îáúåêò óïðàâëåíèÿ, ïðèíàäëåæàò íåêîòîðîìó îãðàíè÷åííîìó ìíîæåñòâó, à ïîñëåäîâàòåëüíîñòü ïîìåõ îãðàíè÷åíà è â îñòàëüíîì ïðîèçâîëüíà. Öåëü óïðàâëåíèÿ ïîíèìàåòñÿ â äîñòèæåíèè íàèëó÷øåãî êà÷åñòâà óïðàâëåíèÿ ïðè íàèõóäøåé äëÿ âûáðàííîãî óïðàâëåíèÿ ðåàëèçàöèè ïîñëåäîâàòåëüíîñòè ïîìåõ. Áóäåì ñ÷èòàòü, ÷òî öåëüþ âûáîðà ñòðàòåãèè óïðàâëåíèÿ ÿâëÿåòñÿ ìèíèìèçàöèÿ àáñîëþòíîé âåëè÷èíû ïðåäåëüíîãî îòêëîíåíèÿ âûõîäà îáúåêòà îò çàäàííîé òðàåêòîðèè. Ïðè àïðèîðíî çàäàííûõ ïàðàìåòðàõ ÎÓ çàäà÷à îïòèìèçàöèè â ìèíèìàêñíîé ïîñòàíîâêå îêàçàëîñü ñóùåñòâåííî ñëîæíåå, ÷åì â ñòàòèñòè÷åñêîé. Èíòåðåñ ê ðåøåíèþ çàäà÷è î ïîñòðîåíèè îïòèìàëüíîãî ëèíåéíîãî ñòàáèëèçèðóþùåãî ðåãóëÿòîðà äëÿ ëèíåéíîãî äèñêðåòíîãî íåìèíèìàëüíîôàçîâîãî (íåóñòîé÷èâîãî ïî óïðàâëåíèþ) îáúåêòà ñ îãðàíè÷åííûìè íåðåãóëÿðíûìè ïîìåõàìè ïîÿâèëñÿ ïîñëå èçâåñòíîé ðàáîòû Å.Ä.ßêóáîâè÷ [105], â êîòîðîé çàäà÷à áûëà ðåøåíà äëÿ óñòîé÷èâîãî ïî óïðàâëåíèþ îáúåêòà. Ïîëó÷åííîå ðåøåíèå èìåëî ïðîñòîé è åñòåñòâåííûé âèä. Ïîçæå â [106] çàäà÷à áûëà ðåøåíà äëÿ ñèñòåì ñ çàïàçäûâàíèåì è â [6] äëÿ ñèëüíîíåóñòîé÷èâîãî ïî óïðàâëåíèþ îáúåêòà (ñòàðøèé êîýôôèöèåíò ïðè óïðàâëåíèè â óðàâíåíèè îáúåêòà ïî àáñîëþòíîé âåëè÷èíå ïðåâîñõîäèë ñóììó ìîäóëåé îñòàëüíûõ êîýôôèöèåíòîâ). Îòëè÷èòåëüíîé îñîáåííîñòüþ ïåðâûõ ðåøåíèé çàäà÷è áûëî ñîâïàäåíèå îïòèìàëüíîãî ðåãóëÿòîðà ñ ñîîòâåòñòâóþùèì ðåãóëÿòîðîì, ïîëó÷àåìûì ïðè ñòîõàñòè÷åñêîé ïîñòàíîâêå çàäà÷è.  [7, 16] îäíèì èç àâòîðîâ ýòîé êíèãè çàäà÷à áûëà ðåøåíà â òåîðåòè÷åñêîì ïëàíå äëÿ ïðîèçâîëüíîãî íåìèíèìàëüíîôàçîâîãî ñêàëÿðíîãî îáúåêòà óïðàâëåíèÿ. Áûëî äîêàçàíî ñóùåñòâîâàíèå îïòèìàëüíîãî ðåãóëÿòîðà è óñòàíîâëåíî, ÷òî â îáùåì ñëó÷àå åãî ñòðóêòóðà îòëè÷àåòñÿ îò ñîîòâåòñòâóþùåãî àíàëîãà â ñòîõàñòè÷åñêîé ïîñòàíîâêå. Äëÿ

196

ÃËÀÂÀ 4. ÏÐÈÌÅÍÅÍÈß ÀËÃÎÐÈÒÌÎÂ

ïîñòðîåíèÿ îïòèìàëüíîãî ðåãóëÿòîðà áûë ïðåäëîæåí àëãîðèòì, òðåáóþùèé, ê ñîæàëåíèþ, ïåðåáîðà çíà÷èòåëüíîãî ÷èñëà âàðèàíòîâ.  [21, 24] áûëè ïîëó÷åíû àíàëèòè÷åñêèå ôîðìóëû äëÿ âû÷èñëåíèÿ îöåíêè "ñíèçó" ìèíèìàëüíîãî çíà÷åíèÿ ôóíêöèîíàëà êà÷åñòâà è ïðåäëîæåí àëãîðèòì ïîñòðîåíèÿ ñóáîïòèìàëüíîãî ðåãóëÿòîðà. Äðóãèå ñïîñîáû ðåøåíèÿ çàäà÷è ïðè áîëåå ñëîæíûõ ôóíêöèîíàëàõ êà÷åñòâà ìîæíî íàéòè, íàïðèìåð, â [8, 18, 152, 197].  ìèíèìàêñíîé ïîñòàíîâêå îäèí èç ïåðâûõ ðåçóëüòàòîâ î âîçìîæíîñòè ñèíòåçà àäàïòèâíîãî ñóáîïòèìàëüíîãî óïðàâëåíèÿ äëÿ íåìèíèìàëüíîôàçîâîãî îáúåêòà áûë ïîëó÷åí Â.Ô.Ñîêîëîâûì [198], ïðè ýòîì íå ñòàâèëñÿ âîïðîñ î òî÷íîé èäåíòèôèêàöèè ÎÓ. Ñëîæíîñòü ïðîáëåìû èäåíòèôèêàöèè ïðè ðåøåíèè çàäà÷è ìèíèìàêñíîãî àäàïòèâíîãî óïðàâëåíèÿ îáóñëîâëåíà íåäîñòàòî÷íîé âàðèàòèâíîñòüþ âõîäíîãî ñèãíàëà. Äëÿ "îáîãàùåíèÿ" âõîäíîãî ñèãíàëà è óñïåøíîé èäåíòèôèêàöèè ÎÓ ìîæíî èñïîëüçîâàòü â êà÷åñòâå óïðàâëÿþùèõ âîçäåéñòâèé ñïåöèàëüíûå ïðîáíûå ñèãíàëû â ñìåñè ñ ñîáñòâåííî óïðàâëåíèåì. Ïðè ýòîì ïîìåõà ìîæåò íå îáëàäàòü êàêèìè-ëèáî ïîëåçíûìè ñòàòèñòè÷åñêèìè ñâîéñòâàìè è âîîáùå íå áûòü ñëó÷àéíîé. Åñëè óïðàâëåíèå îïòèìèçèðóåòñÿ ïî îòíîøåíèþ ê íåêîòîðîìó êðèòåðèþ, òî ñî÷åòàíèå åãî ñ ïðîáíûì ñèãíàëîì ìîæåò âûçâàòü îòêëîíåíèå âûõîäíîãî ïðîöåññà ÎÓ îò îïòèìàëüíîãî. Îäíàêî, ìîæíî èíòåíñèâíîñòü ïðîáíîãî ñèãíàëà âûáèðàòü ìåäëåííî óáûâàþùåé äî íóëÿ òàê, ÷òî ñ òå÷åíèåì âðåìåíè âûõîäíîé ïðîöåññ áóäåò íåîòëè÷èì îò îïòèìàëüíîãî (åñëè èíòåíñèâíîñòü ïðîáíîãî ñèãíàëà áûñòðî óìåíüøàåòñÿ âî âðåìåíè, òî ïðîöåññ èäåíòèôèêàöèè ìîæåò áûòü íå ïîëíûì).  [17, 22] ðàíäîìèçèðîâàííûå àëãîðèòìû òèïà ñòîõàñòè÷åñêîé àïïðîêñèìàöèè èñïîëüçîâàëèñü ïðè ðåøåíèè çàäà÷ àäàïòèâíîãî îïòèìàëüíîãî óïðàâëåíèÿ è èäåíòèôèêàöèè ïàðàìåòðîâ ÎÓ çà ñ÷åò âêëþ÷åíèÿ â êàíàë óïðàâëåíèÿ ïðîáíûõ ñèãíàëîâ.  ðàáîòàõ [136, 138] èññëåäîâàëèñü ìîäåðíèçèðîâàííûå àëãîðèòìû, îáåñïå÷èâàþùèå îïòèìàëüíóþ ñðåäíåêâàäðàòè÷íóþ ñêîðîñòü ñõîäèìîñòè ê âåêòîðó èñòèííûõ ïàðàìåòðîâ. Ïðè ýòîì, â [138] ïîêàçàíà àñèìïòîòè÷åñêàÿ íîðìàëüíîñòü ïîñëåäîâàòåëüíîñòè îöåíîê, ïîëó÷åíû ôîðìóëû äëÿ ïðåäåëüíîé ìàòðèöû êîâàðèàöèé îøèáêè èäåíòèôèêàöèè. Âîîáùå ãîâîðÿ, ïðè âêëþ÷åíèè â êàíàë óïðàâëåíèÿ çàòóõàþùåãî ïðîáíîãî âîçìóùåíèÿ íåîáÿçàòåëüíî ââåäåíèå íîâûõ ïàðàìåòðîâ îöåíèâàíèÿ è èñïîëüçîâàíèå ðàíäîìèçèðîâàííîãî àëãîðèòìà òèïà ñòîõàñòè÷åñêîé àïïðîêñèìàöèè. Òàêîé æå ïîäõîä ïðåäëàãàåòñÿ è â [117, 142], ãäå äëÿ ïîñòðîåíèÿ ïîñëåäîâàòåëüíîñòè ñîñòîÿòåëüíûõ îöåíîê âåêòîðà íåèçâåñòíûõ ïàðàìåòðîâ ïðèìåíÿåòñÿ ñïåöèàëüíûé âàðèàíò ìåòîäà íàèìåíüøèõ êâàäðàòîâ.

4.2. ÀÄÀÏÒÈÂÍÎÅ ÓÏÐÀÂËÅÍÈÅ

197

Èäåíòèôèêàöèîííûé ïîäõîä ïðè ðåøåíèè çàäà÷è î ñèíòåçå àäàïòèâíîãî óïðàâëåíèÿ íå åäèíñòâåííî âîçìîæíûé. Áîëåå òîãî, èçâåñòíî, ÷òî ïðîáëåìà èäåíòèôèêàöèè çàìêíóòûõ ñèñòåì óïðàâëåíèÿ äîñòàòî÷íî ñëîæíà, ïîñêîëüêó ïðîöåññû èäåíòèôèêàöèè è óïðàâëåíèÿ â íåêîòîðîì ñìûñëå ïðîòèâîðå÷èâû: ÷åì âûøå êà÷åñòâî óïðàâëåíèÿ, òåì, îáû÷íî, õóæå èäåò ïðîöåññ èäåíòèôèêàöèè. Óïðàâëåíèÿ, ôîðìèðóåìûå îáðàòíûìè ñâÿçÿìè, ìîãóò íå îáëàäàòü äîñòàòî÷íûì ðàçíîîáðàçèåì, ÷òî íå îáåñïå÷èâàåò ýôôåêòèâíîñòè ïðîöåññà èäåíòèôèêàöèè. Èíîãäà ëó÷øå âìåñòî íåèçâåñòíûõ êîýôôèöèåíòîâ óðàâíåíèÿ ÎÓ ïîñëåäîâàòåëüíî îöåíèâàòü ïàðàìåòðû, íåïîñðåäñòâåííî çàäàþùèå îáðàòíóþ ñâÿçü (ñì. [62, 159]). Ñ îäíîé ñòîðîíû, ÷àùå âñåãî èìåííî âèä îáðàòíîé ñâÿçè áîëåå òåñíî ñâÿçàí ñ öåëüþ óïðàâëåíèÿ, à ñ äðóãîé  íå âñåãäà ëåãêî ïî èçâåñòíûì ïàðàìåòðàì OÓ îïðåäåëèòü îáðàòíóþ ñâÿçü, äàæå åñëè ýòî è îáîñíîâàíî òåîðåòè÷åñêè. Íèæå ïðè ñèíòåçå àäàïòèâíîãî óïðàâëåíèÿ áóäåò èñïîëüçîâàòüñÿ ðàíäîìèçèðîâàííûé èäåíòèôèöèðóþùèé àëãîðèòì. Íî, ïðè íåîáõîäèìîñòè, ìîæíî ïðåäëîæèòü ðàíäîìèçèðîâàííûé àëãîðèòì ïðÿìîãî îöåíèâàíèÿ ïàðàìåòðîâ îáðàòíîé ñâÿçè, òàêæå îñíîâàííûé íà äîáàâëíèè â êàíàë óïðàâëåíèÿ çàòóõàþùåãî ïðîáíîãî âîçìóùåíèÿ.

4.2.1

Ðàíäîìèçèîâàííûé àëãîðèòì èäåíòèôèêàöèè

Ïðåäïîëîæèì, êàê è ðàíåå ïðè ðåøåíèè çàäà÷è îá èäåíòèôèêàöèè ïàðàìåòðîâ, ÷òî îáúåêò óïðàâëåíèÿ (ÎÓ) ñî ñêàëÿðíûìè âõîäàìè è âûõîäàìè îïèñûâàåòñÿ â äèñêðåòíîì âðåìåíè óðàâíåíèåì (1.1) (ñì. ñòð. 92)

a(z;  ? )yt = b(z;  ? )ut + vt ; t = l; l + 1; : : : ; â êîòîðîì yt  âûõîä ÎÓ; ut  âõîä ÎÓ (óïðàâëÿþùåå âîçäåéñòâèå); vt  ïîìåõà (âîçìóùàþùåå âîçäåéñòâèå): jvt j  Cv . Åñëè çàäàí íåêîòîðûé àëãîðèòì (íàçîâåì åãî èäåíòèôèöèðóþùèì) ôîðìèðîâàíèÿ îöåíîê  t íåèçâåñòíîãî âåêòîðà ïàðàìåòðîâ  ? , òî, êàê ïðàâèëî, ïðè óñòàíîâëåíèè ñîñòîÿòåëüíîñòè åãî îöåíîê íàèáîëüøóþ òðóäíîñòü ïðåäñòàâëÿåò îáåñïå÷åíèå îãðàíè÷åííîñòè âûõîäíûõ è óïðàâëÿþùèõ ïåðåìåííûõ. Íàïðèìåð, äëÿ èñïîëüçîâàíèÿ àëãîðèòìà (2.15) íåîáõîäèìî îáåñïå÷èòü âûïîëíåíèå óñëîâèÿ (2.F). Íà íà÷àëüíûõ ýòàïàõ äåéñòâèÿ àëãîðèòìà îöåíêè ìîãóò ñèëüíî îòëè÷àòüñÿ îò îöåíèâàåìîãî ïàðàìåòðà, à ïîòîìó ôîðìèðóåìûå ñ èõ ïîìîùüþ óïðàâëÿþùèå âîçäåéñòâèÿ ìîãóò "ðàñêà÷èâàòü" ñèñòåìó óïðàâëåíèÿ, ÷òî, â ñâîþ î÷åðåäü, çàòðóäíÿåò óñòàíîâëåíèå ñîñòîÿòåëüíîñòè îöåíîê. Äëÿ òîãî, ÷òîáû èçáåæàòü ýòèõ òðóäíîñòåé â [138] áûëî ïðåäëîæåíî â ïðîèçâîëüíûé èäåíòèôèöè-

ÃËÀÂÀ 4. ÏÐÈÌÅÍÅÍÈß ÀËÃÎÐÈÒÌÎÂ

198

ðóþùèé àëãîðèòì èìïëàíòèðîâàòü ñòàáèëèçèðóþùèé àëãîðèòì "ìîäèôèöèðîâàííàÿ ïîëîñêà" èç ï. 1.7.4. Åñëè èäåíòèôèöèðóþùèé àëãîðèòì äàåò ïîñëåäîâàòåëüíîñòü îöåíîê  t , à àëãîðèòì "ìîäèôèöèðîâàííàÿ ïîëîñêà" (1.5)  ^t , òî ïðè ïîñòðîåíèè î÷åðåäíîãî óïðàâëåíèÿ íà áàçå íåêîòîðîãî èäåíòèôèêàöèîííîãî ïîäõîäà â ìîìåíò âðåìåíè t ìîæíî èñïîëüçîâàòü îöåíêó (4.1)

~t



t =  t; ^

 è t åñëè jyt j + jut 1 j < R  â ïðîòèâíîì ñëó÷àå.

2T,

 > 0 âûáðàíî äîñòàòî÷íî áîëüøèì, òî òàêîé ñïîñîá óïðàâÅñëè ÷èñëî R ëåíèÿ îáåñïå÷èâàåò öåëü óïðàâëåíèÿ (1.2)  îãðàíè÷åííîñòü âûõîäíûõ è óïðàâëÿþùèõ ïåðåìåííûõ ÎÓ (1.1)  äëÿ ïðîèçâîëüíîãî èäåíòèôèöèðóþùåãî àëãîðèòìà. Ïðè ýòîì, åñëè èäåíòèôèöèðóþùèé àëãîðèòì îáåñïå÷èâàåò ñîñòîÿòåëüíîñòü îöåíîê t , òî âûïîëíåíèå íåðàâåíñòâà jyt j+ jut 1 j > R ìîæåò ïðîèñõîäèòü íå áîëåå, ÷åì êîíå÷íîå ÷èñëî ðàç. Êîãäà îöåíêè t îêàæóòñÿ äîñòàòî÷íî áëèçêèìè ê îöåíèâàåìîìó ïàðàìåòðó  , ðåãóëÿòîð (1.4) ñ ïîäñòðàèâàåìûìè êîýôôèöèåíòàìè ïðè ~t = t áóäåò ñòàáèëèçèðîâàòü îáúåêò óïðàâëåíèÿ (1.1). Âîïðîñû, ñâÿçàííûå ñ  è ïàðàìåòðà Æ â àëãîðèòìå "ìîäèôèöèðîâàííàÿ ïîâûáîðîì âåëè÷èíû R ëîñêà" ìîãóò áûòü óòî÷íåíû. Îòìåòèì, ÷òî âî ìíîãèõ ñëó÷àÿõ èäåíòèôèöèðóþùèé àëãîðèòì ñïðàâëÿåòñÿ ñî ñòàáèëèçàöèåé ñèñòåìû óïðàâëåíèÿ è áåç èñïîëüçîâàíèÿ ñòàáèëèçèðóþùåãî àëãîðèòìà. Ïóñòü s > 2p l  íåêîòîðîå íàòóðàëüíîå ÷èñëî, f
n g  ïðîáíîå âîçìóùåíèå, ñêàëÿðíûé âðåìåííîé ðÿä, ñîñòàâëåííûé èç ñëó÷àéíûõ âåëè÷èí, íåçàâèñèìûõ â ñîâîêóïíîñòè è îáëàäàþùèõ ñâîéñòâàìè

j
nj  p C


Ef
n g = Ef
3n g = 0; (4.2)

Ef
2n g =


2 ; 1 + lnfng

Ef
4n g 

; 1 + lnfng M44 ; (1 + lnfng)2

2 ; M 4 ; C  íåêîòîðûå ïîëîæèòåëüíûå ïîñòîÿííûå. ãäå 

4 Óñëîâèìñÿ óïðàâëåíèå fut g ôîðìèðîâàòü ïî ïðàâèëó (2.11): 

u + R
; usn+i = usn ; n n sn+i â êîòîðîì ñîáñòâåííî óïðàâëåíèå òîðà îáðàòíîé ñâÿçè òèïà (1.4): (4.3)

ïðè ïðè

i = 0, i = 1; 2; : : : ; s 1,

fut g îïðåäåëÿåòñÿ ñ ïîìîùüþ ðåãóëÿ-

c(z; ~t )ut = d(z; ~t )yt

4.2. ÀÄÀÏÒÈÂÍÎÅ ÓÏÐÀÂËÅÍÈÅ

199

ñ íàñòðàèâàåìûìè ïàðàìåòðàìè ~t èç (4.1) è

Rn = CR (1 +

p X j =1

jysn+k j j +

p k X j =1

jusn j j)

c íåêîòîðîé ïîñòîÿííîé CR > 0. Åñëè ïîìåõà fvt g è (èëè) íà÷àëüíûå äàííûå â óðàâíåíèè ÎÓ (1.1) è ðåãóëÿòîðà (4.3)  ñëó÷àéíûå, òî áóäåì ïðåäïîëàãàòü, ÷òî ïðîáíîå âîçìóùåíèå f
n g, ââîäèìîå ñïåöèàëüíî â êàíàë óïðàâëåíèÿ (ñì. (2.11)), îò íèõ íå çàâèñèò. Íà÷àëüíûìè äàííûìè ÿâëÿþòñÿ âåëè÷èíû yt ; t < l. Áóäåì ñ÷èòàòü, ÷òî ut = 0; t < 0: Ôóíêöèè Ut (
) îáðàòíîé ñâÿçè, çàäàâàåìûå ôîðìóëîé (4.3), óäîâëåòâîðÿþò óñëîâèþ (2.F). Óñëîâèå (2.D) äëÿ íà÷àëüíûõ äàííûõ ïðè ñäåëàííûõ ïðåäïîëîæåíèÿõ òàêæå âûïîëíÿåòñÿ. Åñëè âûïîëíåíû óñëîâèÿ (2.E,G),  íåêîòîðàÿ ïîëîæèòåëüíî îïðåäåëåííàÿ ìàòðèöà òàêàÿ, ÷òî 2min( )
2  1, òîãäà â ôîðìóëå (4.1) ìæíî èñïîëüçîâàòü îöåíêè

 t = (^n 1 ); s(n 1) < t  sn; s = 1; 2; : : : ; n = 1; 2; : : : ; ãäå (
)  ôóíêöèÿ èç (2.14)  è îöåíêè çèðîâàííûì àëãîðèòìîì (2.15): (4.4)

^n = ^n

1



1 + lnfng
n
n ^n n

1

f^ng ôîðìèðóþòñÿ ðàíäîìèYn

n (^n 1 ) 

Rn

:

Ïî òåîðåìå 2.6 ïîñëåäîâàòåëüíîñòü îöåíîê f t g ñõîäèòñÿ ê  ? ñ âåðîÿòíîñòüþ åäèíèöà è â ñðåäíåêâàäðàòè÷íîì ñìûñëå. Ïðîáíûé ñèãíàë Rn
n íèâåëèðóåòñÿ ñ òå÷åíèåì âðåìåíè, òàê êàê çà ñ÷åò èñïîëüçîâàíèÿ ñòàáèëèçèðóþùåãî àëãîðèòìà ìîäèôèöèðîâàííàÿ ïîëîñêà âåëè÷èíû Rn ðàâíîìåðíî îãðàíè÷åíû. Ýòî ñâîéñòâî àëãîðèòìà èäåíòèôèêàöèè ïîçâîëÿåò ñèíòåçèðîâàòü ñ åãî ïîìîùüþ àäàïòèâíûå ñèñòåìû, âûõîä êîòîðûõ ñ òå÷åíèåì âðåìåíè ñòàíîâèòñÿ íåîòëè÷èìûì îò âûõîäà îïòèìàëüíîé ñèñòåìû, ñèíòåçèðîâàííîé ïðè èçâåñòíîì ïàðàìåòðå ÎÓ.

200

4.2.2

ÃËÀÂÀ 4. ÏÐÈÌÅÍÅÍÈß ÀËÃÎÐÈÒÌÎÂ

Àäàïòèâíàÿ

`1

îïòèìèçàöèÿ

Ïóñòü ïðè êàæäîì çíà÷åíèè âåêòîðà  2 T ñóùåñòâóåò îáðàòíàÿ ñâÿçü âèäà (1.3): c(z;  )ut = d(z;  )yt ; íå òîëüêî ñòàáèëèçèðóþùàÿ ÎÓ (1.1) ïðè  ? =  , íî è îáåñïå÷èâàþùàÿ

ïðèåìëåìîå êà÷åñòâî óïðàâëåíèÿ: íàïðèìåð, â êëàññå ëèíåéíûõ ñòàáèëèçèðóþùèõ ðåãóëÿòîðîâ îïòèìàëüíîñòü óïðàâëåíèÿ ïî îòíîøåíèþ ê ìèíèìèçàöèè ïðåäåëüíîãî îòêëîíåíèÿ âûõîäíîé ïåðåìåííîé îò çàðàíåå çàäàííîé îãðàíè÷åííîé ïîñëåäîâàòåëüíîñòè æåëàåìûõ âûõîäîâ fyt g, ò. å.

lim j yt

t!1

yt j ! min;

(ñì. [7, 8, 21, 24, 86, 105, 106]). Åñëè ñèñòåìà óïðàâëåíèÿ ñòàáèëèçèðîâàíà, òî âåëè÷èíû Rn ðàâíîìåðíî îãðàíè÷åíû è ñëó÷àéíîå äîïîëíèòåëüíîå ñëàãàåìîå â ðàññìîòðåííîé âûøå ñòðàòåãèè óïðàâëåíèÿ (2.11),(4.3) ñòðåìèòñÿ ê íóëþ ïðè n ! 1. Ýòîò ôàêò äàåò âîçìîæíîñòü ñèíòåçà îïòèìàëüíîé îãðàíè÷åííîé ñòðàòåãèè óïðàâëåíèÿ. Áîëåå òî÷íî, ïóñòü ( ? )  íàáîð âñåâîçìîæíûõ ëèíåéíûõ ñòàáèëèçèðóþùèõ ðåãóëÿòîðîâ äëÿ ÎÓ (1.1), îáåñïå÷èâàþùèõ óñëîâèå (1.2) îãðàíè÷åííîñòè âûõîäíûõ è óïðàâëÿþùèõ ïåðåìåííûõ

sup

t=1;2;:::

j yt j + j ut j < 1:

Ðàññìîòðèì öåëü óïðàâëåíèÿ, çàêëþ÷àþùóþñÿ â êîíñòðóèðîâàíèè òàêîé îáðàòíîé ñâÿçè, ÷òîáû óïðàâëÿþùèå fut g è âûõîäíûå fyt g ïåðåìåííûå áûëè îãðàíè÷åííûìè è âûõîä ÎÓ óäîâëåòâîðÿë áû íåðàâåíñòâó (4.5)

lim j yt

t!1

yt j  I ( ? ) + ";

ãäå (4.6)

I ( ?) = (c(
;
);d(inf sup lim j y y j
;
))2( ? ) jv jC t!1 t t v t t=l;l+1;:::

è "  0  íåêîòîðûé óðîâåíü ñóáîïòèìàëüíîñòè. Ýòà çàäà÷à î ïîñòðîåíèè ñóáîïòèìàëüíîãî óïðàâëåíèÿ ÿâëÿåòñÿ àäàïòèâíîé, òàê êàê ïðè ôîðìèðîâàíèè ut íå ðàçðåøàåòñÿ èñïîëüçîâàòü íåèçâåñòíûå çíà÷åíèÿ êîýôôèöèåíòîâ  ? , à ìîæíî òîëüêî îïèðàòüñÿ íà íàáëþäàåìûå ê ìîìåíòó âðåìåíè t âåëè÷èíû è îöåíêè âåêòîðà  ? , ïîëó÷àåìûå íà îñíîâàíèè íàáëþäåíèé. Äðóãèìè ñëîâàìè, óïðàâëÿþùèå âîçäåéñòâèÿ ut ìîãóò

4.2. ÀÄÀÏÒÈÂÍÎÅ ÓÏÐÀÂËÅÍÈÅ

201

çàâèñåòü îò íåèçâåñòíûõ êîìïîíåíò âåêòîðà  ? òîëüêî êîñâåííûì îáðàçîì ÷åðåç íàáëþäåíèÿ çà ïîâåäåíèåì ñèñòåìû. Ñëåäóÿ [21, 24], îïèøåì ñïîñîá ïîñòðîåíèÿ êîýôôèöèåíòîâ ñóáîïòèìàëüíîãî ëèíåéíîãî ñòàáèëèçèðóþùåãî ðåãóëÿòîðà äëÿ ÎÓ (1.1) ïðè èçâåñòíîì íàáîðå åãî êîýôôèöèåíòîâ. Íà íåãî ïîòîì áóäåò îïèðàòüñÿ ðåøåíèå çàäà÷è îá àäàïòèâíîé `1 îïòèìèçàöèè. Áóäåì ñ÷èòàòü, ÷òî ìíîãî÷ëåíû a(;  ) è b(;  ), ñîñòàâëåííûå èç êîýôôèöèåíòîâ ÎÓ (1.1) ïðè  ? =  , óäîâëåòâîðÿþò óñëîâèþ: (4.A) ìíîãî÷ëåí b(;  ) íå èìååò êîðíåé, ðàâíûõ ïî àáñîëþòíîé âåëè÷èíå åäèíèöå, è åãî êîðíè, ìåíüøèå åäèíèöû ïî àáñîëþòíîé âåëè÷èíå, íå ÿâëÿþòñÿ îäíîâðåìåííî êîðíÿìè ìíîãî÷ëåíà a(;  ). Ïóñòü äëÿ íåêîòîðîãî íàáîðà êîýôôèöèåíòîâ îáúåêòà óïðàâëåíèÿ (1.1) íàòóðàëüíîå ÷èñëî l > 0 çàäàåò çàïàçäûâàíèå â óïðàâëåíèè è ìíîãî÷ëåí b(;  ) èìååò m íåíóëåâûõ êîðíåé, ìåíüøèõ åäèíèöû ïî àáñîëþòíîé âåëè÷èíå: 1 ; : : : ; m . Ñ öåëüþ óïðîùåíèÿ áóäåì ñ÷èòàòü, ÷òî âñå ýòè êîðíè ðàçëè÷íû. Äëÿ ôîðìóëèðîâêè àëãîðèòìà ïîñòðîåíèÿ ñóáîïòèìàëüíîãî ëèíåéíîãî ñòàáèëèçèðóþùåãî ðåãóëÿòîðà íåîáõîäèìî ïðîèçâåñòè íåñêîëüêî âñïîìîãàòåëüíûõ ïîñòðîåíèé. Ïóñòü ìíîãî÷ëåí c(;  ) ñòåïåíè, ìåíüøåé l, îïðåäåëÿåòñÿ èç óðàâíåíèÿ

a(;  )c(;  ) l d(;  ) = 1; êîòîðîå îäíîçíà÷íî ðàçðåøèìî (ñì. [86, 106]), è 0

k =

k1 1

@ ... A

km

2 Rm+ = fk 2 Rm : 0  k1; ki 1 < ki; i = 2; : : : ; mg

m  íåêîòîðûé âåêòîð èç R m + . Îïðåäåëèì íà R+ ÷èñëîâóþ ôóíêöèþ

 ) = D(k;

0 k 11 B .. det @ .

km1

k12 : : : k1m .. . km2

è íàáîð ôóíêöèé 0

 ) = c~i (k;

B 1 det B  D(k;  ) @

: : : k1i

1

:::

1

.. .

.. . ki m

1 l ml



.. C . A k mm

.. .

:::



1 a(1 ; ) 1

a(m ; )

1

.. .

c(1 ;  )



c(m ;  )



k1i+1 : : :

.. . ki+1 m

1 C

.. C ; . A

:::

ÃËÀÂÀ 4. ÏÐÈÌÅÍÅÍÈß ÀËÃÎÐÈÒÌÎÂ

202

i = 1; : : : ; m. Îòìåòèì, ÷òî â ìàòðèöå èç îïðåäåëåíèÿ i-îé ôóíêöèè   ) âñå ñòîëáöû, êðîìå i-ãî, ñîâïàäàþò ñ ñîîòâåòñòâóþùèìè ñòîëáöàc~i (k;   ). ìè ìàòðèöû èç îïðåäåëåíèÿ ôóíêöèè D (k; Ë å ì ì à 4.1 [21, 24] Ïóñòü äëÿ íåêîòîðîãî íàáîðà  êîýôôèöèåíòîâ óðàâíåíèÿ ÎÓ (1.1) âûïîëíåíî óñëîâèå (4.A), òîãäà îöåíêà "ñíèçó" äëÿ ìèíèìàëüíî âîçìîæíîãî çíà÷åíèÿ ôóíêöèîíàëà (4.6) ñîâïàäàåò ñ ìèíèìóìîì ôóíêöèîíàëà 

  ) = Cv 1 + I (k;

(4.7)

ïî

l 1 X i=1

j ci( ) j +

m X i=1

 ) j j c~i(k;



k 2 Rm +.

Äîêàçàòåëüñòâà ëåììû 4.1 è äâóõ ïîñëåäóþùèõ ïðèâåäåíû â êîíöå ýòîé ãëàâû è îïèðàåòñÿ íà ðåçóëüòàòû [7, 21, 24]. Ôóíêöèîíàë (4.7) äîñòèãàåò ñâîåãî ìèíèìàëüíîãî çíà÷åíèÿ â íåêîòîðîé âíóòðåííåé òî÷êå kopt 2 R m + èëè íà ãðàíèöå: k1 = 0, òàê êàê åãî çíà÷åíèå íåîãðàíè÷åííî âîçðàñòàåò ïðè k ! 1 è ïðè ki 1 ! ki ; i = 2; : : : ; m. Íåñëîæíî ñôîðìóëèðîâàòü íåîáõîäèìûå óñëîâèÿ, êîòîðûì opt , ìèíèìèçèðóþùàÿ â Rm äîëæíà óäîâëåòâîðÿòü òî÷êà k + ôóíêöèîíàë (4.7). Îáîçíà÷èì 0

 ) = j (k;

k11

.. B B . B k1 B  j 1 B   )) sign(~ c det B 1 (k; B k 1 B j +1 B B .. @ .

km1

k12

.. . kj 2 1   )) sign(~c2 (k; k 2 j +1 .. . km2

j = 1; : : : ; m; sign(c) =



c = j c j; 0 ;

::: .. .

::: ::: ::: .. .

::: åñëè åñëè

k1m

1

.. C C . C C kj m1 C  sign(~cm (k;  )) C C; m C kj +1 C C .. A . kmm

c 6= 0 ; c = 0:

Ë å ì ì à 4.2 [21, 24] Ïðè âûïîëíåíèè óñëîâèé ëåììû 4.1 ñïðàâåäëè-

âî ñëåäóþùåå íåîáõîäèìîå óñëîâèå ìèíèìóìà ôóíêöèîíàëà (4.7): òî÷êà

4.2. ÀÄÀÏÒÈÂÍÎÅ ÓÏÐÀÂËÅÍÈÅ

kopt

2 Rm+

íåíèé

(4.8)

203

m

äîëæíà óäîâëåòâîðÿòü ñèñòåìå

òðàíñöåíäåíòíûõ óðàâ-

8 P > opt > k1opt c~1 (kopt ;  ) m > j =1 j (k ;  ) ln > < P opt c~2 (kopt ;  ) m j =1 j (k ;  ) ln > > ::::::::::::::::::::::::::::::::::::::::::::: > > P : opt c~m (kopt ;  ) m j =1 j (k ;  ) ln

opt

fj gkj 1 = 0 ; opt fj gkj 2 = 0 ; fj gkj m = 0 : opt

Äîêàçàòåëüñòâî ëåììû 4.2 ïðèâåäåíî âìåñòå ñ äîêàçàòåëüñòâîì ëåììû 4.1.   ); j = 1; : : : ; m ìîæíî ïðåäñòàâèòü â Çàìåòèì, ÷òî ôóíêöèè j (k; âèäå:

 ) = j (k;

X

ij

k

k

ij +1 sij k1i1 : : : j ij 1 1 j +1 : : : kmim ; sij =

n

0 ; 1

ãäå ij  ìóëüòèèíäåêñ: ij = (i1 ; : : : ; ij 1 ; ij +1 ; : : : ; im ); iq 2 f1; : : : ; mg, iq1 6= iq2 ïðè q1 6= q2 . Ïðè m = 1 ñèñòåìà óðàâíåíèé (4.8) èìååò òðèâèàëüíûé âèä k1opt = 0 è, ñîîòâåòñòâåííî, åäèíñòâåííîå ðåøåíèå. Îïèøåì ñïîñîá ïîñòðîåíèÿ ñóáîïòèìàëüíîãî ðåãóëÿòîðà ïðè èçâåñòopt 2 íûõ êîýôôèöèåíòàõ óðàâíåíèÿ îáúåêòà óïðàâëåíèÿ (1.1). Ïóñòü k Rm +  ðåøåíèå ñèñòåìû óðàâíåíèé (4.8), ñîîòâåòñòâóþùåå ìèíèìàëüíîìó çíà÷åíèþ ôóíêöèîíàëà (4.7), è k ? = k ? ( )  áëèæàéøèé ê íåìó âåêòîð èç R m + ñ öåëî÷èñëåííûìè êîîðäèíàòàìè

k? =

0 ?1 k1 @ .. A

. ? km

2 Zm+ = fk? 2 Z  N  : : :  N : 0  k1? ; 0 < ki? 1 < ki? ; i > 1g:

Ë å ì ì à 4.3 [21, 24] Ïðè âûïîëíåíèè óñëîâèé ëåììû 4.1 è ââåäåííûõ âûøå îáîçíà÷åíèÿõ ðåãóëÿòîð

c(z;  )ut = d(z;  )(yt

(4.9)

ñ ìíîãî÷ëåíàìè 

yt )

c(;  ) è d(;  ), îïðåäåëÿåìûìè ïî ôîðìóëàì

c(;  ) =  l c(;  ) + c~1 (k? ;  )k1 + : : : + c~m (k? ;  )km ?

?



b(;  )

Qm i=1 (

i )

;

ÃËÀÂÀ 4. ÏÐÈÌÅÍÅÍÈß ÀËÃÎÐÈÒÌÎÂ

204

vt+1


n

?

-

Æsn t Rn
n

 ut

-

-

6

yt+1

b(z;? ) a(z;? )

-

?

z ut

d(z;~t ) c(z;~t )



yt



? 

yt

6

~t

-

Èäåíòèôèö. àëãîðèòì





yt ; : : : ; yt ut ; : : : ; ut

p p

Ðèñ. 10. Áëîêñõåìà àäàïòèâíîé ñèñòåìû óïðàâëåíèÿ ïðè

l = 1.

a(;  )( l c(;  ) + c~1 (kQ? ;  )k1? + : : : + c~m (k? ;  )km? )  l d(;  ) = ; m (  ) i i=1 ÿâëÿåòñÿ ñóáîïòèìàëüíûì ñòàáèëèçèðóþùèì ñ óðîâíåì ñóáîïòèìàëüíîñòè " = I (k? ;  ) I (kopt ;  ): Çäåñü kopt

2 Rm+  òî÷êà ìèíèìóìà ôóíêöèîíàëà (4.7).

Âåðíåìñÿ ê çàäà÷å îá àäàïòèâíîé `1 îïòèìèçàöèè. Ïðè âûïîëíåíèè óñëîâèé ëåììû 4.1 ìîæíî ïðåäëîæèòü òàêîé ñïîñîá âûáîðà öåëî? ( ), ÷òîáû ïðè èçìåíÿþùèõñÿ  êîýôôèöèåíòû ÷èñëåííîãî âåêòîðà k ìíîãî÷ëåíîâ c(;  ) è d(;  ) ñóáîïòèìàëüíîãî ðåãóëÿòîðà (4.9) ÿâëÿëèñü íåïðåðûâíûìè ôóíêöèÿìè íà ìíîæåñòâå T . Äëÿ ñèíòåçà àäàïòèâíîãî ñóáîïòèìàëüíîãî óïðàâëåíèÿ îáúåêòîì (1.1) ñ ïðîèçâîëüíûìè îãðàíè÷åííûìè ïîìåõàìè vt : j vt j Cv , t  l, ìîæíî âîñïîëüçîâàòüñÿ ðåçóëüòàòàìè ïðåäûäóùåãî ïóíêòà. Ñëåäóþùàÿ òåîðåìà íåïîñðåäñòâåííî ñëåäóåò èç ñäåëàííûõ âûøå çàìå÷àíèé è òåîðåìû 2.6.

Ò å î ð å ì à 4.4 [138] Ïóñòü âûïîëíåíû óñëîâèÿ: (4.2)  äëÿ ïðîáíîãî âîçìóùåíèÿ, (2.D)  äëÿ íà÷àëüíûõ äàííûõ,

4.2. ÀÄÀÏÒÈÂÍÎÅ ÓÏÐÀÂËÅÍÈÅ

205

(2.E)  äëÿ ìíîæåñòâà T , (2.G)  äëÿ âåêòîðà íåèçâåñòíûõ ïàðàìåòðîâ  ? , (4.A)  äëÿ ëþáîãî  2 T ,  íåêîòîðàÿ ïîëîæèòåëüíî îïðåäåëåííàÿ

2  1. ìàòðèöà è 2min ( )
t Åñëè îöåíêè ~ íåèçâåñòíîãî âåêòîðà ïàðàìåòðîâ ÎÓ (1.1) èñêàòü ïî àëãîðèòìó (4.1) c (1.5) è (2.16),(4.4), îñíîâàííîìó íà èñïîëüçîâàíèè çàòóõàþùåãî ïðîáíîãî âîçáóæäåíèÿ f
n g ïðè ôîðìèðîâàíèè ïîñëåäîâàòåëüíîñòè óïðàâëåíèé fut g, îïðåäåëÿåìûõ ôîðìóëîé (2.11), è ðåãóëÿòîðîì ñ ïîäñòðàèâàåìûìè êîýôôèöèåíòàìè

c(z; ~t )ut = d(z; ~t )(yt

yt );

ìíîãî÷ëåíû c(; ~t ); d(; ~t ) êîòîðîãî ñòðîÿòñÿ ïî ôîðìóëàì ëåììû 4.3, òîãäà, âî-ïåðâûõ, ïðè ïðîèçâîëüíîì íà÷àëüíîì óñëîâèè ^0 2 Rr ïîñëåäîâàòåëüíîñòü f~t g ñõîäèòñÿ ê  ? â ñðåäíåêâàäðàòè÷íîì ñìûñëå è ñ âåðîÿòíîñòüþ åäèíèöà, è, âî-âòîðûõ, öåëü óïðàâëåíèÿ (1.2),(4.5) îáåñïå÷èâàåòñÿ ñ óðîâíåì ñóáîïòèìàëüíîñòè

" = I (k? ( ? );  ? )

I (kopt( ? );  ? ): Äîêàçàòåëüñâî ñîñòîÿòåëüíîñòè îöåíîê f~t g ñëåäóåò èç òåîðåìû 2.6.

Ïðè äîñòàòî÷íî áîëüøèõ t âåëè÷èíà ïðîáíîãî âîçìóùåíèÿ ìàëà è êîýôôèöèåíòû èñïîëüçóåìîãî ðåãóëÿòîðà íåçíà÷èòåëüíî îòëè÷àþòñÿ îò êîýôôèöèåíòîâ ïðåäåëüíîãî ðåãóëÿòîðà. Êðîìå òîãî, ïðåäåëüíûé ðåãóëÿòîð, â ñèëó ëåìì 4.14.3,  ñòàáèëèçèðóþùèé è èìååò ñîîòâåòñòâóþùèé óðîâåíü ñóáîïòèìàëüíîñòè. Ôîðìàëüíîå äîêàçàòåëüñòâî âûïîëíåíèÿ öåëè óïðàâëåíèÿ (1.2),(4.5) íîñèò äîñòàòî÷íî ñòàíäàðòíûé òåõíè÷åñêèé õàðàêòåð è îñòàíàâëèâàòüñÿ íà íåì íå áóäåì. Áëîêñõåìà ðàññìîòðåííîé â ýòîì ïóíêòå àäàïòèâíîé ñèñòåìû óïðàâëåíèÿ ïðèâåäåíà íà ðèñ. 10.

ÃËÀÂÀ 4. ÏÐÈÌÅÍÅÍÈß ÀËÃÎÐÈÒÌÎÂ

206

4.2.3

Àäàïòèâíîå îïòèìàëüíîå óïðàâëåíèå íåìèíèìàëüíîôàçîâûì îáúåêòîì âòîðîãî ïîðÿäêà

Ïðîèëëþñòðèðóåì ñïîñîá ñèíòåçà àäàïòèâíîãî îïòèìàëüíîãî óïðàâëåíèÿ íà ïðèìåðå äèñêðåòíîãî ëèíåéíîãî îáúåêòà (1.1), äèíàìèêà êîòîðîãî îïèñûâàåòñÿ ðàçíîñòíûì óðàâíåíèåì âòîðîãî ïîðÿäêà

yt + a?1 yt 1 + yt

2

= b?1 ut

? 1 + b2 ut 2 + vt ;

t = 1; 2; : : :

ñ íåèçâåñòíûìè òðåìÿ êîýôôèöèåíòàìè: a?1 2 [2; 10], b?1 2 [1; 10], b?2 [ 10; 0], è àääèòèâíîé îãðàíè÷åííîé ïîìåõîé: jvt j  2; t = 1; 2; : : :. Îáîçíà÷èì ÷åðåç

? =

0 ?1 a1 B 1 C B C @ b? A 1 b?2

2

2 T = [2; 10]  f1g  [1; 10]  [ 10; 0]  R4

 âåêòîð êîýôôèöèåíòîâ óðàâíåíèÿ îáúåêòà. Òðåõìåðíûé âåêòîð "íîâûõ" ïàðàìåòðîâ  , r = 3, îïðåäåëèì òàê, êàê ïðåäëàãàëîñü â ï. 2.2.5: 0

1

b?1 A 2 R3 :  = ( ? ) = @ 2 b?2 a?1 b?1 ? ? ? ? (a1 1)b1 a1 b2 Ïðè çàäàííûõ îãðàíè÷åíèÿõ íà íåèçâåñòíûå ïàðàìåòðû ÎÓ îòîáðàæåíèå (
) : T !  = (T )  R3 îáðàòèìî. Båêòîð êîýôôèöèåíòîâ ÎÓ  ? ñâÿçàí c  ñëåäóþùèì îáðàòíûì ñîîòíîøåíèåì: 0

 ? = () =

B B @

1 +3 2

2

1 1 ;

1 (1 +3 ) 2

1

C C: A

Áóäåì ñ÷èòàòü, ÷òî öåëü óïðàâëåíèÿ ñîñòîèò â ñòàáèëèçàöèè ÎÓ è ìèíèìèçàöèè ïðåäåëüíîãî îòêëîíåíèÿ îò íóëÿ àáñîëþòíîé âåëè÷èíû âûõîäà ÎÓ ïðè "íàèõóäøåé" ïîñëåäîâàòåëüíîñòè ïîìåõ

sup lim jyt j jvt j2 t!1

! min :

t=1;2;:::

Çàìåòèì, ÷òî ïðè jb?1 =b?2 j  1 ÎÓ ÿâëÿåòñÿ íåóñòîé÷èâûì ïî óïðàâëåíèþ (íåìèíèìàëüíîôàçîâûì) è çàäà÷à î åãî ñòàáèëèçàöèè äîëãîå âðåìÿ ñ÷èòàëàñü íåòðèâèàëüíîé.

4.2. ÀÄÀÏÒÈÂÍÎÅ ÓÏÐÀÂËÅÍÈÅ

207

Ïðè ïîëíîñòüþ èçâåñòíûõ êîýôôèöèåíòàõ óðàâíåíèÿ ÎÓ äëÿ ïîñòðîåíèÿ îïòèìàëüíîãî ñòàáèëèçèðóþùåãî ðåãóëÿòîðà â çàâèñèìîñòè îò çíà÷åíèé b1 è b2 íàäî ðàññìàòðèâàòü äâà ðàçëè÷íûõ ñëó÷àÿ. 1. Åñëè b2 = 0 èëè jb1 =b2 j > 1, òî ÎÓ óñòîé÷èâûé ïî óïðàâëåíèþ è îïòèìàëüíûé ðåãóëÿòîð èìååò âèä

b2 u b1 t

ut +

1

=

a1 1 yt + yt 1 : b1 b1

2. Åñëè jb1 =b2 j  1, òî ÎÓ íåìèíèìàëüíîôàçîâûé, èñïîëüçóÿ îáîçíà÷åíèÿ ëåììû 4.1, 

b D(x;  ) = 1 b2

x

m = 1; l = 1

0

b 1 ; c~1 (x;  ) = 2 @ b1 1 a1 b1 + b212 b2 b

è,

1

1A :

2

Ñèñòåìà óðàâíåíèé (4.8) èìååò åäèíñòâåííîå ðåøåíèå xopt = 0 è îíî öåëî÷èñëåííîå. Ñëåäîâàòåëüíî, ìíîãî÷ëåí c(;  ) îïòèìàëüíîãî ðåãóëÿòîðà èìååò âèä:

c(;  ) = 1 + c1 ( ); c1 ( ) = è ïðè

b2 b1 a1 b22 b21 + b22 a1 b1 b2

b2 + a1 b1 a21 b2 ; b21 + b22 a1 b1 b2 b ab d 1 ( ) = 2 1 2 1 2 b1 + b2 a1 b1 b2

d0 ( ) =

ðåãóëÿòîð

ut + c1 ( )ut

1

= d0 ( )yt + d1 ( )yt

1

ÿâëÿåòñÿ îïòèìàëüíûì. Ïðèâåäåííûå ôîðìóëû äëÿ âû÷èñëåíèÿ êîýôôèöèåíòîâ îïòèìàëüíûõ ðåãóëÿòîðîâ íåïîñðåäñòâåííî ïîëó÷àþòñÿ èç óòâåðæäåíèÿ ëåììû 4.3. Ïóñòü f
n gn2N  ïðîáíîå âîçìóùåíèå, ñêàëÿðíûé âðåìåííîé ðÿä, ñîñòàâëåííûé èç ñëó÷àéíûõ âåëè÷èí, íåçàâèñèìûõ â ñîâîêóïíîñòè, ïðè êàæäîì n ðàâíûx ñ îäèíàêîâîé âåðîÿòíîñòüþ

p 1

1 + lnfng

:

ÃËÀÂÀ 4. ÏÐÈÌÅÍÅÍÈß ÀËÃÎÐÈÒÌÎÂ

208

Óñëîâèìñÿ óïðàâëåíèå

fut g ôîðìèðîâàòü ïî ïðàâèëó:

ut = ut ; t = 1; 2; : : : ; 99; u70+30n+i = u70+30n+i ; i = 1; 2; : : : ; 30; u70+30n = u70+30n + Rn
n; Rn = 20(1 + jy30n j + jy30n 1 j + ju30n 1 j); n = 1; 2; : : :, â êîòîðîì ïðîáíûé ñèãíàë Rn
n âêëþ÷àåòñÿ â êàíàë óïðàâëåíèÿ òîëüêî íà êàæäîì òðèäöàòîì òàêòå, íà÷èíàÿ ñ ñîòîãî, à ñîáñòâåííî óïðàâëåíèå fu t g îïðåäåëÿåòñÿ ñ ïîìîùüþ ðåãóëÿòîðà ñ ïîäñòðàèâàåìûìè êîýôôèöèåíòàìè

ut + c1 (~ t )ut

1

= d0 (~ t )yt + d1 (~ t )yt 1 ;

çàäàâàåìûìè ïî ïðèâåäåííûì âûøå ôîðìóëàì. Áóäåì ïðåäïîëàãàòü, ÷òî íà÷àëüíûå äàííûå â óðàâíåíèè ÎÓ è óðàâíåíèè ðåãóëÿòîðà íóëåâûå.  êà÷åñòâå î÷åðåäíîé îöåíêè ïàðàìåòðîâ ÎÓ ~t âûáèðàåòñÿ ëèáî òåêóùàÿ îöåíêà àëãîðèòìà "ìîäèôèöèðîâàííàÿ ïîëîñêà", ëèáî  ðàíäîìèçèðîâàííîãî:

~t



t = ^t ; 

åñëè t < 1500, èëè jyt j + jut 1 j > 1000, èëè  t  â ïðîòèâíîì ñëó÷àå.

2= T ,

Äëÿ îáîèõ àëãîðèòìîâ íà÷àëüíûå äàííûå îäèíàêîâûå

a01 = a^01 = 4; b01 = ^b01 = 4; b02 = ^b02 = 4; ^10 = 4; ^20 = 20; ^30 = 76: Îáîçíà÷èì ÷åðåç

t = yt + a^t1 1 yt 1 + yt t =

q

2

^bt1 1 ut

1

^bt2 1 ut 2 ;

yt2 1 + u2t 1 + u2t 2 :

Îöåíêè àëãîðèòìà "ìîäèôèöèðîâàííàÿ ïîëîñêà" íå èçìåíÿþòñÿ: ^t = ^t 1 , åñëè jt j  4 + 0:1t ; è âû÷èñëÿþòñÿ ïî ôîðìóëå 0 t1 a^1 B 1 C C ^t = B @ ^bt A = 1 ^bt2

0 t 11 a^1  B 1 C C T B @^ bt1 1 A + ^bt2 1

P

0

t B B 2t @

1

yt 1  0 C C ut 1 A ; ut 2

4.2. ÀÄÀÏÒÈÂÍÎÅ ÓÏÐÀÂËÅÍÈÅ

209

â ïðîòèâíîì ñëó÷àå. Çäåñü îïåðàòîð PT (
)  ïðîåêòîð íà ìíîæåñòâî T  èìååò ïðîñòîé âèä, òàê êàê T  çàäàííûé ïàðàëëåëåïèïåä â R4 . Îöåíêè ðàíäîìèçèðîâàííîãî àëãîðèòìà âû÷èñëÿþòñÿ òàê

 t =  0 ; t = 1; 2; : : : ; 102; 0

^n = ^n

1

1

 1 @ 1 0 0 A ^n 0 2 0  n 0 0 3

0

1

1 + lnfng @ y3n+1 A
n ( y3n+2 Rn y3n+3

1



n)

;

73+30n+i = (^n); i = 0; 1; : : : ; 29; n = 1; 2; : : : ; ãäå 0

n

a31n 1 3 n 2 3 @ = (a1 ) 1 a1n 3 n 3 n 2 3 n a1 ((a1 ) 2) (a1 )2 1

10

b32n y3n 3 n 3 n A @ a1 b2 y3n ((a31n )2 1)b32n u3n

1

1A 1

+

0

1 ^1n 1 u3n +@ ^1n 1u3n+1 + ^2n 1u3n A : ^1n 1 u3n+2 + ^2n 1 u3n+1 + ^3n 1 u3n

Èìèòàöèîííîå ìîäåëèðîâàíèå íà ÝÂÌ ïðîèçâîäèëîñü ñ ôàêòè÷åñêèì íàáîðîì íåèçâåñòíûõ êîýôôèöèåíòîâ

a?1 = 3:7; b?1 = 6:4; b?2 = 8:0 ; êîòîðûé ñîîòâåòñòâóåò âåêòîðó 0

 =  ( ? ) =

@

1

6:40 31:68 A : 110:82

Ñòîèò çàìåòèòü, ÷òî áåç àëãîðèòìà ïîäñòðîéêè ïàðàìåòðîâ çàìêíóòàÿ ñèñòåìà ñ ðåãóëÿòîðîì, îïðåäåëÿåìûì ìíîãî÷ëåíàìè c(;  0 ) è d(;  0 ), íåóñòîé÷èâàÿ (åå õàðàêòåðèñòè÷åñêèé ìíîãî÷ëåí ðàâåí 3 + 1). Ïðèìåð ïîâåäåíèÿ âûõîäà ÎÓ ïðè óïðàâëåíèè áåç ïîäñòðîéêè ïàðàìåòðîâ ïðè-

ÃËÀÂÀ 4. ÏÐÈÌÅÍÅÍÈß ÀËÃÎÐÈÒÌÎÂ

210

b?1 = 6:4

a?1 = 3:7

b?2 = 8:0 100 130 : : : 2500

10000

20000

t 30000

Ðèñ. 11. Òðàåêòîðèè îöåíîê íåèçâåñòíûõ êîýôôèöèåíòîâ ^t è  t . âåäåí â òàáëèöå 2. Òàáëèöà 2.

t

1 2 3 4 5 6




17






yt -2.000 -4.733 -4.913 4.329 27.467 51.560






-49549.445

1

Íà ðèñóíêå 11 ïîêàçàí òèïè÷íûé õàðàêòåð èçìåíåíèÿ îöåíîê ^t è  t , äîñòàâëÿåìûõ àëãîðèòìàìè "ìîäèôèöèðîâàííàÿ ïîëîñêà" è ðàíäîìèçèðîâàííûì. Ìàñøòàá âðåìåíè íà ãðàôèêàõ äëÿ ïåðâûõ 150 ìîìåíòîâ íå ñîáëþäàåòñÿ. Ïðîáíîå âîçìóùåíèå â êàíàë óïðàâëåíèÿ ïåðâûé ðàç

4.2. ÀÄÀÏÒÈÂÍÎÅ ÓÏÐÀÂËÅÍÈÅ

211

ïîñòóïàåò ïðè t = 100. Äî ýòîãî ìîìåíòà âðåìåíè àëãîðèòì ïîëîñêà, ñäåëàâ 16 èçìåíåíèé, íà÷èíàÿ ñ 0

^28 =

B B @

1

3:320 1 C C 5:579 A ; 6:840

ïðåêðàòèë èçìåíåíèÿ ïàðàìåòðîâ è îáåñïå÷èâàë ñòàáèëèçàöèþ çàìêíóòîé ñèñòåìû. Âêëþ÷åíèå ïðîáíîãî âîçìóùåíèÿ, äîáàâëÿåìîãî â êàíàë óïðàâëåíèÿ íà êàæäîì òðèäöàòîì òàêòå, ïîçâîëèëî íå òîëüêî âîñïîëüçîâàòüñÿ ðàíäîìèçèðîâàííûì àëãîðèòìîì îöåíèâàíèÿ ïàðàìåòðîâ, íî è îáåñïå÷èëî áîëåå âûñîêîå êà÷åñòâî îöåíèâàíèÿ àëãîðèòìîì "ìîäèôèöèðîâàííàÿ ïîëîñêà", êîòîðûé çà ñ÷åò "ðàñêà÷èâàíèÿ" ñèñòåìû, ñäåëàâ íà èíòåðâàëå t 2 [109; 221] åùå 11 êîððåêòèðîâîê, äîñòèãàåò äîñòàòî÷íî âûñîêîãî êà÷åñòâà îöåíèâàíèÿ. Îöåíêè ðàíäîìèçèðîâàííîãî àëãîðèòìà ïîñëå âîñüìèäåñÿòè èòåðàöèé (t  2500) ïîïàäàþò â áëèçêóþ îêðåñòíîñòü âåêòîðà  è äàëåå íå ïîêèäàþò åå.

212

ÃËÀÂÀ 4. ÏÐÈÌÅÍÅÍÈß ÀËÃÎÐÈÒÌÎÂ

4.3 Îáó÷àþùèåñÿ ñèñòåìû  ýòîì ðàçäåëå áóäåò ïðîàíàëèçèðîâàíî íåñêîëüêî ìîäåëüíûõ ïðèìåðîâ ïðèìåíåíèÿ ðàíäîìèçèðîâàííûõ àëãîðèòìîâ â ñèñòåìàõ ñ îáó÷åíèåì (íàñòðîéêîé ïàðàìåòðîâ). Ðàññìîòðåííûå âûøå çàäà÷è, â ÷àñòíîñòè, òàêæå îòíîñÿòñÿ ê ñèñòåìàì òàêîãî ðîäà.

4.3.1

Àïïðîêñèìàöèÿ ôóíêöèè ñ ïîìîùüþ ëèíåéíîé êîìáèíàöèè èçâåñòíûõ ôóíêöèé

Çàäà÷à îá àïïðîêñèìàöèè íåêîòîðîé ôóíêöèè ïî åå çíà÷åíèÿì (â íåêîòîðûõ òî÷êàõ) èìååò øèðîêóþ îáëàñòü ïðèìåíåíèÿ.  äîñòàòî÷íî îáùåì âèäå åå ìîæíî ñôîðìóëèðîâàòü òàê. Ïðåäïîëîæèì, ÷òî â òî÷êàõ w1 ; w2 ; : : : ; wN èçâåñòíû çíà÷åíèÿ ôóíêöèè h(w), îïðåäåëåííîé íà íåêîòîðîì ìíîæåñòâå W ; wi 2 W ; i = 1; 2; : : : ; N , Ïóñòü çàäàí íàáîð ôóíêöèé a1 (
); a2 (
); : : : ; ar (
), îïðåäåëåííûõ íà òîì æå ìíîæåñòâå W . Òðåáóåòñÿ àïïðîêñèìèðîâàòü ôóíêöèþ h(
) ñ ïîìîùüþ ëèíåéíîé êîìáèíàöèè ôóíêöèé fai (
)g, ò. å. ïîäîáðàòü íàáîð ïàðàìåòðîâ (êîýôôèöèåíòîâ) 0

1 1 B 2 C B C

=@

.. A ; . r

ïðè êîòîðîì ôóíêöèÿ

s(w; ) =

r X

ai (w)i ; i=1 â ñîîòâåòñòâèè ñ íåêîòîðûì ôóíêöèîíàëîì êà÷åñòâà, íàèëó÷øèì îáðàçîì ïðåäñòàâëÿåò h(w). ×àñòî ðàññìàòðèâàþò ôóíêöèîíàë êà÷åñòâà f (x) =

Z

kh(w) s(w; x)k2 P(dw);

ÿâëÿþùèéñÿ, ïî ñóòè, ìåðîé ñðåäíåêâàäðàòè÷íîé îøèáêè àïïðîêñèìàöèè. Ïðåäïîëîæèì, ÷òî çàäàí íåêîòîðûé êðèòåðèé êà÷åñòâà àïïðîêñèìàöèè è óæå íàéäåí îïðåäåëÿåìûé ýòèì êðèòåðèåì íàáîð ïàðàìåòðîâ  . Îáîçíà÷èì 0 a1 (wn ) 1 B a2 (wn ) C C: 'n = B .. @ A . n ar (w )

4.3. ÎÁÓ×ÀÞÙÈÅÑß ÑÈÑÒÅÌÛ Çíà÷åíèÿ ôóíêöèè ñòàâèòü â âèäå

h(
)

213

â çàäàííûõ òî÷êàõ

w1 ; w2 ; : : : ; wN

ìîæíî ïðåä-

h(wn ) = 'Tn  + vn ; n = 1; 2; : : : ; N; â êîòîðîì ïîñëåäîâàòåëüíîñòü âåëè÷èí fvn g òðàêòóåòñÿ êàê îøèáêà èçìåðåíèÿ ïîëåçíîãî ñèãíàëà

s(wn ; ) = 'Tn ; n = 1; 2; : : : ; N:  áîëåå îáùåé ïîñòàíîâêå çàäà÷è ìîæíî ñ÷èòàòü, ÷òî âìåñòî òî÷íûõ çíà÷åíèé ôóíêöèè h(w1 ); h(w2 ); : : : ; h(wN ) íàì äîñòóïíû èõ çàøóìëåííûå âåëè÷èíû y1 ; y2 ; : : : ; yN . Ïðè ýìïèðè÷åñêîì ôóíêöèîíàëå

1 fN (x) = N

N X k=1

kyk s(wk ; x)k2

ïîëó÷àåì îöåíêè ìåòîäà íàèìåíüøèõ êâàäðàòîâ. Îöåíêè ÌÍÊ ìîãóò áûòü íàéäåíû ñ ïîìîùüþ ðåêóððåíòíûõ ïðîöåäóð, óâåëè÷èâàþùèõ òî÷íîñòü àïïðîêñèìàöèè ïî ìåðå ïîñòóïëåíèÿ èíôîðìàöèè î çíà÷åíèÿõ ôóíêöèè â íîâûõ òî÷êàõ. Âåêòîðãðàäèåíò ôóíêöèè fN ( ) íåñëîæíî âû÷èñëèòü: N 2X rfN (x) = N (s(wk ; x) yk )'n k=1 è, êàê è â ï. 1.2.3, ìîæíî ïîëó÷èòü ðåêóððåíòíûå ôîðìóëû îáûêíîâåííîãî ÌÍÊ ^n = ^n 1 n 'n (s(wn ; ^n 1 ) yn ); T T n= n 1 n 1 'n 'n n 1 =(I + 'n n 1 'n ):

Ïðè N ! 1 ïðåäåëüíàÿ îïòèìàëüíîñòü îöåíîê ÌÍÊ ïî îòíîøåíèþ ê ñðåäíåêâàäðàòè÷íîìó ôóíêöèîíàëó êà÷åñòâà àïïðîêñèìàöèè ãàðàíòèðóåòñÿ òîëüêî â ñëó÷àå ïðåäïîëîæåíèé î äîñòàòî÷íî õîðîøèõ ñòàòèñòè÷åñêèõ ñâîéñòâàõ ïîñëåäîâàòåëüíîñòè fvn g (ñì. ï. 1.6.1). Ïóñòü â îðèãèíàëüíîé ïîñòàíîâêå çàäà÷è ìîæíî ïðåäïîëîæèòü, ÷òî ïîñëåäîâàòåëüíîñòü òî÷åê w1 ; w2 ; : : :  ñëó÷àéíàÿ è ñîîòâåòñòâóþùèå âåêòîðà f'n g óäîâëåòâîðÿþò óñëîâèþ (2.A'), à ïîñëåäîâàòåëüíîñòü fvn g  äåòåðìèíèðîâàííàÿ, íåèçâåñòíàÿ, íî îãðàíè÷åííàÿ. Îáîçíà÷èâ, êàê è ðàíåå,
n = 'n Ef'n g, äëÿ ïîñòðîåíèÿ ïîñëåäîâàòåëüíîñòè îöåíîê f^ng öåëåñîîáðàçíî âîñïîëüçîâàòüñÿ ðàíäîìèçèðîâàííûì ÌÍÊ (2.7)

^n = ^n

1

n
n (s(w

n ; ^n 1 )

yn);

ÃËÀÂÀ 4. ÏÐÈÌÅÍÅÍÈß ÀËÃÎÐÈÒÌÎÂ

214 n

=

T T n 1
n
n n 1 =(1 +
n n 1
n )

n 1

èëè ðàíäîìèçèðîâàííûì àëãîðèòìîì òèïà ñòîõàñòè÷åñêîé àïïðîêñèìàöèè (2.2) ^n = ^n 1 n
n (s(wn ; ^n 1 ) yn);

ãäå n  0  íåñëó÷àéíàÿ ïîñëåäîâàòåëüíîñòü, îïðåäåëÿþùàÿ øàã àëãîðèòìà, è  íåêîòîðàÿ ïîëîæèòåëüíî îïðåäåëåííàÿ ìàòðèöà.  îáîáùàþùåé ñèòóàöèè, èìåþùåé áîëüøåå ïðàêòè÷åñêîå ïðèìåíåíèå, ìîæíî ïðåäïîëîæèòü, ÷òî çàäàííûå ôóíêöèè ai (
) ñàìè çàâèñÿò îò íàáîðîâ 
;i èç p ïàðàìåòðîâ: ai (w) = ai (w; 
;i ); i = 1; 2; : : : ; r , âûáîð êîòîðûõ òàêæå íàäî îïòèìèçèðîâàòü íàðÿäó ñ ðàíåå ââåäåííûìè 1 ; 2 ; : : : ; r .  òàêîé ïîñòàíîâêå çàäà÷è äëÿ îáîçíà÷åíèÿ îáùåãî íàáîðà ïàðàìåòðîâ óäîáíî ââåñòè ìàòðèöó 0

 = 4.3.2

1 1;1 : : : 1;p

B .. @ .

r

.. . r;1

..

.

:::

1

.. C : . A r;p

Ìîäåëü îáó÷àåìîé ñèñòåìû. Íåéðîííûå ñåòè

Êîíêðåòèçàöèÿ ïîñëåäíåé çàäà÷è èç ïðåäûäóùåãî ïóíêòà ïðèâîäèò ê ðàçëè÷íûì âàðèàíòàì çàäà÷è îáó÷åíèÿ. Ïóñòü èìååòñÿ íåêîòîðàÿ ñèñòåìà, îðãàíèçîâàííàÿ ñëåäóþùèì îáðàçîì: ïðè ïðåäúÿâëåíèè åé âõîäíîãî ñèãíàëà (ñòèìóëà) w îíà âûðàáàòûâàåò, â çàâèñèìîñòè îò çíà÷åíèÿ ìàòðèöû ïàðàìåòðîâ  , çíà÷åíèÿ ôóíêöèé fai (w;  )g è âû÷èñëÿåò èõ ñóììó s(w; ) ñ ñîîòâåòñòâóþùèìè âåñîâûìè êîýôôèöèåíòàìè [3, 83]. Òàê îïðåäåëÿþòñÿ ìíîæåñòâà (îáðàçû)

W 1 ( ) = fw : s(w;  ) > 0g; W 2 ( ) = fw : s(w;  )  0g è ðàññìàòðèâàåìàÿ ñèñòåìà â ñîñòîÿíèè êëàññèôèöèðîâàòü ëþáîé âõîäíîé ñèãíàë w, îòíîñÿ åãî ëèáî ê ìíîæåñòâó W 1 ( ), ëèáî ê W 2 ( ). Ýòà êëàññèôèêàöèÿ ìîæåò èçìåíÿòüñÿ, åñëè âàðüèðîâàòü ïàðàìåòðû  . Ñèñòåìà, äîïîëíåííàÿ ñïîñîáîì èçìåíåíèÿ ïàðàìåòðîâ, ìîæåò ïîäãîíÿòü ñâîþ êëàññèôèêàöèþ ê íåêîòîðîé òðåáóåìîé è, òåì ñàìûì, äåìîíñòðèðîâàòü ñâîéñòâî îáó÷àåìîñòè èëè àäàïòàöèè. Òàêàÿ ïîäãîíêà òðåáóåò îïðåäåëåííîé äîïîëíèòåëüíîé èíôîðìàöèè î êëàññèôèêàöèè. Îáû÷íî ýòà èíôîðìàöèÿ ïîñòóïàåò ñ îáó÷àþùåé ïîñëåäîâàòåëüíîñòüþ w1 ; w2 ; : : : ; wN , ñîñòîÿùåé èç êëàññèôèöèðîâàííûõ òðåáóåìûì îáðàçîì âõîäíûõ ñèãíàëîâ. Óòî÷íåíèå õàðàêòåðà ýòîé èíôîðìàöèè ïðèâîäèò ê ðàçëè÷íûì

4.3. ÎÁÓ×ÀÞÙÈÅÑß ÑÈÑÒÅÌÛ

215

ïîñòàíîâêàì çàäà÷è îáó÷åíèÿ. Ñàì ïðîöåññ ïîäáîðà ïàðàìåòðîâ ñ ïîìîùüþ îáó÷àþùåé ïîñëåäîâàòåëüíîñòè íîñèò íàçâàíèå ïðîöåññà îáó÷åíèÿ. Ïî îêîí÷àíèè ïðîöåññà îáó÷åíèÿ âåñîâûå êîýôôèöèåíòû ôèêñèðóþòñÿ, è ñîîòâåòñòâóþùèå ìíîæåñòâà W 1 ( ), W 2 ( ) ïðèíèìàþòñÿ â êà÷åñòâå òðåáóåìîãî ðàçáèåíèÿ. Îíè ìîãóò íå ñîâïàäàòü ñ ðåàëüíûì òðåáóåìûì ðàçáèåíèåì. Ýòî îòëè÷èå, âûðàæåííîå êàêèì-ëèáî ñïîñîáîì, áóäåò îïðåäåëÿòü êà÷åñòâî ðàáîòû îáó÷åííîé ñèñòåìû. Hà ñàìîì äåëå, äëÿ ëþáûõ íåïåðåñåêàþùèõñÿ îãðàíè÷åííûõ ìíîæåñòâ, ðàçäåëåííûõ ïîëîæèòåëüíûì ðàññòîÿíèåì, ñóùåñòâóåò êîíå÷íûé íàáîð ïîðîãîâûõ ôóíêöèé, îòîáðàæàþùèé èõ â ëèíåéíîðàçäåëèìûå ìíîæåñòâà. Ýòîò ôóíäàìåíòàëüíûé ôàêò ëåæèò â îñíîâàíèè ìåòîäîâ ìîäåëèðîâàíèÿ ñ èñïîëüçîâàíèåì íåéðîííûõ ñåòåé [145, 181, 213, 216]. Îïèñàííàÿ ñõåìà îáó÷àåìîé ñèñòåìû ìîæåò áûòü ðåàëèçîâàíà ñ ïîìîùüþ òàê íàçûâàåìûõ ïåðñåïòðîíîâ  ñëîæíûõ ñåòåé èç ïîðîãîâûõ ýëåìåíòîâ (ôîðìàëüíûõ íåéðîíîâ), ïðåäíàçíà÷åííûõ äëÿ ìîäåëèðîâàíèÿ ïðîöåññîâ â ñëîæíûõ ñèñòåìàõ, â ÷àñòíîñòè, â æèâûõ îðãàíèçìàõ. Ðîëü ôóíêöèé fai (w;  )g çäåñü èãðàþò ðåàêöèè âûõîäíûõ íåéðîíîâ ñåòè íà âõîäíîé ñòèìóë w (ïî àíàëîãèè ñ ðàáîòîé çðèòåëüíîé ñèñòåìû âõîäíûå ñòèìóëû èíîãäà íàçûâàþò èçîáðàæåíèÿìè). Âåëè÷èíû 1 ; 2 ; : : : ; r èãðàþò ðîëü êîýôôèöèåíòîâ óñèëåíèÿ ñèãíàëîâ âûõîäíûõ íåéðîíîâ ñåòè. Ýòè óñèëåííûå ñèãíàëû ïîñòóïàþò â ýôôåêòîðíûé íåéðîí, ãäå îíè ñóììèðóþòñÿ è ñðàâíèâàþòñÿ ñ ïîðîãîì (â ðàññìàòðèâàåìîì ïðèìåðå ñ íóëåì).  ðåçóëüòàòå òàêîãî ñðàâíåíèÿ ïðèíèìàåòñÿ ðåøåíèå î ïðèíàäëåæíîñòè âõîäíîãî ñòèìóëà ê îäíîìó èç äâóõ êëàññîâ. Ïîñòóïàþùàÿ â ïðîöåññå îáó÷åíèÿ äîïîëíèòåëüíàÿ èíôîðìàöèÿ î òðåáóåìîé êëàññèôèêàöèè èíòåðïðåòèðóåòñÿ êàê óêàçàíèÿ ó÷èòåëÿ î êëàññèôèêàöèè îáó÷àþùåé ïîñëåäîâàòåëüíîñòè. Îïèñàííûé ïîäõîä èíîãäà íàçûâàþò îáó÷åíèåì ñ ó÷èòåëåì. Âîçìîæíà ïîñòàíîâêà çàäà÷è îáó÷åíèÿ, ãäå óêàçàíèÿ ó÷èòåëÿ îòñóòñòâóþò, òîãäà ãîâîðÿò î çàäà÷å ñàìîîáó÷åíèÿ. Åñòåñòâåííûì îáðàçîì çàäà÷à îáó÷åíèÿ ìîæåò áûòü îáîáùåíà íà ñëó÷àé áîëüøåãî êîëè÷åñòâà êëàññîâ. Ïóñòü ðàçìåðíîñòü âõîäíûõ ñèãíàëîâ ðàâíà p, ò. å. ïðè ââåäåííûõ â ïðåäûäóùåì ïóíêòå îáîçíà÷åíèÿõ ñîâïàäàåò ñ êîëè÷åñòâîì ïàðàìåòðîâ êàæäîé èç ôóíêöèé fai (w;  )g: Îáîçíà÷èì w1 ; w2 ; : : : ; wp  ñîîòâåòñòâóþùèå êîìïîíåíòû âõîäíîãî ñèãíàëà w. Ðàññìîòðèì çàäà÷ó î ïîñòðîåíèè îöåíîê ïàðàìåòðîâ (âåñîâûõ êîýôôèöèåíòîâ) äâóõóðîâíåâîé íåéðîííîé ñåòè, èñïîëüçóþùåé äâà òèïà ôîðìàëüíûõ íåéðîíîâ d1 (
) è d2 (
) (ïîðîãîâûõ ôóíêöèé). Íåéðîíû ïåðâîãî òèïà èñïîëüçóþòñÿ äëÿ çàäàíèÿ íàáîðà

ÃËÀÂÀ 4. ÏÐÈÌÅÍÅÍÈß ÀËÃÎÐÈÒÌÎÂ

216

Âõîä

wn

Óðîâåíü 1 Íåëèíåéíîñòü P



w1n



-

d1 (
)

, ,  , Q C

.. .. .. .. .



Q  Q 

C C 

j;2 wjn

L

-

d1 (
)

C C



C

e

L

.. .. .. .. .

 C



L

\

C



L

\





L


2 \



C


1

L L

P

 

Q

C

wpn

j;1 wjn

Óðîâåíü 2

\L



\ L 

-

d2 (
)

s(wn ; ) -

 

C e

L

\ L

P

C

e C



e e

j;r wjn



-

d1 (
)


r

 

Ðèñ. 12. Ñõåìà äâóõóðîâíåâîé íåéðîíîé ñåòè. ôóíêöèé

fai (
; )g ïî ïðàâèëó ai (w; ) = d1

X p

j =1



j;iwj ; i = 1; 2; : : : ; r;

âòîðîé òèï ñîîòâåòñòâóåò ýôôåêòîðíîìó íåéðîíó âòîðîãî óðîâíÿ. Ïîðîãîâûå ôóíêöèè ïðåäñòàâëÿþò ñîáîé âåùåñòâåííûå àíòèñèììåòðè÷íûå íåóáûâàþùèå íåïðåðûâíî-äèôôåðåíöèðóåìûå ôóíêöèè âåùåñòâåííîãî àðãóìåíòà, ïðèíèìàþùèå ïîëîæèòåëüíûå çíà÷åíèÿ äëÿ ïîëîæèòåëüíûõ çíà÷åíèé àðãóìåíòîâ. Hàïðèìåð, â êà÷åñòâå ïîðîãîâîé ìîæíî èñïîëüçîâàòü ôóíêöèþ arctg(
). Íà ðèñóíêå 12 ïîêàçàíî, êàê ñõåìàòè÷íî ìîæíî ïðåäñòàâèòü ñòðóêòóðó òàêîé íåéðîííîé ñåòè. Öåëü îáó÷åíèÿ ýòîé íåéðîííîé ñåòè ñîñòîèò â òîì, ÷òîáû ìèíèìèçèðîâàòü îøèáêó ìåæäó æåëàåìûì è äåéñòâèòåëüíûì âûõîäîì. Áóäåì ñ÷èòàòü, ÷òî â ïåðèîä îáó÷åíèÿ çàäàíà ïîñëåäîâàòåëüíîñòü ïàð (âõîä, æåëàåìûé âûõîä) f(wn ; yn )g; n = 1; 2; : : : è äîñòóïíû âûõîäû íåéðîííîé ñåòè fs(wn ; ^n 1 )g ñ âîçìîæíîñòüþ âûáèðàòü î÷åðåäíóþ îöåíêó ^n . Åñëè ðåàëüíî çàäàíà êîíå÷íàÿ ïîñëåäîâàòåëüíîñòü ïàð f(wn ; yn )g, òî ìîæíî ëèáî åå ìíîãîêðàòíî ïîâòîðÿòü, ëèáî âûáèðàòü èç íåå ýëåìåíòû ñëó÷àéíûì îáðàçîì. Ïðåäïîëîæèì, ÷òî ïàðû âõîäâûõîä  âçàèìíî íåçàâèñèìûå ñëó÷àéíûå âåëè÷èíû, è èõ

4.3. ÎÁÓ×ÀÞÙÈÅÑß ÑÈÑÒÅÌÛ

217

ðàñïðåäåëåíèÿ íå çàâèñÿò îò n  íîìåðà èòåðàöèè. Çàäà÷à ñîñòîèò â ìèíèìèçàöèè ñðåäíåêâàäðàòè÷íîé îøèáêè N X

1 f1(x) = lim N !1 N

k=1

kyk s(wk ; x)k2 :

Äëÿ ïîñòðîåíèÿ ïîñëåäîâàòåëüíîñòè îöåíîê ïàðàìåòðîâ íåéðîííîé ñåòè ìîæíî áûëî áû âîñïîëüçîâàòüñÿ ãðàäèåíòíûì àëãîðèòìîì

^n = ^n n = 1; 2; : : : ñ fn g, n ! 0.

ïî ôîðìóëàì:

n (s(wn ; ^n 1) yn)rx s(wn ; ^n 1);

1

íåêîòîðîé ïîñëåäîâàòåëüíîñòüþ ïîëîæèòåëüíûõ ÷èñåë Êîìïîíåíòû âåêòîðàãðàäèåíòà rx s(w; x) âû÷èñëÿþòñÿ

@s(w; x) = d0 2 @xk @s(w; x) = d0 2 @xk;m

X r

X r

i=1

i=1

p X

xi d1 (

j =1

xi d1 (

p X j =1



xj;iwj ) d1 

xj;iwj ) xk d0 1

X p

j =1

X p

j =1



xj;k wj ; 

xj;k wj wm ;

k = 1; 2; : : : ; r; m = 1; 2; : : : ; p: Hî ïðè ôîðìóëèðîâêå çàäà÷è ïðåäïîëàãà-

ëàñü âîçìîæíîñòü èñïîëüçîâàòü òîëüêî çíà÷åíèÿ äåéñòâèòåëüíûõ âûõîäîâ íåéðîííîé ñåòè fs(w; x)g. Ïîýòîìó â ïîñëåäíåì àëãîðèòìå íàäî ÷àñòíûå ïðîèçâîäíûå çàìåíèòü íà êîíå÷íûå ðàçíîñòè. Ïðè ýòîì ñóùåñòâåííî óâåëè÷èâàåòñÿ íåîáõîäèìîå êîëè÷åñòâî èçìåðåíèé íà êàæäîé èòåðàöèè è òðåáóåò îòäåëüíûõ èññëåäîâàíèé âîïðîñ î âëèÿíèè îøèáîê àïïðîêñèìàöèè. Íà ñàìîì äåëå ïðè ðåøåíèè ïîñòàâëåííîé çàäà÷è âàæíî ïîñòàðàòüñÿ ìèíèìèçèðîâàòü êîëè÷åñòâî ðàçëè÷íûõ íàáëþäåíèé, òàê êàê çà êàæäûì òàêèì íàáëþäåíèåì íà ïðàêòèêå ñòîÿò âðåìåííûå è ìàòåðèàëüíûå çàòðàòû.  ïðàêòè÷åñêèõ çàäà÷àõ ðàçìåðíîñòü íàáîðà îöåíèâàåìûõ ïàðàìåòðîâ ÷àñòî áûâàåò î÷åíü âûñîêîé, ÷òî ïðèâîäèò ê òðóäíîñòÿì â èñïîëüçîâàíèè ìíîãèõ ñòàíäàðòíûõ ïîñëåäîâàòåëüíûõ ãðàäèåíòíûõ àëãîðèòìîâ, èç-çà íåîáõîäèìîñòè íà êàæäîé èòåðàöèè äîñòàòî÷íî òî÷íî âû÷èñëÿòü çíà÷åíèÿ âñåõ ÷àñòíûõ ïðîèçâîäíûõ. Èçáåæàòü ýòîãî ìîæíî âîñïîëüçîâàâøèñü îäíèì èç ðàíäîìèçèðîâàííûõ àëãîðèòìîâ ñòîõàñòè÷åñêîé àïïðîêñèìàöèè, íàïðèìåð, òèïà (3.3). Ïóñòü ïðîáíîå âîçìóùåíèå f
n g ÿâëÿåòñÿ ïîñëåäîâàòåëüíîñòüþ ìàòðèö (ðàçìåðíîñòè r  (p + 1)), ñîñòîÿùèõ èç íàáëþäàåìûõ âçàèìíî íåçàâèñèìûõ áåðíóëëèåâñêèõ ñëó÷àéíûõ âåëè÷èí, ðàâíûõ 1 ñ îäèíàêîâîé

ÃËÀÂÀ 4. ÏÐÈÌÅÍÅÍÈß ÀËÃÎÐÈÒÌÎÂ

218

âåðîÿòíîñòüþ. Àëãîðèòì ïîñòðîåíèÿ ïîñëåäîâàòåëüíîñòè îöåíîê

^n = ^n

1

s(wn ; ^n 1 + n
n ) s(wn ; ^n 1 ) n
n (s(wn ; ^n 1 ) yn) n

ñ íåêîòîðûìè ÷èñëîâûìè ïîñëåäîâàòåëüíîñòÿìè fn g è f n g ïðè äîñòàòî÷íî îáùèõ óñëîâèÿõ ïîçâîëÿåò íàéòè ëîêàëüíûé ìèíèìóì ôóíêöèîíàëà êà÷åñòâà. Îäíàêî, ïðè áîëåå òùàòåëüíîì îïèñàíèè îáó÷àþùåé ïðîöåäóðû ìîæíî ïîëó÷èòü ëó÷øèå ðåçóëüòàòû, õîòÿ âðåìÿ, íåîáõîäèìîå äëÿ îáó÷åíèÿ, ìîæåò áûòü î÷åíü áîëüøèì, åñëè òðåáóåòñÿ îöåíèâàòü áîëüøîå êîëè÷åñòâî ïàðàìåòðîâ. Èíîãäà èòåðàöèè çàõâàòûâàþòñÿ íåêîòîðûì ëîêàëüíûì ìèíèìóìîì. ×òîáû ýòîãî èçáåæàòü, íàäî ïðîöåññ îáó÷åíèÿ ïîâòîðèòü íåñêîëüêî ðàç ñ ðàçíûìè íà÷àëüíûìè óñëîâèÿìè. Ðàññìîòðåííûé ïðèìåð, êîíå÷íî æå, äîïóñêàåò îáîáùåíèÿ. Íà âòîðîì óðîâíå ÷àñòî ðàññìàòðèâàåòñÿ òàêæå íåñêîëüêî íåéðîíîâ, íåéðîíû ïåðâîãî óðîâíÿ ìîãóò ñîåäèíÿòüñÿ ìåæäó ñîáîé. Äðóãèì îáîáùåíèåì ìîæåò áûòü âêëþ÷åíèå îáðàòíîé ñâÿçè îò âûõîäà ê íåéðîíàì ïåðâîãî óðîâíÿ èëè èñïîëüçîâàíèå áîëüøåãî êîëè÷åñòâà óðîâíåé. Ïðàêòè÷åñêèå ïðèìåðû èñïîëüçîâàíèÿ ðàíäîìèçèðîâàííûõ àëãîðèòìîâ ñòîõàñòè÷åñêîé àïïðîêñèìàöèè äëÿ îáó÷åíèÿ íåéðîííûõ ñåòåé ìîæíî íàéòè â [108, 116, 165, 166, 169].  [151, 168, 201, 202] èñïîëüçîâàëèñü ìåòîäû SPSA äëÿ íàñòðîéêè ïàðàìåòðîâ íåéðîííûõ ñåòåé ïðè ðåøåíèè çàäà÷ àäàïòèâíîãî óïðàâëåíèÿ äèíàìè÷åñêèìè ñèñòåìàìè.

4.3. ÎÁÓ×ÀÞÙÈÅÑß ÑÈÑÒÅÌÛ

4.3.3

219

Çàäà÷à ñàìîîáó÷åíèÿ

Ïðîöåäóðû ïîñòðîåíèÿ îöåíîê â çàäà÷àõ îáó÷åíèÿ îïèðàþòñÿ íà èñïîëüçîâàíèå ïðè îáó÷åíèè óêàçàíèé ó÷èòåëÿ. Âîçìîæíà ïîõîæàÿ ïîñòàíîâêà çàäà÷è îáó÷åíèÿ, â êîòîðîé íåîáõîäèìîñòè â òàêèõ óêàçàíèÿõ íåò, à ñàì ïðîöåññ îáó÷åíèÿ ñâîäèòñÿ ê îïðåäåëåíèþ ïîñëåäîâàòåëüíîñòè îöåíîê, ìèíèìèçèðóþùåé ôóíêöèîíàë ñïåöèàëüíîãî âèäà [85]. Àâòîìàòè÷åñêàÿ êëàññèôèêàöèÿ âõîäíûõ ñèãíàëîâ. Ñ ñîäåðæàòåëüíîé òî÷êè çðåíèÿ, ñìûñë àâòîìàòè÷åñêîé êëàññèôèêàöèè ñîñòîèò â ïîñòðîåíèè ïðàâèëà, ñîïîñòàâëÿþùåãî êàæäîé òî÷êå w ìíîæåñòâà W íåêîòîðûé îáðàç (êëàññ). Ïîäðàçóìåâàåòñÿ, ÷òî ñîïîñòàâëåííûå îäíîìó è òîìó æå îáðàçó òî÷êè îáëàäàþò íåêîòîðûì îáùèì ñâîéñòâîì, êîòîðîå è ïîðîæäàåò ýòîò îáðàç. Íàïðèìåð, òàêèì ñâîéñòâîì ìîæåò áûòü áëèçîñòü ðàñïîëîæåíèÿ òî÷åê ê íåêîòîðîìó "öåíòðó", è òîãäà ïîíÿòèå îáðàçà (êëàññà) ñâÿçàíî ñ îáû÷íûì ïðåäñòàâëåíèåì î êîìïàêòíîì ðàñïîëîæåíèè òî÷åê, ïðèíàäëåæàùèõ òîìó èëè èíîìó îáðàçó (êëàññó). Ïðàâèëî êëàññèôèêàöèè ìîæåò áûòü îäíîçíà÷íûì (äåòåðìèíèðîâàííûì), ïðè êîòîðîì êàæäîé òî÷êå w ìíîæåñòâà W ñîïîñòàâëÿåòñÿ âïîëíå îïðåäåëåííûé îáðàç, ëèáî íåäåòåðìèíèðîâàííûì, êîãäà êàæäîé òî÷êå w ìíîæåñòâà W ñîïîñòàâëÿþòñÿ çíà÷åíèÿ íåêîòîðîãî íàáîðà ôóíêöèé, îïðåäåëÿþùèõ ñòåïåíü äîñòîâåðíîñòè ïðèíàäëåæíîñòè òî÷êè w ê êàæäîìó èç âîçìîæíûõ îáðàçîâ. Äëÿ óïðîùåíèÿ áóäåì ïðåäïîëàãàòü, ÷òî êîëè÷åñòâî îáðàçîâ (êëàññîâ) êîíå÷íî è ðàâíî l.  îáîèõ ñëó÷àÿõ äëÿ ôîðìàëüíîé çàïèñè ïðàâèëà êëàññèôèêàöèè öåëåñîîáðàçíî ââåñòè íàáîð ôóíêöèé (
) = f1 (
); : : : ; l (
)g  ñòåïåíåé äîñòîâåðíîñòè, îáëàäàþùèõ ñâîéñòâàìè

0  k (w)  1; k = 1; : : : ; l;

l X k=1

k (w) = 1:

Âñÿêèé ñïîñîá êëàññèôèêàöèè ñâÿçàí ñ ïîòåðÿìè, êîòîðûå îáû÷íî õàðàêòåðèçóþòñÿ ñ ïîìîùüþ øòðàôíûõ ôóíêöèé (ñòîèìîñòè) Qk (w; x); k = 1; : : : ; l; x = ( 1 ; : : : ;  l ). Âåêòîðû  k ; k = 1; : : : ; l óäîáíî èíòåðïðåòèðîâàòü êàê öåíòðû êëàññîâ.  òèïè÷íûõ ñëó÷àÿõ, êîãäà W  âåùåñòâåííîå âåêòîðíîå ïðîñòðàíñòâî, çíà÷åíèÿ øòðàôíûõ ôóíêöèé Qk (w; x) âîçðàñòàþò ïðè óäàëåíèè w îò öåíòðà ñîîòâåòñòâóþùåãî îáðàçà (êëàññà). Ïðåäïîëîæèì, ÷òî íà ìíîæåñòâå W çàäàíî íåêîòîðîå ðàñïðåäåëåíèå âåðîÿòíîñòåé P(
). Îäíà èç âîçìîæíûõ ïîñòàíîâîê çàäà÷è àâòîìàòè÷åñêîé êëàññèôèêàöèè ñîñòîèò â îïðåäåëåíèè íàáîðîâ (
) è  èç íåêîòîðîãî

ÃËÀÂÀ 4. ÏÐÈÌÅÍÅÍÈß ÀËÃÎÐÈÒÌÎÂ

220

ìíîæåñòâà , ìèíèìèçèðóþùèõ ñðåäíèå ïîòåðè êëàññèôèêàöèè, ðàâíûå Z

l X

W k=1

Qk (w; )k (w)P(dw):

Äëÿ ôèêñèðîâàííîãî íàáîðà x ïðè âàðüèðîâàíèè ôóíêöèé k (w) çíà÷åíèÿ ñóììû, ñòîÿùåé ïîä çíàêîì èíòåãðàëà, çàïîëíÿþò âñþ âûïóêëóþ îáîëî÷êó òî÷åê Qk (w; x); k = 1; 2; : : : ; l. Ñëåäîâàòåëüíî, ìèíèìèçàöèÿ ñðåäíèõ ïîòåðü êëàññèôèêàöèè äîñòèãàåòñÿ íà íàáîðå ôóíêöèé ? (
), â êîòîðîì ?k (w) = Æk j (w;x) è öåëî÷èñëåííàÿ ôóíêöèÿ j (
; x) îïðåäåëÿåòñÿ êàê íîìåð, ñîîòâåòñòâóþùèé øòðàôíîé ôóíêöèè ñ ìèíèìàëüíûì çíà÷åíèåì j (w; x) = arg min Qk (w; x): k Ðàçîáüåì ìíîæåñòâî W íà l êëàññîâ (îáðàçîâ) W 1 (x); : : : ; W l (x) ïî ïðàâèëó

W k (x) = fw 2 W

: Qk (w; x) < Qj (w; x); j = 1; 2; : : : ; k

1;

Qk (w; x)  Qj (w; x); j = k + 1; : : : ; lg; k = 1; 2; : : : ; l: Îáîçíà÷èì 1W k (x) (w); k = 1; 2; : : : ; l  õàðàêòåðèñòè÷åñêèå

ôóíêöèè ñîîòâåòñòâóþùèõ ìíîæåñòâ. Ó÷èòûâàÿ ïîñëåäíèå çàìå÷àíèÿ è ââåäåííûå îáîçíà÷åíèÿ, ìîæíî îïðåäåëèòü ôóíêöèîíàë êà÷åñòâà êëàññèôèêàöèè Z X l (4.10) f (x) = 1W k (x) (w)Qk (w; x)P(dw); W k=1 ðàññìàòðèâàÿ åãî êàê ôóíêöèþ íàáîðà x öåíòðîâ êëàññîâ. Ýòîò ôóíêöèîíàë, èìåþùèé áîëåå îáùèé âèä ïî ñðàâíåíèþ ñ ââåäåííûì â ï. 1.1.4, ÷àñòî íàçûâàþò ôóíêöèîíàëîì ñðåäíåãî ðèñêà â çàäà÷å ñàìîîáó÷åíèÿ. Ðàçáèåíèå ìíîæåñòâà W = [lk=1 W k ( )

íàçûâàåòñÿ áàéåñîâñêèì (îïòèìàëüíûì ñðåäè x 2 ), åñëè ïàðàìåòð ðàçáèåíèÿ  âûáðàí èç óñëîâèÿ ìèíèìèçàöèè ôóíêöèîíàëà ñðåäíåãî ðèñêà.  ðàññìîòðåííîì âàðèàíòå îïòèìàëüíàÿ êëàññèôèêàöèÿ ñîîòâåòñòâóåò ÷èñòûì ñòðàòåãèÿì. Åñëè èçìåíèòü ïîñòàíîâêó çàäà÷è è ðàññìàòðèâàòü ìèíèìèçàöèþ ôóíêöèè Z

l X W k=1

Qk (w; x)jk (w)jp P(dw); p 6= 1;

4.3. ÎÁÓ×ÀÞÙÈÅÑß ÑÈÑÒÅÌÛ

221

òî îïòèìàëüíàÿ êëàññèôèêàöèÿ ìîæåò èìåòü âèä ñìåøàííîé ñòðàòåãèè, ò. å. íå áûòü îäíîçíà÷íîé. Ïîÿñíèì ãåîìåòðè÷åñêèé ñìûñë ôîðìàëüíî îïèñàííîé âûøå çàäà÷è àâòîìàòè÷åñêîé êëàññèôèêàöèè. Ïóñòü W  âåùåñòâåííîå âåêòîðíîå ïðîñòðàíñòâî, è øòðàôíûå ôóíêöèè èìåþò ïîõîæèé äðóã íà äðóãà âèä

Qk (w; x) = kw  k k2 ; k = 1; 2; : : : ; l: Ðàññìîòðèì ðàçáèåíèå ìíîæåñòâà W íà l êëàññîâ (îáðàçîâ) W 1 (x); : : : ; W l (x) ïî ïðàâèëó: ê ìíîæåñòâó W k (x) îòíîñÿòñÿ âñå òî÷êè w, êîòîðûå íàõîäÿòñÿ ê öåíòðó  k áëèæå, ÷åì ê ëþáîìó äðóãîìó. Äëÿ îäíîçíà÷íîñòè, ìîæíî ñ÷èòàòü, ÷òî â ñëó÷àå ðàâåíñòâà ðàññòîÿíèé äî íåñêîëüêèõ öåíòðîâ, òî÷êà w îòíîñèòñÿ ê êëàññó, ñîîòâåòñòâóþùåìó öåíòðó ñ ìåíüøèì íîìåðîì. Èíòåãðàë Z kw  k k2 P(dw) W k (x) îïðåäåëÿåò ðàññåèâàíèå òî÷åê w â ìíîæåñòâå W k (x). Îïðåäåëåííûé âûøå ôóíêöèîíàë ñðåäíåãî ðèñêà èìååò âèä l Z X

f (x) =

k=1 W k (x)

kw  k k2 P(dw):

Òàêèì îáðàçîì, â ðàññìîòðåííîì ñëó÷àå çàäà÷à àâòîìàòè÷åñêîé êëàññèôèêàöèè ñîñòîèò â îïðåäåëåíèè íàáîðà öåíòðîâ f k ; k = 1; : : : ; lg, ïðè êîòîðûõ ñóììàðíîå ðàññåèâàíèå ìèíèìàëüíî. Èñêîìûé íàáîð öåíòðîâ äîëæåí óäîâëåòâîðÿòü óðàâíåíèþ rf ( ) = 0: Íåòðóäíî óáåäèòüñÿ, ÷òî â ïîñëåäíåì ïðèìåðå ìíîæåñòâà W k (x) èìåþò âèä ìíîãîãðàííèêîâ, à ìèíèìèçèðóþùèé ôóíêöèîíàë ñðåäíåãî ðèñêà íàáîð öåíòðîâ  = (?1 ; : : : ; ?l ) ñîâïàäàåò ñ öåíòðàìè òÿæåñòè ýòèõ ìíîæåñòâ, ò. å. R

?k

=

W () wP(dw) Rk ; W k () P(dw)

k = 1; : : : ; l:

Ïðèâåäåííûå ñîîáðàæåíèÿ îòâå÷àþò èíòóèòèâíîìó ïðåäñòàâëåíèþ î ðàçáèåíèè ìíîæåñòâà W íà l íåïåðåñåêàþùèõñÿ êëàññîâ, ïðè÷åì öåíòðû òÿæåñòè ñîñåäíèõ ìíîæåñòâ íàõîäÿòñÿ íà ïðÿìîé, îðòîãîíàëüíîé ðàçäåëÿþùåé ìíîæåñòâà ãðàíè (ñì. [85], ñòð. 29). Çàäà÷à ñàìîîáó÷åíèÿ òåñíî ñâÿçàíà ñ çàäà÷åé àâòîìàòè÷åñêîé êëàññèôèêàöèè è ÿâëÿåòñÿ îáîáùåíèåì ïîñëåäíåé íà ñëó÷àé íåèçâåñòíîãî ðàñïðåäåëåíèÿ, îïðåäåëÿþùåãî ñòàòèñòèêó ïîêàçà êëàññèôèöèðóåìûõ

222

ÃËÀÂÀ 4. ÏÐÈÌÅÍÅÍÈß ÀËÃÎÐÈÒÌÎÂ

ñèãíàëîâ. Ïóñòü ðàñïðåäåëåíèå âåðîÿòíîñòåé P(
) íåèçâåñòíî, íî ïðåäïîëàãàåòñÿ èçâåñòíîé îáó÷àþùàÿ ïîñëåäîâàòåëüíîñòü w1 ; w2 ; : : :, èì ïîðîæäåííàÿ. Òðåáóåòñÿ ïðåäëîæèòü àëãîðèòì ïîñòðîåíèÿ ïîñëåäîâàòåëüíîñòè îöåíîê f^n g íàáîðà  , ìèíèìèçèðóþùåãî ôóíêöèîíàë ñðåäíåãî ðèñêà (4.10). ×àñòî ðåøåíèå çàäà÷è ñàìîîáó÷åíèÿ îñëîæíÿåòñÿ òåì, ÷òî íà ïðàêòèêå ôóíêöèè Qk (w; x); k = 1; : : : ; l íå âñåãäà çàäàíû àíàëèòè÷åñêè, à ïðè âûáîðå íåêîòîðûõ xn äîñòóïíû èçìåðåíèþ ñ ïîìåõàìè èõ çíà÷åíèÿ â òî÷êàõ (wn ; xn )

Ykn = Qk (wn ; xn ) + vkn ; k = 1; 2; : : : ; l; n = 1; 2; : : : : Äëÿ ôîðìèðîâàíèÿ ïîñëåäîâàòåëüíîñòè îöåíîê f^n g îïòèìàëüíîãî íàáîðà âåêòîðîâ  ìîæíî, íàïðèìåð, ïîïðîáîâàòü âîñïîëüçîâàòüñÿ ðàíäîìèçèðîâàííûì àëãîðèòìîì ñòîõàñòè÷åñêîé àïïðîêñèìàöèè (3.1), îñíîâàííîì íà èñïîëüçîâàíèè ñåðèè ìàòðèö ïðîáíîãî îäíîâðåìåííîãî âîçìóùåíèÿ
n , ñîñòàâëåííîé èç áåðíóëëèåâñêèõ, ðàâíûõ 1, âåëè÷èí,

xn = ^n 1 + n
n ; ^n = ^n

1

n
n

l X

1W k (xn ) (wn )Ykn :

k=1 Ê ñîæàëåíèþ, ïðè l > 1 äëÿ àíàëèçà ñâîéñòâ ïîëó÷àþùåéñÿ ïîñëåäîâàòåëüíîñòè îöåíîê f^n g íåëüçÿ íåïîñðåäñòâåííî âîñïîëüçîâàòüñÿ ðåçóëüòàòàìè òåîðåì 3.1 è 3.2, òàê êàê õàðàêòåðèñòè÷åñêèå ôóíêöèè 1W k (x) (w) íåäèôôåðåíöèðóåìû.

4.3. ÎÁÓ×ÀÞÙÈÅÑß ÑÈÑÒÅÌÛ

4.3.4

223

Ñèíõðîíèçàöèÿ ñèãíàëîâ ñâåòîôîðîâ ïðè óïðàâëåíèè äâèæåíèåì íà ñåòè äîðîã

Ñëåäóþùèå òðè ïðèìåðà ïðèëîæåíèé SPSA àëãîðèòìà èëëþñòðèðóþò ðÿä ðàáîò, ïðîâåäåííûõ â "Ëàáîðàòîðèè ïðèêëàäíîé ôèçèêè" (ËÏÔ) óíèâåðñèòåòà èì. Äæ. Õîïêèíñà, ÑØÀ (ñì. [207]). Ðèñóíîê íà ïåðâîé ñòðàíèöå îáëîæêè ïî ñîãëàñîâàíèþ ñ Äæ.Ñïàëîì çàèìñòâîâàí íàìè ñ îôèöèàëüíîãî âåáñàéòà ýòîé ëàáîðàòîðèè: www.jhuapl.edu/SPSA/. Íàáîëåâøàÿ ïðîáëåìà ïðè óïðàâëåíèè äâèæåíèåì ñîñòîèò â îïòèìèçàöèè ïîòîêà òðàíñïîðòíûõ ñðåäñòâ ÷åðåç äàííóþ ñåòü äîðîã. Óëó÷øåíèå ñèíõðîíèçàöèè ñèãíàëîâ ñâåòîôîðîâ â ìåñòàõ ïåðåñå÷åíèÿ äîðîã ÿâëÿåòñÿ íàèáîëåå ðåíòàáåëüíûì ñðåäñòâîì äîñòèæåíèÿ ýòîé öåëè. Îäíàêî, èççà áîëüøîãî êîëè÷åñòâà ñëîæíûõ àñïåêòîâ â ôóíêöèîíèðîâàíèè äîðîæíîé ñåòè, ñâÿçàííûõ ñ íåîáõîäèìîñòüþ ðàññìîòðåíèÿ ïîâåäåíèÿ ðàçíûõ ëþäåé, âçàèìîäåéñòâèÿ ïîòîêà òðàíñïîðòíûõ ñðåäñòâ â ïðåäåëàõ ñåòè, âëèÿíèÿ àòìîñôåðíûõ ÿâëåíèé, âîçìîæíîñòüþ àâàðèé íà äîðîãàõ, äëèòåëüíûìè (íàïðèìåð, ñåçîííûìè) èçìåíåíèÿìè è ò. ä., îïòèìàëüíîå ðåøåíèå çàäà÷è ñèíõðîíèçàöèè ñèãíàëîâ ñâåòîôîðîâ äîñòàòî÷íî òðóäîåìêîå äåëî, îñîáåííî â ñëó÷àå áîëüøîãî êîëè÷åñòâà ïåðåñå÷åíèé äîðîã. Ìíîãèå èç ýòèõ òðóäíîñòåé âîçíèêàþò èç-çà ïîòðåáíîñòè ôîðìèðîâàòü ÷ðåçâû÷àéíî ñëîæíûå ìîäåëè äèíàìèêè òðàôèêà, ÿâëÿþùèåñÿ îñíîâîé äëÿ ôîðìèðîâàíèÿ ñòðàòåãèè óïðàâëåíèÿ. Ñòðàòåãèÿ â ýòîì êîíòåêñòå ïðåäñòàâëÿåò ñîáîé ñâîä ïðàâèë, îáåñïå÷èâàþùèõ îïåðàòèâíóþ ñèíõðîíèçàöèþ ñèãíàëîâ ñâåòîôîðîâ â îòâåò íà ïîìèíóòíûå èçìåíåíèÿ äîðîæíîé îáñòàíîâêè. Ïðåäëîæåííûé â ËÏÔ ïîäõîä ê ðåøåíèþ ýòîé çàäà÷è óñòðàíÿåò ïîòðåáíîñòü â òàêèõ ñëîæíûõ ìîäåëÿõ è ñóùåñòâåííî îòëè÷àåòñÿ îò äðóãèõ, ðàíåå ñóùåñòâîâàâøèõ. Öåíòðàëüíîå ìåñòî â ýòîì ðåøåíèè çàíèìàåò àëãîðèòì SPSA, îáåñïå÷èâàåìûé ñîçäàíèåì íåáîëüøîãî îäíîâðåìåííîãî ñëó÷àéíîãî èçìåíåíèÿ âñåõ ïàðàìåòðîâ ñòðàòåãèè ñèíõðîíèçàöèè ñèãíàëîâ ñâåòîôîðîâ â ñåòè è èñïîëüçîâàíèåì ñîáðàííîé ïðè ýòîì èíôîðìàöèè î ñîñòîÿíèè òðàôèêà â ñèñòåìå äëÿ ìîäèôèêàöèè ñòðàòåãèè ñèíõðîíèçàöèè. Âðåìÿ, íåîáõîäèìîå ïðè ïðèìåíåíèè SPSA äëÿ ïîëíîé îïòèìàëüíîé íàñòðîéêè ñòðàòåãèè óïðàâëåíèÿ ñèãíàëàìè ñâåòîôîðîâ, â ðåçóëüòàòå ñîêðàòèëîñü ñ íåñêîëüêèõ ëåò èëè äåñÿòèëåòèé (÷òî, î÷åâèäíî, íåïðàêòè÷íî!) äî íåñêîëüêèõ ìåñÿöåâ (âåñüìà ðàçóìíîå âðåìÿ). Ýòîò ïîäõîä ê ðåøåíèþ çàäà÷è îïèñàí ïîäðîáíî â [121, 125, 205], ãäå ïðèâåäåíû ïðèìåðû ðåàëüíîãî ìîäåëèðîâàíèÿ ïðîöåññîâ îïòèìèçàöèè òðàôèêà â äîðîæíîé ñåòè ñ 9 ïåðåêðåñòêàìè â ïðåäåëàõ öåíòðàëüíîãî äåëîâîãî ðàéîíà Ìàíõýòòåíà â ÍüþÉîðêå è ñ 12 ïåðåêðåñòêàìè â îêðóãå Ìîíòãîìåðè, øòàò Ìýðèëåíä, ÑØÀ.

224

4.3.5

ÃËÀÂÀ 4. ÏÐÈÌÅÍÅÍÈß ÀËÃÎÐÈÒÌÎÂ

Îïòèìàëüíûé âûáîð öåëåé äëÿ ñèñòåì îðóæèÿ

Äðóãîé ïðèìåð èëëþñòðèðóåò èñïîëüçîâàíèå SPSA â ïðîöåññå îïòèìèçàöèè, îñíîâàííîé íà ìîäåëèðîâàíèè [207]. Ïóñòü çàäàí íåêîòîðûé íàáîð ñíàðÿäîâ, êîòîðûå ñîáèðàþòñÿ âûïóñòèòü â íàïðàâëåíèè ìèøåíè. Çàäà÷à ñîñòîèò â òàêîì îïòèìàëüíîì âûáîðå íàáîðà êîíòðîëüíûõ òî÷åê ïðèöåëèâàíèÿ, ÷òîáû ïðè ìàêñèìèçàöèè ïîâðåæäåíèÿ ìèøåíè ìèíèìèçèðîâàòü, òàê íàçûâàåìîå, ñîïóòñòâóþùåå ðàçðóøåíèå (ïîâðåæäåíèÿ îáúåêòîâ, íå ñâÿçàííûõ íåïîñðåäñòâåííî ñ âîåííûìè öåëÿìè, íàïðèìåð, øêîë è áîëüíèö). Ðåàëüíûå òðàåêòîðèè ñíàðÿäîâ è èõ ðàçðóøàþùèå ñïîñîáíîñòè ÿâëÿþòñÿ ðåàëèçàöèÿìè íåêîòîðûõ ñëó÷àéíûõ âåëè÷èí, ìîæåò áûòü çàâèñèìûõ, ñ èçó÷åííûìè ñòàòèñòè÷åñêèìè ñâîéñòâàìè, ÷òî äîëæíî ó÷èòûâàòüñÿ ïðè ðàçðàáîòêå ñòðàòåãèè îïðåäåëåíèÿ êîíòðîëüíûõ òî÷åê. Äëÿ ïîñòðîåíèÿ ñöåíàðèÿ ñ áîëüøîé ñåðèåé ñíàðÿäîâ, êîòîðûå íàöåëèâàþòñÿ íåçàâèñèìî, ôóíêöèþ ñóììàðíîãî ïîâðåæäåíèÿ, çíà÷åíèå êîòîðîé äîëæíî áûòü îöåíåíî ïðè íàõîæäåíèè íàèëó÷øåé ñòðàòåãèè âûáîðà êîíòðîëüíûõ öåëåâûõ òî÷åê, ñêîðåå âñåãî, àíàëèòè÷åñêè âû÷èñëèòü íåâîçìîæíî, è äëÿ ïîëó÷åíèÿ åå âîçìîæíûõ çíà÷åíèé òðåáóåòñÿ ïðîâîäèòü ñåðèþ ìîäåëèðîâàíèé ïî ÌîíòåÊàðëî (ñì., íàïðèìåð, [32]).  ÷àñòíîñòè, ÷òîáû îöåíèòü ýôôåêòèâíîñòü äàííîãî íàáîðà êîíòðîëüíûõ òî÷åê, íåîáõîäèìî âûïîëíèòü îäíî èëè íåñêîëüêî ìîäåëèðîâàíèé (ó÷èòûâàÿ íàëè÷èå ñëó÷àéíîãî ðàçíîîáðàçèÿ â ðåçóëüòàòå èñïîëüçîâàíèÿ îäíîé ñåðèè ñíàðÿäîâ, ñîîòâåòñòâóþùèõ îäíîìó ìîäåëèðîâàíèþ). Îáû÷íî èñïîëüçóåìûå ìåòîäû äëÿ ðåøåíèÿ òàêîãî òèïà çàäà÷ îïòèìèçàöèè ñ ïîìîùüþ ìîäåëèðîâàíèÿ îïèðàþòñÿ íà èíòåíñèâíûå âû÷èñëåíèÿ, ïðåäåëüíî äîïóñòèìûå ïî âðåìåííûì çàòðàòàì, òàê êàê íåîáõîäèìî îöåíèòü çíà÷åíèÿ ôóíêöèè ïîâðåæäåíèÿ (óùåðáà) äëÿ áîëüøîãî êîëè÷åñòâà ðàçëè÷íûõ íàáîðîâ êîíòðîëüíûõ òî÷åê. SPSA ìåòîä îáåñïå÷èâàåò ýôôåêòèâíîå ðåøåíèå ýòîé ìíîãîìåðíîé çàäà÷è, êîòîðàÿ äëÿ ìèøåíè íà ïëîñêîñòè èìååò ðàçìåðíîñòü r = 2 [êîëè÷åñòâî ñíàðÿäîâ]. SPSA àëãîðèòì ðàáîòàåò, èçìåíÿÿ íà êàæäîì øàãå âñå êîîðäèíàòû êîíòðîëüíûõ òî÷åê îäíîâðåìåííî è âûïîëíÿÿ ìîäåëèðîâàíèå äëÿ âû÷èñëåíèÿ îöåíêè ãðàäèåíòà. Òàêàÿ ïðîöåäóðà ïîâòîðÿåòñÿ ïîñëåäîâàòåëüíî. Ýòîò ñïîñîá ñóùåñòâåííî îòëè÷àåòñÿ îò îáû÷íûõ ìåòîäîâ, â êîòîðûõ ïðè âû÷èñëåíèè îöåíêè ãðàäèåíòà, èçìåíèâ òîëüêî îäíó èç êîîðäèíàò îäíîé èç êîíòðîëüíûõ òî÷åê, âûïîëíÿþò ìîäåëèðîâàíèå, ïîâòîðÿÿ ýòîò ïðîöåññ ïðè èçìåíåíèè êàæäîé êîîðäèíàòû êàæäîé èç öåëåâûõ òî÷åê. Îäíîâðåìåííî èçìåíÿÿ âñå êîîðäèíàòû öåëåâûõ òî÷åê, óäàåòñÿ ñîêðàòèòü â 2r ðàç íåîáõîäèìîå äëÿ ïîëó÷åíèÿ ðåøåíèÿ ïîñòàâëåííîé çàäà÷è êîëè÷åñòâî ìîäåëèðîâàíèé, ñîêðàùàÿ âðåìÿ íà ðàçðàáîòêó ñòðàòåãèè ñ íåñêîëüêèõ äíåé äî ìèíóò è

4.3. ÎÁÓ×ÀÞÙÈÅÑß ÑÈÑÒÅÌÛ

225

÷àñîâ. Áîëåå ïîäðîáíîå îïèñàíèå ýòîãî ñïîñîáà îïðåäåëåíèÿ êîíòðîëüíûõ òî÷åê èìååòñÿ â [146, 148].

4.3.6

Ïîèñê ñêðûòûõ îáúåêòîâ ñ ïîìîùüþ ÝËÎ

Ýëåêòðîïðîâîäíûé ëîêàòîð îáúåêòîâ (ÝËÎ) îñíîâàí íà ïîäõîäå ê îïðåäåëåíèþ ìåñò ðàçìåùåíèÿ ñêðûòûõ îáúåêòîâ ñ ïîìîùüþ ïðîïóñêàíèÿ ýëåêòðè÷åñêîãî òîêà ÷åðåç çåìëþ â îáëàñòè, ïðåäïîëàãàåìîãî èõ íàõîæäåíèÿ. Èçìåðåíèÿ ýëåêòðè÷åñêèõ ïîòåíöèàëîâ ïðîèçâîäÿòñÿ âáëèçè ïîâåðõíîñòè. Ðàçûñêèâàåìûé îáúåêò èìååò ýëåêòðè÷åñêóþ ïðîâîäèìîñòü, îòëè÷íóþ îò ïðîâîäèìîñòè îêðóæàþùåé åãî ïî÷âû, òàê êàê â èíòåðåñóþùèõ èññëåäîâàòåëåé ñëó÷àÿõ îí âêëþ÷àåò â ñåáÿ ìåòàëë èëè ïëàñòìàññó. Òàêîãî òèïà îáúåêòû ðàçûñêèâàþòñÿ ïðè ðàçìèíèðîâàíèè èëè äåòåêòèðîâàíèè äðóãèõ ñêðûòûõ ïðåäìåòîâ. Ðàçðàáîòàííàÿ â ËÏÔ òåõíîëîãèÿ îãðàíè÷èâàåòñÿ ïîèñêîì îáúåêòîâ, ðàñïîëîæåííûõ íà ãëóáèíå îò 5 äî 500 ñì íà ïëîùàäè îò 10 äî 30 êâ.ì. [207]. Îñíîâíîé ïðèíöèï ðàáîòû ÝËÎ, ñîñòîÿùèé â îïðåäåëåíèè ðàçíèöû â ïðîâîäèìîñòè ìåæäó ñêðûòûì îáúåêòîì è îêðóæàþùåé ïî÷âîé, áàçèðóåòñÿ íà êîíñòðóèðîâàíèè êîíå÷íîýëåìåíòíîé ìîäåëè ïîäçåìíîãî ñëîÿ. Ýòî îïðåäåëÿåò óñëîâèÿ çàäà÷è îïòèìèçàöèè, ñâÿçàííûå ñ íåîïðåäåëåííîñòüþ îòíîñèòåëüíî ïðèðîäû ïîäçåìíîãî ñëîÿ è íàëè÷èåì ìíîãèõ ïîòåíöèàëüíûõ ïðèìåñåé (êàìíåé, ñòåðæíåé, äðåâåñíûõ êîðíåé è ò. ï.), êîòîðûå âëèÿþò íà ïðîâîäèìîñòü è ïðèâîäÿò ê âûñîêîé ðàçìåðíîñòè êîíå÷íîýëåìåíòíîé ìîäåëè. Ñâîéñòâåííûå çàäà÷å íåîïðåäåëåííîñòè äåëàþò íåïðèãîäíûìè ìåòîäû, îñíîâàííûå íà èñïîëüçîâàíèè çíà÷åíèé ãðàäèåíòà. Âûñîêàÿ ðàçìåðíîñòü çàäà÷è ïðèâîäèò ê òðóäîåìêèì ïî êîëè÷åñòâó îïåðàöèé ìåòîäàì ïîêîîðäèíàòíîé àïïðîêñèìàöèè (àïïðîêñèìàöèÿ ãðàäèåíòà ïî îäíîé ïåðåìåííîé çà îäèí òàêò âðåìåíè). SPSA àëãîðèòì áûë ïðåäëîæåí äëÿ èñïîëüçîâàíèÿ ñ öåëüþ îáåñïå÷åíèÿ îòíîñèòåëüíî ïðîñòîãî è áûñòðîãî ðåøåíèÿ çàäà÷è. Íàïðèìåð, àíàëèç ðåçóëüòàòîâ ïîâåðõíîñòíûõ äàííûõ îäíîãî èç ïîëåâûõ îïûòîâ ïîçâîëèë äîñòè÷ü ýôôåêòèâíîé ñõîäèìîñòè àëãîðèòìà çà îòíîñèòåëüíî íåáîëüøîå âðåìÿ: 4 ìèíóòû ïðè ðàñ÷åòàõ íà 180 ÌÃö ïåðñîíàëüíîì êîìïüþòåðå ñ ïðîöåññîðîì Pentium, ïðè ýòîì âû÷èñëåíèÿ ïî îáû÷íîìó êîíå÷íî-ýëåìåíòíîìó ìåòîäó çàíÿëè áû ïðèáëèçèòåëüíî îò 6 äî 7 ÷àñîâ íà òîì æå ñàìîì êîìïüþòåðå. Çíà÷èòåëüíîå êîëè÷åñòâî ïðàêòè÷åñêèõ èñïûòàíèé ïîêàçûâàåò åùå áîëüøóþ îòíîñèòåëüíóþ ýêîíîìèþ âðåìåíè. Îïèñàíèå ÝËÎ è íåêîòîðûõ èç ïîëåâûõ îïûòîâ äàþòñÿ â [124].

226

4.3.7

ÃËÀÂÀ 4. ÏÐÈÌÅÍÅÍÈß ÀËÃÎÐÈÒÌÎÂ

Èññëåäîâàíèå ðèòìè÷åñêîé ñòðóêòóðû ñòèõîâ

 ñèëó äîñòàòî÷íîé ñòåïåíè ðàçâèòèÿ è îáîñíîâàííîñòè ìåòîäîâ îïòèìèçàöèè, èõ èñïîëüçîâàíèå ïðè ðåøåíèè ðÿäà çàäà÷, âîçíèêàþùèõ ïðè ðåêîíñòðóêòèâíîì ìîäåëèðîâàíèè ñòèõîñëîæåíèÿ, ìîæåò ïîçâîëèòü áîëåå ãëóáîêî ïðîíèêíóòü â òàéíû ñîçäàíèÿ è âîñïðèÿòèÿ ñòèõîòâîðíîé ðå÷è.  ýòîé îáëàñòè çíàíèé ïðèíÿòî ñ áîëüøîé îñòîðîæíîñòüþ ãîâîðèòü î âîçìîæíîñòè òî÷íîãî ìàòåìàòè÷åñêîãî îïèñàíèÿ òåõ èëè èíûõ àñïåêòîâ òâîð÷åñêîé äåÿòåëüíîñòè è ìåõàíèçìîâ èõ âîñïðèÿòèÿ, òåì áîëåå î äèôôåðåíöèðîâàíèè êàêîé-òî ìèíèìèçèðóåìîé ôóíêöèè, òî÷íûé âèä êîòîðîé ìàëî êòî îòâàæèòñÿ íàïèñàòü. Hî â ïîñëåäíåå âðåìÿ ñàì ôàêò íàëè÷èÿ êàêèõ-òî êà÷åñòâåííûõ çàâèñèìîñòåé ïðèçíàåòñÿ ìíîãèìè ó÷åíûìè. Ïðè ëèíãâèñòè÷åñêèõ èññëåäîâàíèÿõ ñòèõîòâîðíûé òåêñò çàíèìàåò âàæíîå ìåñòî êàê îñîáîãî ðîäà ðå÷ü. Ïðè ýòîì ïîäâåðãàþòñÿ àíàëèçó íå îáùåÿçûêîâûå ÷åðòû ýòîé ðå÷è, à òàêèå ñïåöèôè÷åñêèå, êàê ìåòðèêà, ðèòìèêà, ðèôìà è ñòðîôèêà. ×åòêàÿ ôîðìàëüíàÿ âûðàæåííîñòü ýòèõ ÿâëåíèé ñîçäàåò áëàãîïðèÿòíûå óñëîâèÿ äëÿ èõ èçó÷åíèÿ ñ ïîìîùüþ ìàòåìàòè÷åñêèõ ìåòîäîâ. Îäíèì èç îñíîâîïîëîæíèêîâ òàêèõ èññëåäîâàíèé ÿâëÿåòñÿ À.Í.Êîëìîãîðîâ [44]. Èçó÷åíèå ðèòìè÷åñêîé ñòðóêòóðû äàåò áîãàòûé ìàòåðèàë äëÿ ïîíèìàíèÿ ðèòìè÷åñêîãî òåêñòà. Òåì íå ìåíåå, åãî ñóùíîñòíàÿ ñòîðîíà ïîïðåæíåìó îñòàåòñÿ ñêðûòîé îò èññëåäîâàòåëÿ. Ïðè÷èíà ñîñòîèò â òîì, ÷òî ýòîò òåêñò ÿâëÿåò ñîáîé ïðîöåññ âíóòðåííåé ïåðåðàáîòêè ðèòìè÷åñêîé ñòðóêòóðû. Îñíîâíûå êîìïîíåíòû ýòîãî ïðîöåññà  ìåòð è ðèòì  èìåþò ñóãóáî âíóòðåííåå ñóùåñòâîâàíèå. Ïðåäëîæåííàÿ Ì.À.Êðàñíîïåðîâîé [47] êîíöåïöèÿ ðåêîíñòðóêòèâíîãî ìîäåëèðîâàíèÿ ñòèõîñëîæåíèÿ ïðåäñòàâëÿåò ñîáîé ãèïîòåòè÷åñêîå îïèñàíèå ãëóáèííûõ ïðîöåññîâ è ìåõàíèçìîâ, äåéñòâóþùèõ ïðè ñîçäàíèè è âîñïðèÿòèè ñòèõîòâîðíîãî òåêñòà â ñôåðå åãî ðèòìèêè. Ýòà êîíöåïöèÿ îïèðàåòñÿ, ïðåæäå âñåãî, íà äîñòèæåíèÿ ðóññêîãî ñòèõîâåäåíèÿ, íàêîïëåííûå íà ïðîòÿæåíèè åãî áîëåå ÷åì äâóõñîòïÿòèäåñÿòèëåòíåé èñòîðèè, õîòÿ ðàçâèâàåìûå ðàíåå òåîðèè è ïîäõîäû ê èçó÷åíèþ ðèòìèêè ñòèõà áûëè îðèåíòèðîâàíû, ãëàâíûì îáðàçîì, íà îïèñàíèå ïðèíöèïîâ îðãàíèçàöèè ðèòìè÷åñêîãî òåêñòà.  îñíîâó ìîäåëè ïîëîæåíà ãèïîòåçà, ñîãëàñíî êîòîðîé ïðè ñîçäàíèè è âîñïðèÿòèè ñòèõîòâîðíîãî òåêñòà åãî ðèòìè÷åñêàÿ ñòðóêòóðà îòäåëÿåòñÿ îò çâóêîâîãî íàïîëíåíèÿ è ïîñòóïàåò â âåäåíèå íàõîäÿùåãîñÿ â ìîçãó ñïåöèàëèçèðîâàííîãî ìåõàíèçìà. Ìîäåëü ÿâëÿåòñÿ óïðîùåííûì ãèïîòåòè÷åñêèì îïèñàíèåì ýòîãî ìåõàíèçìà è åãî ôóíêöèé. Îíà èìååò ñåìèîòè÷åñêèé õàðàêòåð è íå ïðåòåíäóåò íà íåéðîôèçèîëîãè÷åñêîå îïèñàíèå. Ìîäåëü ïîñòðîåíà â ïðèìåíåíèè ê ðóññêîìó ñòèõó

4.3. ÎÁÓ×ÀÞÙÈÅÑß ÑÈÑÒÅÌÛ

227

êëàññè÷åñêîãî ðàçìåðà.

Îñíîâíûìè ýëåìåíòàìè ìîäåëè ÿâëÿþòñÿ ìåõàíèçì ðåöåïöèè è ìåõàíèçì ãåíåðàöèè. Ê íàñòîÿùåìó âðåìåíè òåîðåòè÷åñêèå îñíîâû ìåõàíèçìà ðåöåïöèè äîñòàòî÷íî ïîëíî ðàçðàáîòàíû è ïîäòâåðæäàþòñÿ ïðàêòè÷åñêèìè èññëåäîâàíèÿìè îòäåëüíûõ ôðàãìåíòîâ ñòèõîòâîðíûõ ïðîèçâåäåíèé. Ïðèìåíåíèå ìîäåëè ê èñõîäíûì ìàòåðèàëàì áîëüøîãî ðàçìåðà íàòàëêèâàåòñÿ íà ñóùåñòâåííûå òðóäíîñòè ìíîãîìåðíîé îïòèìèçàöèè â óñëîâèÿõ îòñóòñòâèÿ òî÷íîé ìàòåìàòè÷åñêîé ôîðìóëèðîâêè çàäà÷è, è, ñëåäîâàòåëüíî, íåâîçìîæíîñòè èñïîëüçîâàòü êëàññè÷åñêèå ìåòîäû îïòèìèçàöèè. Hà âõîä ìåõàíèçìà ðåöåïöèè ïîñòóïàþò ðèòìè÷åñêèå ñòðîêè, êîëè÷åñòâåííîå ïðåäñòàâëåíèå êîòîðûõ îïðåäåëÿåòñÿ áîëüøèì íàáîðîì ïîäñòðàèâàåìûõ ïàðàìåòðîâ (íà÷àëüíîå, êîíå÷íîå, ìàêñèìàëüíîå çíà÷åíèå óðîâíÿ ïðîèçíîøåíèÿ êàæäîãî ñëîãà ðèòìè÷åñêîé ñòðîêè, äëèíû èõ ó÷àñòêîâ ïîäúåìà è ñïóñêà). Äëÿ ýòèõ ïàðàìåòðîâ òðóäíî ïðåäëîæèòü äåòåðìèíèðîâàííûé ñïîñîá çàäàíèÿ. Òî÷íîìó îïèñàíèþ ïîääàåòñÿ òîëüêî íàáîð íåêîòîðûõ îãðàíè÷åíèé, êîòîðîìó äîëæåí óäîâëåòâîðÿòü íàáîð ïàðàìåòðîâ ðèòìè÷åñêîé ñòðîêè. Ïðè ïëîõîì âûáîðå ïàðàìåòðîâ ðèòìè÷åñêîé ñòðîêè ìîäåëü ìåõàíèçìà ðåöåïöèè ìîæåò îêàçàòüñÿ íåóñòîé÷èâîé (â ìàòåìàòè÷åñêîì ñìûñëå) è ñîîòâåòñòâåííî öåííîñòü ïîëó÷àåìûõ ñ åå ïîìîùüþ õàðàêòåðèñòèê âíóòðåííåãî ðèòìà ñòèõà ñòàíîâèòñÿ íåâûñîêîé.

Äëÿ îïòèìèçàöèè âûáîðà íàèáîëåå ïîäõîäÿùåãî ïðåäñòàâëåíèÿ ðèòìè÷åñêîé ñòðîêè, ïîñòóïàþùåãî íà âõîä ìåõàíèçìà ðåöåïöèè ìîäåëè Ì.À.Êðàñíîïåðîâîé, â [25] ðåêîìåíäóåòñÿ âîñïîëüçîâàòüñÿ îäíèì èç ðàíäîìèçèðîâàííûõ àëãîðèòìîâ ñòîõàñòè÷åñêîé àïïðîêñèìàöèè. Öåëüþ îïòèìèçàöèè ÿâëÿåòñÿ äîñòèæåíèå íàèáîëåå óñòîé÷èâîãî ïîâåäåíèÿ êîëè÷åñòâåííûõ õàðàêòåðèñòèê, ïîëó÷àåìîé âíóòðåííåé ñòðóêòóðû ðèòìè÷åñêîãî òåêñòà. Èççà áîëüøîé ðàçìåðíîñòè íàáîðà ïàðàìåòðîâ ðèòìè÷åñêîé ñòðîêè (íåñêîëüêî äåñÿòêîâ) èñïîëüçîâàíèå ïîñëåäîâàòåëüíîãî àëãîðèòìà îöåíèâàíèÿ ñ ïðîáíûì âîçìóùåíèåì, îäíîâðåìåííûì ïî âñåì êîîðäèíàòàì èñêîìîãî âåêòîðà ïàðàìåòðîâ, ïîçâîëÿåò íà êàæäîé èòåðàöèè ñóùåñòâåííî ñîêðàòèòü êîëè÷åñòâî íåóäà÷íûõ ïîïûòîê ìîäåëèðîâàíèÿ ïðîöåññà ðåàëèçàöèè ðèòìè÷åñêîé ñòðîêè. Òåîðåòè÷åñêîå îáîñíîâàíèå ìåòîäà ïîçâîëÿåò ãîâîðèòü î åãî ýôôåêòèâíîñòè è ïðè íåòî÷íîì çàäàíèè îïòèìèçèðóåìîé ôóíêöèè.

228

ÃËÀÂÀ 4. ÏÐÈÌÅÍÅÍÈß ÀËÃÎÐÈÒÌÎÂ

4.4 Îïòèìèçàöèÿ ñèñòåì ðåàëüíîãî âðåìåíè Îïèñàíèå íåêîòîðûõ ïðàêòè÷åñêèõ ïðèìåíåíèé ðàíäîìèçèðîâàíûõ àëãîðèòìîâ ñòîõàñòè÷åñêîé àïïðîêñèìàöèè â ñèñòåìàõ ìàññîâîãî îáñëóæèâàíèÿ ìîæíî íàéòè, íàïðèìåð, â [130, 147].

4.4.1

Îòñëåæèâàíèå äðåéôà ýêñòðåìóìà íåñòàöèîíàðíîãî ôóíêöèîíàëà

Ïóñòü Qn (w; x)  ñëó÷àéíàÿ ôóíêöèÿ äèñêðåòíîãî âðåìåíè (n = 1; 2; : : :) è ñëó÷àéíîãî âåêòîðíîãî ïàðàìåòðà x. Îáîçíà÷èì ÷åðåç fn (x) ôóíêöèîíàë ñðåäíåãî ðèñêà: fn(x) = Ew fQn (w; x)g: Òî÷êó ìèíèìóìà ôóíêöèîíàëà fn (x) îáîçíà÷èì n = arg min f (x): x n

Òðåáóåòñÿ ïî íàáëþäåíèÿì (ìîæåò áûòü ñ äîïîëíèòåëüíûìè ïîìåõàìè) çà ñëó÷àéíûìè âåëè÷èíàìè Qn (wn ; xn ) ëèáî rx Qn (wn ; xn ); n = 1; 2; : : : ïîñòðîèòü ïîñëåäîâàòåëüíîñòü îöåíîê f^n g, îòñëåæèâàþùèõ èçìåíåíèÿ ïàðàìåòðà  n , äëÿ êîòîðîé

k^n nk ! min â êàêîìíèáóäü ñìûñëå. Îïèñàííàÿ çàäà÷à îòñëåæèâàíèÿ äðåéôà ýêñòðåìóìà âîçíèêàåò ïðè îïòèìèçàöèè ðàáîòû ñèñòåì ðåàëüíîãî âðåìåíè, â ÷àñòíîñòè, â çàäà÷å àäàïòèâíîãî óïðàâëåíèÿ, åñëè ïàðàìåòðû îáúåêòà è (èëè) ïîêàçàòåëü êà÷åñòâà óïðàâëåíèÿ èçìåíÿþòñÿ âî âðåìåíè [94]. Òàêîãî æå òèïà ïðîáëåìû âñòðå÷àþòñÿ â òåîðèè êîììóíèêàöèé ïðè îïòèìèçàöèè ðàáîòû àäàïòèâíîãî ýêâàëàéçåðà, ïðè çàãðóçêå èçìåíÿþùèõñÿ ñî âðåìåíåì êàíàëîâ, ïðè àäàïòèâíîì ïîäàâëåíèè øóìîâ èëè ïðè îïòèìèçàöèè ðàáîòû ñèñòåì îáíàðóæåíèÿ ñèãíàëîâ, êîãäà ãåíåðèðóåìûå ñèãíàëû èëè ïîìåõè, èëè õàðàêòåðèñòèêè êàíàëîâ ìåíÿþòñÿ ñî âðåìåíåì. Óñïåøíîå ðåøåíèå çàäà÷è ñâÿçàíî ñ ïðåäïîëîæåíèÿìè î õàðàêòåðå äðåéôà è ñòîõàñòè÷åñêèõ ñâîéñòâàõ ôóíêöèè Qn (w; x) ëèáî åå ãðàäèåíòà. ×àñòî ïðèíèìàåòñÿ, ÷òî èçìåíåíèå ýêñòðåìàëüíîé òî÷êè âî âðåìåíè ïðîèñõîäèò ïî ñòåïåííîìó çàêîíó (ïîëèíîìèàëüíûé äðåéô), ò. å.  n îïðåäåëÿåòñÿ íåêîòîðûì ñîîòíîøåíèåì l X n  = ak nk k=0

4.4. ÑÈÑÒÅÌÛ ÐÅÀËÜÍÎÃÎ ÂÐÅÌÅÍÈ

229

c íåèçâåñòíûìè, ïîäëåæàùèìè îöåíèâàíèþ êîýôôèöèåíòàìè. Âîçìîæíû è äðóãèå çàêîíû îïèñàíèÿ äðåéôà ýêñòðåìóìà, îïðåäåëåííûå ñ òî÷íîñòüþ äî êîíå÷íîãî íàáîðà íåèçâåñòíûõ ïàðàìåòðîâ. Îáû÷íî ïðåäïîëàãàþò, ÷òî ïîìåõè íàáëþäåíèÿ ïðåäñòàâëÿþò ñîáîé ðåàëèçàöèþ íåêîòîðîé öåíòðèðîâàííîé ñëó÷àéíîé âåëè÷èíû. Ïîýòîìó â ëèòåðàòóðå (íàïðèìåð, [158]) ïðè ðàññìîòðåíèè òàêîãî òèïà çàäà÷ áåç ïîòåðè îáùíîñòè ïðè ïîñòàíîâêå çàäà÷è ñ÷èòàþò, ÷òî âåëè÷èíû Qn (w; x) (èëè rx Qn (w; x)) çàäàþòñÿ òî÷íî, òàê êàê âñå íåîïðåäåëåííîñòè ïðåäïîëàãàþò âêëþ÷åííûìè â w.  ñëó÷àå ïðîèçâîëüíûõ ïîìåõ vn ìîæíî ðàññìàòðèâàòü ìîäåëü íàáëþäåíèé â âèäå

yn = Qn (wn ; xn ) + vn ; òàê êàê, íàïðèìåð, â ñëó÷àå íåèçâåñòíûõ îãðàíè÷åííûõ äåòåðìèíèðîâàííûõ ïîìåõ fn(x) 6= Ew fQn (w; x) + vn g: Ñðåäè ìíîæåñòâà àëãîðèòìîâ, èñïîëüçóåìûõ äëÿ îòñëåæèâàíèÿ ïàðàìåòðîâ  n , ñòàðàþòñÿ âûáðàòü, ñ îäíîé ñòîðîíû, íàèáîëåå ñîîòâåòñòâóþùèé ñäåëàííûì äîïóùåíèÿì î õàðàêòåðå èçìåíåíèÿ ïàðàìåòðîâ, à, ñ äðóãîé ñòîðîíû, òàêîé, ÷òîáû îí áûë ïðèìåíèìûì ñ âû÷èñëèòåëüíîé òî÷êè çðåíèÿ. ×àñòî èñïîëüçóþòñÿ àëãîðèòìû ñòîõàñòè÷åñêîé àïïðîêñèìàöèè ñ ôèêñèðîâàííûì øàãîì, ðåêóððåíòíûé èëè ëèíåàðèçîâàííûé ìåòîä íàèìåíüøèõ êâàäðàòîâ ñ çàáûâàþùèìè ìíîæèòåëÿìè èëè àäàïòèâíûé âàðèàíò ôèëüòðà ÊàëìàíàÁüþñè.  ñëåäóþùèõ òðåõ ïóíêòàõ îïèñàíî íåñêîëüêî ïðèìåðîâ êîíêðåòíûõ ïðàêòè÷åñêèõ çàäà÷ îïòèìèçàöèè âûáîðà ïàðàìåòðîâ òîé èëè èíîé ñèñòåìû â èçìåíÿþùèõñÿ ñî âðåìåíåì óñëîâèÿõ.

4.4.2

Îïòèìèçàöèÿ ðàáîòû ìàðøðóòèçàòîðà

Ðàññìîòðèì çàäà÷ó îá îïòèìèçàöèè ðàáîòû ìàðøðóòèçàòîðà â âû÷èñëèòåëüíîé ñåòè, ðàñïðåäåëÿþùåãî â ðåæèìå ðåàëüíîãî âðåìåíè ïîñòóïàþùèå â ñèñòåìó çàïðîñû ïî äâóì êàíàëàì. Ïðåäïîëîæèì, ÷òî çàïðîñû ïðèõîäÿò â ñèñòåìó ñëó÷àéíûì îáðàçîì â äèñêðåòíûå ìîìåíòû âðåìåíè ïåðåêëþ÷åíèÿ.  êàæäûé ìîìåíò ïðèõîäèò íå áîëåå îäíîãî çàïðîñà è âåðîÿòíîñòü òîãî, ÷òî ïîñòóïèâøèå â ìîìåíò âðåìåíè t äàííûå íå çàâèñÿò îò t ðàâíà  > 0. Äëÿ êàæäîãî èç ïîñòóïèâøèõ çàïðîñîâ ñóùåñòâóþò äâà âàðèàíòà ìàðøðóòîâ, ïðè ýòîì i-ûé ìàðøðóò ñîäåðæèò li ëèíèé è ìîæåò îäíîâðåìåííî îáðàáàòûâàòü li çàïðîñîâ.

230

ÃËÀÂÀ 4. ÏÐÈÌÅÍÅÍÈß ÀËÃÎÐÈÒÌÎÂ

Áóäåì ñ÷èòàòü, ÷òî äëèòåëüíîñòè îáðàáîòêè çàïðîñîâ è èíòåðâàëû ìåæäó çàïðîñàìè ÿâëÿþòñÿ âçàèìíî íåçàâèñèìûìè ñëó÷àéíûìè âåëè÷èíàìè. Âûáåðåì ñëó÷àéíîå ïðàâèëî ìàðøðóòèçàöèè, èçìåíÿåìîå ñëåäóþùåé ñòîõàñòè÷åñêîé ïðîöåäóðîé. Çàäàåòñÿ ^1 = l1 =(l1 + l2 ) è íåêîòîðûé ñïîñîá ïåðåñ÷åòà ïàðàìåòðà ^t â ñëåäóþùèå ìîìåíòû âðåìåíè. Åñëè çàïðîñ ïðèõîäèò â ìîìåíò âðåìåíè t, òîãäà îí îòïðàâëÿåòñÿ ïî ìàðøðóòó 1 ñ âåðîÿòíîñòüþ ^t ; 0 < ^t < 1 è ïî ìàðøðóòó 2 ñ âåðîÿòíîñòüþ 1 ^t . Îïðåäåëèì øòðàôíóþ ôóíêöèþ (ñòîèìîñòè, ïîòåðü) qt ïî ïðàâèëó.  ìîìåíò âðåìåíè t, åñëè îäíà èç ëèíèé ìàðøðóòà, âûáðàííîãî ïî çàäàííîìó ñëó÷àéíîìó àëãîðèòìó, ñâîáîäíà, òî ïðèíèìàåì qt = 0 è òåêóùèé çàïðîñ íà÷èíàåò îáðàáàòûâàòüñÿ íà ñâîáîäíîé ëèíèè. Åñëè âñå ëèíèè âûáðàííîãî ìàðøðóòà çàíÿòû â ýòîò ìîìåíò âðåìåíè, òîãäà çàïðîñ ïåðåàäðåñîâûâàåòñÿ â äðóãîé ìàðøðóò. Åñëè àëüòåðíàòèâíûé ìàðøðóò òàêæå ïîëíîñòüþ çàíÿò, òî çàïðîñ ñèñòåìîé èãíîðèðóåòñÿ è qt = 0, åñëè ñâîáîäåí, òî îí íà÷èíàåò îáðàáàòûâàòüñÿ íà îäíîé èç ëèíèé ýòîãî ìàðøðóòà è qt = 1. Öåëü îïòèìèçàöèè âûáîðà ïðàâèëà ìàðøðóòèçàöèè ñîñòîèò â ìèíèìèçàöèè ñðåäíåé ôóíêöèè ïîòåðü

1 lim T !1 T

T X

k=1

qk :

Îáîçíà÷èì  t  îòíîøåíèå â ìîìåíò âðåìåíè t ÷èñëà ñâîáîäíûõ ëèíèé íà ïåðâîì ìàðøðóòå ê îáùåìó ÷èñëó ñâîáîäíûõ ëèíèé íà ïåðâîì è âòîðîì. Åñëè â ìîìåíò âðåìåíè t âñå ëèíèè çàíÿòû, òî ñ÷èòàåì  t =  t 1 . Îïðåäåëèì âåêòîð  t t = 1t ; 2 çíà÷åíèÿ êîîðäèíàò êîòîðîãî ñîîòâåòñòâóþò çàãðóæåííîñòè êàæäîãî èç ìàðøðóòîâ â ìîìåíò âðåìåíè t. Èçìåíÿþùèéñÿ ïàðàìåòð  t ÿâëÿåòñÿ êîðíåì ôóíêöèè

ft (x) = (l2 2t )x (l1

1t )(1 x):

Åñëè áû óäàëîñü ïîñòðîèòü ïðàâèëî, ïî êîòîðîìó ðåàëüíîå çíà÷åíèå ïàðàìåòðà  t ïðåäñêàçûâàëîñü áû òî÷íî, ò. å. ìîæíî áûëî áû âûáðàòü ^t = t , òî îïèñàííûé àëãîðèòì ïðèíÿòèÿ ðåøåíèÿ îáëàäàë áû îïðåäåëåííûìè îïòèìàëüíûìè ñâîéñòâàìè. Âèä ôóíêöèè ft (x) ïîäñêàçûâàåò àëãîðèòì äëÿ ïåðåñ÷åòà ïàðàìåòðà ^t ïðàâèëà, âûáèðàþùåãî íîìåð ìàðøðóòà:

^1 = l1 =(l1 + l2 );

4.4. ÑÈÑÒÅÌÛ ÐÅÀËÜÍÎÃÎ ÂÐÅÌÅÍÈ 

(4.11)

^t = P[A;B] ^t

1



 (l2

2t )^t 1

231

(l1

1t )(1

^t 1 )



;

ãäå t = 2; 3; : : :,   âåëè÷èíà ðàçìåðà øàãà àëãîðèòìà, 0 < A < B < 1  íåêîòîðûå óðîâíè óñå÷åíèÿ (ñðåçêè) è P[A;B ] (
)  îïåðàòîð óñå÷åíèÿ (ïðîåêòèðîâàíèÿ). Ìîæíî ðàññìàòðèâàòü è óìåíüøàþùóþñÿ ïîñëåäîâàòåëüíîñòü âåëè÷èí ðàçìåðîâ øàãîâ â àëãîðèòìå, íî íà ïðàêòèêå åñòåñòâåííî ïîæåëàíèå îòñëåæèâàòü äèíàìè÷åñêèå èçìåíåíèÿ ñòàòèñòè÷åñêèõ ñâîéñòâ ïîñëåäîâàòåëüíîñòè ïîñòóïàþùèõ çàïðîñîâ. Äëÿ ýôôåêòèâíîãî èñïîëüçîâàíèÿ ýòîãî àëãîðèòìà íóæíî âûáðàòü ïîäõîäÿùåå çíà÷åíèå . Ïî ñìûñëó, ìû èìååì äâå çàäà÷è îöåíèâàíèÿ îäíîâðåìåííî. Ïåðâàÿ  îòñëåæèâàíèå  t , âòîðàÿ  îöåíèâàíèå îïòèìàëüíîé âåëè÷èíû ðàçìåðà øàãà äëÿ àëãîðèòìà îòñëåæèâàíèÿ ? . Âûáåðåì íåêîòîðîå íàòóðàëüíîå ÷èñëî N , çàäàþùåå äëèíó îòðåçêà âðåìåíè, íà êîòîðîì êîýôôèöèåíò  íå áóäåò èçìåíÿòüñÿ. Îáîçíà÷èì n çíà÷åíèå êîýôôèöèåíòà  â àëãîðèòìå îòñëåæèâàíèÿ f t g, èñïîëüçóåìîå íà èíòåðâàëå t 2 [(n 1)N; Nn 1) è ïóñòü

yn =

1 N

Nn X k=(n 1)N +1

qk

 ñðåäíåå çíà÷åíèå ôóíêöèè ïîòåðü íà èíòåðâàëå ((n 1)N + 1; Nn]. Îáîçíà÷èì wn  ñëó÷àéíóþ âåëè÷èíó, âêëþ÷àþùóþ â ñåáÿ âñþ èíôîðìàöèþ î ïîñòóïèâøèõ íà èíòåðâàëå ((n 1)N + 1; Nn] çàêàçàõ (âðåìÿ ïîñòóïëåíèÿ, íîìåð ìàðøðóòà è ëèíèè, âðåìÿ îáðàáîòêè). Ïðè äîñòàòî÷íî áîëüøîì N ìîæíî ñ÷èòàòü, ÷òî yn ÿâëÿåòñÿ èçìåðåíèåì íåêîòîðîé ôóíêöèè F (wn ; n ) ñ àääèòèâíîé ïîìåõîé, çàâèñÿùåé îò ïðåäûñòîðèè ïðîöåññà. Âåëè÷èíó ðàçìåðà øàãà àëãîðèòìà öåëåñîîáðàçíî âûáèðàòü èç íåêîòîðîãî îòðåçêà [ ; + ]; 0 <  < + â ñîîòâåòñòâèè ñ êàêîé íèáóäü ðåêóððåíòíîé ïðîöåäóðîé, ìèíèìèçèðóþùåé

Ew fF (w; )g; ÷òî â îïðåäåëåííîì ñìûñëå ñîîòâåòñòâóåò èñõîäíîé ïîñòàíîâêå çàäà÷è. Ìîæíî âîñïîëüçîâàòüñÿ, íàïðèìåð, ðàíäîìèçèðîâàííûì àëãîðèòìîì ñòîõàñòè÷åñêîé àïïðîêñèìàöèè òèïà (3.3) ñ ïîñòîÿííûì øàãîì, èñïîëüçóþùèì íà êàæäîé èòåðàöèè äâà çàøóìëåííûõ èçìåðåíèÿ íåèçâåñòíîé ôóíêöèè. Âíà÷àëå âûáèðàåòñÿ íåêîòîðîå 1 2 [ ; + ], êîòîðîå èñïîëüçóåòñÿ â àëãîðèòìå (4.11) íà ïåðâûõ N èòåðàöèÿõ. Íà êàæäîì ÷åòíîì N -îì èíòåðâàëå âðåìåíè ê ïðåäûäóùåìó çíà÷åíèþ 2n 1 äîáàâëÿåòñÿ óìíîæåííîå íà íåêîòîðóþ ïîñòîÿííóþ íåçàâèñèìîå ïðîáíîå âîçìóùåíèå

ÃËÀÂÀ 4. ÏÐÈÌÅÍÅÍÈß ÀËÃÎÐÈÒÌÎÂ

232


n , ðàâíîå 1 ñ îäèíàêîâîé âåðîÿòíîñòüþ,

2n = P[

;+ ] (2n 1 +
n ):

Íà ïîñëåäóþùèõ íå÷åòíûõ èíòåðâàëàõ èñïîëüçóþòñÿ

2n+1 = P[



;+ ]

2n

1

y y h
n 2n 2n

1



;

ãäå h > 0  äîñòàòî÷íî ìàëûé ïàðàìåòð àëãîðèòìà. Òàêîé ñïîñîá âûáîðà  íàçûâàþò àäàïòèâíûì àëãîðèòìîì âûáîðà âåëè÷èíû ðàçìåðà øàãà. Ïðè ýòîì àëãîðèòì îòñëåæèâàíèÿ îïòèìàëüíîãî çíà÷åíèÿ f n g èìååò âèä 

^t = P[A;B] ^t

1

[t=N ] ((l2 2t )^t

1

(l1



1t )(1 ^t 1 ) :

 ýòîì àëãîðèòìå âåëè÷èíà ðàçìåðà øàãà õîòü è ìåíÿåòñÿ ñî âðåìåíåì, íî íå ñòðåìèòñÿ ê íóëþ. Âûáîð âåðõíåãî óðîâíÿ + î÷åíü âàæåí äëÿ õîðîøåãî ïîâåäåíèÿ àëãîðèòìà (ñì. [158]). Îïòèìàëüíîå çíà÷åíèå âåëè÷èíû ðàçìåðà øàãà àëãîðèòìà îòñëåæèâàíèÿ ïàðàìåòðîâ ÷àñòî áûâàåò áëèçêèì ê òî÷êå, ïðè êîòîðîé àëãîðèòì îöåíèâàíèÿ ïàðàìåòðîâ ñòàíîâèòñÿ íåñòàáèëüíûì.  ýòîì ñëó÷àå ìîæíî ïîëó÷èòü íåïðàâèëüíîå ïîâåäåíèå îöåíîê f^t g è äàæå f ^ n g. Äëÿ ëó÷øåãî êà÷åñòâà îöåíîê àëãîðèòìà îòñëåæèâàíèÿ è õîðîøåãî ïåðåõîäíîãî ïðîöåññà ÷àñòî ñòàðàþòñÿ íàéòè íàèáîëüøåå çíà÷åíèå , âûáîð êîòîðîãî íå ïðîòèâîðå÷èë áû ïîëó÷åíèþ õîðîøåé àñèìïòîòè÷åñêîé äèñïåðñèè îøèáêè ^n  n . Hî êîãäà  ñòàíîâèòñÿ áëèçêî ê òî÷êå íåñòàáèëüíîñòè, òðàåêòîðèè f^n g èìåþò òåíäåíöèþ ê ïðîÿâëåíèþ øèðîêèõ îòêëîíåíèé. Ïî ýòîé ïðè÷èíå íå ñëåäóåò âûáèðàòü + ñëèøêîì áîëüøèì íà ïåðâîå âðåìÿ. Åñëè ðàçìåð øàãà  ^n ïðèáëèæàåòñÿ ê âåðõíåé ãðàíèöå + , à ïîâåäåíèå îöåíîê àëãîðèòìà îòñëåæèâàíèÿ îñòàåòñÿ õîðîøèì, òî òîãäà ìîæíî óâåëè÷èòü + .

4.4. ÑÈÑÒÅÌÛ ÐÅÀËÜÍÎÃÎ ÂÐÅÌÅÍÈ

4.4.3

233

Îïòèìèçàöèÿ ðàáîòû ñåðâåðà

Ðàññìîòðèì çàäà÷ó ýôôåêòèâíîãî îáñëóæèâàíèÿ î÷åðåäè çàäàíèé îäíèì ñåðâåðîì. Ïóñòü ïðîöåññ ïîñòóïëåíèÿ çàäàíèé îò êëèåíòîâ ÿâëÿåòñÿ ñëó÷àéíûì. Âåðîÿòíîñòíîå ðàñïðåäåëåíèå âðåìåíè îáñëóæèâàíèÿ çàâèñèò îò âåùåñòâåííîãî âåêòîðíîãî ïàðàìåòðà x, êîòîðûé òðåáóåòñÿ âûáðàòü ñ öåëüþ ìèíèìèçèðîâàòü ñðåäíåå âðåìÿ îæèäàíèÿ êëèåíòàìè L(x) âìåñòå ñ íåêîòîðîé ñòîèìîñòüþ q (x) èñïîëüçîâàíèÿ ïàðàìåòðà x

f (x) = q(x) + L(x)  q(x) + lim N

1 N

N X i=1

Efyi (x)g;

ãäå yi (x)  âðåìÿ, çàòðà÷åííîå íà âûïîëíåíèå çàäàíèÿ, êîòîðîå, íàïðèìåð, áûëî çàêîí÷åíî i-ì ïî ñ÷åòó. Òðåáóåòñÿ íàéòè âåêòîð  , ìèíèìèçèðóþùèé f (x) ïî x èç íåêîòîðîãî êîìïàêòíîãî ìíîæåñòâà   R r . Âîîáùå ãîâîðÿ, L(x) î÷åíü òðóäíî âû÷èñëèòü. Ìîæíî, íàáëþäàÿ çà î÷åðåäüþ äëèòåëüíîå âðåìÿ (ôèêñèðóÿ âðåìÿ ïîñòóïëåíèÿ çàêàçà, âðåìÿ îòïðàâêè îòâåòà è âðåìÿ îáñëóæèâàíèÿ äëÿ êàæäîãî êëèåíòà), èñïîëüçîâàòü ïîëó÷åííûå äàííûå äëÿ îöåíêè ïðîèçâîäíîé ôóíêöèîíàëà êà÷åñòâà äëÿ òåêóùåãî çíà÷åíèÿ x = ^, ïîëó÷àþùåãîñÿ â ðåçóëüòàòå ïåðåñ÷åòà ïî íåêîòîðîìó ãðàäèåíòíîìó àëãîðèòìó. Çäåñü òåðìèí îöåíêà ïðîèçâîäíîé ïîíèìàåòñÿ â øèðîêîì ñìûñëå, òàê êàê îíà ìîæåò ïîëó÷àòüñÿ ñìåùåííîé. Îñíîâíàÿ òðóäíîñòü, îáùàÿ äëÿ ìíîãèõ ñèñòåì ðåàëüíîãî âðåìåíè, çàêëþ÷àåòñÿ â òîì, ÷òî îïòèìèçàöèÿ äîëæíà áûòü ïîëó÷åíà íà îñíîâàíèè íàáëþäåíèé òîëüêî íà êîíêðåòíîé òðàåêòîðèè ðåàëèçàöèè ñëó÷àéíîé âåëè÷èíû. Êðîìå òîãî, ñ òå÷åíèåì âðåìåíè îïòèìàëüíîå çíà÷åíèå  îáû÷íî äðåéôóåò. Íàïðèìåð, âî ìíîãèõ êîðïîðàòèâíûõ âû÷èñëèòåëüíûõ ñåòÿõ â íà÷àëå è êîíöå ðàáî÷åãî äíÿ áîëüøîå êîëè÷åñòâî êðàòêîâðåìåííûõ çàïðîñîâ ê ñåðâåðó, â òî âðåìÿ êàê â ñåðåäèíå äíÿ çàäàíèÿ ìîãóò ïîñòóïàòü ðåæå, íî áûòü áîëåå òðîäîåìêèìè, âîçìîæíû ñåçîííûå êîëåáàíèÿ ïàðàìåòðîâ çàãðóçêè ñåðâåðà è ò. ï. Ïóñòü x ôèêñèðîâàíî.  ðàññìàòðèâàåìîì ïðèìåðå íàáëþäàåòñÿ íåêîòîðàÿ òðàåêòîðèÿ (ðåàëèçàöèÿ) ôèçè÷åñêîãî ïðîöåññà íà äëèòåëüíîì èíòåðâàëå âðåìåíè è íàì íàäî íàéòè êîíñòðóêòèâíûé ñïîñîá äëÿ îöåíèâàíèÿ ïðîèçâîäíîé L0 (x) ïî ïîëó÷åííûì äàííûì. Ó ýêñïåðèìåíòàòîðà íåò âîçìîæíîñòè âûáèðàòü çíà÷åíèÿ ôóíêöèè â íåêîòîðîé îêðåñòíîñòè òî÷êè x äëÿ ôîðìèðîâàíèÿ îöåíêè ïðîèçâîäíîé â ýòîé òî÷êå. Îäèí èç îòâåòîâ íà âîïðîñ, êàê îáîñíîâàííî ïîñòóïàòü â òàêîé ñèòóàöèè, äàåò ìåòîä, íàçûâàåìûé àíàëèçîì áåñêîíå÷íî ìàëûõ âîçìóùåíèé, îñíîâû êîòîðîãî èçëîæåíû Õî è Êàî â [149].  ïîñëåäíåå âðåìÿ ýòîò

234

ÃËÀÂÀ 4. ÏÐÈÌÅÍÅÍÈß ÀËÃÎÐÈÒÌÎÂ

ìåòîä äîñòàòî÷íî ÷àñòî èñïîëüçóþò â ïðàêòè÷åñêèõ ïðèëîæåíèÿõ [149, 158, 211]. Åãî îáîñíîâàíèå ïðåäïîëàãàåò âûñîêóþ ñòåïåíü äîñòîâåðíîñòè çíàíèé î ôóíêöèè ïîòåðü. Âûáåðåì íåêîòîðîå äîñòàòî÷íî áîëüøîå íàòóðàëüíîå ÷èñëî N . Àëüòåðíàòèâíûé ñïîñîá îïòèìèçàöèè ðàáîòû ñåðâåðà çàêëþ÷àåòñÿ â ïðèìåíåíèè, íàïðèìåð, äëÿ ïîñòðîåíèÿ î÷åðåäíîé îöåíêè ^n ðåãóëèðóåìîãî ïàðàìåòðà ðàíäîìèçèðîâàííîãî àëãîðèòìà ñòîõàñòè÷åñêîé àïïðîêñèìàöèè òèïà (3.3) ñ íåçàâèñèìûì ïðîáíûì îäíîâðåìåííûì âîçìóùåíèåì f
ng;
n 2 Rr , êîìïîíåíòû êîòîðîãî íåçàâèñèìî äðóã îò äðóãà ðàâíû 1 ñ îäèíàêîâîé âåðîÿòíîñòüþ. Îöåíêè f^ng èçìåíÿþòñÿ ïîñëå ïîñëåäîâàòåëüíîãî îêîí÷àíèÿ îáñëóæèâàíèÿ êàæäîé ãðóïïû èç N çàêàçîâ. Äðóãèìè âîçìîæíûìè ñïîñîáàìè âûáîðà âðåìåíè èçìåíåíèÿ îöåíîê ìîãóò áûòü: îêîí÷àíèå N -ãî ïîñëåäîâàòåëüíîãî ïåðèîäà çàíÿòîñòè, êîíåö ïåðâîãî ïåðèîäà çàíÿòîñòè ïîñëå îòïðàâêè çàêàç÷èêàì ðåçóëüòàòîâ îáðàáîòêè N çàïðîñîâ, ñëó÷àéíàÿ ñìåñü âñåõ ýòèõ ìåòîäîâ è ò. ï.. Âñå ðàçóìíûå ïðàâèëà âûáîðà âðåìåíè èçìåíåíèÿ ïàðàìåòðîâ ïðèâîäÿò ê îäèíàêîâûì ïðåäåëüíûì ñâîéñòâàì îöåíîê.  àëãîðèòìå ñòîõàñòè÷åñêîé àïïðîêñèìàöèè áóäåì èñïîëüçîâàòü íîìåð ãðóïïû çàêàçîâ âìåñòî ðåàëüíîãî âðåìåíè. Çàäàäèì íåêîòîðîå ^1 2 .  ôèçè÷åñêîé ñèñòåìå ^1 èñïîëüçóåòñÿ äî ìîìåíòà îòïðàâêè N -ãî çàïðîñà, äàëåå ^2  2N -ãî çàïðîñà è ò. ä.. Âåëè÷èíó ðàçìåðà øàãà àëãîðèòìà öåëåñîîáðàçíî âûáðàòü ïîñòîÿííîé è äîñòàòî÷íî ìàëîé. Íà êàæäîì ÷åòíîì N -îì èíòåðâàëå âðåìåíè ê ïðåäûäóùåìó çíà÷åíèþ ^2n 1 äîáàâëÿåòñÿ
n

^2n = P (^2n 1 +
n ): Íà ïîñëåäóþùèõ íå÷åòíûõ èíòåðâàëàõ èñïîëüçóþòñÿ

^2n+1 = P ^2n

1


n

PN i=1 y(2n 1)N +i

N

y2(n

1)N +i

!

;

Çäåñü  > 0 è > 0  äîñòàòî÷íî ìàëûå ïàðàìåòðû àëãîðèòìà,  îïåðàòîð ïðîåêòèðîâàíèÿ â ìíîæåñòâî .

4.4.4

P(
)

Ðàñ÷åò öåí îïöèîíîâ

Ñ ìîìåíòà âîçíèêíîâåíèÿ â îáùåñòâå òîâàðíîäåíåæíûõ îòíîøåíèé, ïîÿâëåíèÿ áàíêîâ, êðåäèòîâ, à ïîçæå ôîíäîâûõ áèðæ, àêöèé, ôüþ÷åðñîâ è îïöèîíîâ, â ñèëó ñâîåé ñïåöèôèêè, îíè ñóùåñòâåííî âëèÿëè íà ðàçâèòèå íîâûõ èññëåäîâàòåëüñêèõ íàïðàâëåíèé â ìàòåìàòèêå (ñì., íàïðèìåð, [100, 153]).

4.4. ÑÈÑÒÅÌÛ ÐÅÀËÜÍÎÃÎ ÂÐÅÌÅÍÈ

235

 ïîñëåäíèå íåñêîëüêî äåñÿòèëåòèé â ñâÿçè ñ êîëîññàëüíûì ðîñòîì âîçìîæíîñòåé òåëåêîììóíèêàöèé êîëè÷åñòâî ó÷àñòíèêîâ (àãåíòîâ) â òîâàðíî-äåíåæíûõ îïåðàöèÿõ ñóùåñòâåííî âûðîñëî. Åñëè íà çàðå ñòàíîâëåíèÿ òîâàðíîäåíåæíûõ îòíîøåíèé âî ìíîãèõ îïåðàöèÿõ (ñäåëêàõ) ó÷àñòâîâàëî â îñíîâíîì äâà èëè íåñêîëüêî àãåíòîâ, òî ñåé÷àñ, íàïðèìåð, ïðè òîðãîâëå ÷åðåç áèðæó â îäíîé ïî ñóòè ñäåëêå ìîæåò ó÷àñòâîâàòü äîñòàòî÷íî ìíîãî ïðîäàâöîâ è ïîêóïàòåëåé. Ïðè áîëüøîì ðàçíîîáðàçèè àãåíòîâ íà ðûíêå, ó êàæäîãî èç êîòîðûõ ñâîè öåëè è âîçìîæíîñòè, ïðîöåññ ñïðîñà è ïðåäëîæåíèé íîñèò îò÷åòëèâî âûðàæåííûé ñòîõàñòè÷åñêèé õàðàêòåð. Äëÿ òîãî, ÷òîáû ê êàêîé-íèáóäü òîðãîâîé èëè èíâåñòèöèîííîé îïåðàöèè ïðèâëå÷ü áîëüøåå êîëè÷åñòâî ó÷àñòíèêîâ, áûëè ïðèäóìàíû àêöèè, äëÿ èõ êóïëèïðîäàæè áûëè îòêðûòû ôîíäîâûå áèðæè. Íî ïî÷òè ñðàçó îáùåñòâî ñòîëêíóëîñü ñ ñåðüåçíîé ïðîáëåìîé. Òàê êàê ïî ñâîåé ïðèðîäå àêöèè íå ñâÿçàíû íåïîñðåäñòâåííî ñ ìàòåðèàëüíûìè öåííîñòÿìè, à èõ îáðàùåíèå ïðîèñõîäèò â óäîáíîé è ëåãêîé ôîðìå, òî â ðàçâèòîì êàïèòàëèñòè÷åñêîì îáùåñòâå ïðîöåññ èõ öåíîîáðàçîâàíèÿ ïîäâåðæåí ñïåêóëÿòèâíûì òåíäåíöèÿì. Âëàäåëüöû êðóïíûõ ïàêåòîâ àêöèé çà ñ÷åò èãðû íà áèðæå ìîãóò ñóùåñòâåííî âëèÿòü íà òåêóùóþ öåíó. Ïîñòåïåííî íà ñìåíó õëåáíûì, íåôòÿíûì è ò.ï. êðèçèñàì â æèçíü îáùåñòâà âîøëè ôèíàíñîâûå êðèçèñû, íåãàòèâíîå âëèÿíèå êîòîðûõ â ðàçâèòîì îáùåñòâå ãîðàçäî ñèëüíåå ëþáîãî îòðàñëåâîãî êðèçèñà, òàê êàê ôèíàíñû  ýòî "êðîâÿíûå" àðòåðèè ÷åëîâå÷åñêîãî îáùåñòâà.  XX âåêå èñòîðèÿ çíàåò íåñêîëüêî ïðèìåðîâ î÷åíü ãëóáîêèõ ôèíàíñîâûõ êðèçèñîâ, çàäåâøèõ èíòåðåñû íå òîëüêî îòäåëüíûõ ëþäåé, à öåëûõ êðóïíûõ ãîñóäàðñòâ. ×åëîâå÷åñòâî íàøëî ýôôåêòèâíûé ñïîñîá ñòðàõîâêè îòäåëüíûõ ëþäåé, êîììåð÷åñêèõ ôèðì, îáùåñòâåííûõ ôîíäîâ, öåëûõ ãîñóäàðñòâ èëè ñîîáùåñòâ îò íåîáîñíîâàííûõ åñòåñòâåííûìè èëè äðóãèìè íåïðåîäîëèìûìè ïðè÷èíàìè ôèíàíñîâûõ êðèçèñîâ. Ïîÿâèëèñü ôüþ÷åðñíûå áèðæè, íà êîòîðûõ ñòàëè ïðîäàâàòü ïðîèçâîäíûå öåííûå áóìàãè  ôüþ÷åðñû è îïöèîíû. Ñóòü èäåè  îãðàíè÷èòü íà îïðåäåëåííîå âðåìÿ (îò îäíîãî ìåñÿöà äî íåñêîëüêèõ ëåò) ñðåäíþþ ñêîðîñòü ðîñòà èëè ïàäåíèÿ öåíû àêöèè.  íåêîòîðîì ìàòåìàòè÷åñêîì ñìûñëå ìîæíî ãîâîðèòü î ïîïûòêå îãðàíè÷èòü ñðåäíþþ àáñîëþòíóþ âåëè÷èíó ïðîèçâîäíîé îò ôóíêöèè, çàäàþùåé öåíó àêöèè.

Ôüþ÷åðñ  ýòî êîíòðàêò íà ïîêóïêó èëè ïðîäàæó â îïðåäåëåííûé äåíü â áóäóùåì àêöèè èëè äðóãîãî òîâàðà ïî çàðàíåå çàäàííîé öåíå. Âëàäåëåö ôüþ÷åðñíîãî êîíòðàêòà îáÿçàí â äåíü îêîí÷àíèÿ ôüþ÷åðñà âûïîëíèòü ñâîè îáÿçàòåëüñòâà ïî êóïëåïðîäàæå. Ïî ñâîåé ñóòè èãðà íà ðûíêå ôüþ÷åðñîâ áëèçêà êî ìíîãèì àçàðòíûì èãðàì. Òàê æå, êàê

236

ÃËÀÂÀ 4. ÏÐÈÌÅÍÅÍÈß ÀËÃÎÐÈÒÌÎÂ

è íà ðûíêå àêöèé, çàêîíû öåíîîáðàçîâàíèÿ íà ôüþ÷åðñíûõ ðûíêàõ íå ãàðàíòèðóþò ñïàñåíèÿ îò ãëóáîêèõ ôèíàíñîâûõ êðèçèñîâ. Îïöèîí  ýòî òàêæå êîíòðàêò íà ïîêóïêó èëè ïðîäàæó àêöèè èëè äðóãîãî òîâàðà â îïðåäåëåííûé äåíü â áóäóùåì (èëè äî îïðåäåëåííîãî äíÿ) ïî çàðàíåå îãîâîðåííîé öåíå. Íî â îòëè÷èå îò âëàäåëüöà ôüþ÷åðñíîãî êîíòðàêòà âëàäåëåö îïöèîíà ìîæåò íå âûïîëíÿòü ñâîè îáÿçàòåëüñòâà ïî êóïëåïðîäàæå, åñëè ýòî åìó íåâûãîäíî. Hà ñàìîì äåëå îïöèîííûå êîíòðàêòû âçàèìîâûãîäíû è ïðîäàâöó è ïîêóïàòåëþ, à ôèíàíñîâûé ðûíîê, íà êîòîðîì îïöèîíû çàíèìàþò ñóùåñòâåííîå ìåñòî, ìåíåå ïîäâåðæåí ãëóáîêèì ôèíàíñîâûì êðèçèñàì. Äëÿ ïðèìåðà ïîïðîáóéòå ïîñòàâèòü ñåáÿ íà ìåñòî ðóêîâîäèòåëÿ ðàáîò ïî ñòðîèòåëüñòâó äëèííîé æåëåçíîé äîðîãè. Ñðîê ñòðîèòåëüñòâà äâà ãîäà, äåíüãè çàêàç÷èê â îïðåäåëåííîì êîëè÷åñòâå ãàðàíòèðóåò âûïëà÷èâàòü åæåìåñÿ÷íî. Îáùàÿ ñòîèìîñòü ðàáîò îãîâîðåíà çàðàíåå è íå ìîæåò áûòü èçìåíåíà. Ïóñòü îñíîâíûå ìàòåðèàëüíûå çàòðàòû ñîñòàâëÿþò ñðåäñòâà íà ïîêóïêó ñåêöèé æåëåçíîäîðîæíîãî ïîëîòíà. Âîçìîæíû äâà âàðèàíòà ãàðàíòèðîâàííîãî áåçóáûòî÷íîãî âûïîëíåíèÿ ðàáîò. Ïåðâûé  âçÿòü êðåäèò â áàíêå íà âñþ ïðåäïîëàãàåìóþ ñóììó ðàáîò, çàêóïèòü ñðàçó âåñü îáúåì æåëåçíîäîðîæíîãî ïîëîòíà, ñëîæèòü åãî íà ñêëàäå è ïîñòåïåííî ïîäâîçèòü ê ìåñòó ìîíòàæà. Íåäîñòàòêàìè ýòîãî âàðèàíòà ÿâëÿþòñÿ: íåîáõîäèìîñòü êðåäèòà îò áàíêà, êîòîðûé ìîãóò è íå äàòü, åñëè çàêàç÷èê íå î÷åíü íàäåæåí; ðèñê ôîðñìàæîðíûõ îáñòîÿòåëüñòâ; çàòðàòû íà äîïîëíèòåëüíóþ ïåðåâîçêó, ïåðåãðóçêó è îðãàíèçàöèþ õðàíåíèÿ æåëåçíîäîðîæíûõ ñåêöèé. Âòîðîé âàðèàíò  ïîêóïêà îïöèîííûõ êîíòðàêòîâ íà ïîñòàâêó æåëåçíîäîðîæíûõ ñåêöèé â îïðåäåëåííîå âðåìÿ ïî îïðåäåëåííîé öåíå. Äëÿ èñïîëíèòåëÿ ðàáîò âûãîäíî ôèêñèðîâàòü öåíó, äàæå áîëåå âûñîêóþ, ÷åì òåêóùàÿ, íî íå ïëàòèòü ïðîöåíòû ïî êðåäèòó è íå íåñòè äîïîëíèòåëüíûå çàòðàòû íà òðàíñïîðòèðîâêó è õðàíåíèå.  ìîìåíò ïîêóïêè îïöèîíà îïëà÷èâàåòñÿ îïðåäåëåííîå âîçíàãðàæäåíèå ïðîäàâöó (íàçûâàåìîå öåíîé îïöèîíà), ñîîòâåòñòâóþùåå ïðåâûøåíèþ äîãîâîðåííîé ñóììû íàä ïðîãíîçèðóåìûì óðîâíåì öåíû â áóäóùåì. Åñëè çà âðåìÿ ñòðîèòåëüñòâà â ýêîíîìèêå èëè îòðàñëè ïðîèçîéäåò êðèçèñ, è öåíû óïàäóò, òî âëàäåëåö îïöèîíà íå îáÿçàí ïîêóïàòü æ/ä ïîëîòíî ïî âûñîêîé öåíå, îí ìîæåò äåøåâî êóïèòü åãî íà ðûíêå è ïîëó÷èòü òåì ñàìûì äîïîëíèòåëüíóþ ïðèáûëü. Äëÿ ïðîäàâöà æåëåçíîäîðîæíûõ ñåêöèé, åñëè ôàêòè÷åñêàÿ öåíà ê ìîìåíòó èñïîëíåíèÿ îáÿçàòåëüñòâ ïî êîíòðàêòó, âûøå îãîâîðåííîé â îïöèîíå, òî ýòî íå ÿâëÿåòñÿ ïðÿìûì óáûòêîì, òàê êàê çàðàíåå ìîæíî áûëî ïîäãîòîâèòüñÿ ê èñïîëíåíèþ ñâîèõ îáÿçàòåëüñòâ, ïîëó÷èâ íà ýòî íåêîòîðóþ ïðåäîïëàòó. Åñëè

4.4. ÑÈÑÒÅÌÛ ÐÅÀËÜÍÎÃÎ ÂÐÅÌÅÍÈ

237

öåíû íà àêöèè èëè òîâàð ê ìîìåíòó ïîãàøåíèÿ îáÿçàòåëüñòâ óïàäóò, òî ïîëó÷åííàÿ çàðàíåå ïðåäîïëàòà îñòàåòñÿ ó ïðîäàâöà è ÿâëÿåòñÿ åãî äîõîäîì. Îïöèîíû ïðîäàâöà íàçûâàþòñÿ îïöèîíûïóò (put), à îïöèîíû ïîêóïàòåëÿ îïöèîíûêîëë (call). Îïöèîíû, â êîòîðûõ âûïîëíåíèå îáÿçàòåëüñòâ ïðîèñõîäèò â êîíöå îãîâîðåííîãî ñðîêà, íàçûâàþòñÿ îïöèîíàìè Åâðîïåéñêîãî òèïà, à òå, â êîòîðûõ âûïîëíåíèå îáÿçàòåëüñòâ ìîæåò ïî æåëàíèþ âëàäåëüöà êîíòðàêòà ïðîèçîéòè è äî êîíöà îãîâîðåííîãî ñðîêà,  îïöèîíàìè Àìåðèêàíñêîãî òèïà. Áûâàþò îïöèîíû è ñ äðóãèìè íàçâàíèÿìè è ïðàâèëàìè îáðàùåíèÿ. Ïðèíÿâ ãèïîòåçó î ñòîõàñòè÷åñêîì õàðàêòåðå ðûíêà îïöèîíîâ è íåçàâèñèìîñòè äåéñòâèé ðàçëè÷íûõ àãåíòîâ íà ðûíêå, äîñòàòî÷íî òîíêèå ìàòåìàòè÷åñêèå ðàññóæäåíèÿ ïðèâîäÿò ê ôîðìóëå ÁëýêàØîóëñà äëÿ ðàñ÷åòà ñïðàâåäëèâîé öåíû îïöèîíà (âçàèìîâûãîäíîé), äîêàçàòåëüñòâî è âûâîä êîòîðîé ìîæíî íàéòè, íàïðèìåð, â [100]. Ïóñòü áàíêîâñêèé ñ÷åò fbt gt0 ýâîëþöèîíèðóåò òàê, ÷òî

dbt = Æbt dt; à öåíû àêöèé fst gt0 ïîä÷èíÿþòñÿ çàêîíó ãåîìåòðè÷åñêîãî áðîóíîâñêîãî äâèæåíèÿ dst = st (dt + dwt );

ãäå fwt gt0  ñòàíäàðòíûé âèíåðîâñêèé ïðîöåññ (áðîóíîâñêîå äâèæåíèå), çàäàííûé íà âåðîÿòíîñòíîì ïðîñòðàíñòâå ( ; F ; P). Äëÿ ýòîé ìîäåëè ñïðàâåäëèâàÿ ñòîèìîñòü ñòàíäàðòíîãî îïöèîíàêîëë Åâðîïåéñêîãî òèïà îïðåäåëÿåòñÿ ôîðìóëîé 

ln sK0 + T (Æ + 2 ) p CT = s0   T 2

ãäå

(x) =



Z x



Ke

ÆT 

ln sK0 + T (Æ p  T

2 )  2 ;

p1 e t2 dt; 2

1 2

T  âðåìÿ äî äíÿ ïîãàøåíèÿ îïöèîíà, K  çàôèêñèðîâàííàÿ â êîíòðàêòå öåíà (ñòðàéê), ïî êîòîðîé ïîêóïàòåëü â îãîâîðåííûé äåíü ïîãàøåíèÿ îïöèîíà èìååò ïðàâî êóïèòü àêöèè èëè äðóãîé òîâàð.  ÷àñòíîñòè, ïðè s0 = K è r = 0 p   p  

CT = s0 (

è

CT

 s0

q

T 2 ïðè

T

! 1.

 T 2



 T 2

238

ÃËÀÂÀ 4. ÏÐÈÌÅÍÅÍÈß ÀËÃÎÐÈÒÌÎÂ

Ðèñ. 13. Êðèâàÿ âîëàòèëüíîñòè

Ïàðàìåòð  â ôîðìóëå ÁëýêàØîóëñà, íàçûâàåìûé âîëàòèëüíîñòüþ, èãðàåò îñíîâíóþ ðîëü ïðè ðàñ÷åòå öåíû îïöèîíà. Ïðè ôèêñèðîâàííîì âðåìåíè T äî ìîìåíòà ïîãàøåíèÿ îïöèîííûõ êîíòðàêòîâ ãðàôèê ôóíêöèè  (K ) èìååò âèä, ïîõîæèé íà óëûáêó ÷åëîâåêà (smile) (ðèñ. 13). Ìíîãîëåòíèé àíàëèç ôîðìèðîâàíèÿ öåí ïðè òîðãîâëå íà áèðæàõ îïöèîíàìè ïîäòâåðæäàåò òàêîé õàðàêòåð çàâèñèìîñòè, ïðè÷åì ïðè èçìåíåíèè òåêóùèõ öåí õàðàêòåð êðèâîé âîëàòèëüíîñòè ïðàêòè÷åñêè íå ìåíÿåòñÿ. Èçìåíåíèÿ âèäà ýòîé êðèâîé ïðîèñõîäÿò äîñòàòî÷íî ðåäêî è ïîä÷èíÿþòñÿ îïðåäåëåííûì ýìïèðè÷åñêèì çàêîíàì. Âèä êðèâîé âîëàòèëüíîñòè ìîæíî ïàðàìåòðèçîâàòü íåñêîëüêèìè ïàðàìåòðàìè, îñíîâíûå èç êîòîðûõ  çíà÷åíèÿ âîëàòèëüíîñòè â òî÷êå s0 (at the money) è â êðàéíèõ òî÷êàõ, óãîë íàêëîíà â òî÷êå at the money, ïàðàìåòðû ñãëàæèâàþùèõ êðèâûõ. Îáû÷íî êðèâóþ âîëàòèëüíîñòè ñîñòàâëÿþò èç ÷åòûðåõ ÷àñòåé: ïî êðàÿì èñïîëüçóþò äâà ãðàôèêà ïîêàçàòåëüíîé ôóíêöèè, â îñíîâíîé ÷àñòè õîðîøî ñîîòâåòñòâóþò ýêñïåðèìåíòàëüíûì äàííûì äâå êâàäðàòè÷íûå èëè êóáè÷åñêèå êðèâûå, ñêëåèâàþùèåñÿ â òî÷êå at the money. Èñïîëüçîâàíèå êðèâûõ âîëàòèëüíîñòè ïðèâîäèò ê äîñòàòî÷íî ïðîñòîìó ñïîñîáó ðàñ÷åòà öåí îïöèîíîâ è ïðîâåðêè ïðàâèëüíîñòè ïîëó÷åííûõ ðåçóëüòàòîâ: ïîäáèðàþò êðèâûå, íàèáîëåå ñîîòâåòñòâóþùèå ðåàëüíîé êàðòèíå íà ðûíêå, è ñ èõ ïîìîùüþ ïî ôîðìóëå ÁëýêàØîóëñà ðàññ÷èòûâàþò öåíû îïöèîíîâ. Ïðè áûñòðûõ èçìåíåíèÿõ öåí àêöèé èëè òîâàðîâ êðèâàÿ âîëàòèëüíîñòè ïðîñòî ïàðàëëåëüíî ïåðåíîñèòñÿ è ïîñëå ýòîãî îïåðàòèâíî ïåðåñ÷èòûâàþòñÿ öåíû îïöèîíîâ. Ñëîæíîñòü ïðîâåðêè ðåçóëüòàòîâ ðàñ÷åòîâ îïðåäåëÿåòñÿ íåäîñòàòêîì èíôîðìàöèè î òåêóùèõ öåíàõ. Îäíîâðåìåííî ïî îäíîìó âèäó àêöèé èëè äðóãîãî òîâàðà ïðîäàþò-

4.4. ÑÈÑÒÅÌÛ ÐÅÀËÜÍÎÃÎ ÂÐÅÌÅÍÈ

239

ñÿ îïöèîííûå êîíòðàêòû íà ðàçíûå ñðîêè (äî äåñÿòè è äàæå áîëåå). Íà êàæäûé ñðîê îäíîâðåìåííî ïðîäàþòñÿ íåñêîëüêî äåñÿòêîâ êîíòðàêòîâ ñ ðàçíûìè ãàðàíòèðîâàííûìè öåíàìè áóäóùèõ ñäåëîê (ñòðàéêàìè). Òàê êàê îïöèîíû ÿâëÿþòñÿ ïðîèçâîäíûìè áóìàãàìè, ñêîðîñòü èçìåíåíèÿ öåí íà íèõ ìîæåò áûòü íà ïîðÿäîê âûøå, ÷åì äëÿ ñàìèõ àêöèé èëè òîâàðîâ, ëåæàùèõ â îñíîâå îïöèîííîãî êîíòpàêòà. Íàïðèìåð, íà ýëåêòðîííîé áèðæå âî ÔðàíêôóðòåíàÌàéíå òîðãóþò, â ÷àñòíîñòè, îïöèîííûìè êîíòðàêòàìè íà èíäåêñ DAX. Õàðàêòåð òèïè÷íûõ èçìåíåíèé â òå÷åíèå äíÿ 18 àïðåëÿ 2000 ãîäà ðåàëüíûõ öåí ñäåëîê ïî ñòðàéêó 7100 ìîæíî ïðîèëëþñòðèðîâàòü äàííûìè èç âûáîðî÷íîé òàáëèöû 3.

Òàáëèöà 3. Âðåìÿ 9 ÷. 14 ìèí. 10 ÷. 14 ìèí. 11 ÷. 07 ìèí. 11 ÷. 40 ìèí. 12 ÷. 16 ìèí. 12 ÷. 24 ìèí. 13 ÷. 52 ìèí. 18 ÷. 52 ìèí.

Öåíà ñäåëêè 176 145 110 75 100 115 130 150

 êàæäûé ìîìåíò ñèòóàöèÿ íà ðûíêå ìîæåò ñóùåñòâåííî èçìåíèòüñÿ, ïðè÷åì îá ýòîì ìîæíî è íå äîãàäàòüñÿ, íàáëþäàÿ çà îäíèì èç ïðîäàâàåìûõ íà áèðæå êîíòðàêòîâ, òàê êàê ñäåëîê ïî íåìó â ýòîò ìîìåíò ìîæåò è íå áûòü ïî êàêèì-ëèáî ïðè÷èíàì. Äëÿ îöåíèâàíèÿ ïàðàìåòðîâ êðèâûõ âîëàòèëüíîñòè öåëåñîîáðàçíî ïðèìåíÿòü ðàíäîìèçèðîâàííûå àëãîðèòìû ñòîõàñòè÷åñêîé àïïðîêñèìàöèè. Âî-ïåðâûõ, çàäà÷à  ìíîãîïàðàìåòðè÷åñêàÿ è, ñëåäîâàòåëüíî, àêòóàëåí âîïðîñ îá îïòèìèçàöèè ïðîöåññà ïîäáîðà ïîäõîäÿùèõ ïàðàìåòðîâ, à, âî-âòîðûõ, æåëàòåëüíî èñïîëüçîâàòü àëãîðèòìû íàèìåíåå ÷óâñòâèòåëüíûå ê çàäàíèþ ñòàòèñòè÷åñêèõ ñâîéñòâ ïîìåõ â ìîäåëè, òàê êàê ïî ñâîåé ïðèðîäå ïîìåõè ìîãóò íå áûòü íåçàâèñèìûìè è öåíòðèðîâàííûìè.

240

ÃËÀÂÀ 4. ÏÐÈÌÅÍÅÍÈß ÀËÃÎÐÈÒÌÎÂ

4.5 Êâàíòîâûå êîìïüþòåðû è ðàíäîìèçèðîâàííûå àëãîðèòìû Êàê áûëî íåîäíîêðàòíî çàìå÷åíî âûøå, îáëàñòü èñïîëüçîâàíèÿ ðàíäîìèçèðîâàííûõ àëãîðèòìîâ ñòîõàñòè÷åñêîé àïïðîêñèìàöèè â ïîñëåäíåå âðåìÿ ïîñòîÿííî ðàñøèðÿåòñÿ. Ïðîñòîòà â ïðåäñòàâëåíèè àëãîðèòìîâ ïîçâîëÿåò èñïîëüçîâàòü èõ íå òîëüêî â ñïåöèàëüíûõ âû÷èñëèòåëüíûõ óñòðîéñòâàõ, íî è, êàê, íàïðèìåð, â ðàáîòàõ [166, 169], íåïîñðåäñòâåííî çàëîæèòü ïðèíöèï îäíîâðåìåííîãî âîçìóùåíèÿ â êîíñòðóêöèþ ýëåêòðîííîãî óñòðîéñòâà êëàññè÷åñêîãî òèïà, ïðåäíàçíà÷åííîãî äëÿ íàñòðîéêè ïàðàìåòðîâ íåéðîííîé ñåòè. Ýôôåêòèâíîñòü îïòèìèçàöèè ïðè ýòîì îáóñëàâëèâàåòñÿ äâóìÿ îñíîâíûìè ìîìåíòàìè.

 Äëÿ âû÷èñëåíèÿ ïðèáëèæåííîãî çíà÷åíèÿ âåêòîðàãðàäèåíòà ôóíêöèè îò ìíîãèõ ïåðåìåííûõ ïî åå çíà÷åíèÿì òðåáóåòñÿ âñåãî îäíî èëè äâà èçìåðåíèÿ çíà÷åíèÿ ôóíêöèè.

 Àëãîðèòìû îáëàäàþò êà÷åñòâàìè ðîáàñòíîñòè â î÷åíü âûñîêîé ñòå-

ïåíè, â òîì ñìûñëå, ÷òî ñîñòîÿòåëüíîñòü èõ îöåíîê äîêàçàíà ïðè ïî÷òè ïðîèçâîëüíûõ ïîìåõàõ â èçìåðåíèÿõ ôóíêöèè.

Ôóíäàìåíòàëüíûì âîïðîñîì îáîñíîâàíèÿ ýôôåêòèâíîñòè èñïîëüçîâàíèÿ ìåòîäîâ íà ïðàêòèêå ÿâëÿåòñÿ âûáîð òàêîãî ñïîñîáà ãåíåðàöèè ïðîáíîãî âîçìóùåíèÿ, ÷òîáû ïîìåõè â êàíàëå íàáëþäåíèÿ áûëè ñ íèì íåçàâèñèìû, êðîìå òîãî, êîìïîíåíòû âåêòîðà ïðîáíîãî âîçìóùåíèÿ äîëæíû áûòü íåçàâèñèìû ìåæäó ñîáîé. Ïðè ðåàëèçàöèè àëãîðèòìà íà êëàññè÷åñêîì (íåêâàíòîâîì) êîìïüþòåðå, ïîñëåäîâàòåëüíî âûïîëíÿþùåì ýëåìåíòàðíûå îïåðàöèè îäíó çà äðóãîé, ýôôåêòèâíîñòü ïðåäëàãàåìûõ àëãîðèòìîâ ñíèæàåòñÿ ïî ñðàâíåíèþ ñ òåîðåòè÷åñêèìè îæèäàíèÿìè.  ñàìîì íàçâàíèè îäíîâðåìåííî âîçìóùàåìûé çàëîæåíî íàñòîé÷èâîå òðåáîâàíèå ê ïðàêòè÷åñêîé ðåàëèçàöèè  áûòü ïàðàëëåëüíîé. Âìåñòå ñ òåì, ïðè áîëüøîé ðàçìåðíîñòè âåêòîðîâ-àðãóìåíòîâ ôóíêöèè (íåñêîëüêî ñîòåí, òûñÿ÷) çàäà÷à îðãàíèçàöèè ïàðàëëåëüíûõ âû÷èñëåíèé íà êîìïüþòåðàõ êëàññè÷åñêîãî òèïà äîñòàòî÷íî ñëîæíà.  [27] ðàññìàòðèâàëàñü ìîäåëü "ãèïîòåòè÷åñêîãî" êâàíòîâîãî âû÷èñëèòåëÿ, â êîòîðîé íå òîëüêî åñòåñòâåííî ãåíåðèðóåòñÿ ïðîáíîå îäíîâðåìåííîå âîçìóùåíèå, íî è îñíîâíîå íåòðèâèàëüíîå ïîíÿòèå  èçìåðåíèå ðåçóëüòàòà êâàíòîâîãî âû÷èñëåíèÿ  ðåàëèçóåòñÿ çà ñ÷åò òîãî, ÷òî îíî ñàìî ïî ñåáå çàëîæåíî â ñòðóêòóðå ðàíäîìèçèðîâàííîãî àëãîðèòìà â âèäå óìíîæåíèÿ ðåçóëüòàòà âû÷èñëåíèÿ çíà÷åíèÿ èññëåäóåìîé ôóíêöèè íà ïðîáíîå âîçìóùåíèå. Äðóãèìè ñëîâàìè, â [27] ïðåäëîæåí îäèí èç

4.5. ÊÂÀÍÒÎÂÛÅ ÊÎÌÏÜÞÒÅÐÛ

241

âîçìîæíûõ ñïîñîáîâ ïîñòðîåíèÿ êâàíòîâîãî óñòðîéñòâà, âû÷èñëÿþùåãî õîðîøóþ îöåíêó âåêòîðàãðàäèåíòà íåèçâåñòíîé ôóíêöèè îò ìíîãèõ ïåðåìåííûõ çà îäèí òàêò. Ñëîâî "ãèïîòåòè÷åñêèé" ñîçíàòåëüíî íàïèñàíî â êàâû÷êàõ, òàê êàê ïîñëå äîêëàäà Ï.Øîðà íà Áåðëèíñêîì ìàòåìàòè÷åñêîì êîíãðåññå â 1998 ãîäó [196] ìíîãèå ñåðüåçíûå èññëåäîâàòåëè ñòàëè ïèñàòü î êâàíòîâûõ êîìïüþòåðàõ êàê î òåõíèêå áëèæàéøåãî áóäóùåãî. Îïèñàíèå ìàòåìàòè÷åñêîé ìîäåëè êâàíòîâîãî êîìïüþòåðà ìîæíî íàéòè â [112, 182, 196]. Êâàíòîâûé êîìïüþòåð îáðàáàòûâàåò q-áèòû (êâàíòîâûå áèòû), ïðåäñòàâëÿþùèå ñîáîé êâàíòîâóþ ñèñòåìó äâóõ ñîñòîÿíèé (ìèêðîñêîïè÷åñêàÿ ñèñòåìà, ñîîòâåòñòâóþùàÿ îïèñàíèþ, íàïðèìåð, âîçáóæäåííîãî èîíà èëè ïîëÿðèçîâàííîãî ôîòîíà, èëè ñïèíà ÿäðà àòîìà). Õàðàêòåðèñòèêè ïîâåäåíèÿ ýòîé êâàíòîâîé ñèñòåìû òàêèå, êàê çàïóòûâàíèå, èíòåðôåðåíöèÿ, ñóïåðïîçèöèÿ, ñòîõàñòè÷íîñòü è ò. ï., ìîæíî òî÷íî îáúÿñíèòü, òîëüêî èñïîëüçóÿ ïðàâèëà êâàíòîâîé ìåõàíèêè [81].  àâãóñòå 2000 ãîäà áûëî îáúÿâëåíî î ïåðâîì ïðàêòè÷åñêîì óñïåõå: [Reuters] "IBM Says It Develops Most Advanced Quantum Computer" (ÀéÁè-Ýì ðàçðàáîòàëà êâàíòîâûé êîìïüþòåð): "15 àâãóñòà ïðåäñòàâèòåëè IBM îáúÿâèëè î òîì, ÷òî â èññëåäîâàòåëüñêîé ëàáîðàòîðèè êîìïàíèè ðàçðàáîòàí êâàíòîâûé êîìïüþòåð, ÿâëÿþùèéñÿ íà äàííûé ìîìåíò ñàìîé óñïåøíîé ìîäåëüþ èç ðàçðàáàòûâàåìûõ ó÷åíûìè. Èññëåäîâàòåëè ïðîòåñòèðîâàëè ðàáîòó êîìïüþòåðà, ïîñòàâèâ ïåðåä íèì çàäà÷ó î íàõîæäåíèè ïåðèîäà ôóíêöèè. Ìàøèíà íàøëà ðåøåíèå çà îäèí öèêë ðàáîòû, â òî âðåìÿ êàê îáû÷íîìó êîìïüþòåðó äëÿ ðåøåíèÿ àíàëîãè÷íîé çàäà÷è òðåáóåòñÿ ñîâåðøèòü íåñêîëüêî öèêëîâ. Ðàáîòà êâàíòîâîãî êîìïüþòåðà îñíîâàíà íà òàêîì êâàíòîâîì ñâîéñòâå ýëåìåíòàðíûõ ÷àñòèö, êàê ñïèí, à òàêæå íà òîì, ÷òî ÷àñòèöû ñ ðàçíûì çíà÷åíèåì ñïèíîâ ìîãóò êîððåëèðîâàòü ìåæäó ñîáîé. Ïðè ñîïîñòàâëåíèè íåêîòîðîìó ñîñòîÿíèþ ýëåìåíòàðíîé ÷àñòèöû ñ îäíèì çíà÷åíèåì ñïèíà öèôðû 1, à ñ äðóãèì çíà÷åíèåì ñïèíà öèôðû 0 ïîëó÷àåòñÿ ïîëíàÿ àíàëîãèÿ ñ äâîè÷íîé ñèñòåìîé c÷èñëåíèÿ, íà êîòîðîé îñíîâàíà ðàáîòà ñîâðåìåííûõ êîìïüþòåðîâ. Óíèêàëüíîñòü êâàíòîâîé ìàøèíû çàêëþ÷àåòñÿ â òîì, ÷òî îáà ñîñòîÿíèÿ ìîãóò íàõîäèòüñÿ â ñîñòîÿíèè ñóïåðïîçèöèè, è ïîýòîìó êîìïüþòåð ìîæåò îäíîâðåìåííî ðåøàòü áîëüøåå êîëè÷åñòâî çàäà÷. Íîâàÿ ðàçðàáîòêà IBM, êîòîðàÿ èñïîëüçîâàëà äëÿ ðàáîòû 5 àòîìîâ, ïîêàçàëà, ÷òî íåêîòîðûå ïðîáëåìû êâàíòîâûé êîìïüþòåð ñïîñîáåí ðåøèòü ãîðàçäî áûñòðåå, ÷åì îáû÷íûå âû÷èñëèòåëüíûå ìàøèíû.  áëèæàéøèå 2 ãîäà êîìïàíèÿ áóäåò ðàçðàáàòûâàòü êîìïüþòåð, ðàáîòà êîòîðîãî áóäåò îñíîâàíà íà âçàèìîäåéñòâèè 710 àòîìîâ."

242

ÃËÀÂÀ 4. ÏÐÈÌÅÍÅÍÈß ÀËÃÎÐÈÒÌÎÂ

Çà ïðîøåäøåå âðåìÿ ïðîäîëæèëîñü óñïåøíîå îñâîåíèå êâàíòîâûõ òåõíîëîãèé, â 2002 ãîäó àâñòðàëèéñêèå èññëåäîâàòåëè îáúÿâèëè îá ýêñïåðèìåíòå ïî òåëåïîðòàöèè êâàíòîâûõ áèòîâ.

4.6 Äîêàçàòåëüñòâî ëåìì 4.14.3. Ââåäåì ïåðåäàòî÷íûå ôóíêöèè ñèñòåìû (1.1),(4.9) îò ïîìåõè vn ê âûõîäó yn è ê óïðàâëåíèþ un :

Hy () =

c() d() ; Hu() = : a(;  )c() b(;  )d() a(;  )c() b(;  )d()

Íåòðóäíî äîêàçàòü (ñì.[63]), ÷òî óñòîé÷èâîñòü ñèñòåìû (1.1),(4.9) ðàâíîñèëüíà îòñóòñòâèþ îáùèõ íåóñòîé÷èâûõ ìíîæèòåëåé ó ìíîãî÷ëåíîâ c(), d() è îòñóòñòâèþ ïîëþñîâ ó ôóíêöèé Hy () è Hu () â åäèíè÷íîì êðóãå D1 = f :j  j 1g. Àíàëèòè÷åñêèå ôóíêöèè, óäîâëåòâîðÿþùèå ïîñëåäíåìó ñâîéñòâó, áóäåì íàçûâàòü óñòîé÷èâûìè. Ðàçëîæèì ìíîãî÷ëåí b() íà ÷àñòè: m Y b(;  ) = l b ()b+ (); b () = ( i ): i=1 Êàæäîìó ñòàáèëèçèðóþùåìó ðåãóëÿòîðó (4.9) ñ âçàèìíî ïðîñòûìè ìíîãî÷ëåíàìè c() è d() îäíîçíà÷íî ñîîòâåòñòâóåò ïàðà óñòîé÷èâûõ äðîáíî-ðàöèîíàëüíûõ ôóíêöèé Hy () è Hu () è ìíîæåñòâî ýòèõ ôóíêöèé, ÿâëÿÿñü àôèííûì, äîïóñêàåò ñëåäóþùóþ ïàðàìåòðèçàöèþ (Ëàðèíà, Ôîìèíà, Þëà, ñì. [8, 84, 86]): (4.12)

H y () = c^() + l b () ();

(4.13)

() H u () = d^() + a() + ; b ()

()  ïðîèçâîëüíàÿ óñòîé÷èâàÿ äðîáíî-ðàöèîíàëüíàÿ c^() è d^()  íåêîòîðûå ðåøåíèÿ óðàâíåíèÿ ãäå

(4.14)

ôóíêöèÿ, à

a()^c() l b ()d^() = 1:

 ÷àñòíîñòè, óðàâíåíèå (4.14) îäíîçíà÷íî ðàçðåøèìî ïðè òîì óñëîâèè, ÷òî ñòåïåíü ìíîãî÷ëåíà c^() ìåíüøå m + l.

4.6. ÄÎÊÀÇÀÒÅËÜÑÒÂÎ ËÅÌÌ 4.14.3.

243

Âñÿêàÿ óñòîé÷èâàÿ ôóíêöèÿ H () ðàçëàãàåòñÿ â ñòåïåííîé ðÿä, àáñîëþòíî ñõîäÿùèéñÿ â êðóãå D1 :

H y () = Ïåðåäàòî÷íàÿ ôóíêöèÿ

1 X i=0

yt =

t l X i=0

Hiy vt

i

u i = yl i = 0; i < 0.

ïðè íóëåâûõ íà÷àëüíûõ äàííûõ ñèñòåì (1.1),(4.9) ôóíêöèîíàë (4.16)

i=0

jHiy j < 1 :

H y () îáëàäàåò òàêæå ñëåäóþùèì ñâîéñòâîì: yt

(4.15)

1 X

Hiy i ;

I (c(
); d(
);  ) = sup

jvt jCv t=l;l+1;:::

lim jy t!1 t

Äëÿ óñòîé÷èâûõ

yt j

íå çàâèñèò îò íà÷àëüíûõ äàííûõ, ïîýòîìó èç (4.15) ñëåäóåò, ÷òî (4.17)

I (c(
); d(
);  ) =

1 X i=0

j Hiy j def = I~(H y (
)):

Çàäà÷à ìèíèìèçàöèè ôóíêöèîíàëà (4.16) ìîæåò áûòü ïåðåôîðìóëèðîâàíà òàê: íà àôôèííîì ìíîãîîáðàçèè (4.12) íàéòè ôóíêöèþ, ìèíèìèçèðóþùóþ ôóíêöèîíàë I~(
) , îïðåäåëåííûé â (4.17). Âûáåðåì öåëîå íåîòðèöàòåëüíîå ÷èñëî q > 0 íàñòîëüêî áîëüøèì, ÷òîáû ìíîãî÷ëåí

q () =

m Y i=1

q

2

2i

q


= 0q + 1q  + : : : + m
2

q

áûë ñèëüíî íåóñòîé÷èâûé (ñì.[6]), ò. å. åãî êîýôôèöèåíòû óäîâëåòâîðÿëè áû ñîîòíîøåíèþ (4.18)

mX 2q 1 i=0

j iq j 1:

 ÷àñòíîñòè, â êà÷åñòâå òàêîãî ÷èñëà q ìîæíî âçÿòü ëþáîå öåëîå ÷èñëî áîëüøåå, ÷åì log2 (2m 1) : log2 log2 (maxf1 ; : : : ; m g)

ÃËÀÂÀ 4. ÏÐÈÌÅÍÅÍÈß ÀËÃÎÐÈÒÌÎÂ

244

Ïîêàæåì, ÷òî ñóùåñòâóåò ìèíèìèçèðóþùèé ôóíêöèîíàë (4.16) ñòàáèëèçèðóþùèé ðåãóëÿòîð (4.9), ïåðåäàòî÷íàÿ ôóíêöèÿ H y () êîòîðîãî ÿâëÿåòñÿ ìíîãî÷ëåíîì ñòåïåíè ìåíüøåé l + m2q . Îïðåäåëèì âñïîìîãàòåëüíûé ìíîãî÷ëåí

() =

m Y i=1

( + i )

Ëåãêî óáåäèòüñÿ, ÷òî

m Y i=1




2 + 2i : : :

m  Y i=1

q 1

2

q 1

+ 2i



:

q () = b ()():

 y () Âûáåðåì ïðîèçâîëüíûé ðåãóëÿòîð (4.9), ïåðåäàòî÷íàÿ ôóíêöèÿ H  y () ëèáî ìíîãî(4.12) êîòîðîãî èìååò ñòåïåíü íå ìåíüøå l + m2q , ò. å. H q y  () ðàñêëàäûâàåòñÿ â êðóãå ÷ëåí ñòåïåíè íå ìåíüøåé l + m2 , ëèáî H D1 â áåñêîíå÷íûé ñòåïåííîé ðÿä. Ôóíêöèþ H y () ìîæíî ïðåäñòàâèòü â âèäå îòíîøåíèÿ äâóõ ìíîãî÷ëåíîâ

 () H y () = ; () â êîòîðîì ()  óñòîé÷èâûé ìíîãî÷ëåí. Ìíîãî÷ëåíû () è q () íå èìåþò îáùèõ êîðíåé. Îïðåäåëèì ìíîãî÷ëåíû h() è g () èç óðàâíåíèÿ

()h() l q ()g() =  () è òîãî óñëîâèÿ, ÷òî ñòåïåíü ìíîãî÷ëåíà (4.12) ëþáàÿ ôóíêöèÿ âèäà

h()

ìåíüøå

l + m2q .

 ñèëó

H y () = H y () + l b () () ÿâëÿåòñÿ ïåðåäàòî÷íîé äëÿ íåêîòîðîãî ñòàáèëèçèðóþùåãî ðåãóëÿòîðà (4.9), åñëè ()  óñòîé÷èâàÿ äðîáíî-ðàöèîíàëüíàÿ ôóíêöèÿ. Îáîçíà÷èì ÷åðåç

1 X g() i i () = () (); () = = () i=0 óñòîé÷èâûå äðîáíî-ðàöèîíàëüíûå ôóíêöèè. Èç îïðåäåëåíèÿ ìíîãî÷ëåíà h() ïîëó÷àåì

h() =

 () l q ()g()  y + = H ()+ l b () () = H y ()+ l q () (); () ()

4.6. ÄÎÊÀÇÀÒÅËÜÑÒÂÎ ËÅÌÌ 4.14.3.

245

è, ñëåäîâàòåëüíî, ìíîãî÷ëåí h() ÿâëÿåòñÿ ïåðåäàòî÷íîé ôóíêöèåé íåêîòîðîãî ñòàáèëèçèðóþùåãî ðåãóëÿòîðà. Ðàññìîòðèì ïîñëåäîâàòåëüíîñòü ìíîãî÷ëåíîâ fhj ()g, îïðåäåëÿåìûõ ÷åðåç h(); q () è êîýôôèöèåíòû ðàçëîæåíèÿ â ñòåïåííîé ðÿä ôóíêöèè () ïî ïðàâèëó:

hj +1 () = hj ()

h0 () = h() ;

q () j l+j

= h()

l q ()

j X i=0

i i ;

j = 0; 1; 2; : : : . Ýòà ïîñëåäîâàòåëüíîñòü ìíîãî÷ëåíîâ ïðè j ! 1 ñõîäèòñÿ  y (). Èç îïðåäåëåíèÿ ïîñëåäîâàòåëüíîñòè ìíîãî÷ëåíîâ ê ôóíêöèè H j fh ()g è âèäà ôóíêöèîíàëà I~(
), îïðåäåëåííîãî â (4.17), çàêëþ÷àåì, ÷òî

I~(hj +1 (
)) =



l+mX 2r +j 1

l +m 2q +j X i=0

j hji +1 j = j hj0 j + : : : + j hjk+j 1 j + j hjk+j j 0q j +

+ : : : + j hjl+m2q +j mX 2q 1

j hji j + j 1

i=0 Ñëåäîâàòåëüíî,

i=0

I~(h(
))

1

j mq 2q !

1

j + j j j

j iq j  I~(hj (
))  I~(h0 (
)) = I~(h(
)) :  I~(H y (
)) :

Ñ îäíîé ñòîðîíû, ýòî îçíà÷àåò, ÷òî äëÿ ëþáîé ïåðåäàòî÷íîé ôóíêöèè ñòåïåíè íå ìåíüøåé l + m2q íàéäåòñÿ äðóãàÿ ñòåïåíè ìåíüøåé l + m2q , äëÿ êîòîðîé çíà÷åíèå ôóíêöèîíàëà êà÷åñòâà (4.17) íå õóæå. Ñ äðóãîé ñòîðîíû, ñðåäè ìíîãî÷ëåíîâ îãðàíè÷åííîé ñòåïåíè, óäîâëåòâîðÿþùèõ (4.12), ñóùåñòâóåò ïî êðàéíåé ìåðå îäèí, ìèíèìèçèðóþùèé ôóíêöèîíàë (4.17).  ()  ìíîãî÷ëåí ñòåïåíè ìåíüøåé l + m2q , ìèíèìèçèÎáîçíà÷èì h ðóþùèé ôóíêöèîíàë (4.17). Ðàññìîòðèì ïàðàìåòðèçàöèþ ìíîæåñòâà ïåðåäàòî÷íûõ ôóíêöèé (4.12), â êîòîðîé c^()  ìíîãî÷ëåí ñòåïåíè ìåíüøåé l + m, ÿâëÿþùèéñÿ îäíèì èç ðåøåíèé óðàâíåíèÿ (4.14). Èç óæå äîêàçàííîãî ñëåäóåò, ÷òî ñóùåñòâóþò òàêèå ÷èñëà 0 ; : : : ; m2q m 1 , ÷òî

h () = c^() + l b

()

m2qX m 1 i=0

i:

i

Ïåðåôîðìóëèðóåì çàäà÷ó ìèíèìèçàöèè ôóíêöèîíàëà (4.17). q ñòðàíñòâå R m(2 1) íàéòè ìèíèìóì ôóíêöèîíàëà (4.19)

I( 0 ; : : : ;

m2q m 1 )

= I~(h (
)) :

 ïðî-

246

ÃËÀÂÀ 4. ÏÐÈÌÅÍÅÍÈß ÀËÃÎÐÈÒÌÎÂ

Ðàññìîòðèì âûïóêëîå ìíîãîãðàííîå ìíîæåñòâî H , çàäàâàåìîå ñèñòåìîé m2r íåðàâåíñòâ:

sign(h i )(^ci + b0

i l + b1 i l 1 + : : : + bm i l m )  0;

ãäå i = l; : : : ; l + m2r 1, bi  êîýôôèöèåíòû ìíîãî÷ëåíà b (); j = 0; åñëè j < 0 . Ôóíêöèîíàë (4.19) ëèíååí íà H , êîýôôèöèåíòû ìíîãî÷ëåíà (), ñîîòâåòñòâóþùåãî â (4.12) ìíîãî÷ëåíó (ïåðåäàòî÷íîé ôóíêöèè) îï (), ïðèíàäëåæàò ìíîæåñòâó H , è, ñëåäîâàòåëüòèìàëüíîãî ðåãóëÿòîðà h íî, ôóíêöèîíàë (4.19) îãðàíè÷åí ñíèçó íà H . Õîðîøî èçâåñòíî, ÷òî ëèíåéíûé îãðàíè÷åííûé ñíèçó ôóíêöèîíàë íà âûïóêëîì ìíîãîãðàííîì ìíîæåñòâå äîñòèãàåò ñâîåãî ìèíèìàëüíîãî çíà÷åíèÿ â îäíîé èç åãî âåðøèí [38]. Âåðøèíàì ìíîæåñòâà H ñîîòâåòñòâóþò ïåðåäàòî÷íûå ôóíêöèè (4.12), ÿâëÿþùèåñÿ ìíîãî÷ëåíàìè ñ l + m íåíóëåâûìè êîýôôèöèåíòàìè. Îòñþäà ñëåäóåò, ÷òî ôóíêöèîíàë (4.17) ìèíèìèçèðóåò íåêîòîðûé  () âèäà: ìíîãî÷ëåí h 



h () = c(;  ) + l c~1 k1 + : : : + c~m km = c(;  ) + l c~(); è ñîîòâåòñòâóþùåå ìèíèìàëüíîå çíà÷åíèå ðàâíî (4.20)

I ( ) = Cv 1 +

l 1 X i=1

j ci j +

m X i=1

!

j c~i j :

Ìíîãî÷ëåí  h() âìåñòå ñ ñîîòâåòñòâóþùåé ïåðåäàòî÷íîé ôóíêöèåé H u (), â ñèëó ôîðìóë ïàðàìåòðèçàöèè (4.12),(4.13), äîëæåí óäîâëåòâîðÿòü óðàâíåíèþ (4.21)

a(;  )h () l b ()H u () = 1:

Ó÷èòûâàÿ òîò ôàêò, ÷òî i ÿâëÿþòñÿ êîðíÿìè ìíîãî÷ëåíà b (), äëÿ c~1 ; : : : ; c~m  íåèçâåñòíûõ êîýôôèöèåíòîâ ìíîãî÷ëåíà h ()  ïîëó÷àåì ñèñòåìó èç m ëèíåéíûõ óðàâíåíèé

a(i ;  )h (i ) = 1; i = 1; : : : ; m; êîòîðóþ, ïðèíèìàÿ âî âíèìàíèå ââåäåííûå âûøå îáîçíà÷åíèÿ, óäîáíåå ïåðåïèñàòü òàê:

c~(i ) = i

l



1 a(i ;  )



c(i ;  ) ; i = 1; : : : ; m;

4.6. ÄÎÊÀÇÀÒÅËÜÑÒÂÎ ËÅÌÌ 4.14.3. èëè â ìàòðè÷íîì âèäå: 0 k 11 B .. @ .

km1

1 0 c~1 c~ .. C B B 2 . A @ .. .

k12 : : : k1m .. . km2

..

.

: : : kmm

1

0

C B C=B A @

c~m

1 l ml

247





1 a(1 ; )

1 a(m ; )

 1

c(1 ;  )

.. .

c(m ;  )

C C: A

m Îòñþäà, ñðàâíèâàÿ ôîðìóëû (4.7) è (4.20), â ñèëó òîãî, ÷òî Zm +  R+ , ïðèõîäèì ê çàêëþ÷åíèþ ëåììû 4.1. Ôîðìóëû ëåììû 4.3 äëÿ âû÷èñëåíèÿ ìíîãî÷ëåíîâ ñóáîïòèìàëüíîãî ðåãóëÿòîðà ñëåäóþò íåïîñðåäñòâåííî èç óðàâíåíèÿ (4.21), çíà÷åíèå ñîîòâåòñòâóþùåãî óðîâíÿ ñóáîïòèìàëüíîñòè " ïîëó÷àåòñÿ âû÷èòàíèåì èç (4.20) ôîðìóëû (4.7). Ïóñòü k 2 Rm + . Îáîçíà÷èì 0 k 11 . W(k ) = B @ ..

km1

k12 : : : k1m .. . km2

..

.

:::

0

1

B

.. C ; . A k mm

A=B @

0

  )) = @ sign(~c(k;

1 l ml





1 a(1 ; )

1 a(m ; )

.. .

c(1 ;  )

 1

C C; A

c(m ;  )

  )) 1 sign(~c1 (k;

.. A: .   )) sign(~cm (k;

Çíà÷åíèå ôóíêöèîíàëà (4.7) ðàâíî

  ) = Cv I (k;

X l 1

i=0

  ))W(k ) jci j + sign(~c(k;

 1A :

Íåîáõîäèìûì óñëîâèåì ìèíèìóìà ôóíêöèîíàëà (4.7) ÿâëÿåòñÿ ëèáî ðà ) @ I (k; âåíñòâî íóëþ k1 , ëèáî @k1 = 0; à òàêæå âûïîëíåíèå m 1 óñëîâèé:

 ) @ I (k; = 0; i = 2; : : : ; m: @ki Ïðîäèôôåðåíöèðîâàâ ïî ki ; i = 1; : : : ; m ìàòðè÷íîå òîæäåñòâî W(k ) 1 W(k ) = I; k ) äëÿ ÷àñòíûõ ïðîèçâîäíûõ @ W( @ki

@ W(k ) @ki

0

1

= W(k )

1

ïîëó÷àåì ïðåäñòàâëåíèå

: : : 0 lnf1 gk1i 0 : : :

1 B .. @ .

.. .

::: 0

.. . lnfm gkmi

.. .

1

1 .. C . A W(k ) ;

0 :::

248

ÃËÀÂÀ 4. ÏÐÈÌÅÍÅÍÈß ÀËÃÎÐÈÒÌÎÂ

ó÷èòûâàÿ êîòîðîå, äëÿ ÷àñòíûõ ïðîèçâîäíûõ îò ôóíêöèîíàëà (4.7) ìîæíî çàïèñàòü

 ) @ I (k;   ))W(k ) = sign(~c(k; @ki

0

1B @

lnf1 gk1i

1

C  .. A c~i (k;  ): . k i lnfm gm

Èç ïîñëåäíåé ôîðìóëû, â ñèëó îïðåäåëåíèÿ îáðàòíîé ìàòðèöû è ââåäåííûõ ðàíåå îáîçíà÷åíèé, ïîëó÷àþòñÿ óðàâíåíèÿ ñèñòåìû (4.8), ÷òî äîêàçûâàåò óòâåðæäåíèå ëåììû 4.2. Óìíîæèâ ïðàâóþ è ëåâóþ ÷àñòè óðàâíåíèÿ (4.21) íà b+ (), ïîëó÷àåì ñîîòíîøåíèå äëÿ ìíîãî÷ëåíà d(;  ) ñóáîïòèìàëüíîãî ðåãóëÿòîðà, èç êîòîðîãî ñëåäóåò çàêëþ÷åíèå ëåììû 4.3.

Ïðèëîæåíèå. Íåêîòîðûå íåîáõîäèìûå ìàòåìàòè÷åñêèå ñâåäåíèÿ

Ï.1 Òåîðèÿ âåðîÿòíîñòåé Äëÿ áîëåå ãëóáîêîãî ïîíèìàíèÿ îñíîâ òåîðèè âåðîÿòíîñòåé è ìåòîäîâ îáðàáîòêè ñëó÷àéíûõ ïðîöåññîâ ñîâåòóåì ïðî÷èòàòü [41, 53, 99].  ýòîì ðàçäåëå ïðèâîäÿòñÿ îïðåäåëåíèÿ îñíîâíûõ ïîíÿòèé è ôîðìóëèðîâêè ðåçóëüòàòîâ, èñïîëüçóåìûõ â êíèãå.

Ï.1.1

Ñëó÷àéíûå âåëè÷èíû

Ïóñòü ( ; F )  íåêîòîðîå èçìåðèìîå ïðîñòðàíñòâî è (R ; B (R ))  ÷èñëîâàÿ ïðÿìàÿ ñ ñèñòåìîé áîðåëåâñêèõ ìíîæåñòâ B (R). Äåéñòâèòåëüíàÿ ôóíêöèÿ  =  (! ), îïðåäåëåííàÿ íà ( ; F ) íàçûâàåòñÿ F -èçìåðèìîé ôóíêöèåé èëè ñëó÷àéíîé âåëè÷èíîé, åñëè äëÿ ëþáîãî B 2 B (R )

f! : (!) 2 B g 2 F : Ïóñòü ( ; F ; P)  ïðîèçâîëüíîå âåðîÿòíîñòíîå ïðîñòðàíñòâî. Ìàòåìàòè÷åñêèì îæèäàíèåì Ef g ïðîèçâîëüíîé ñëó÷àéíîé âåëè÷èíû  íàçûâàåòñÿ èíòåãðàë Ëåáåãà îò F -èçìåðèìîé ôóíêöèè  =  (!) ïî ìåðå P, äëÿ êîòîðîãî (íàðÿäó ñ REf g) èñïîëüçóþòñÿ òàêæå ñëåäóþùèå R îáîçíà÷åíèÿ:  (! ) Pfd! g èëè  dP: Äèñïåðñèåé ñëó÷àéíîé âåëè÷èíû  íàçûâàåòñÿ âåëè÷èíà  2 = Ef( Ef g)2 g, ïðè ýòîì âåëè÷èíà  > 0 íàçûâàåòñÿ ñòàíäàðòíûì îòêëîíåíèåì. Ïóñòü  è   ïàðà ñëó÷àéíûõ âåëè÷èí. Èõ êîâàðèàöèåé íàçûâàåòñÿ âåëè÷èíà

covf; g = Ef(

Ef g)(

249

Efg)g:

250

ÏÐÈËÎÆÅÍÈÅ. ÌÀÒÅÌÀÒÈ×ÅÑÊÈÅ ÎÑÍÎÂÛ

Åñëè covf;  g = 0, òî ãîâîðÿò, ÷òî ñëó÷àéíûå âåëè÷èíû  è  íå êîððåëèðîâàíû. Ðàñïðåäåëåíèåì ñëó÷àéíîé âåëè÷èíû  íà (R ; B (R )) íàçûâàåòñÿ âåðîÿòíîñòíàÿ ìåðà P (
) íà (R ; B (R )):

P (B ) = Pf! :  (!) 2 B g; B 2 B(R): Èç îïðåäåëåíèÿ ñëåäóåò, ÷òî

Ef g = Ôóíêöèÿ

Z

R

xP (d x):

P (x) = Pf! :  (!)  xg; x 2 R

íàçûâàåòñÿ ôóíêöèåé ðàñïðåäåëåíèÿ ñëó÷àéíîé âåëè÷èíû  . Íåîòðèöàòåëüíàÿ ôóíêöèÿ p (
) íàçûâàåòñÿ ïëîòíîñòüþ ôóíêöèè ðàñïðåäåëåíèÿ ñëó÷àéíîé âåëè÷èíû  , åñëè

P (x) =

Z x

1

p (t)dt:

Ñëó÷àéíàÿ âåëè÷èíà  íàçûâàåòñÿ ãàóññîâñêîé (èëè íîðìàëüíî ðàñïðåäåëåííîé) ñ ïàðàìåòðàìè M è  2 (  N (M;  2 )), jM j < 1,  > 0, åñëè åå ïëîòíîñòü p (
) èìååò ñëåäóþùèé âèä:

p (x) =

p1 e 2

(x M )2 2 2

:

Ñëó÷àéíûå âåëè÷èíû 1 ; : : : ; n íàçûâàþòñÿ íåçàâèñèìûìè (íåçàâèñèìûìè â ñîâîêóïíîñòè), åñëè äëÿ ëþáûõ B1 ; : : : ; Bn 2 B (R)

Pf1 2 B1 ; : : : ; n 2 Bn g = Pf1 2 B1 g


Pfn 2 Bn g: Ïóñòü  è   íåçàâèñèìûå Efjjg < 1. Òîãäà Efjjg < 1 è

ñëó÷àéíûå âåëè÷èíû ñ

Efj jg <

1

è

Efg = Ef gEfg: Ïîíÿòèå ñëó÷àéíàÿ âåëè÷èíà åñòåñòâåííûì îáðàçîì îáîáùàåòñÿ è íà âåêòîðíûé ñëó÷àé. Äëÿ ñëó÷àéíûõ âåêòîðîâ ïî àíàëîãèè ìîæíî îïðåäåëèòü ìàòåìàòè÷åñêîå îæèäàíèå, äèñïåðñèþ, ìàòðèöû êîâàðèàöèè, ðàñïðåäåëåíèå è ò. ï.

Ï.1. ÒÅÎÐÈß ÂÅÐÎßÒÍÎÑÒÅÉ

251

Ñîâîêóïíîñòü ñëó÷àéíûõ âåëè÷èí X = f1 ; 2 ; : : :g íàçûâàþò ñëó÷àéíûì ïðîöåññîì ñ äèñêðåòíûì âðåìåíåì èëè ñëó÷àéíîé ïîñëåäîâàòåëüíîñòüþ. Äëÿ êàæäîãî ôèêñèðîâàííîãî ! 2 ïîñëåäîâàòåëüíîñòü fn(!)g íàçûâàåòñÿ ðåàëèçàöèåé èëè òðàåêòîðèåé ïðîöåññà, ñîîòâåòñòâóþùåé èñõîäó ! .

Ï.1.2

Íåêîòîðûå íåðàâåíñòâà äëÿ ñëó÷àéíûõ âåëè÷èí

Íåðàâåíñòâî ×åáûøåâà ([99], ñòð. 209) Ïóñòü   íåîòðèöàòåëüíàÿ ñëó÷àéíàÿ âåëè÷èíà. Òîãäà äëÿ âñÿêîãî

">0 Pf  "g 

Ef g : "

Íåðàâåíñòâî Èåíñåíà ([99], ñòð. 209) Ïóñòü g(x)  âûïóêëàÿ ôóíêöèÿ, à



 ñëó÷àéíàÿ âåëè÷èíà ñ

Òîãäà

Ef g < 1.

g(Ef g)  Efg( )g:

Íåðàâåíñòâî Ãåëüäåðà ([99], ñòð. 210) Ïóñòü 1 < p < 1; 1 < q < 1 è 1p

+ 1q = 1. Åñëè Efj jp g < 1 è Efj jq g < 1, òî Efjjg < 1 è

Efjjg < (Efj jp g)1=p (Efjjq g)1=q : Ï.1.3

Çàêîí áîëüøèõ ÷èñåë äëÿ íåçàâèñèìûõ ñëó÷àéíûõ âåëè÷èí

Çàêîí áîëüøèõ ÷èñåë ([99], ñòð. 347) Ïóñòü 1 ; 2 ; : : :  ïîñëåäîâà-

òåëüíîñòü íåçàâèñèìûõ îäèíàêîâî ðàñïðåäåëåííûõ ñëó÷àéíûõ âåëè÷èí ñ Ef1 g < 1, Sn = 1 + : : : + n è Ef1 g = M . Òîãäà ïðè n ! 1

8" > 0 Pfj Snn M j  "g ! 0: Òåîðåìà Êàíòåëëè ([99], ñòð. 376) Ïóñòü 1 ; 2 ; : : :  ïîñëåäîâàòåëü-

íîñòü íåçàâèñèìûõ ñëó÷àéíûõ âåëè÷èí ñ êîíå÷íûì ÷åòâåðòûì ìîìåíòîì: Efjn Efn gj4 g  C < 1; n  1;

Sn = 1 + : : : + n .

252

ÏÐÈËÎÆÅÍÈÅ. ÌÀÒÅÌÀÒÈ×ÅÑÊÈÅ ÎÑÍÎÂÛ

Òîãäà ïðè n ! 1 ñ âåðîÿòíîñòüþ åäèíèöà

Sn EfSn g n

! 0:

Óñèëåííûé çàêîí áîëüøèõ ÷èñåë (Êîëìîãîðîâà) ([99], ñòð. 377)

Ïóñòü 1 ; 2 ; : : :  ïîñëåäîâàòåëüíîñòü íåçàâèñèìûõ ñëó÷àéíûõ âåëè÷èí ñ êîíå÷íûìè âòîðûìè ìîìåíòàìè, ïîëîæèòåëüíûå ÷èñëà n òàêîâû, ÷òî X Ef(n Efn g)2 g n ! 1; < 1; n2 Sn = 1 + : : : + n . Òîãäà ïðè n ! 1 ñ âåðîÿòíîñòüþ åäèíèöà

Sn EfSn g n

Ï.1.4

! 0:

Ñòàöèîíàðíûå ñëó÷àéíûå ïðîöåññû

Ïîñëåäîâàòåëüíîñòü fn g ñëó÷àéíûõ âåêòîðîâ n íàçûâàåòñÿ ñòàöèîíàðíûì (â øèðîêîì ñìûñëå) ïðîöåññîì, åñëè ñðåäíåå çíà÷åíèå è êîâàðèàöèÿ íå çàâèñÿò îò ñäâèãà ïî âðåìåíè. Äëÿ ñòàöèîíàðíîãî â øèðîêîì ñìûñëå ñëó÷àéíîãî ïðîöåññà ñïðàâåäëèâî ïðåäñòàâëåíèå â âèäå ñòîõàñòè÷åñêîãî èíòåãðàëà Èòî

1 n = p 2

Z 2

0

 ei  n d + ;

1 < n < 1;

ãäå   êîíñòàíòà, à f g  ñëó÷àéíûé ïðîöåññ ñ íåêîððåëèðîâàííûìè öåíòðèðîâàííûìè ïðèðàùåíèÿìè, ò. å. ïðè ëþáûõ 1  2  3  4 èç èíòåðâàëà [0; 2 ] óäîâëåòâîðÿþùèé óñëîâèÿì:

Ef(1 Ef(1

2 )(2

2 )(3

4 )? g = 0;

1 )? g = U (2 ) U (1 );

ñ ìîíîòîííî íåóáûâàþùåé (â ñìûñëå êâàäðàòè÷íûõ ôîðì) ñèììåòðè÷íîé ìàòðè÷íîé ôóíêöèåé U (
), íàçûâàåìîé ñïåêòðàëüíîé (ñòðóêòóðíîé) ôóíêöèåé ïðîöåññà fn g. Çäåñü  ?  ñòðîêà êîìïëåêñíîñîïðÿæåííàÿ ê âåêòîðó  . Ñïåêòðàëüíàÿ ôóíêöèÿ ìîæåò ñîäåðæàòü ñèíãóëÿðíóþ è íåïðåðûâíóþ ñîñòàâëÿþùèå: U () = U~ () + U ():

Ï.1. ÒÅÎÐÈß ÂÅÐÎßÒÍÎÑÒÅÉ

253

 ()  àáñîëþòíî íåïðåðûâíûå ôóíêöèè, ò. å. ïðè Ýëåìåíòû ìàòðèöû U ïî÷òè âñåõ (ïî ìåðå Ëåáåãà)  2 [0; 2 ] ñóùåñòâóåò ïðîèçâîäíàÿ

dU () S () =  : d

 ïåðâîé ãëàâå ðàññìàòðèâàþòñÿ òîëüêî ðåãóëÿðíûå ñòàöèîíàðíûå ïðîöåññû, ñïåêòðàëüíûå ôóíêöèè êîòîðûõ íå èìåþò ñèíãóëÿðíûõ ÷àñòåé. Äëÿ òàêèõ ïðîöåññîâ ñïåêòðàëüíóþ ôóíêöèþ U () ìîæíî ïðåäñòàâèòü â âèäå Z  U () = S ()d: 0 Ìàòðèöà S () íàçûâàåòñÿ ìàòðèöåé ñïåêòðàëüíûõ ïëîòíîñòåé (èëè ñïåêòðàëüíîé ïëîòíîñòüþ) ïðîöåññà fn g. Èç îïðåäåëåíèÿ ôóíêöèè U () ñëåäóåò, ÷òî ìàòðèöà S ()  íåîòðèöàòåëüíî îïðåäåëåííàÿ, à äëÿ ìàòðèöû êîâàðèàöèè ìîæíî çàïèñàòü ôîðìóëó: Z 1 2 i (k l) covfk ; l g = B (k l) = e dU () = 2 0 Z 1 2 i (k l)  e S ()d: = 2 0 Ñòàöèîíàðíûå ïðîöåññû fn g è fn g íàçûâàþòñÿ ñòàöèîíàðíî ñâÿçàííûìè, åñëè ñîâîêóïíûé ïðîöåññ fn ; n g  ñòàöèîíàðíûé. Äëÿ ñòàöèîíàðíî ñâÿçàííûõ öåíòðèðîâàííûõ ïðîöåññîâ fn g è fn g, èìåþùèõ ñïåêòðàëüíûå ïëîòíîñòè, ñïðàâåäëèâû ñîîòíîøåíèÿ Z 1 2 i (k l)  covfk ; l g = B (k l) = e S ()d 2 0 Z 1 2 i (k l)  covfk ; l g = B (k l) = e S ()d; 2 0 ãäå S ()  ñîâìåñòíàÿ ñïåêòðàëüíàÿ ïëîòíîñòü, B (n)  ìàòðèöà êîâàðèàöèè ïðîöåññîâ fn g è fn g. Ââîäÿ êîìïëåêñíóþ ïåðåìåííóþ  = e i , ïîñëåäíèå ôîðìóëû óäîáíî ïåðåïèñàòü â âèäå: I

ãäå H

H

d 1  n S () ; B (n) = 2i  I 1 d B (n) =  n S () ; 2i 

 èíòåãðàë ïî åäèíè÷íîé îêðóæíîñòè, îðèåíòèðîâàííûé òàê, ÷òî d= = 2i, è S () = S (); S () = S ():

254

ÏÐÈËÎÆÅÍÈÅ. ÌÀÒÅÌÀÒÈ×ÅÑÊÈÅ ÎÑÍÎÂÛ

Ï.1.5

Ïîñëåäîâàòåëüíîñòè ñëó÷àéíûõ âåëè÷èí, áëèçêèå ê ñóïåðìàðòèíãàëàì

Ë å ì ì à Ï.1 ([70], ãë. 2, ëåììà 10, ñòð. 54, [187]) Åñëè 0 ; : : : ; n ; : : :  ïîñëåäîâàòåëüíîñòü íåîòðèöàòåëüíûõ ñëó÷àéíûõ âåëè÷èí: n  0, Ef0 g < 1 è Efn+1 j0 ; : : : ; n g  (1 n )n + n ;

0  n  1; n  0;

X

n = 1;

X

n < 1;

n n

! 0;

òîãäà ñ âåðîÿòíîñòüþ åäèíèöà n ! 0, Efn g ! 0 è

8" > 0; n > 0 Pfj  " 8j  ng  1 " 1 (Efn g +

1 X i=1

i ):

Ë å ì ì à Ï.2 ([70], ãë. 2, ëåììà 9) Åñëè 0 ; : : : ; n ; : : : ïîñëåäîâàòåëü-

íîñòü íåîòðèöàòåëüíûõ ñëó÷àéíûõ âåëè÷èí: n

 0; Ef0 g < 1 è

Efn+1 j0 ; : : : ; n g  (1 + n )n + n ;

n  0; n  0;

X

n < 1;

X

Ef n g < 1; n = n (0 ; : : : ; n );

òîãäà ñ âåðîÿòíîñòüþ åäèíèöà n !  , ãäå   0; Ef g < 1.

Ï.2. ÑÂÅÄÅÍÈß ÈÇ ÐÀÇÍÛÕ ÎÁËÀÑÒÅÉ

255

Ï.2 Ñâåäåíèÿ èç ðàçíûõ îáëàñòåé Ï.2.1

Ñõîäèìîñòü íåêîòîðûõ ÷èñëîâûõ ïîñëåäîâàòåëüíîñòåé

Ë å ì ì à Ï.3 ([70], ãë. 2, ëåììà 1) Åñëè ïîñëåäîâàòåëüíîñòü íåîòðèöàòåëüíûõ ÷èñåë

òîãäà

fung; un  0, óäîâëåòâîðÿåò íåðàâåíñòâó: un+1  un + ; 0   < 1; > 0; un 





1 



+ u0



1 

n :

Ë å ì ì à Ï.4 ([70], ãë. 2, ëåììà 2) Åñëè ïîñëåäîâàòåëüíîñòü íåîòðè-

fung; un  0, óäîâëåòâîðÿåò íåðàâåíñòâó: un+1  (1 + n )un + n ; n  0; n  0;

öàòåëüíûõ ÷èñåë è

1 X n=0

òîãäà

n < 1;

1 X n=0

n < 1;

un ! u  0:

Ë å ì ì à Ï.5 ([70], ãë. 2, ëåììà 3) Åñëè ïîñëåäîâàòåëüíîñòü íåîòðè-

fung; un  0, óäîâëåòâîðÿåò íåðàâåíñòâàì: un+1  n un + n ; 0  n < 1; n  0;

öàòåëüíûõ ÷èñåë è

1 X òîãäà

(1 n ) < 1;

n=0

lim u n!1 n

n 1 n

! 0;

= 0:

Ë å ì ì à Ï.6 ([70], ãë. 2, ëåììà 4(×æóíà)) Åñëè ïîñëåäîâàòåëüíîñòü íåîòðèöàòåëüíûõ ÷èñåë

fun g; un  0, óäîâëåòâîðÿåò íåðàâåíñòâó:

c d )un + p+1 ; d > 0; p > 0; c > p; n n òîãäà un  c d p n p + o (n p )ïðè c > p, un = O(n c ln n) ïðè c = p, un = O(n c ) ïðè c < p. un+1  (1

256

ÏÐÈËÎÆÅÍÈÅ. ÌÀÒÅÌÀÒÈ×ÅÑÊÈÅ ÎÑÍÎÂÛ

Ë å ì ì à Ï.7 ([70], ãë. 2, ëåììà 5(×æóíà)) Åñëè ïîñëåäîâàòåëüíîñòü íåîòðèöàòåëüíûõ ÷èñåë fun g; un  0, óäîâëåòâîðÿåò íåðàâåíñòâó:

c d )un + p ; 0 < q < 1; q < p; q n n

un+1  (1 òîãäà

Ï.2.2

d un  nq p + o(nq p): c

Íåêîòîðûå ìàòðè÷íûå ñîîòíîøåíèÿ

Ìàòðè÷íîå òîæäåñòâî Ïóñòü ìàòðèöû A; D; A + BT DB  íåâûðîæäåíû.

Òîãäà

(A + BT DB)

1

=A

1

A 1 BT (D

1 + BA 1 BT ) 1 BA 1 :

Ïðîâåðèòü âûïîëíåíèå ýòîãî òîæäåñòâà ìîæíî, óìíîæèâ îáå ÷àñòè ôîðìóëû íà (A + BT DB). Ìàòðè÷íîå íåðàâåíñòâî ([85], ñòð. 69) Ïóñòü ìàòðèöà AT A  íåâûðîæäåííàÿ. Òîãäà äëÿ ïðîèçâîëüíîé ìàòðèöû B ñîîòâåòñòâóþùåé ðàçìåðíîñòè

BT B  BT A(AT A) 1 AT B: Ë å ì ì à Ï.8 ([66], ëåììà 2) Ïóñòü ìàòðèöà B  óñòîé÷èâà. Òîãäà äëÿ ëþáîé ìàòðèöû A ñóùåñòâóåò  > 0 òàêîå, ÷òî ïðè

0   <  ìàòðè÷íîå óðàâíåíèå

BX + XBT = D + AXAT èìååò åäèíñòâåííîå ðåøåíèå ïðè ëþáîé ìàòðèöå D. Ïðè ýòîì ìàòðèöà X  ñèììåòðè÷íà, åñëè D  ñèììåòðè÷íà, è X  0, åñëè D  0.  ÷àñòíîì ñëó÷àå ïðè D > 0 è íóëåâîé ìàòðèöå A ýòî êëàññè÷åñêàÿ ëåììà Ëÿïóíîâà (ñì., íàïðèìåð, [61], ãë. 6, ïóíêò 3).

Ë å ì ì à Ï.9 ([66], ëåììà 3) Ïóñòü èìååòñÿ ïîñëåäîâàòåëüíîñòü

ìàòðèö

fVng : Vn  0, ñâÿçàííûõ ðåêóððåíòíûì ñîîòíîøåíèåì: Vn  Vn 1 n BVn 1 n Vn 1 BT + Wn 1 ;

Ï.2. ÑÂÅÄÅÍÈß ÈÇ ÐÀÇÍÛÕ ÎÁËÀÑÒÅÉ

B  óñòîé÷èâà è

ãäå ìàòðèöà

n  0;

257

1 X n=1

n = 1; kWn

1

k  n + nkVn 1 k;  n ! 0;  n ! 0: n n

Òîãäà íàéäåòñÿ òàêîå  > 0, ÷òî åñëè limn!1n <  , òî Vn ! 0. Ïðè ýòîì, åñëè n

 0 è limn!1n > 0, òî kVn k < cn;  < 1.

Ë å ì ì à Ï.10 ([73], ëåììà 3) Ïóñòü èìååòñÿ ïîñëåäîâàòåëüíîñòü ìàòðèö

fVng : Vn  0, ñâÿçàííûõ ðåêóððåíòíûì ñîîòíîøåíèåì:

Vn  Vn

1

n 1 BVn

1

n 1 Vn 1 BT + n 1 n 1 S + Wn 1 ;

B  óñòîé÷èâà è 1 X n  0; n ! 0; n = 1; n ! 0; n = n+1 = 1 + o (n );

ãäå ìàòðèöà

n=1

S > 0; kWn k = o (n ) n + o (n )=kVn k: Òîãäà ãäå

Vn = n V + o ( n )

V  ðåøåíèå óðàâíåíèÿ Ëÿïóíîâà BV + VBT = S:

Ë å ì ì à Ï.11 ([73], ëåììà 4) Ïóñòü èìååòñÿ ïîñëåäîâàòåëüíîñòü ìàòðèö

fVng : Vn  0, ñâÿçàííûõ ðåêóððåíòíûì ñîîòíîøåíèåì: Vn = (I n 1 B)Vn

1 + n 1 n 1 S + Wn 1 ;

B  óñòîé÷èâà è 1 X n  0; n ! 0; n = 1; n ! 0; n = n+1 = 1 + o (n );

ãäå ìàòðèöà

n=1

kWn k = o (n) n + o (n )=kVn k: Òîãäà

Vn = n B 1 S + o ( n ):

258

ÏÐÈËÎÆÅÍÈÅ. ÌÀÒÅÌÀÒÈ×ÅÑÊÈÅ ÎÑÍÎÂÛ

Ë å ì ì à Ï.12 ([73], ëåììà 5) Ïóñòü èìååòñÿ ïîñëåäîâàòåëüíîñòü

ìàòðèö

fVng : Vn  0, ñâÿçàííûõ ðåêóððåíòíûì ñîîòíîøåíèåì: Vn = (1

ãäå

Òîãäà

Ï.2.3

2 1 )V + S + Wn 1 ; n n 1 n2

kWn k = o ( n12 ) + o ( n12 )kVn k: 1 1 Vn = S + o ( ): n n

Ôàêòîðèçàöèÿ ìàòðè÷íûõ ôóíêöèé

Îáùèå ðåçóëüòàòû î ñïåêòðàëüíîé ôàêòîðèçàöèè ïîëîæèòåëüíûõ îïåðàòîðîâ ìîæíî íàéòè â [87] (ñì. ðàçäåë 2.3, ñòð. 8993). Çäåñü îãðàíè÷èìñÿ ôîðìóëèðîâêîé òåîðåìû, êàñàþùåéñÿ âàæíîãî ÷àñòíîãî ñëó÷àÿ: ôàêòîðèçàöèè äðîáíîðàöèîíàëüíûõ ôóíêöèé. Ò å î ð å ì à (òåîðåìà 3.Ï.6 èç [84], ñòð. 182) Ïóñòü S ()  äðîáíî ðàöèîíàëüíàÿ (ìàòðè÷íàÿ) ôóíêöèÿ (ä.ð.ô.) ñ âåùåñòâåííûìè êîýôôèöèåíòàìè â ìàòðè÷íûõ ýëåìåíòàõ, îïðåäåëåííàÿ è íåîòðèöàòåëüíàÿ ïðè âñåõ jj = 1. Òîãäà ñóùåñòâóåò óñòîé÷èâàÿ ä.ð.ô. () òàêàÿ, ÷òî ñïðàâåäëèâî ïðåäñòàâëåíèå S () = ()( 1 )T

ïðè âñåõ êîìïëåêñíûõ çíà÷åíèÿõ . Ïðè ýòîì, åñëè detS () 6= 0 ïðè jj = 1, òî () 1  óñòîé÷èâàÿ ä.ð.ô.

Ï.3. ÑÕÎÄÈÌÎÑÒÜ ÐÅÊÓÐÐÅÍÒÍÛÕ ÀËÃÎÐÈÒÌÎÂ

259

Ï.3 Ñõîäèìîñòü ðåêóððåíòíûõ àëãîðèòìîâ  ýòîì ðàçäåëå ïðèâîäÿòñÿ íåñêîëüêî îáùèõ ðåçóëüòàòîâ ïî èññëåäîâàíèþ ñâîéñòâ îöåíîê, äîñòàâëÿåìûõ ðåêóððåíòíûìè àëãîðèòìàìè. È, õîòÿ â òåêñòå êíèãè íåò ïðÿìûõ ññûëîê íà ýòè ðåçóëüòàòû, èõ ôîðìóëèðîâêà ïîëåçíà ñ öåëüþ èëëþñòðàöèè ðàçíîîáðàçíûõ âîçìîæíîñòåé àíàëèçà îöåíîê, êîòîðûå ìîæíî èñïîëüçîâàòü â äàëüíåéøåì èçó÷åíèè.

Ï.3.1

Ëèíåéíûé ñëó÷àé

Èçëîæåíèå â ýòîì ïóíêòå ñëåäóåò ðàáîòå [66], â êîòîðîé äëÿ àíàëèçà ðåêóððåíòíûõ ñòîõàñòè÷åñêèõ àëãîðèòìîâ ïðèìåíÿåòñÿ ïîäõîä àíàëîãè÷íûé ïåðâîìó ìåòîäó Ëÿïóíîâà â òåîðèè óñòîé÷èâîñòè. Ðàññìîòðèì èòåðàòèâíûé ïðîöåññ âèäà:

^n = ^n

1

n (R(^n 1 ) + n ); R(x) = B(x );

ãäå n  íîìåð èòåðàöèè, f^n g  ïîñëåäîâàòåëüíîñòü r -ìåðíûõ âåêòîðîâ, n  0  äåòåðìèíèðîâàííûå ñêàëÿðû, B  ìàòðèöà ðàçìåðíîñòè r  r,   èñêîìîå ðåøåíèå, n  ïîìåõè. Ñäåëàåì ñëåäóþùèå ïðåäïîëîæåíèÿ.

(Ï1.1) Ìàòðèöà B  óñòîé÷èâà, ò. å.

Rei   > 0 äëÿ âñåõ ñîáñòâåííûõ çíà÷åíèé i ìàòðèöû

B.

(Ï1.2) Ïîìåõè n (^n 1) çàâèñÿò òîëüêî îò n è ^n 1 , öåíòðèðîâàíû è âçàèìíî íåçàâèñèìû.

(Ï1.3) Äèñïåðñèÿ ïîìåõè êîíå÷íà, ïðè÷åì

Efn (x)nT (x)g  W + T(x )(x )T TT; ãäå W è T  r r -ìàòðèöû, ïðè÷åì W  íåîòðèöàòåëüíî îïðåäåëåííàÿ ñèììåòðè÷íàÿ ìàòðèöà.

(Ï1.4) Íà÷àëüíîå ïðèáëèæåíèå ^0 ìîæåò áûòü äåòåðìèíèðîâàííûì

èëè ñëó÷àéíûì; â ïîñëåäíåì ñëó÷àå ïðåäïîëàãàåòñÿ, ÷òî ñóùåñòâóåò S0 = Ef(^0 )(^0 )Tg.

260

ÏÐÈËÎÆÅÍÈÅ. ÌÀÒÅÌÀÒÈ×ÅÑÊÈÅ ÎÑÍÎÂÛ

 êà÷åñòâå ìåðû áëèçîñòè ïðèáëèæåíèÿ ìàòðèöó Sn = Ef(^n )(^n

^n

ê



áóäåì ðàññìàòðèâàòü

)T g:

Ñëåäóþùèå äâå òåîðåìû õàðàêòåðèçóþò ïîâåäåíèå ìàòðèö Sn . Ò å î ð å ì à ([66], òåîðåìà 1) Ïóñòü âûïîëíåíû óñëîâèÿ (Ï1.14) è n !  > 0: Òîãäà íàéäåòñÿ òàêîå  , ÷òî ïðè 0 <  < 

Sn  S1 + Vn ; ãäå S1  ðåøåíèå ìàòðè÷íîãî óðàâíåíèÿ

BS + SBT = (W + BSBT + TSTT); à

Vn ! 0. Åñëè n  ; 0 <  <   , òî kVn k < cn ;  < 1.  ÷àñòíîñòè, åñëè n  , à T = 0, òî Vn = (I B)n (S0

S1)(I B)n :

Ò å î ð å ì à ([66], òåîðåìà 2) Ïóñòü âûïîëíåíû óñëîâèÿ (Ï1.14)

n ! 0;  = 1). è

Òîãäà

ãäå

à

nn

ìîíîòîííî âîçðàñòàåò è

nn

!  > 21  (âîçìîæíî,

Sn  n S + Vn ;

kVn k = o (n ), à S  0  ðåøåíèå ìàòðè÷íîãî óðàâíåíèÿ BS + SBT =  1 S + W:

Ï.3.2 Ìåòîä ñòîõàñòè÷åñêîé ôóíêöèè Ëÿïóíîâà Äëÿ àíàëèçà ðåêóððåíòíûõ ñòîõàñòè÷åñêèõ àëãîðèòìîâ â íåëèíåéíîì ñëó÷àå ìîæíî èñïîëüçîâàòü ïîäõîä àíàëîãè÷íûé âòîðîìó ìåòîäó Ëÿïóíîâà â òåîðèè óñòîé÷èâîñòè. Ïåðâûé îáùèé ðåçóëüòàò, ïîëó÷åííûé òàêèì îáðàçîì, ïðèíàäëåæèò Áëþìó [113].  ðàáîòå [60] ìîæíî íàéòè äåòàëüíûé îáçîð ïîñëåäóþùèõ ïðèìåíåíèé ýòîãî ìåòîäà. Ðàññìîòðèì ðåêóððåíòíûé àëãîðèòì â ïðîñòðàíñòâå R r :

^n = ^n

1

n Y n ;

Ï.3. ÑÕÎÄÈÌÎÑÒÜ ÐÅÊÓÐÐÅÍÒÍÛÕ ÀËÃÎÐÈÒÌÎÂ

261

ãäå n  íîìåð èòåðàöèè, ^n  r -ìåðíûå âåêòîðû, n  0  äåòåðìèíèðîâàííûå ñêàëÿðíûå ìíîæèòåëè (âåëè÷èíû ðàçìåðîâ øàãîâ), Y n  ñëó÷àéíûå r -ìåðíûå âåêòîðû (íàïðàâëåíèÿ äâèæåíèÿ). Èçó÷åíèå ñõîäèìîñòè ïðîöåññà ïîñòðîåíèÿ îöåíîê ïðîâåäåì ñ ïîìîùüþ ñêàëÿðíîé ôóíêöèè V (x)  àíàëîãà ôóíêöèè Ëÿïóíîâà. Ñôîðìóëèðóåì îñíîâíûå ïðåäïîëîæåíèÿ.

(Ï2.1) Èòåðàòèâíûé ïðîöåññ èìååò ìàðêîâñêèé õàðàêòåð, ò. å. ðàñïðåäåëåíèå ñëó÷àéíîãî âåêòîðà Y n = Gn (!; ^n 1 ).

Yn

çàâèñèò òîëüêî îò

^n

1 è

n:

(Ï2.2) V (x)  íåîòðèöàòåëüíà, inf V (x) = 0, V (x)  äèôôåðåíöèðóåìà, à åå ãðàäèåíò óäîâëåòâîðÿåò óñëîâèþ Ãåëüäåðà:

krV (x) rV ()k  Akx k; 0 <   1: Ï2.3 Óñëîâèå ïñåâäîãðàäèåíòíîñòè:

hrV (x); EfGn (!; x)gi  Æn V (x) n; Æn > 0; n  0: (Ï2.4) Óñëîâèå íà Gn(
;
):

EfkGn (!; x)k+1 g  n+1 + nV (x); n  0; n  0: (Ï2.5) Óñëîâèå íà íà÷àëüíîå ïðèáëèæåíèå: EfV (^0 )g < 1: Ââåäåì îáîçíà÷åíèÿ

n = n (Æn

An n A +1 +1  ); n = n n + n n ; n = n ; +1 +1 n

n = ( (Ï2.6) 0  n  1;

P

n n+1

n n

1 1) ; 0n = (1 n

n+1 1 ) : n n+1

= 1:

 ñëåäóþùåé òåîðåìå ñôîðìóëèðîâàíû îñíîâíûå ðåçóëüòàòû î ñõîäèìîñòè ïîñëåäîâàòåëüíîñòè îöåíîê f^n g. Ò å î ð å ì à ([65], òåîðåìû 13) Ïóñòü âûïîëíåíû óñëîâèÿ (Ï2.16). Åñëè limn!1 n  ;   0; òîãäà limn!1 EfV (^n )g  :

262

ÏÐÈËÎÆÅÍÈÅ. ÌÀÒÅÌÀÒÈ×ÅÑÊÈÅ ÎÑÍÎÂÛ

Åñëè ïðè ýòîì n

  äëÿ âñåõ n, òî

EfV (^n)g  EfV (^0 )g

n Y

n Y

i=0

i=0

(1 i ) + (1

(1 i )):

Åñëè n ! 0; òîãäà EfV (^n )g ! 0: Åñëè, êðîìå òîãî, à) limn!1 n   < 1, òî

 EfV (^n)g  n+1 + o(n+1 ); 1  á)n   < 1 äëÿ âñåõ n, òî 

EfV (^n)g  

n+1

â)limn!1 0n



EfV (^0 )g + 1  0 1

1

Y n

1 

i=0



(1 (1 )i ) ;

  > 1, òî n Y

EfV (^n )g = O( ã)0n

  > 1 äëÿ âñåõ n, òî 

i=0

EfV (^n )g  EfV (^0 )g +

(1 i ));

0

1 

Y n

i=0

(1 i ):

P1

Åñëè n n < 1; òîãäà V (^n ) ! 0 c âåðîÿòíîñòüþ åäèíèöà. Ïðè ýòîì äëÿ âñÿêîãî " > 0; n0  0

P EfV (^0 )g + 1 n n : " Åñëè, êðîìå òîãî, limn!1 0n   > 1, òî äëÿ âñÿêîãî K > 0 íàéäåòñÿ òàêîå C = C (K; EfV (^0 )g), ÷òî

PfV (^n)  " 8n  n0 g  1

PfV (^n )  (C + K ) à åñëè 0n

n Y i=0

(1 i ) 8ng  1 C=K;

  > 1 äëÿ âñåõ n, òî

n EfV (^0 )g 0 0 Y n 0 ^ ^ ) (1 i ) 8ng  1 : PfV ( )  (K +EfV ( )g+ 1  i=0 K K ( 1)

Ï.3. ÑÕÎÄÈÌÎÑÒÜ ÐÅÊÓÐÐÅÍÒÍÛÕ ÀËÃÎÐÈÒÌÎÂ

Ï.3.3

263

Ìåòîä ÎÄÓ äëÿ èññëåäîâàíèÿ ñõîäèìîñòè ðåêóððåíòíûõ àëãîðèòìîâ

 òîé èëè èíîé ñòåïåíè âñå ìåòîäû àíàëèçà ñõîäèìîñòè ðåêóððåíòíûõ àëãîðèòìîâ òðåáóþò óìåíèÿ ïîêàçàòü, ÷òî âëèÿíèå ïîìåõ â ðåçóëüòàòå ñâîäèòñÿ ê íóëþ. Ñëåäóÿ [158], ðàññìîòðèì àëãîðèòì ñ ïðîåêòèðîâàíèåì

^n = P (^n

1

n Y n ):

Îãðàíè÷èìñÿ ðàññìîòðåíèåì îãðàíè÷èâàþùèõ ìíîæåñòâ òðåõ òèïîâ:

 ìíîæåñòâî  = fx : Ai  xi  Bi; i = 1; 2; : : : ; rg  ãèïåðïðÿìîóãîëüíèê,

Ai ; Bi ; i = 1; 2; : : : ; r  âåùåñòâåííûå ÷èñëà,

 ìíîæåñòâî  = fx : qi(x)  0; i = 1; 2; : : : ; pg, ïðè ýòîì îíî ñâÿçíîå êîìïàêòíîå è íåïóñòîå, qi (
); i = 1; 2; : : : ; p  íåïðåðûâíî äèôôåðåíöèðóåìûå âåùåñòâåííûå ôóíêöèè ñ ãðàäèåíòàìè íåðàâíûìè íóëþ â òåõ òî÷êàõ, ãäå ñàìè ôóíêöèè ðàâíû íóëþ.

 ìíîæåñòâî   ñâÿçíîå êîìïàêòíîå ìíîãîîáðàçèå ñ íåïðåðûâíî äèôôåðåíöèðóåìûìè âíåøíèìè íîðìàëÿìè, ðàçìåðíîñòè íà åäèíèöó ìåíüøåé, ÷åì ðàçìåðíîñòü âåêòîðîâ îöåíîê.

Îáîçíà÷èì n Z n  êðàò÷àéøèé âåêòîð â ñìûñëå åâêëèäîâîé ìåòðèêè, âîçâðàùàþùèé ^n 1 n Y n îáðàòíî â îãðàíè÷èâàþùåå ìíîæåñòâî , åñëè ýòî íåîáõîäèìî. Îòìåòèì, ÷òî Z n 2 C (^n) , ãäå C (x)  êîíóñ, îïðåäåëÿåìûé âíåøíèìè íîðìàëÿìè ê ïîâåðõíîñòÿì, çàäàþùèì îãðàíè÷åíèÿ ïàðàìåòðîâ. Ìåòîä ÎÄÓ èñïîëüçóåò íåïðåðûâíóþ èíòåðïîëÿöèþ äèñêðåòíîé ïîñëåäîâàòåëüíîñòè îöåíîê f^n g. Åñòåñòâåííîé îñíîâîé äëÿ âûáîðà ìàñøòàáà âðåìåíè ïðè èíòåðïîëÿöèè ñëóæèò ïîñëåäîâàòåëüíîñòü âåëè÷èí ðàçPn ìåðîâ øàãîâ àëãîðèòìà fn g. Ïóñòü t0 = 0 è tn = i=1 i . Ââåäåì öåëî÷èñëåííóþ ôóíêöèþ m(t) äëÿ t  0, ðàâíóþ åäèíñòâåííîìó çíà÷åíèþ n, äëÿ êîòîðîãî tn  t < tn+1 . Äëÿ t < 0 áóäåì ñ÷èòàòü m(t) = 0. Îïðåäåëèì èíòåðïîëÿöèþ  0 (
) íà âñåé ÷èñëîâîé îñè:

0(t) = ^m(t)

fn(
)g: n(t) = 0(tn + t); t 2 ( 1; +1):

è ïîñëåäîâàòåëüíîñòü ñäâèíóòûõ ïðîöåññîâ

264

ÏÐÈËÎÆÅÍÈÅ. ÌÀÒÅÌÀÒÈ×ÅÑÊÈÅ ÎÑÍÎÂÛ

Ïóñòü Z i t0è

= 0 è Y i = 0 ïðè i  0.

Z 0 (t) =

mX (t) 1

Îïðåäåëèì fZ n (
)g ïî ïðàâèëó:

Z n (t) = Z 0 (t

n + t)

Z n(t) =

Îïðåäåëèì

i=0

Z 0 (t

i Z i ; t > 0:

n) =

nX1

Z 0 (t) = 0 è Y 0 (t) = 0 ïðè

m(tX n +t) 1 i=n

i Z i ; t  0 ;

 i Z i ; t < 0:

i=m(tn +t) Àíàëîãè÷íûì îáðàçîì îïðåäåëèì fY n (
)g, èñïîëüçóÿ îïðåäåëåíèé ïîëó÷àåì:

n(t) = ^n n(t) = ^n +

m(tX n +t) 1 i=n m X1 i=m(tn +t)

Yi

âìåñòî

Z i.

Èç

i (Y i + Z i) = ^n Y n (t) Z n(t); t  0; i (Y i + Z i ) = ^n Y n (t) Z n (t); t < 0:

Áóäåì ïîíèìàòü ïîä èíâàðèàíòíûì ìíîæåñòâîì ÎÄÓ I èç  (âñåãäà ïîäðàçóìåâàÿ äâóõñòîðîííåå èíâàðèàíòíîå ìíîæåñòâî) òàêîå, äëÿ êîòîðîãî ïðèíàäëåæíîñòü x 2 I âëå÷åò çà ñîáîé ñóùåñòâîâàíèå ðåøåíèÿ ÎÄÓ â , çàäàííîãî íà âñåé ÷èñëîâîé îñè, ïðîõîäÿùåãî ÷åðåç òî÷êó x â íóëåâîé ìîìåíò âðåìåíè. Åñëè â àëãîðèòìå èñïîëüçóþòñÿ îãðàíè÷èâàþùèå âîçìîæíûå çíà÷åíèÿ ïàðàìåòðîâ ìíîæåñòâà, òî ìíîæåñòâî ïðåäåëüíûõ òî÷åê ñîîòâåòñòâóþùåãî ÎÄÓ ìîæåò áûòü ìåíüøå, ÷åì íàèáîëüøåå äâóñòîðîííå èíâàðèàíòíîå ìíîæåñòâî. Ïóñòü âñå ñëó÷àéíûå âåëè÷èíû îïðåäåëåíû íà íåêîòîðîì âåðîÿòíîñòíîì ïðîñòðàíñòâå . Ñäåëàåì ñëåäóþùèå ïðåäïîëîæåíèÿ:

(Ï3.1) supn EfkY n k2 g < 1; (Ï3.2)

P1 2 n=1 n

< 1;

(Ï3.3) ñóùåñòâóåò èçìåðèìàÿ ôóíêöèÿ g(
) è ñëó÷àéíûå âåêòîðû  n:

EfY n j^0; Y i ; i < ng = g(^n 1 ) +  n ;

Ï.3. ÑÕÎÄÈÌÎÑÒÜ ÐÅÊÓÐÐÅÍÒÍÛÕ ÀËÃÎÐÈÒÌÎÂ

265

(Ï3.4) g(
)  íåïðåðûâíàÿ ôóíêöèÿ;

(Ï3.5) f n g  àñèìïòîòè÷åñêè íåçíà÷èìûå âåëè÷èíû: ñ âåðîÿòíîñòüþ åäèíèöà

1 X n=1

n j nj < 1:

(Ï3.6) äëÿ ëþáûõ íà÷àëüíûõ óñëîâèé íå èç íåêîòîðîãî ïîäìíîæåñòâà

L

ìíîæåñòâà ïðåäåëüíûõ òî÷åê L , ñîîòâåòñòâóþùåãî àëãîðèòìó ïðîåêöèîííîãî ÎÄÓ, òðàåêòîðèè ÎÄÓ ïîïàäàþò â íåêîòîðîå ëîêàëüíî àñèìïòîòè÷åñêè ñòàáèëüíîå â ñìûñëå Ëÿïóíîâà ìíîæåñòâî A ;

(Ï3.7) ñóùåñòâóåò íåïðåðûâíî äèôôåðåíöèðóåìàÿ âåùåñòâåííàÿ ôóíêöèÿ f (
): g (
) = rf (
), è Sk ; k = 1; : : :  íàáîð íåïåðåñåêàþùèõñÿ êîìïàêòíûõ ìíîæåñòâ ñòàöèîíàðíûõ òî÷åê ïðîåêöèîííîãî ÎÄÓ.

Ñôîðìóëèðóåì îñíîâíîé ðåçóëüòàò, ñâÿçûâàþùèé àñèìïòîòè÷åñêîå ïîâåäåíèå îöåíîê f^n g ðåêóððåíòíîãî àëãîðèòìà ñ ðåøåíèÿìè ñîîòâåòñòâóþùåãî ÎÄÓ. Ò å î ð å ì à ([158], òåîðåìà 2.1, ñòð. 95) Ïðåäïîëîæèì, ÷òî âûïîëíåíû óñëîâèÿ (Ï3.15) Òîãäà ñóùåñòâóåò ìíîæåñòâî Z èç âåðîÿòíîñòè íîëü òàêîå, ÷òî äëÿ âñÿêîãî ! 2 = Z ôóíêöèè fn(!;
); Z n (!;
)g óäîâëåòâîðÿþò óñëîâèÿì Ëèïøèöà (ïî÷òè íåïðåðûâíûå) ïî n, ïàðà ôóíêöèé ( (!;
); Z (!;
)), ÿâëÿþùèõñÿ ïðåäåëîì íåêîòîðîé ñõîäÿùåéñÿ ïîäïîñëåäîâàòåëüíîñòè, óäîâëåòâîðÿåò ïðîåêöèîííîìó ÎÄÓ

_ = g() + z; z 2 C () è ïîñëåäîâàòåëüíîñòü f^n (! )g ñõîäèòñÿ ê íåêîòîðîìó èíâàðèàíòíîìó ìíîæåñòâó ýòîãî ÎÄÓ â . Åñëè ìíîæåñòâî îãðàíè÷åíèé íå çàäàíî, íî ïîñëåäîâàòåëüíîñòü f^n g ñ âåðîÿòíîñòüþ åäèíèöà îãðàíè÷åíà, òîãäà ïðè ïî÷òè âñåõ ! ïðåäåëüíûå ôóíêöèè  (!;
) ñõîäÿùèõñÿ ïîäïîñëåäîâàòåëüíîñòåé f n (!;
)g ÿâëÿþòñÿ òðàåêòîðèÿìè ÎÄÓ _ = g() â íåêîòîðîì îãðàíè÷åííîì èíâàðèàíòíîì ìíîæåñòâå, è ïîñëåäîâàòåëüíîñòü f^n (! )g ñõîäèòñÿ ê ýòîìó èíâàðèàíòíîìó ìíîæåñòâó. Åñëè pn (
)  íåêîòîðûå öåëî÷èñëåííûå ôóíêöèè îò !, ñòðåìÿùèåñÿ ê áåñêîíå÷íîñòè ñ âåðîÿòíîñòüþ åäèíèöà ïðè n ! 1, òî çàêëþ÷åíèÿ òåîðåìû,

266

ÏÐÈËÎÆÅÍÈÅ. ÌÀÒÅÌÀÒÈ×ÅÑÊÈÅ ÎÑÍÎÂÛ

êàñàþùèåñÿ ïðåäåëîâ f n (! )g, âûïîëíÿþòñÿ ñ çàìåíîé n íà pn (! ). Åñëè   àñèìïòîòè÷åñêè óñòîé÷èâàÿ òî÷êà ñîîòâåòñòâóþùåãî àëãîðèòìó ïðîåêöèîííîãî ÎÄÓ, è ^n ïðèíàäëåæàò íåêîòîðîìó êîìïàêòíîìó ìíîæåñòâó â îáëàñòè ïðèòÿæåíèÿ  áåñêîíå÷íî ÷àñòî ñ âåðîÿòíîñòüþ  , òîãäà ^n !  ñ âåðîÿòíîñòüþ íå ìåíüøåé . Åñëè âûïîëíåíî óñëîâèå (Ï3.6), òîãäà ñ âåðîÿòíîñòüþ åäèíèöà ïðåäåëüíûå òî÷êè íàõîäÿòñÿ â ìíîæåñòâå L [ A . Åñëè äîïîëíèòåëüíî ïðåäïîëîæèòü âûïîëíåíèå óñëîâèÿ (Ï3.7), òî ïðè ïî÷òè âñåõ ! ïîñëåäîâàòåëüíîñòü f^n (!)g ñõîäèòñÿ ê îäíîìó ìíîæåñòâó Sk . Âî ìíîãèõ ïðèëîæåíèÿõ, ãäå g (
) ÿâëÿåòñÿ ãðàäèåíòîì è ñðåçàþùèå ãðàíèöû äîñòàòî÷íî âåëèêè, ñóùåñòâóåò òîëüêî îäíà ñòàöèîíàðíàÿ òî÷êà ïðîåêöèîííîãî ÎÄÓ è îíà ãëîáàëüíî àñèìïòîòè÷åñêè ñòàáèëüíà.  ýòîì ñëó÷àå ïîñëåäîâàòåëüíîñòü f^n g ñõîäèòñÿ ñ âåðîÿòíîñòüþ åäèíèöà ê ýòîé òî÷êå.  çàêëþ÷åíèè ïðèâåäåì îäèí èç âîçìîæíûõ âàðèàíòîâ äîêàçàòåëüñòâà ýòîé òåîðåìû, âçÿòûé èç [158]. ×àñòü1. Ñõîäèìîñòü ìàðòèíãàëîâ è ëèïøåöåâîñòü. Îáîçíà÷èì ÆM n = Y n g(^n 1 )  n è ïåðåïèøåì àëãîðèòì îöåíèâàíèÿ â âèäå:

^n = ^n

1

n g(^n 1 ) n Z n n ÆM n n  n :

Òîãäà ìîæíî çàïèñàòü

n(t) = ^n

m(tX n +t) 1 i=n

m(tX n +t) 1

i

i g(^i 1 )

ÆM i

m(tX n +t) 1

m(tX n +t) 1

i=n

i Z i

i  i :

i=n i=n Pn 1 Îïðåäåëèì Mn = i=0 i ÆM i . Ýòî ìàðòèíãàëüíàÿ ïîñëåäîâàòåëüíîñòü,

àññîöèèðîâàííàÿ ñ íåêîòîðîé  -àëãåáðîé Fn , ÿâëÿþùåéñÿ ìèíèìàëüíîé -àëãåáðîé, êîòîðàÿ ïîðîæäàåòñÿ ñëó÷àéíûìè âåëè÷èíàìè ^0 ; Y i ; i < n.  ñèëó îäíîãî èç ñâîéñòâ ìàðòðèíãàëüíûõ ïîñëåäîâàòåëüíîñòåé (ñì. [158]), äëÿ ëþáîãî  > 0

Pf sup jMn j  g  nm

Pn i i=m i ÆM 2

Ef

g:

Ï.3. ÑÕÎÄÈÌÎÑÒÜ ÐÅÊÓÐÐÅÍÒÍÛÕ ÀËÃÎÐÈÒÌÎÂ

267

Èç ïðåäïîëîæåíèé (Ï3.1,2) è òîãî ôàêòà, ÷òî EfÆM i ÆM j g = 0 ïðè i 6= P 2 j , ñëåäóåò îãðàíè÷åííîñòü ïðàâîé ÷àñòè íåðàâåíñòâà âåëè÷èíîé K 1 i=m i ñ íåêîòîðîé êîíñòàíòîé K . Òàêèì îáðàçîì, äëÿ ëþáîãî  > 0

lim Pf sup jMn j  g = 0: nm

m!1

Àíàëîãè÷íî îïðåäåëåíèþ fZ n (
)g, îïðåäåëèì fM n (
)g fB n (
)g, èñïîëüçóÿ âìåñòî Zi ñîîòâåòñòâåííî ÆM i ;  i . Èç ïîñëåäíåãî ñîîòíîøåíèÿ è (Ï3.5) ñëåäóåò, ÷òî ñóùåñòâóåò ìíîæåñòâî Z èç íóëåâîé âåðîÿòíîñòè òàêîå, ÷òî äëÿ âñÿêîãî ! 2 = Z ôóíêöèè fM n (!;
)g, B n(!;
)g ïðè n ! 1 ñòðåìÿòñÿ ê íóëþ ðàâíîìåðíî íà ëþáîì îãðàíè÷åííîì èíòåðâàëå èç

(

1; +1):

Òàê êàê  n (t)  êóñî÷íî-ïîñòîÿííûå ôóíêöèè, òî ïîëó÷åííûå âûøå äëÿ íèõ ñîîòíîøåíèÿ ìîæíî ïåðåïèñàòü â âèäå

n(t) = ^n

Z t

0

g(n ( ))d

Z n(t) M n (t) B n (t) Gn(t);

â êîòîðîì ôóíêöèè Gn (t) ïîëó÷àþòñÿ ïðè ïðåîáðàçîâàíèè ïåðâîé ñóììû â èíòåãðàë.  òå ìîìåíòû âðåìåíè t = tk tn , êîãäà ïðîöåññ èíòåðïîëÿöèè èìååò ñêà÷îê, ôóíêöèè Gn (t) = 0 è ðàâíîìåðíî ïî t ñòðåìÿòñÿ ê íóëþ ïðè n ! 1.  ïîñëåäíåì ñîîòíîøåíèè äëÿ âñÿêîãî ! 2 = Z n n n ôóíêöèè fM (!;
)g; fB (!;
)g; fG (!;
)g ëèïøåöåâû ïî n è â ïðåäåëå ðàâíû íóëåâîé ôóíêöèè. Äëÿ äîêàçàòåëüñòâà ïåðâîãî óòâåðæäåíèÿ òåîðåìû îñòàëîñü ïîêàçàòü, ÷òî ëèïøåöåâîñòü ôóíêöèé fZ n (!;
)g ñëåäóåò èç òîãî, ÷òî èç Z n (!) 2 C (^n(!)):

Äëÿ ! 2 = Z èìååì ^n(!) ^n 1 (!) ! 0. Åñëè fZ n (!;
)g íå ëèïøèöåâà, òîãäà ñóùåñòâóåò ïîäïîñëåäîâàòåëüíîñòü, èìåþùàÿ ñêà÷îê àñèìïòîòè÷åñêè, ò. å. ñóùåñòâóþò öåëûå ÷èñëà ik ! 1, ðàâíîìåðíî îãðàíè÷åííàÿ ïîñëåäîâàòåëüíîñòü ìîìåíòîâ âðåìåíè k , ñòðåìÿùèåñÿ ê íóëþ Æk > 0 è íåêîòîðîå ïîëîæèòåëüíîå ÷èñëî  > 0 (âñå çàâèñÿò îò ! ) òàêèå, ÷òî

kZ ik (!; k + Æk ) Z ik (!; k )k  : Ýòî ïðîòèâîðå÷èò ïîñëåäíåìó ñîîòíîøåíèþ äëÿ  n (t), â êîòîðîì Z n (!; t) íàõîäèòñÿ â ïðàâîé ÷àñòè è ñòðåìèòñÿ ê íóëþ íà èíòåðâàëå [k ; k + Æk ]. Áîëåå òîãî, n Y n (!) = n g(^n 1 (!)) + n ÆM n (!) + n  n ! 0 è Z n (!) = 0, åñëè ^n(!) 2 0 (0 - âíóòðåííîñòü ìíîæåñòâà ). Òàêèì îáðàçîì, ýòîò ñêà÷îê íå ìîæåò ñäâèíóòü îöåíêó âî âíóòðåííþþ òî÷êó

268

ÏÐÈËÎÆÅÍÈÅ. ÌÀÒÅÌÀÒÈ×ÅÑÊÈÅ ÎÑÍÎÂÛ

ãèïåðïðÿìîóãîëüíèêà è òàêæå íå ìîæåò ñäâèíóòü  n (!;
) âäîëü îãðàíè÷åíèÿ. Ñëåäîâàòåëüíî, fZ n (!;
)g  ëèïøèöåâà. ×àñòü 2. Ñâîéñòâà ïðåäåëà ñõîäÿùåéñÿ ïîäïîñëåäîâàòåëüíîñòè: ïðèìåíåíèå òåîðåìû ÀðöåëàÀñêîëè. Ïóñòü ! 2 = Z è ïîäïîñëåäîâàòåëüíîñòü fnk g òàêîâà, ÷òî ïîñëåäîâàòåëüíîñòü f nk (!;
); Z nk (!;
)g ñõîäèòñÿ. Îáîçíà÷èì åå ïðåäåë ( (!;
); Z (!;
)). Òîãäà Z t

(!; t) = (!; 0)

g((!;  ))d

Z (!; t):

0 Çàìåòèì, ÷òî  (!; t)  äëÿ ëþáîãî t è Z (!; 0) = 0. Êàê ñëåäóåò èç ìåòîäà êîíñòðóèðîâàíèÿ Z (!; ), ýòà ôóíêöèÿ ïðîñòî îáåñïå÷èâàåò ñîõðàíåíèå äèíàìèêè g ( ), äåéñòâóÿ íà  (!; ) âíå . Èç õàðàêòåðèñòèê Z (!; t) âìåñòå ñî ñâîéñòâîì íåïðåðûâíîñòè (!; ) ïîR òåîðåìå Àðöåëà t+ Àñêîëè äëÿ  > 0 ïîëó÷àåì Z (!; t +  ) Z (!; t) gR((!; s)) ds. t t Ñëåäîâàòåëüíî, Z (!; )  ëèïøèöåâà íåïðåðûâíà è Z (!; t) = 0 z (!;  )d , ãäå z (!; t) C ((!; t)) äëÿ ïî÷òè âñåõ t. Ïðåäïîëîæèì, ÷òî ïîñëåäîâàòåëüíîñòü ^n (! ) èìååò ïðåäåëüíóþ òî÷êó x1 = L A . Òîãäà ñóùåñòâóåò ïîäïîñëåäîâàòåëüíîñòü mk òàêàÿ, ÷òî  mk (!; ) ñõîäèòñÿ ê ðåøåíèþ ïðîåêöèîííîãî ÎÄÓ ñ íà÷àëüíûìè óñëîâèÿìè x1 . Ìíîæåñòâî A  íàçûâàåòñÿ ëîêàëüíî àñèìïòîòè÷åñêè ñòàáèëüíûì â ñìûñëå Ëÿïóíîâà äëÿ ÎÄÓ, åñëè äëÿ ëþáîãî Æ > 0 íàéäåòñÿ Æ1 > 0 òàêîå, ÷òî âñå òðàåêòîðèè, íà÷èíàþùèåñÿ â NÆ1 (A ) íèêîãäà íå ïîêèäàþò NÆ (A ) è â êîíå÷íîì ñ÷åòå îñòàþòñÿ â NÆ1 (A ). Ïî óñëîâèþ (Ï3.6) òåîðåìû ìû ìîæåì âûáðàòü ïðîèçâîëüíî ìàëûìè Æ > Æ1 > 0, è ïðè ýòîì òðàåêòîðèÿ ïðîåêöèîííîãî ÎÄÓ, íà÷èíàþùàÿñÿ â x0 , â êîíöå êîíöîâ ïîïàäåò â NÆ1 (A ), êðîìå òîãî, ^n (! ) äîëæíà ïîïàäàòüòü â NÆ1 (A ) áåñêîíå÷íî ÷àñòî. Ïîêàæåì, ÷òî îíà íå ìîæåò áåñêîíå÷íî ÷àñòî ïîêèäàòü NÆ (A ). Äîêàçàòåëüñòâî ïðîâåäåì îò ïðîòèâíîãî. Ïóñòü òðàåêòîðèÿ áåñêîíå÷íî ÷àñòî ïîêèäàåò NÆ1 (A ), òîãäà ^n (! ) ^n 1 (! ) 0 è ñóùåñòâóþò öåëî÷èñëåííàÿ ïîñëåäîâàòåëüíîñòü jk òàêàÿ, ÷òî ^jk (! ) ñòðåìèòñÿ ê íåêîòîðîé òî÷êå x0 ãðàíèöû ìíîæåñòâà NÆ1 (A ), à òðàåêòîðèè  jk (!; ) ñõîäÿòñÿ ê ðåøåíèþ ïðîåêöèîííîãî ÎÄÓ, íà÷èíàþùåìóñÿ èç òî÷êè x0 . Òðàåêòîðèÿ, íà÷èíàþùàÿñÿ èç òî÷êè x0 (áåçîòíîñèòåëüíî âûáîðà ñõîäÿùåéñÿ ïîäïîñëåäîâàòåëüíîñòè) íèêîãäà íå ïîêèäàåò NÆ (A ) è â êîíå÷íîì èòîãå ïîïàäàåò â NÆ1 (A ). Ýòî îçíà÷àåò, ÷òî ^n (! ) íå ìîæåò âûõîäèòü èç NÆ1 (A ) áåñêîíå÷íî ÷àñòî. Íåçàâèñèìî îò òîãî, åñòü èëè íåò â àëãîðèòìå îãðàíè÷èâàþùåå ìíîæåñòâî , áóäåì ñ÷èòàòü, ÷òî ñ âåðîÿòíîñòüþ åäèíèöà ïîñëåäîâàòåëüíîñòü îöåíîê îãðàíè÷åíà, òîãäà èç ïðåäøåñòâóþùèõ îáúÿñíåíèé ñëåäóåò,

2







2 f

k




2

[




f


g


k

k

k

g

f g



f

!

f

f

g


g

g

Ï.3. ÑÕÎÄÈÌÎÑÒÜ ÐÅÊÓÐÐÅÍÒÍÛÕ ÀËÃÎÐÈÒÌÎÂ

269

÷òî ñ âåðîÿòíîñòüþ åäèíèöà ïðåäåëû f n (!;
)g ÿâëÿþòñÿ îãðàíè÷åííûìè ðåøåíèÿìè ÎÄÓ íà âñåé ÷èñëîâîé îñè. Òàêèì îáðàçîì, ïîëíàÿ òðàåêòîðèÿ ïðåäåëà f (!;
)g äîëæíà ëåæàòü â îãðàíè÷åííîì èíâàðèàíòíîì ìíîæåñòâå (ïî îïðåäåëåíèþ èíâàðèàíòíîãî ìíîæåñòâà). Îòñþäà ñëåäóåò ôàêò ñõîäèìîñòè f n (!;
)g ê íåêîòîðîìó èíâàðèàíòíîìó ìíîæåñòâó, èíà÷å áûë áû ïðåäåë ñõîäèìîñòè ïîäïîñëåäîâàòåëüíîñòè, óäîâëåòâîðÿþùåé ÎÄÓ, íî íå ëåæàùåé öåëèêîì â èíâàðèàíòíîì ìíîæåñòâå. Ýòî îáîñíîâàíèå íå çàâèñèò îò òîãî, êàêèå ÷àñòè  0 (!;
) âûáðàëè. Ëþáîå ìíîæåñòâî "÷àñòåé", îòëè÷íûõ îò  n (!;
) ìîæíî èñïîëüçîâàòü òàê äîëãî, êàê íà÷àëüíîå âðåìÿ ñòðåìèòñÿ ê áåñêîíå÷íîñòè. Ýòî äîêàçûâàåò óòâåðæäåíèå òåîðåìû, êàñàþùååñÿ fpn g. ×àñòü 3. Ñëó÷àé, êîãäà g (
)  ãðàäèåíò. Òåïåðü äîïóñòèì, ÷òî âûïîëíåíî óñëîâèå (Ï3.7). Ïðîäîëæèì äîêàçàòåëüñòâî ñ ! 2 = Z . Äëÿ ïðîñòîòû ïðåäïîëîæèì, ÷òî ìíîæåñòâî ñòàöèîíàðíûõ òî÷åê äåëèòñÿ íà êîíå÷íîå ÷èñëî íåïåðåñåêàþùèõñÿ ïîäìíîæåñòâ S1 ; : : : ; Sk :  ïðîåêöèîííîì ÎÄÓ kz (t)k  kg ( (t))k. Òàêèì îáðàçîì, åñëè g (
) = rf (
), òî ïðîèçâîäíàÿ âäîëü ðåøåíèÿ óðàâíåíèÿ â òî÷êå x 2  óäîâëåòâîðÿåò f 0 (x)[ rf (x) + z ]  0. Îòñþäà âèäíî, ÷òî âñå ðåøåíèÿ ÎÄÓ ñòðåìÿòñÿ ê ìíîæåñòâó ñòàöèîíàðíûõ òî÷åê, îïðåäåëÿåìûõ âêëþ÷åíèåì

g(x) + z = 0; z 2 C (x) äëÿ ïî÷òè âñåõ t. Äëÿ êàæäîãî c ìíîæåñòâî fx : f (x)  cg, åñëè îíî íåïóñòî, ëîêàëüíî àñèìïòîòè÷åñêèñòàáèëüíî â ñìûñëå Ëÿïóíîâà. Òîãäà èç ïðåäûäóùåé ÷àñòè äîêàçàòåëüñòâà ñëåäóåò, ÷òî f (^n(! )) ñõîäèòñÿ ê íåêîòîðîé êîíñòàíòå (ìîæåò áûòü çàâèñÿùåé îò ! ) è f^n (! )g ñõîäèòñÿ ê ìíîæåñòâó ñòàöèîíàðíûõ òî÷åê. Îñòàëîñü ïîêàçàòü, ÷òî f^n (! )g ñõîäèòñÿ ê ýëåìåíòàì îäíîãî Si . Åñëè ýòî íå òàê, òî òðàåêòîðèÿ â êîíå÷íîì ñ÷åòå áóäåò êîëåáàòüñÿ âçàä è âïåðåä èç áåñêîíå÷íî ìàëîé îêðåñòíîñòè îïðåäåëåííîãî Si . Ñëåäîâàòåëüíî, ñóùåñòâóåò ïðåäåëüíàÿ òî÷êà âíå ìíîæåñòâà ñòàöèîíàðíûõ òî÷åê. Ïîëó÷èëè ïðîòèâîðå÷èå ñ óñëîâèåì òåîðåìû. Äîêàçàòåëüñòâî òåîðåìû çàêîí÷åíî.

270

ÏÐÈËÎÆÅÍÈÅ. ÌÀÒÅÌÀÒÈ×ÅÑÊÈÅ ÎÑÍÎÂÛ

Çàêëþ÷åíèå

Çàìå÷àòåëüíîé îñîáåííîñòüþ ðàññìîòðåííûõ â ðàáîòå ðàíäîìèçèðîâàííûõ àëãîðèòìîâ ÑÀ ÿâëÿåòñÿ ñîõðàíåíèå èõ ïðîñòîòû, ðàáîòîñïîñîáíîñòè âûñîêîé ñêîðîñòè ñõîäèìîñòè ïðè ðîñòå ðàçìåðíîñòè âåêòîðà îöåíèâàåìûõ ïàðàìåòðîâ. Òàê êàê ïðè ýòîì íå ðàñòåò íåîáõîäèìîå äëÿ êàæäîé èòåðàöèè êîëè÷åñòâî èçìåðåíèé, òî âàæíûì äàëüíåéøèì øàãîì â ðàçâèòèè ìîæåò ñòàòü ïðèìåíåíèå ýòèõ àëãîðèòìîâ â ñèñòåìàõ ñ áåñêîíå÷íîìåðíûìè èçìåðåíèÿìè è ðàñïðåäåëåííûìè ïàðàìåòðàìè. Íà âçãëÿä àâòîðîâ, çàìåíà â ìíîãîìåðíîì ñëó÷àå áîëüøîãî êîëè÷åñòâà êîíå÷íî ðàçíîñòíûõ àïïðîêñèìàöèé ãðàäèåíòà öåëåâîé ôóíêöèè íà âñåãî îäíî èëè äâà èçìåðåíèÿ â ñëó÷àéíî âûáèðàåìûõ òî÷êàõ íà èíòóèòèâíîì óðîâíå êàæåòñÿ ãîðàçäî áîëåå áëèçêîé ê ìîäåëè ïîâåäåíèÿ âûñîêîîðãàíèçîâàííûõ æèâûõ ñèñòåì. Íàâåðíîå, òàêîãî òèïà àëãîðèòìû áîëåå åñòåñòâåííî èñïîëüçîâàòü ïðè êîíñòðóèðîâàíèè ñèñòåì "èñêóññòâåííîãî èíòåëëåêòà". Ïî ñðàâíåíèþ ñî ñòàíäàðòíûìè äåòåðìèíèðîâàííûìè ìåòîäàìè ñòîõàñòè÷åñêàÿ îïòèìèçàöèÿ çíà÷èòåëüíî ðàñøèðÿåò äèàïàçîí ïðàêòè÷åñêèõ çàäà÷, äëÿ êîòîðûõ ìîæíî íàéòè òî÷íîå îïòèìàëüíîå ðåøåíèå. Àëãîðèòìû òèïà ñòîõàñòè÷åñêîé îïòèìèçàöèè ïîçâîëÿþò ýôôåêòèâíî ðåøàòü ïðîáëåìû â òàêèõ îáëàñòÿõ, êàê àíàëèç èíôîðìàöèîííûõ ñåòåé; îïòèìèçàöèÿ, îñíîâàííàÿ íà ìîäåëèðîâàíèè; îáðàáîòêà èçîáðàæåíèé è ðàñïîçíàâàíèå îáðàçîâ; îáó÷åíèå íåéðîííûõ ñåòåé è àäàïòèâíîå óïðàâëåíèå. Îæèäàåòñÿ, ÷òî ðîëü ñòîõàñòè÷åñêîé îïòèìèçàöèè áóäåò âîçðàñòàòü âìåñòå ñ óñëîæíåíèåì ñîâðåìåííûõ ñèñòåì. Ëîãèêà ñîâðåìåííîãî ðàçâèòèÿ âû÷èñëèòåëüíîé òåõíèêè òàêæå âåäåò ê çàìåíå òðàäèöèîííûõ äåòåðìèíèðîâàííûõ àëãîðèòìîâ ñòîõàñòè÷åñêèìè, òàê êàê óæå íà÷àëè ïîÿâëÿòüñÿ ïåðâûå êâàíòîâûå êîìïüþòåðû, ðàáîòàþùèå íà òàêèõ ïðèíöèïàõ. Áîëüøîå êîëè÷åñòâî ïóáëèêàöèé â ïîñëåäíèå ãîäû äîêàçûâàåò æèçíåííîñòü è ýôôåêòèâíîñòü èñïîëüçîâàíèÿ ðàíäîìèçèðîâàííûõ àëãîðèòìîâ âîîáùå è, â ÷àñòíîñòè, àëãîðèòìîâ òèïà ñòîõàñòè÷åñêîé àïïðîêñèìà271

272

ÇÀÊËÞ×ÅÍÈÅ

öèè ñ âîçìóùåíèåì íà âõîäå. Åùå ðàç ïîä÷åðêíåì èõ îñíîâíûå äîñòîèíñòâà: ëåãêîñòü ïðåäñòàâëåíèÿ è îòñóòñòâèå ïîòðåáíîñòè â çíàíèè ãðàäèåíòà èññëåäóåìîé ôóíêöèè, òåîðåòè÷åñêàÿ è ýêñïåðèìåíòàëüíàÿ ïîääåðæêà îòíîñèòåëüíîé ýôôåêòèâíîñòè, ðîáàñòíîñòü ê ïîìåõàì â èçìåðåíèÿõ çíà÷åíèé ôóíêöèè, ïîäòâåðæäåííàÿ íà ïðàêòèêå ñïîñîáíîñòü íàõîäèòü ãëîáàëüíûé ìèíèìóì âî ìíîãèõ çàäà÷àõ ãëîáàëüíîé îïòèìèçàöèè. Ýòè àëãîðèòìû, â îòëè÷èå îò äðóãèõ ìåòîäîâ, ÿâëÿþòñÿ ðàáîòîñïîñîáíûìè, êîãäà èçìåðåíèÿ èññëåäóåìîé ôóíêöèè âêëþ÷àþò íåöåíòðèðîâàííûå è êîððåëèðîâàííûå ïîìåõè. ×èñëåííûå ñðàâíåíèÿ ñ äðóãèìè ìåòîäàìè ïîäòâåðæäàþò ýôôåêòèâíîñòü ðàíäîìèçèðîâàííûõ àëãîðèòìîâ ïðè ðåøåíèè ðàçíîîáðàçíûõ ïðîáëåì. Ìîæíî îæèäàòü, ÷òî â áóäóùåì óäàñòñÿ ðàñïðîñòðàíèòü èõ íà âñå áîëåå øèðîêèé êðóã çàäà÷, âñòðå÷àþùèõñÿ íà ïðàêòèêå.

Ñïèñîê ëèòåðàòóðû

[1] Àãàôîíîâ Ñ.À. Àëãîðèòì ñòîõàñòè÷åñêîé àïïðîêñèìàöèè ñ âîçìóùåíèåì íà âõîäå â çàäà÷å àäàïòèâíîãî óïðàâëåíèÿ ëèíåéíûì îáúåêòîì. Ë., 1981. Äåï. â ÂÈÍÈÒÈ îò 15 äåêàáðÿ 1981 ã., No. 568281, 28 ñ. [2] Àãàôîíîâ Ñ.À., Ôîìèí Â.Í. Èäåíòèôèêàöèÿ îáúåêòîâ óïðàâëåíèÿ ñ èñïîëüçîâàíèåì ïðîáíûõ ñèãíàëîâ. Ë., 1982. Äåï. â ÂÈÍÈÒÈ îò 3 àâãóñòà 1982 ã., No. 4226-82, 22 ñ. [3] Àéçåðìàí Ì.À., Áðàâåðìàí Ý.Ì., Ðîçîíîýð Ë.È. Ìåòîä ïîòåíöèàëüíûõ ôóíêöèé â òåîðèè îáó÷åíèÿ ìàøèí. Ì.: Íàóêà, 1970, 384 ñ. [4] Àëáåðò À. Ðåãðåññèÿ, ïñåâäîèíâåðñèÿ è ðåêóððåíòíîå îöåíèâàíèå. Ì.: Íàóêà, 1977, 223 ñ. [5] Àîêè Ì. Îïòèìèçàöèÿ ñòîõàñòè÷åñêèõ ñèñòåì. Ì.: Íàóêà, 1971, 424 ñ. [6] Áàðàáàíîâ À.Å. Îïòèìàëüíîå óïðàâëåíèå íåìèíèìàëüíîôàçîâûì äèñêðåòíûì îáúåêòîì ñ ïðîèçâîëüíûìè îãðàíè÷åííûìè ïîìåõàìè // Âåñòí. Ëåíèíãðàä. óíòà, ñåð. 1, 1980, âûï. 3, c. 119120. [7] Áàðàáàíîâ À.Å., Ãðàíè÷èí Î.Í. Îïòèìàëüíûé ðåãóëÿòîð ëèíåéíîãî îáúåêòà ñ îãðàíè÷åííîé ïîìåõîé // Àâòîìàòèêà è òåëåìåõàíèêà, 1984, No. 5, c. 3946. [8] Áàðàáàíîâ À.Å. Ñèíòåç ìèíèìàêñíûõ ðåãóëÿòîðîâ. Ñ.Ïá.: Èçäâî Ñ.Ïåòåðá. óíèâåðñèòåòà, 1996, 222 ñ. [9] Áðàììåð Ê., Çèôôëèíã Ã. Ôèëüòð ÊàëìàíàÁüþñè: äåòåðìèíèðîâàííûå íàáëþäåíèÿ è ñòîõàñòè÷åñêàÿ ôèëüòðàöèÿ. Ì.: Íàóêà, 1982, 199 ñ. 273

274

ÑÏÈÑÎÊ ËÈÒÅÐÀÒÓÐÛ

[10] Áóíè÷ À.Ë. Èäåíòèôèêàöèÿ äèñêðåòíîãî ëèíåéíîãî îáúåêòà ñ áîëüøèì îòíîøåíèåì ñèãíàë/øóì Îïòèìàëüíûé ðåãóëÿòîð ëèíåéíîãî îáúåêòà ñ îãðàíè÷åííîé ïîìåõîé // Àâòîìàòèêà è òåëåìåõàíèêà, 2001, No. 3, c. 5362. [11] Âàçàí Ì. Ñòîõàñòè÷åñêàÿ àïïðîêñèìàöèÿ. Ì.: Ìèð, 1972. 295 ñ. [12] Âàëêåéëà Ý., Ìåëüíèêîâ À.Â. Ìàðòèíãàëüíûå ìîäåëè ñòîõàñòè÷åñêîé àïïðîêñèìàöèè è èõ ñõîäèìîñòü // Òåîðèÿ âåðîÿòíîñòåé è åå ïðèìåíåíèÿ, 1999, âûï. 2, c. 278311. [13] Âàïíèê Â.Í. Âîññòàíîâëåíèå çàâèñèìîñòåé ïî ýìïèðè÷åñêèì äàííûì. Ì.: Íàóêà, 1979, 447 ñ. [14] Âèíåð Í. Êèáåðíåòèêà, èëè óïðàâëåíèå è ñâÿçü â æèâîòíîì è ìàøèíå. Ì.: Íàóêà, 1983, 344 ñ. [15] Ãàïîøêèí Â.Ã., Êðàñóëèíà Ò.Ï. Î çàêîíå ïîâòîðíîãî ëîãàðèôìà äëÿ ïðîöåññîâ ñòîõàñòè÷åñêîé àïïðîêñèìàöèè // Òåîðèÿ âåðîÿòíîñòåé è åå ïðèìåíåíèÿ, 1974, âûï. 4, c. 879886. [16] Ãðàíè÷èí Î.Í. Îïòèìàëüíîå óïðàâëåíèå ëèíåéíûì îáúåêòîì ñ íåðåãóëÿðíûìè îãðàíè÷åííûìè ïîìåõàìè //  ñá.: Òåçèñû äîêëàäîâ è ñîîáùåíèé Âñåñîþçíîé êîíôåðåíöèè "Òåîðèÿ àäàïòèâíûõ ñèñòåì è åå ïðèìåíåíèÿ", ÌîñêâàËåíèíãðàä, 1983, ñ. 26. [17] Ãðàíè÷èí Î.Í., Ôîìèí Â.Í. Àäàïòèâíîå óïðàâëåíèå ñ èñïîëüçîâàíèåì ïðîáíûõ ñèãíàëîâ // Àâòîìàòèêà è òåëåìåõàíèêà, 1986, No. 2, ñ. 100112. [18] Ãðàíè÷èí Î.Í., Ôîìèí Â.Í. Ìåòîä äèíàìè÷åñêîãî ïðîãðàììèðîâàíèÿ â çàäà÷å ìèíèìàêñíîãî óïðàâëåíèÿ // Âåñòíèê Ëåíèíãð. óíòà, cåð. 1, 1986, âûï. 1, ñ. 2630. [19] Ãðàíè÷èí Î.Í. Àëãîðèòì ñòîõàñòè÷åñêîé àïïðîêñèìàöèè ñ âîçìóùåíèåì íà âõîäå äëÿ èäåíòèôèêàöèè ñòàòè÷åñêîãî íåñòàöèîíàðíîãî äèñêðåòíîãî îáúåêòà // Âåñòíèê Ëåíèíãð. óíòà, cåð. 1, 1988, âûï. 3, ñ. 9293. [20] Ãðàíè÷èí Î.Í. Îá îäíîé ñòîõàñòè÷åñêîé ðåêóððåíòíîé ïðîöåäóðå ïðè çàâèñèìûõ ïîìåõàõ â íàáëþäåíèè, èñïîëüçóþùåé íà âõîäå ïðîáíûå âîçìóùåíèÿ // Âåñòíèê Ëåíèíãð. óíòà, ñåð. 1, 1989, âûï. 1, ñ. 1921. [21] Ãðàíè÷èí Î.Í. Ïîñòðîåíèå ñóáîïòèìàëüíîãî ðåãóëÿòîðà ëèíåéíîãî îáúåêòà ñ îãðàíè÷åííîé ïîìåõîé // Àâòîìàòèêà è òåëåìåõàíèêà, 1990, No. 2, c. 5962. [22] Ãðàíè÷èí Î.Í. Ïðîöåäóðà ñòîõàñòè÷åñêîé àïïðîêñèìàöèè ñ âîçìóùåíèåì íà âõîäå // Àâòîìàòèêà è òåëåìåõàíèêà, 1992, No. 2, ñ. 97104.

ÑÏÈÑÎÊ ËÈÒÅÐÀÒÓÐÛ

275

[23] Ãðàíè÷èí Î.Í. Îöåíèâàíèå òî÷êè ìèíèìóìà íåèçâåñòíîé ôóíêöèè, íàáëþäàåìîé íà ôîíå çàâèñèìûõ ïîìåõ // Ïðîáëåìû ïåðåäà÷è èíôîðìàöèè, 1992, No 2, ñ. 1620. [24] Ãðàíè÷èí Î.Í. Ïîñòðîåíèå äèñêðåòíîãî ñóáîïòèìàëüíîãî ðåãóëÿòîðà íåïðåðûâíîãî îáúåêòà ñ íåðåãóëÿðíîé îãðàíè÷åííîé ïîìåõîé // Àâòîìàòèêà è òåëåìåõàíèêà, 2001, No. 3, c. 8694. [25] Ãðàíè÷èí Î.Í., Êðàñíîïåðîâà Ì.À. Ïðèìåíåíèå àëãîðèòìà ñòîõàñòè÷åñêîé àïïðîêñèìàöèè ñ îäíîâðåìåííûì âîçìóùåíèåì íà âõîäå â ðåêîíñòðóêòèâíîì ìîäåëèðîâàíèè ñòèõîñëîæåíèÿ //  ñá.: Ôîðìàëüíûå ìåòîäû â ëèíãâèñòè÷åñêîé ïîýòèêå, Ñ.Ïá.: Èçäâî Ñ.Ïåòåðá. óíèâåðñèòåòà, 2001, c. 2636. [26] Ãðàíè÷èí Î.Í. Îöåíèâàíèå ïàðàìåòðîâ ëèíåéíîé ðåãðåññèè ïðè ïðîèçâîëüíûõ ïîìåõàõ // Àâòîìàòèêà è òåëåìåõàíèêà, 2002, No. 1, ñ. 3041. [27] Ãðàíè÷èí Î.Í. Ðàíäîìèçèðîâàííûå àëãîðèòìû ñòîõàñòè÷åñêîé àïïðîêñèìàöèè ïðè ïðîèçâîëüíûõ ïîìåõàõ // Àâòîìàòèêà è òåëåìåõàíèêà, 2002, No. 2, ñ. 4455. [28] Ãðàíè÷èí Î.Í. Íåìèíèìàêñíàÿ ôèëüòðàöèÿ ïðè íåèçâåñòíûõ îãðàíè÷åííûõ ïîìåõàõ â íàáëþäåíèÿõ // Àâòîìàòèêà è òåëåìåõàíèêà, 2002, No. 9, ñ. 125133. [29] Ãðàíè÷èí Î.Í. Îïòèìàëüíàÿ ñêîðîñòü ñõîäèìîñòè ðàíäîìèçèðîâàííûõ àëãîðèòìîâ ñòîõàñòè÷åñêîé àïïðîêñèìàöèè ïðè ïðîèçâîëüíûõ ïîìåõàõ // Àâòîìàòèêà è òåëåìåõàíèêà, 2003, No. , ñ. . [30] Åðåìèí È.È. Èòåðàòèâíûé ìåòîä äëÿ ÷åáûøåâñêèõ ïðèáëèæåíèé íåñîâìåñòíûõ ñèñòåì ëèíåéíûõ íåðàâåíñòâ // Äîêëàäû ÀÍ ÑÑÑÐ, 1962, ò. 143, No. 6, ñ. 12541256. [31] Åðåìèí È.È. Ðåëàêñàöèîííûé ìåòîä ðåøåíèÿ ñèñòåì íåðàâåíñòâ ñ âûïóêëûìè ôóíêöèÿìè â ëåâûõ ÷àñòÿõ // Äîêëàäû ÀÍ ÑÑÑÐ, 1965, ò. 160, No. 5, ñ. 994996. [32] Åðìàêîâ Ñ.Ì. Ìåòîä ÌîíòåÊàðëî è ñìåæíûå âîïðîñû. Ì.:Hàóêà, 1975, 471 c. [33] Åðìàêîâ Ñ.Ì., Æèãëÿâñêèé À.À. Ìàòåìàòè÷åñêàÿ òåîðèÿ îïòèìàëüíîãî ýêñïåðèìåíòà. Ì.:Hàóêà, 1987, 320 c. [34] Åðìîëüåâ Þ.Ì. Î ìåòîäå îáîáùåííûõ ñòîõàñòè÷åñêèõ ãðàäèåíòîâ è ñòîõàñòè÷åñêèõ êâàçèôåéåðîâñêèõ ïîñëåäîâàòåëüíîñòÿõ // Êèáåðíåòèêà, 1969, No. 2, c. 7383. [35] Åðìîëüåâ Þ.Ì. Ìåòîäû ñòîõàñòè÷åñêîãî ïðîãðàììèðîâàíèÿ. Ì.: Íàóêà, 1976, 239 ñ.

276

ÑÏÈÑÎÊ ËÈÒÅÐÀÒÓÐÛ

[36] Æèëèíñêàñ À. Ãëîáàëüíàÿ îïòèìèçàöèÿ. Âèëüíþñ: Ìîêñëàñ, 1986, 165ñ. [37] Êàëìàí Ð.Å., Áüþñè Ð.Ñ. Íîâûå ðåçóëüòàòû â ëèíåéíîé ôèëüòðàöèè è òåîðèè ïðåäñêàçàíèÿ // Òðóäû àìåðèêàíñêîãî îáùåñòâà èíæåíåðîâìåõàíèêîâ. Òåõíè÷åñêàÿ ìåõàíèêà, 1961, ò. 83, ñåð. Ä, No 1, ñ. 123141. [38] Êàðìàíîâ Â.Ã. Ìàòåìàòè÷åñêîå ïðîãðàììèðîâàíèå. Ì.: Hàóêà, 1975, 272 ñ. [39] Êàòêîâíèê Â.ß. Ëèíåéíûå îöåíêè è ñòîõàñòè÷åñêèå çàäà÷è îïòèìèçàöèè. Ì.: Hàóêà, 1976, 487 ñ. [40] Êàòêîâíèê Â.ß. Íåïàðàìåòðè÷åñêàÿ èäåíòèôèêàöèÿ è ñãëàæèâàíèå äàííûõ. Ì.: Hàóêà, 1985, 336 ñ. [41] Êèáçóí À.È., Ãîðÿèíîâà Å.Ð., Íàóìîâ À.Â., Ñèðîòèí À.Í. Òåîðèÿ âåðîÿòíîñòåé è ìàòåìàòè÷åñêàÿ ñòàòèñòèêà. Ì.: Ôèçìàòëèò, 2002, 224 ñ. [42] Êîëåñíèêîâ Å.Ê., Êóðûøåâ À.Ï., Ìàíóéëîâ À.Ñ. Àêòèâíûé äèñòàíöèîííûé ðåíòãåíîñïåêòðàëüíûé àíàëèç ïîâåðõíîñòíûõ ïîðîä íåáåñíûõ òåë //  êí.: Ìåòîäû ðåíòãåíîñïåêòðàëüíîãî àíàëèçà. Hîâîñèáèðñê: Hàóêà, 1986, ñ. 8593. [43] Êîëìîãîðîâ À.Í. Èíòåðïîëèðîâàíèå è ýêñòðàïîëèðîâàíèå ñòàöèîíàðíûõ ñëó÷àéíûõ ïîñëåäîâàòåëüíîñòåé // Èçâåñòèÿ ÀÍ ÑÑÑÐ, ñåð. ìàòåì., 1941, No. 5, ñ. 314. [44] Êîëìîãîðîâ À.Í. Î ìåòðå ïóøêèíñêèõ "Ïåñåí çàïàäíûõ ñëàâÿí" // Ðóññêàÿ ëèòåðàòóðà, 1966, No. 1, ñ. 98111. [45] Êîðîñòåëåâ À.Ï. Ñòîõàñòè÷åñêèå ðåêóððåíòíûå ïðîöåäóðû: ëîêàëüíûå ñâîéñòâà. Ì.: Hàóêà, 1984, 208 ñ. [46] Êîòåëüíèêîâ Â.À. Òåîðèÿ ïîòåíöèàëüíîé ïîìåõîóñòîé÷èâîñòè. Ì.: Ãîñýíåðãîèçäàò, 1956, 151 ñ. [47] Êðàñíîïåðîâà Ì.À. Îñíîâû ðåêîíñòðóêòèâíîãî ìîäåëèðîâàíèÿ ñòèõîñëîæåíèÿ. Ñ.Ïá.: Èçäâî Ñ.Ïåòåðá. óíèâåðñèòåòà, 2000, 237 ñ. [48] Êðàñîâñêèé À.À., Áåëîãëàçîâ È.Í., ×èãèí Ã.Ï. Tåîðèÿ êîððåëÿöèîííîýêñòðåìàëüíûõ íàâèãàöèîííûõ ñèñòåì. Ì.: Hàóêà, 1979, 447 ñ. [49] Êðàñîâñêèé À.À. Ñïðàâî÷íèê ïî òåîðèè àâòîìàòè÷åñêîãî óïðàâëåíèÿ. Ì.: Hàóêà, 1987, 712 ñ.

ÑÏÈÑÎÊ ËÈÒÅÐÀÒÓÐÛ

277

[50] Êðàñóëèíà Ò.Ï., Î âåðîÿòíîñòè íåïðåâûøåíèÿ èñêîìîãî ïîðîãà àëãîðèòìîì ñòîõàñòè÷åñêîé àïïðîêñèìàöèè // Àâòîìàòèêà è òåëåìåõàíèêà, 1998, No. 10, ñ. 9094. [51] Êóíöåâè÷ Â.Ì., Ëû÷àê Ì.Ì. Ñèíòåç îïòèìàëüíûõ è àäàïòèâíûõ ñèñòåì óïðàâëåíèÿ. Èãðîâîé ïîäõîä. Êèåâ: Hàóêîâà äóìêà, 1985, 248 c. [52] Êóðæàíñêèé À.Á. Óïðàâëåíèå è íàáëþäåíèÿ â óñëîâèÿõ íåîïðåäåëåííîñòè. Ì.: Hàóêà, 1977, 392 c. [53] Ëèïöåð Ð.Ø., Øèðÿåâ À.Í. Ñòàòèñòèêà ñëó÷àéíûõ ïðîöåññîâ. Ì.: Hàóêà, 1974, 696 c. [54] Ëüþíã Ë., Ñåäåðñòðåì T. Èäåíòèôèêàöèÿ ñèñòåì: òåîðèÿ äëÿ ïîëüçîâàòåëÿ. Ì.: Hàóêà, 1991, 431 ñ. [55] Ìàðêîâ À.À. Èñ÷èñëåíèå âåðîÿòíîñòåé. Ì.: ÃÈÇ, 1924. [56] Ìèõàëåâè÷ Â.Ñ., Ãóïàë À.Ì., Íîðêèí Â.È. Ìåòîäû íåâûïóêëîé îïòèìèçàöèè. Ì.: Íàóêà, 1987, 279 ñ. [57] Íàçèí À.Â.,Ïîëÿê Á.T., Öûáàêîâ À.Á. Ïàññèâíàÿ ñòîõàñòè÷åñêàÿ àïïðîêñèìàöèÿ // Àâòîìàòèêà è òåëåìåõàíèêà, 1989, No 11, c. 127 134. [58] Íàçèí À.Â., Ïîçíÿê À.Ñ. Àäàïòèâíûé âûáîð âàðèàíòîâ: ðåêóððåíòíûå àëãîðèòìû. Ì.: Íàóêà, 1986, 288 ñ. [59] Íàçèí À.Â. Ìåòîä ñòîõàñòè÷åñêîé àïïðîêñèìàöèè ñ óñðåäíåíèåì. Ì.: ÌÀÈ, 2001, 64ñ. [60] Íàêîíå÷íûé À.Í. Èòåðàöèîííûå ïðîöåññû: îáçîð òåîðèè ñõîäèìîñòè, èñïîëüçóþùåé âòîðîé ìåòîä Ëÿïóíîâà // Êèáåðíåòèêà è ñèñòåìíûé àíàëèç, 1994, No. 4, ñ. 6685. [61] Íåâåëüñîí Ì.Á., Õàñüìèíñêèé Ð.Ç. Ñòîõàñòè÷åñêàÿ àïïðîêñèìàöèÿ è ðåêóððåíòíîå îöåíèâàíèå. Ì.: Íàóêà, 1972, 304 ñ. [62] Íåéìàðê Þ.È., Êîãàí Ì.Ì., Ñàâåëüåâ Â.Ï. Äèíàìè÷åñêèå ìîäåëè òåîðèè óïðàâëåíèÿ. Ì.: Hàóêà, 1985, 399 ñ. [63] Îñòðåì K., Âèòòåíìàðê B. Ñèñòåìû óïðàâëåíèÿ ñ ÝÂÌ. Ì.: Íàóêà, 1987, 480 c. [64] Ïîëÿê Á.T., Öûïêèí ß.Ç. Ïñåâäîãðàäèåíòíûå àëãîðèòìû àäàïòàöèè è îáó÷åíèÿ // Àâòîìàòèêà è òåëåìåõàíèêà, 1973, No. 3, ñ. 4568. [65] Ïîëÿê Á.T. Ñõîäèìîñòü è ñêîðîñòü ñõîäèìîñòè èòåðàòèâíûõ ñòîõàñòè÷åñêèõ àëãîðèòìîâ. 1. Îáùèé ñëó÷àé // Àâòîìàòèêà è òåëåìåõàíèêà, 1976, No. 12, c. 8394.

278

ÑÏÈÑÎÊ ËÈÒÅÐÀÒÓÐÛ

[66] Ïîëÿê Á.T. Ñõîäèìîñòü è ñêîðîñòü ñõîäèìîñòè èòåðàòèâíûõ ñòîõàñòè÷åñêèõ àëãîðèòìîâ. 2. Ëèíåéíûé ñëó÷àé // Àâòîìàòèêà è òåëåìåõàíèêà, 1977, No. 4, c. 101107. [67] Ïîëÿê Á.T., Öûïêèí ß.Ç. Àäàïòèâíûå àëãîðèòìû îöåíèâàíèÿ (ñõîäèìîñòü, îïòèìàëüíîñòü, óñòîé÷èâîñòü) // Àâòîìàòèêà è òåëåìåõàíèêà, 1979, No 3, ñ. 7184. [68] Ïîëÿê Á.T., Öûïêèí ß.Ç. Îïòèìàëüíûå ïñåâäîãðàäèåíòíûå àëãîðèòìû àäàïòàöèè // Àâòîìàòèêà è òåëåìåõàíèêà, 1980, No. 8, ñ. 74 84. [69] Ïîëÿê Á.T., Öûïêèí ß.Ç. Ðîáàñòíûå ïñåâäîãðàäèåíòíûå àëãîðèòìû àäàïòàöèè // Àâòîìàòèêà è òåëåìåõàíèêà, 1980, No. 10, ñ. 9197. [70] Ïîëÿê Á.Ò. Ââåäåíèå â îïòèìèçàöèþ. Ì.: Hàóêà, 1983, 384 ñ. [71] Ïîëÿê Á.T., Öûïêèí ß.Ç. Ãðàäèåíòíûå ìåòîäû ñòîõàñòè÷åñêîé îïòèìèçàöèè // Èçìåðåíèÿ, êîíòðîëü, àâòîìàòèçàöèÿ, 1989, No. 3, ñ. 5054. [72] Ïîëÿê Á.Ò., Öûáàêîâ À.Á. Îïòèìàëüíûå ïîðÿäêè òî÷íîñòè ïîèñêîâûõ àëãîðèòìîâ ñòîõàñòè÷åñêîé àïïðîêñèìàöèè // Ïðîáëåìû ïåðåäà÷è èíôîðìàöèè, 1990, No. 2, c. 4553. [73] Ïîëÿê Á.Ò. Íîâûé ìåòîä òèïà ñòîõàñòè÷åñêîé àïïðîêñèìàöèè // Àâòîìàòèêà è òåëåìåõàíèêà, 1990, No 7, c. 98108. [74] Ïîëÿê Á.Ò., Ùåðáàêîâ Ï.Ñ. Ðîáàñòíàÿ óñòîé÷èâîñòü è óïðàâëåíèå. Ì.: Hàóêà, 2002, 303 ñ. [75] Ðàñòðèãèí Ë.À. Ñòàòèñòè÷åñêèå ìåòîäû ïîèñêà. Ì.: Íàóêà, 1968, 376 ñ. [76] Ðàñòðèãèí Ë.À. Àäàïòàöèÿ ñëîæíûõ ñèñòåì. Ðèãà: Çèíàòíå, 1981, 386 c.. [77] Ñðàãîâè÷ Â.Ã. Àäàïòèâíîå óïðàâëåíèå. Ì.: Íàóêà, 1981, 384 c. [78] Ñòðàòîíîâè÷ Ð.Ë. Ïðèìåíåíèå òåîðèè ìàðêîâñêèõ ïðîöåññîâ äëÿ îïòèìàëüíîé ôèëüòðàöèè ñèãíàëîâ // Ðàäèîòåõíèêà è ýëåêòðîíèêà, 1960, No. 11, ñ. 17511763. [79] Ñòðàòîíîâè÷ À.Ë. Óñëîâíûå ìàðêîâñêèå ïðîöåññû è èõ ïðèìåíåíèå ê òåîðèè îïòèìàëüíîãî óïðàâëåíèÿ. Ì.: Èçäâî Ìîñêîâñê. óíòà, 1966, 319 c. [80] Óðÿñüåâ Ñ.Ï. Àäàïòèâíûå àëãîðèòìû ñòîõàñòè÷åñêîé îïòèìèçàöèè è òåîðèè èãð. Ì.: Íàóêà, 1990, 182 c. [81] Ôàääååâ Ë.Ä., ßêóáîâñêèé Î.À. Ëåêöèè ïî êâàíòîâîé ìåõàíèêå äëÿ ñòóäåíòîâ-ìàòåìàòèêîâ. Ë.: Èçäâî Ëåíèíãð. óí-òà, 1980, 200 ñ.

ÑÏÈÑÎÊ ËÈÒÅÐÀÒÓÐÛ

279

[82] Ôåëüäáàóì À.À. Î ïðîáëåìàõ äóàëüíîãî óïðàâëåíèÿ //  êí.: Ìåòîäû îïòèìèçàöèè àâòîìàòè÷åñêèõ ñèñòåì. Ì.: Íàóêà, 1972, ñ. 89 108. [83] Ôîìèí Â.Í. Ìàòåìàòè÷åñêàÿ òåîðèÿ îáó÷àåìûõ îïîçíàþùèõ ñèñòåì. Ë.: Èçäâî Ëåíèíãð. óíòà, 1976, 236 ñ. [84] Ôîìèí Â.Í., Ôðàäêîâ À.Ë., ßêóáîâè÷ Â.À. Àäàïòèâíîå óïðàâëåíèå äèíàìè÷åñêèìè îáúåêòàìè. Ì.: Íàóêà, 1981, 448 c. [85] Ôîìèí Â.Í. Ðåêóððåíòíîå îöåíèâàíèå è àäàïòèâíàÿ ôèëüòðàöèÿ. Ì.: Íàóêà, 1984, 288 ñ. [86] Ôîìèí Â.Í. Ìåòîäû óïðàâëåíèÿ ëèíåéíûìè äèñêðåòíûìè îáúåêòàìè. Ë.: Èçä-âî Ëåíèíãð. óí-òà, 1985, 336 c. [87] Ôîìèí Â.Í. Îïåðàòîðíûå ìåòîäû òåîðèè ëèíåéíîé ôèëüòðàöèè ñëó÷àéíûõ ïðîöåññîâ. Ñ.-Ïá.: Èçäâî ÑÏáÃÓ, 1996, 306 ñ. [88] Ôîìèí Â.Í. Îïòèìàëüíàÿ è àäàïòèâíàÿ ôèëüòðàöèÿ. Ñ.-Ïá.: Èçä âî ÑÏáÃÓ, 2003. [89] Öûïêèí ß.Ç. Àäàïòàöèÿ è îáó÷åíèå â àâòîìàòè÷åñêèõ ñèñòåìàõ. Ì.: Hàóêà, 1968, 400 ñ. [90] Öûïêèí ß.Ç. Îñíîâû òåîðèè îáó÷àþùèõñÿ ñèñòåì. Ì.: Íàóêà, 1970, 252 ñ. [91] Öûïêèí ß.Ç., Ïîçíÿê À.Ñ. Îïòèìàëüíûå ïîèñêîâûå àëãîðèòìû ñòîõàñòè÷åñêîé îïòèìèçàöèè // Äîêëàäû ÀÍ ÑÑÑÐ, 1981, ò. 260, No. 3, ñ. 550553. [92] Öûïêèí ß.Ç., Ïîçíÿê À.Ñ. Ðåêóððåíòíûå àëãîðèòìû îïòèìèçàöèè ïðè íåîïðåäåëåííîñòè // Èòîãè íàóêè è òåõíèêè, ñåð. Òåõíè÷. êèáåðíåòèêè, ò. 16, Ì.: ÂÈÍÈÒÈ, 1983, ñ. 370. [93] Öûïêèí ß.Ç. Îñíîâû èíôîðìàöèîííîé òåîðèè èäåíòèôèêàöèè. Ì.: Íàóêà, 1984, 320 c. [94] Öûïêèí ß.Ç., Ïîëÿê Á.Ò. Èäåíòèôèêàöèÿ íåñòàöèîíàðíûõ äèíàìè÷åñêèõ îáúåêòîâ // Èòîãè íàóêè è òåõíèêè, ñåð. Òåõíè÷. êèáåðíåòèêè, ò. 21, Ì.: ÂÈÍÈÒÈ, 1987, ñ. 6891. [95] Öûïêèí ß.Ç. Èíôîðìàöèîííàÿ òåîðèÿ èäåíòèôèêàöèè. Ì.: Íàóêà, 1995, 336 c. [96] ×åðíîóñüêî Ô.Ë., Êîëìàíîâñêèé Â.Á. Îïòèìàëüíîå óïðàâëåíèå ïðè ñëó÷àéíûõ âîçìóùåíèÿõ. Ì.: Íàóêà, 1978, 351 ñ. [97] ×åðíîóñüêî Ô.Ë. Îöåíèâàíèå ôàçîâîãî ñîñòîÿíèÿ äèíàìè÷åñêèõ ñèñòåì: ìåòîä ýëëèïñîèäîâ. Ì.: Íàóêà, 1988, 319 ñ.

280

ÑÏÈÑÎÊ ËÈÒÅÐÀÒÓÐÛ

[98] Øèëüìàí Ñ.Â. Àäàïòèâíàÿ ôèëüòðàöèÿ Í.Íîâãîðîä: ÍÍÃÓ, 1995, 180 ñ.

âðåìåííûõ

ðÿäîâ.

[99] Øèðÿåâ À.Í. Âåðîÿòíîñòü. Ì.: Íàóêà, 1980, 574 ñ. [100] Øèðÿåâ À.Í. Îñíîâû ñòîõàñòè÷åñêîé ôèíàíñîâîé ìàòåìàòèêè, òîì 2, òåîðèÿ. Ì.: Ôàçèñ, 1998, 1017 ñ. [101] Ýéêõîôô Ï. Îñíîâû èäåíòèôèêàöèè ñèñòåì óïðàâëåíèÿ. Ì.: Ìèð, 1975, 683 ñ. [102] Ýëüÿñáåðã Ï.Å. Îïðåäåëåíèå äâèæåíèÿ ïî ðåçóëüòàòàì èçìåðåíèé. Ì.: Íàóêà, 1976, 416 ñ. [103] ßêóáîâè÷ Â.À. Ðåêóððåíòíûå êîíå÷íîñõîäÿùèåñÿ àëãîðèòìû ðåøåíèÿ ñèñòåì íåðàâåíñòâ // Äîêëàäû ÀÍ ÑÑÑÐ, 1966, ò. 166, No. 6, c. 13081311. [104] ßêóáîâè÷ Â.À. Ìåòîä ðåêóððåíòíûõ öåëåâûõ íåðàâåíñòâ â òåîðèè àäàïòèâíûõ ñèñòåì //  êí.: Âîïðîñû êèáåðíåòèêè. Àäàïòèâíûå ñèñòåìû. Ì.: Íàó÷í. ñîâ. ïî êèáåðíåòèêå ÀÍ ÑÑÑÐ, 1976, c. 3263. [105] ßêóáîâè÷ Å.Ä. Ðåøåíèå îäíîé çàäà÷è îïòèìàëüíîãî óïðàâëåíèÿ äèñêðåòíîé ëèíåéíîé ñèñòåìîé // Àâòîìàòèêà è òåëåìåõàíèêà, 1975, No. 9, c. 7379. [106] ßêóáîâè÷ Å.Ä. Îïòèìàëüíîå óïðàâëåíèå ëèíåéíîé äèñêðåòíîé ñèñòåìîé ïðè íàëè÷èè íåèçìåðÿåìîãî âîçìóùåíèÿ // Àâòîìàòèêà è òåëåìåõàíèêà, 1977, No. 4, c. 4954. [107] Agmon S. The relaxation method for linear inequalities // Canadian J. of Math., 1954, vol. 6, p. 382393. [108] Alspector J., Meir R., Jayakumar A., Lippe D. A parallel gradient descent method for learning in analog VLSI neural networks // In: Hanson S.J., Cowan J.D., Lee C. "Advances in Neural Information Processing Systems 5". San Mateo, CA: Morgan Kaufmann Publishers, Inc., 1993, p. 834844. [109] Alessandri A., Parisini T. Nonlinear modelling of complex largescale plants using neural networks and stochastic approximation // IEEE Transactions on Systems, Man, and Cybernetics. A, 1997, vol. 27, p. 750757. [110] APS Study: Science and technology of directed energy weapons // Rev. Mod. Phys., July 1987, vol. 59, No. 3, Part II. [111] Bai E-W., Yinyu Y., Tempo R. Bounded error parameter estimaton: a sequential analytic center approach // IEEE Transactions on Automatic Control, 1999, vol. 44, No. 6, p. 11071117.

ÑÏÈÑÎÊ ËÈÒÅÐÀÒÓÐÛ

281

[112] Bennet C.H., Shor P.W. Quantum information theory // IEEE Transactions on Information Theory, 1988, vol. 44, p. 27242742. [113] Blum J.R. Multidimensional stochastic appoximation // Ann. Math. Statist., 1954, vol. 9, p. 737744. [114] Bode H.W., Shannon C.E. A simplified derivation of linear least square smoothing and prediction theory // Proc. IRE, 1950, No. 38, p. 417 425. [115] Bondarko V.A., Yakubovich V.A. The method of recursive aim inequalities in adaptive control theory // Intern. J. Adaptive Control Signal Process., 1992, vol. 6, p. 141-160. [116] Cauwenberghs G. Analog VLSI Autonomous Systems for Learning and Optimization. Ph.D. thesis, California Institute of Technology, 1994. [117] Chen H.F., Guo L. Convergence rate of leastsquares stochastic systems // Int. Journal of Control, 1986, vol. 44, No. 5, p. 14591477. [118] Chen H.F. Lower rate of convergence for locating a maximum of a function // Ann. Statist., 1988, vol. 16, p. 13301334. [119] Chen H.F., Duncan T.E., PasikDuncan B. A KieferWolfowitz algorithm with randomized differences // IEEE Transactions on Automatic Control, 1999, vol. 44, No. 3, p. 442453. [120] Chin D.C. A more efficient global optimization algorithm based on Styblinski and Tang // Neural Networks, 1994, vol. 7, p. 573574. [121] Chin D.C., Smith R.H. A traffic simulation for mid-Manhattan with modelfree adaptive signal control // In: Proceedings of the Summer Computer Simulation Conference. 1994, p. 296301. [122] Chin D.C. Efficient identification procedure for inversion processing // In: Proceedings of the IEEE Conference on Decision and Control. 1996, p. 31293130. [123] Chin D.C. Comparative study of stochastic algorithms for system optimization based on gradient approximations // IEEE Transactions on Systems, Man, and Cybernetics. B, 1997, vol. 27, p. 244249. [124] Chin D.C., Srinivasan R. Electrical conductivity object locator: location of small objects buried at shallow depths // In: Proceedings of the Unexploded Ordnance (UXO) Conference. 1997, p. 5057. [125] Chin D.C., Spall J.C., Smith R.H. Evaluation and Practical Consideration for the S-TRAC SystemWide Traffic Signal Controller. Transportation Research Board 77-th Annual Meeting, 1998, Preprint 98 1230.

282

ÑÏÈÑÎÊ ËÈÒÅÐÀÒÓÐÛ

[126] Chin D.C. The simultaneous perturbation method for processing magnetospheric images // Optical Engineering, 1999, vol. 38, p. 606611. [127] Dippon J., Renz J. Weighted means in stochastic approximation of minima // SIAM Journal of Control and Optimization, 1997, vol. 35, p. 18111827. [128] Fabian V. Stochastic approximation of minima with improved asymptotic speed // Ann. Math. Statist., 1967, vol. 38, p. 191200. [129] Fisher R.A. The Design of Experiments. Edinburgh: Oliver and Boyd, 1935. [130] Fu M.C., Hill S.D. Optimization of discrete event systems via simultaneous perturbation stochastic approximation // Transactions of the Institute of Industrial Engineers, 1997, vol. 29, p. 233243. [131] Gerencser L. Convergence rate of moments in stochastic approximation with simultaneous perturbation gradient approximation and resetting // IEEE Transactions on Automatic Control, 1999, vol. 44, p. 894905. [132] Gerencser L., Kozmann G., Vago Z. SPSA for nonsmooth optimization with application in ECG analysis // In: Proceedings of the IEEE Conference on Decision and Control. 1998, Tampa, FL., p. 39073908. [133] Goldenshluger A.V., Polyak B.T. Estimation of regression parameters with arbitrary noise // Mathematical Methods of Statistics, 1993, vol. 2, No. 1, p. 1829. [134] Goodwin G.C., Ramandge P.J., Caines P.E. Discrete time stochastic adaptive control // SIAM J. Contr. Optimiz., 1981, vol. 19, p. 829853. [135] Goodwin G.C., Ninness B., Cockerell P., Salgado M. Illustration of an integrated approach to adaptive control // Int. J. Adaptive Control Signal Process, 1990, vol. 4, p. 149162. [136] Granichin O.N. Stochastic approximation under dependent noises, detecting signals and adaptive control // In : Proceedings of the 1st Int. Conf. on "Approximation, Probability and Related Fields", G.Anastassiou and S.T.Rachev eds.. 1994, Plenum, p. 247271. [137] Granichin O.N., Portnov A. Asimptoticoptimality stochastic approximation algorithms with perturbation on the input // In: Proceedings of the 2-nd Workshop on Simulation. St. Petersburg, 1996, p. 322327. [138] Granichin O.N., Fomin V.N. Adaptive control with test signals // In: Proceedings of the 6-th St. Petersburg Symposium on Adaptive Systems Theory. St. Petersburg, 1999, vol. 1, p. 7378.

ÑÏÈÑÎÊ ËÈÒÅÐÀÒÓÐÛ

283

[139] Gy orfi L. Stochastic approximation from ergodic sample for linear regression // Z. Wahrscti. Verw. Geb., 1980, vol. 54, p. 4755. [140] Guo L. Stability of recursive stochastic tracking algorithms // SIAM J.Contr. Optimization, 1994, vol. 32, p. 11951225. [141] Guo L., Ljung L. Performance analysis of general tracking algorithms // IEEE Transactions on Automatic Control, 1995, vol. 40, No. 8, p. 13881402. [142] Guo L. Selfconvergence of weighted leastsquares with applications to stochastic adaptive control // IEEE Transactions on Automatic Control, 1996, vol. 41, No. 1, p. 7989. [143] Guo L., Ljung L., Wang G-J. Necessary and sufficient conditions for stability of LMS // IEEE Transactions on Automatic Control, 1997, vol. 42, No. 6, p. 761770. [144] H ardle W.K., Nixdorf R. Nonparametric sequential estimation of zeros and extrema of regression functions // IEEE Transactions on Information Theory, 1987, vol. 33, No. 3, p. 367372. [145] Haykin S., Neural Networks: A Comprehensive Foundation. New York: Macmillan, 1984. [146] Heydon B.D., Hill S.D., Havermans C.C. Maximizing target damage through optimal aim point patterning // In: Proc. AIAA Conf. on Missile Sciences. Monterey, 1998, CA. [147] Hill S.D., Fu M.C. Transfer optimization via simultaneous perturbation stochastic approximation // In: Proceedings of the Winter Simulation Conference, Alexopoulos C., Kang K., Lilegdon W.R., Goldsman D. eds.. 1995, p. 242249. [148] Hill S.D., Heydon B.D. Optimal Aim Point Patterning. Report SSD/PM-97-0448, JHU/APL, Laurel, 1997, MD. [149] Ho Y.-C., Cao X.-R. Perturbation Analysis of Discrete Event Dynamical Systems. Boston: Kluwer, 1991. [150] Hopkins H.S. Experimental Measurement of a 4-D Phase Space Map of a Heavy Ion Beam. Ph.D. thesis, Dept. of Nuclear Engineering, University of California (Berkeley), December 1997. [151] Ji X.D., Familoni B.D. A diagonal recurrent neural networkbased hybrid direct adaptive SPSA control system // IEEE Transactions on Automatic Control, 1999, vol. 44, p. 14691473. [152] Khammash M. A new approach to the solution of the `1 control problem: the scaled-Q method // IEEE Transactions on Automatic Control, 2000, vol. 45, No. 2, p. 180187.

284

ÑÏÈÑÎÊ ËÈÒÅÐÀÒÓÐÛ

[153] Kibzun A.I., Kan Yu.S. Stochastic Programming Problems with Probability and Quantile Functions. Chichester: Wiley, 1996. [154] Kiefer J., Wolfowitz J. Statistical estimation on the maximum of a regression function // Ann. Math. Statist., 1952, vol. 23, p. 462466. [155] Kleinman N.L., Hill S.D., Ilenda V.A. SPSA/SIMMOD optimization of air traffic delay cost // In: Proceedings of the American Control Conference. 1997, p. 11211125. [156] Krieger A., Masry E. Convergence analysis of adaptive linear estimation for dependent stationary processes // IEEE Transactions on Information Theory, 1988, vol. 34, p. 177182. [157] Kushner H.J., Clark D.S. Stochastic Approximation Methods for Constrained and Unconstrained Systems. BerlinGermany: Springer Verlag, 1978, 259 p. [158] Kushner H.J., Yin G.G. Stochastic Approximation Algorithms and Applications. New York: SpringerVerlag, 1997, 415 p. [159] Landau I.D., Karimi A. A recursive algorithm for ARMAX model identification in closed loop // IEEE Transactions on Automatic Control, 1997, vol. 42, No. 10, p. 14421447. [160] Lai T.L., Wei C.Z. Extended least squares and their applications to adaptive control and prediction in linear systems // IEEE Transactions on Automatic Control, 1986, vol. 31, No. 10, p. 899907. [161] Ljung L. Analysis of recursive stochastic algorithms // IEEE Transactions on Automatic Control, 1977, vol. 22, p. 551575. [162] Ljung L., Guo L. The role of model validation for assessing the size of the unmodeled dynamics // IEEE Transactions on Automatic Control, 1997, vol. 42, No. 9, p. 12301239. [163] Luman R.R. Quantitative Decision Support for Upgrading Complex Systems of Systems. Ph.D. thesis, School of Engineering and Applied Science, 1997, George Washington University. [164] Maeda Y., Kanata Y. Learning rules for reccurent neural networks using perturbation and their application to neurocontrol // Transactions of IEE of Japan, 1993, vol. 113C, p. 402408. [165] Maeda Y., Kanata Y. Extended adaptive RobbinsMonro procedure using simultaneous perturbation for a leastsquare approximation problem // In: Proceedings of the Asian Control Conference. 1994, p. 383386.

ÑÏÈÑÎÊ ËÈÒÅÐÀÒÓÐÛ

285

[166] Maeda Y., Hirano H., Kanata Y. A learning rule of neural networks via simultaneous perturbation and its hardware implementation // Neural Networks, 1995, vol. 8, p. 251259. [167] Maeda Y. Time difference simultaneous perturbation method // Electronics Letters, 1996, vol. 32, p. 10161018. [168] Maeda Y., De Figueiredo R.J. Learning rules for neurocontroller via simultaneous perturbation // IEEE Transactions on Neural Networks, 1997, vol. 8, p. 11191130. [169] Maeda Y., Nakazawa A., Yakichi K. Hardware implementation of a pulse density neural network using simultaneous perturbation learning rule // Analog Intergrated Circuits and Signal Processing, 1999, vol. 18, p. 153162. [170] Maryak J.L., Chin D.C. Stochastic approximation for global random optimization // In: Proceedings of the American Control Conference. 2000, p. 32943298. [171] Maryak J.L., Smith R.H., Winslow R.L. Modeling cardiac ion channel conductivity: model fitting via simulation // In: Proceedings of the Winter Simulation Conference, Medeiros D.J., Watson E.F. eds.. 1998, p. 15871590. [172] Mostaghimi M. Monetary policy simulation using SPSA-based neural networks // In: Proceedings of the IEEE Conference on Decision and Control. 1997, p. 492497. [173] Motzkin T., Shoenberg I.J. The relaxation method for linear inequalities // Canadian J. of Math., 1954, vol. 6, p. 393404. [174] Najim K., Rusnak A., Meszaros A., Fikar M. Constrained longrange predictive control based on artificial neural networks // Int. J. of Systems Science, 1997, vol. 28, p. 12111226. [175] Nechyba M.C., Xu Y. Humancontrol strategy: abstraction, verification, and replication // IEEE Control Systems Magazine, 1997, vol. 17(5), p. 4861. [176] Pflug G.Ch. Optimization of Stochastic Models: The Interface Between Simulation and Optimization. Kluwer, Academic, Boston, 1996. [177] Polyak Â.Ò., Tsybakov A.Â. On stochastic approximation with arbitrary noise (the KW case) / In: Topics in Nonparametric Estimation. Khasminskii R.Z. eds.. // Advances in Soviet Mathematics, Amer. Math. Soc.. Providence, 1992, No. 12, p. 107113. [178] Polyak Â.Ò., Yuditskij A.Â. Acceleration of stochastic approximation procedures by averaging // SIAM J. Contr. Optim., 1992, vol. 30, No. 4, p. 838855.

286

ÑÏÈÑÎÊ ËÈÒÅÐÀÒÓÐÛ

[179] Polyak Â.Ò. Random algorithms for solving convex inequalities // In: Inherently Parallel Algorithms in Feasibility and Optimization and their Applications. Butnaru D., Censor Y. and Reich S. eds.. Elsevier, 2001, p. 409422. [180] Poznyak A.S. Estimating the parameters of autoregressive processes by the method of least squares // Int. J. Syst. Sci., 1980, vol. 11, p. 577588. [181] Poznyak A.S., Sanches E.N., Wen Yu Dynamic Neural Networks for Nonlinear Control: Identification, State Estimation and Trajectory Tracking. World Scientific, 2001. [182] Preskill J. Quantum Information and Computation. [Online]. http://www.theory.caltech.edu/ preskill/ph229. [183] Rezayat F. On the use of an SPSA-based modelfree controller in quality improvement // Automatica, 1995, vol. 31, p. 913915. [184] Rezayat F. Constrained SPSA controller for operations processes // IEEE Transactions on Systems, Man., and Cybernetics. A, 1999, vol. 29, p. 645649. [185] Rice J.A. Mathematical Statistics and Data Analysis. Belmont: Duxbury Press, CA, 1995. [186] Robbins H., Monro S. A stochastic approximation method // Ann. Math. Statist., 1951, vol. 22, p. 400407. [187] Robbins H., Siegmund D. A convergence theorem for nonnegative almost supermartingales and some applications // In: Optimizing Methods in Statistics, Rustagi J.S. ed.. New York: Academic Press, 1971, p. 233257. [188] Ruppert D. Stochastic approximation // In: Handbook in Sequential Analysis, Ghosh B.K., Sen P.K. eds.. New York: Marcel Dekker, 1991, p. 503529. [189] Sadegh P. Constrained optimization via stochastic approximation with a simultaneous perturbation gradient approximation // Automatica, 1997, vol. 33, p. 889892. [190] Sadegh P., Spall J.C. Optimal sensor configuration for complex systems // In: Proceedings of the American Control Conference. 1998, p. 35753579. [191] Sadegh P., Spall J.C. Optimal random perturbations for stochastic approximation using a simultaneous perturbation gradient approximation // IEEE Transactions on Automatic Control, 1998, vol. 43, No. 10, p. 14801484.

ÑÏÈÑÎÊ ËÈÒÅÐÀÒÓÐÛ

287

[192] Saridis G.M., Stein G. A new algorithm for linear system identification // IEEE Transactions on Automatic Control, 1968, vol. AC13, No. 4, p. 592584. [193] Saridis G.M., Lobbia R.N. Parameter identification and control of linear discretetime system // IEEE Transactions on Automatic Control, 1972, vol. AC17, No. 1, p. 5260. [194] Saridis G.M., Lobbia R.N. Comment on "Parameter identification and control of linear discrete-time system" // IEEE Transactions on Automatic Control, 1975, vol. AC20, No. 3, p. 442. [195] Schweppe F.C. Uncertain Dynamic Systems. New YorkLondon: PrenticeHall, 1973, 563 p. [196] Shor P.W. Quantum computing // In: Proceedings of the 9-th Int. Math. Congress. Berlin, 1998, www.math.nine.edu/documenta/xvolicm/Fields/Fields.html. [197] Sokolov V.F. Adaptive suboptimal control of a linear system with bounded disturbances // Systems Control Letters, 1985, vol. 6, p. 93 98. [198] Sokolov V.F. Adaptive `1 robust control for SISO systems // Systems Control Letters, 2001, vol. 42, p. 379393. [199] Spall J.C. A stochastic approximation technique for generating maximum likelihood parameter estimates // In: Proceedings of the American Control Conference. 1987, p. 11611167. [200] Spall J.C. Multivariate stochastic approximation using a simultaneous perturbation gradient approximation // IEEE Transactions on Automatic Control, 1992, vol. 37, p. 332341. [201] Spall J.C., Cristion J.A. Nonlinear adaptive control using neural networks: estimation based on a smoothed form of simultaneous perturbation gradient approximation // Statistica Sinica, 1994, vol. 4, p. 127. [202] Spall J.C., Cristion J.A. A neural network controller for systems with unmodeled dynamics with applications to wastewater treatment // IEEE Transactions on Systems, Man., and Cybernetics. B, 1997, vol. 27, p. 369375. [203] Spall J.C. A onemeasurement form of simultaneous perturbation stochastic approximation // Automatica, 1997, vol. 33, p. 109112. [204] Spall J.C. Accelerated secondorder stochastic optimization using only function measurements // In: Proceedings of the 36-th IEEE Conference on Decision and Control. 1997, p. 14171424.

288

ÑÏÈÑÎÊ ËÈÒÅÐÀÒÓÐÛ

[205] Spall J.C., Chin D.C. Trafficresponsive signal timing for systemwide traffic control // Transp. Res., Part C, 1997, p. 153163. [206] Spall J.C. Implementation of the simultaneous perturbation algorithm for stochastic optimization // IEEE Transactions on Aerospace and Electronic Systems, 1998, vol. 34, p. 817823. [207] Spall J.C. An overview of the simultaneous perturbation method for efficient optimization // Johns Hopkins APL Technical Digest, 1998, vol. 19, p. 482492, http://techdigest.jhuapl.edu/td/td1904/spall.pdf. [208] Spall J.C., Cristion J.A. Modelfree control of nonlinear stochastic systems with discretetime measurements // IEEE Transactions on Automatic Control, 1998, vol. 43, p. 11981210. [209] Spall J.C. Adaptive stochastic approximation by the simultaneous perturbation method // IEEE Transactions on Automatic Control, 2000, vol. 45, No. 10 , p. 18391853. [210] Spall J. C. Introduction to Stochastic Search and Optimization. Wiley, New York, 2003. [211] Tang Q-Y., Chen H.F., Han Z-J. Convergence rates of Perturbation AnalysisRobbinsMonroSingleRun algorihms for single server queues // IEEE Transactions on Automatic Control, 1997, vol. 42, No. 10, p. 14421447. [212] Vidyasagar M. Statistical learning theory and randomized algorithms for control // IEEE Control Systems, 1998, No. 12, p. 6985. [213] Vidyasagar M. A Theory of Learning and Generalization with Applications to Neural Networks and Control Systems. Springer, London, 1997. [214] Wang I.-J., Chong E. A deterministic analysis of stochastic approximation with randomized directions // IEEE Transactions on Automatic Control, 1998, vol. 43, p. 17451749. [215] Wiener N. The Extrapolation, Interpolation and Smoothing of Stationary Time Series with Engineering Application. New York: Technology Press and Wiley, 1949. [216] White H. Artifical Neural Networks. Oxford: Blackwell, UK, 1992. [217] Young Ð.Ñ. Recursive Estimation and Time-Series Analysis. An Introduction. BerlinHeidelberg: Springer, 1984.

Ïðåäìåòíûé óêàçàòåëü

àäàïòèâíàÿ ñòàáèëèçàöèÿ, 57 àäàïòèâíîå óïðàâëåíèå, 58 àëãîðèòì êîíå÷íîñõîäÿùèéñÿ, 53 îïòèìèçàöèè, xv îöåíèâàíèÿ, xv ïîëîñêà, 55 ìîäèôèöèðîâàííàÿ, 58, 148 ïñåâäîãðàäèåíòíûé, 32 ðàíäîìèçèðîâàííûé, xix, 7 ðîáàñòíûé, 38 ñ îãðàíè÷åíèÿìè, 37 ñ ïðîåêöèåé, 37 ñ óñðåäíåíèåì, 37 ñëó÷àéíîãî ïîèñêà, xvi, xxiv ñòàáèëèçèðóþùèé, 148 ñòîõàñòè÷åñêîé àïïðîêñèìàöèè SPSA, 34 ïàññèâíîé, 34 ïîèñêîâûé, 34 ðàíäîìèçèðîâàííûé, 33, 118 ñ âîçìóùåíèåì íà âõîäå, 34 ñî ñëó÷àéíûìè íàïðàâëåíèÿìè, 34 áàéåñîâñêèé ïîäõîä, 42 áàéåñîâñêîå ðàçáèåíèå, 166 âåëè÷èíà ðàáî÷åãî øàãà, 29 ñëó÷àéíàÿ, 193 âåñîâûå êîýôôèöèåíòû, 13 âîëàòèëüíîñòü, 181 âõîä, 62 âûõîä, 62 äèñïåðñèÿ, 193 289

çàáûâàþùèé ìíîæèòåëü, 140 çàêîí áîëüøèõ ÷èñåë, 195 óñèëåííûé, 195 èíòåðïîëÿöèÿ, 20 èíôîðìàöèîííàÿ ìàòðèöà Ôèøåðà, 49 êàëìàíîâñêèé êîýôôèöèåíò óñèëåíèÿ, 26 êâàíòîâûé áèò, 184 êîâàðèàöèÿ, 193 êðèâàÿ âîëàòèëüíîñòè, 182 ëèíèÿ ðåãðåññèè, 10 ëîãàðèôì ïðàâäîïîäîáèÿ, 3 ìàòåìàòè÷åñêîå îæèäàíèå, 193 ìåäèàíà, 43, 48 ìåòîä ÂèíåðàÊîëìîãîðîâà, 19, 82 Ëÿïóíîâà, 203 ÌîíòåÊàðëî, 41, 169 Íüþòîíà, 29 ãðàäèåíòíûé, xvi èòåðàòèâíûé, xvi ìàêñèìàëüíîãî ïðàâäîïîäîáèÿ, 3, 46 ìíê ìîäèôèöèðîâàííûé, 18 ìíê ðåêóððåíòíûé, 17 îáîáùåííûé, 17 íàèìåíüøèõ êâàäðàòîâ, xiv, xix ðåêóððåíòíûé, xvi ñëó÷àéíîãî ïîèñêà, 40 ñòîõàñòè÷åñêîé àïïðîêñèìàöèè, 29 ýëëèïñîèäîâ, 59

290 ýìïèðè÷åñêîãî ôóíêöèîíàëà, 42 ìîäà, 43 ìîäåëü SISO ARMA, 56 àâòîðåãðåññèè, 16 ñêîëüçÿùåãî ñðåäíåãî, 16 êîíå÷íîýëåìåíòíàÿ, 170 ëèíåéíîé ðåãðåññèè, 10 îáó÷àåìîé ñèñòåìû, 161 ðåãðåññèè, 10 ñêîëüçÿùåãî ñðåäíåãî, 15 íåçàâèñèìîñòü, 194 íåéðîííàÿ ñåòü, 162 íåêîððåëèðîâàííîñòü, 193 íåðàâåíñòâî Ãåëüäåðà, 195 Èåíñåíà, 195 Êðàìåðà-Ðàî, 49 ×åáûøåâà, 195 öåëåâîå, 52 ðåêóððåíòíîå, 52 îáðàòíàÿ ñâÿçü, 57 îáó÷åíèå ñ ó÷èòåëåì, 162 îáúåêò óïðàâëåíèÿ, 56 íåìèíèìàëüíîôàçîâûé, 156 îïòèìèçàöèÿ, xv îöåíèâàíèå, xiv, 1 îöåíêè áàéåñîâñêèå, 43, 45 ëèíåéíûå, 12 ìàðêîâñêèå, 14 ììï, 46 ìíê, 12 ìíê îáîáùåííîãî, 13 ìíê ðåêóððåíòíîãî, 18 ìîäèôèöèðîâàííîãî, 18 îáîáùåííîãî, 17 ðàíäîìèçèðîâàííîãî, 19 íåñìåùåííûå, 12 ñèëüíîñîñòîÿòåëüíûå, 12 ñîñòîÿòåëüíûå, 12 óñå÷åííûå, 37

ÏÐÅÄÌÅÒÍÛÉ ÓÊÀÇÀÒÅËÜ óñðåäíåííûå, 36 ýôôåêòèâíûå, 49 îøèáêà îöåíèâàíèÿ, 12 ïåðåõîäíîé ïðîöåññ, 140 ïëîòíîñòü àïîñòåðèîðíàÿ, 44 àïðèîðíàÿ, 44 ñïåêòðàëüíàÿ, 197 ôóíêöèè ðàñïðåäåëåíèÿ, 194 ïîãðåøíîñòü, xiv ñèñòåìàòè÷åñêàÿ , xiii ñòàòèñòè÷åñêàÿ, xiv ïîìåõè íåçàâèñèìûå, 2 ïî÷òè ïðîèçâîëüíûå, xviii, 15, 120 öåíòðèðîâàííûå, 2 ïîðîãîâîå çíà÷åíèå, 5 ïîðîãîâîå çíà÷åíèå, 94 ïîñëîéíàÿ âûáîðêà, 35 ïðîáíîå îäíîâðåìåííîå âîçìóùåíèå, xv, xviii, 6, 33, 118 ïðîãíîç, 20 ïðîöåäóðà ÊèôåðàÂîëüôîâèöà, xvi, 112 ÐîááèíñàÌîíðî, xvi, 31 ïðîöåññ îáó÷åíèÿ, 162 ñòàöèîíàðíûé, 196 ïðîöåññû ñòàöèîíàðíî ñâÿçàííûå, 197 ðàñïðåäåëåíèå, 194 ãàóññîâñêîå, 194 íîðìàëüíîå, 194 ðåàëèçàöèÿ, 194 ðåãðåññèÿ, 9 ðåãðåññîð, 62 ðåãóëÿòîð, 57 ñòàáèëèçèðóþùèé, 57 ðåøàþùåå ïðàâèëî, 5, 94 ñàìîîáó÷åíèå, 162, 167 ñåïàðàöèÿ, 21 ñèãíàë, 1 íàáëþäàåìûé, 139

ÏÐÅÄÌÅÒÍÛÉ ÓÊÀÇÀÒÅËÜ ïîëåçíûé, 1, 139 ïðîáíûé, 149 ñèñòåìû ìàññîâîãî îáñëóæèâàíèÿ, 173 ñêîðîñòü ïåðåìåøèâàíèÿ, 87 ñëó÷àéíàÿ âåëè÷èíà, 193 ïîñëåäîâàòåëüíîñòü, 194 ñëó÷àéíûé âåêòîð, 194 ñòðîãî îðòîãîíàëüíûé, 10 ñòàíäàðòíîå îòêëîíåíèå, 193 ñóáãðàäèåíò, 39 òåîðåìà ÃàóññàÌàðêîâà, 14 òðàåêòîðèÿ, 194 óðàâíåíèå ÂèíåðàÕîïôà, 25 Ëÿïóíîâà, 200 ðåãðåññèè, 29 óñëîâèå -ïåðåìåøèâàíèÿ, 87 Ãåëüäåðà, 203 ïîñòîÿííîãî âîçáóæäåíèÿ, 18, 87 ïñåâäîãðàäèåíòíîñòè, 203 óñëîâíîå ñðåäíåå, 43 óñðåäíåíèå ñ âåñàìè, 3 ôàêòîðèçàöèÿ, 21, 201 ôèëüòð ÂèíåðàÊîëìîãîðîâà, xx, 21 ÊàëìàíàÁüþñè, xxii, 19, 27, 82 ëèíåéíûé, 20 ôèëüòðàöèÿ, 20, 81 îïòèìàëüíàÿ, 19 ôîðìóëà Áàéåñà, 43 ÁëýêàØîóëñà, 181 ôóíêöèè ïîðîãîâûå, 162 ôóíêöèîíàë êà÷åñòâà, xv, 139

291 äèñêîíòèðóþùèé, 140 ïðåäåëüíûé, 140 ñðåäíåãî ðèñêà, xv, 7, 166 íåñòàöèîíàðíûé, 173 ýìïèðè÷åñêèé, 13, 41 ôóíêöèÿ Ëÿïóíîâà, 203 âåñîâàÿ ôèëüòðà, 20 ïåðåäàòî÷íàÿ ôèëüòðà, 20 ïîòåðü, 7, 139 ïðàâäîïîäîáèÿ, 3, 46 ðàñïðåäåëåíèÿ, 194 ðåãðåññèè, xv ñïåêòðàëüíàÿ, 196 ñðåäíèõ ïîòåðü, 7 óñòîé÷èâàÿ, 20 öåëåâàÿ, xv øòðàôíàÿ, 7 õàðàêòåðèñòè÷åñêèé ìíîãî÷ëåí, 57 ýêñòðàïîëÿöèÿ, 20