Эконометрика для продолжающих (Эконометрика-3). Курс лекций

ÝÊÎÍÎÌÅÒÐÈÊÀ ÄËß ÏÐÎÄÎËÆÀÞÙÈÕ Êóðñ ëåêöèé Ñòàíèñëàâ Àíàòîëüåâ Ðîññèéñêàÿ Ýêîíîìè÷åñêàÿ Øêîëà ÊË/2002/004

Ìîñêâà 20022003

c

Àíàòîëüåâ Ñòàíèñëàâ Àíàòîëüåâè÷, 2002 ã.

c

Ðîññèéñêàÿ Ýêîíîìè÷åñêàÿ Øêîëà, 2002 ã.

Ñîäåðæàíèå

I

1

Îïèñàíèå êóðñà

. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

5

2

Ðåêîìåíäóåìàÿ ëèòåðàòóðà . . . . . . . . . . . . . . . . . . . . . . . . . .

5

Ïðèáëèæåííûé ïîäõîä ê èíôåðåíöèè

6

1

Ñðàâíåíèå òî÷íîãî è ïðèáëèæåííîãî ïîäõîäîâ

. . . . . . . . . . . . . .

6

2

Êîíöåïöèè àñèìïòîòè÷åñêîé òåîðèè . . . . . . . . . . . . . . . . . . . . .

7

3

Î ïîñëåäîâàòåëüíîñòÿõ ñëó÷àéíûõ âåëè÷èí

. . . . . . . . . . . . . . . .

8

4

Î ïîñëåäîâàòåëüíîñòÿõ ôóíêöèé ñëó÷àéíûõ âåëè÷èí . . . . . . . . . . .

9

5

Ïðåäåëüíûå òåîðåìû äëÿ íåçàâèñèìûõ íàáëþäåíèé . . . . . . . . . . . .

11

6

Àñèìïòîòè÷åñêèå ñòàòèñòè÷åñêèå âûâîäû

12

7

Àñèìïòîòèêà äëÿ ñòàöèîíàðíûõ âðåìåííûõ ðÿäîâ

. . . . . . . . . . . .

13

8

Ââåäåíèå â àñèìòîòèêó äëÿ íåñòàöèîíàðíûõ ïðîöåññîâ . . . . . . . . . .

18

. . . . . . . . . . . . . . . . .

II Áóòñòðàïîâñêèé ïîäõîä

19

1

Ïðèáëèæåíèå èñòèííîãî ðàñïðåäåëåíèÿ áóòñòðàïîâñêèì . . . . . . . . .

19

2

Ïðèáëèæåíèå ñ ïîìîùüþ ñèìóëÿöèé

. . . . . . . . . . . . . . . . . . . .

20

3

Êàêèå ñòàòèñòèêè áóòñòðàïèòü ? . . . . . . . . . . . . . . . . . . . . . . .

21

4

Êîððåêòèðîâêà ñìåùåíèÿ . . . . . . . . . . . . . . . . . . . . . . . . . . .

22

5

Òåñòèðîâàíèå ãèïîòåç ïðè ïîìîùè áóòñòðàïà

. . . . . . . . . . . . . . .

23

6

Àñèìòîòè÷åñêîå ðàôèíèðîâàíèå . . . . . . . . . . . . . . . . . . . . . . .

24

7

Ïîñòðîåíèå ïñåâäîâûáîðîê ïðè áóòñòðàïå êðîññ-ñåêöèé

. . . . . . . . .

26

8

Ïîñòðîåíèå ïñåâäîâûáîðîê ïðè áóòñòðàïå âðåìåííûõ ðÿäîâ . . . . . . .

27

III Îñíîâíûå ýêîíîìåòðè÷åñêèå ïîíÿòèÿ

28

1

Óñëîâíîå ìàòåìàòè÷åñêîå îæèäàíèå . . . . . . . . . . . . . . . . . . . . .

28

2

Ïðåäñêàçûâàíèå

29

3

Ñâîéñòâà äâóìåðíîãî íîðìàëüíîãî ðàñïðåäåëåíèÿ

4

Ñâîéñòâà ìíîãîìåðíîãî íîðìàëüíîãî ðàñïðåäåëåíèÿ

. . . . . . . . . . .

32

5

Ïðèíöèï àíàëîãèé . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

32

6

Îñíîâíûå ïîíÿòèÿ, ñâÿçàííûå ñ ðåãðåññèåé

33

. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

. . . . . . . . . . . . . . . .

IV Ëèíåéíàÿ ðåãðåññèÿ ñðåäíåãî

31

35

1

Ìåòîä íàèìåíüøèõ êâàäðàòîâ

. . . . . . . . . . . . . . . . . . . . . . . .

35

2

Àñèìòîòè÷åñêèå ñâîéñòâà ÌÍÊ-îöåíêè . . . . . . . . . . . . . . . . . . .

35

3

Ñâîéñòâà ÌÍÊ-îöåíêè â êîíå÷íûõ âûáîðêàõ

. . . . . . . . . . . . . . .

37

4

Îáîáùåííûé ìåòîä íàèìåíüøèõ êâàäðàòîâ

. . . . . . . . . . . . . . . .

38

3

5

Àñèìòîòè÷åñêèå ñâîéñòâà ÎÌÍÊ-îöåíîê . . . . . . . . . . . . . . . . . .

39

6

Äîñòóïíàÿ ÎÌÍÊ-îöåíêà . . . . . . . . . . . . . . . . . . . . . . . . . . .

41

7

Ðåãðåññèÿ ñ íåñëó÷àéíîé âûáîðêîé

. . . . . . . . . . . . . . . . . . . . .

43

8

ÌÍÊ è ÎÌÍÊ â ðåãðåññèÿõ íà âðåìåííûõ ðÿäàõ . . . . . . . . . . . . .

43

V Ëèíåéíûå ìîäåëè ñ èíñòðóìåíòàëüíûìè ïåðåìåííûìè

46

1

Ýíäîãåííûå ïåðåìåííûå

. . . . . . . . . . . . . . . . . . . . . . . . . . .

46

2

Òî÷íàÿ èäåíòèôèêàöèÿ . . . . . . . . . . . . . . . . . . . . . . . . . . . .

47

3

Ñâåðõèäåíòèôèêàöèÿ

. . . . . . . . . . . . . . . . . . . . . . . . . . . . .

48

4

Íåïîëíàÿ èäåíòèôèêàöèÿ . . . . . . . . . . . . . . . . . . . . . . . . . . .

49

5

Áóòñòðàïèðîâàíèå èíñòðóìåíòàëüíûõ îöåíîê

50

6

Èíñòðóìåíòàëüíûå ïåðåìåííûå âî âðåìåííûõ ðÿäàõ

. . . . . . . . . . . . . . . . . . . . . . . . . .

VI Îöåíèâàíèå íåëèíåéíîé ðåãðåññèè ñðåäíåãî

51

51

1

Íåëèíåéíîñòü ïî îòíîøåíèþ ê ðåãðåññîðàì

. . . . . . . . . . . . . . . .

51

2

Íåëèíåéíûå ðåãðåññèîííûå ìîäåëè

. . . . . . . . . . . . . . . . . . . . .

53

3

Îöåíèâàíèå íåëèíåéíûì ìåòîäîì íàèìåíüøèõ êâàäðàòîâ

4

Àñèìïòîòè÷åñêèå ñâîéñòâà ÍÌÍÊ-îöåíêè

5

Àñèìïòîòè÷åñêàÿ ýôôåêòèâíîñòü è ÂÍÌÍÊ-îöåíêà

. . . . . . . . . . .

58

6

Ïðèëîæåíèå : ìîäåëü áèíàðíîãî âûáîðà . . . . . . . . . . . . . . . . . . .

59

7

Èíôåðåíöèÿ ïðè íåèäåíòèôèöèðîâàííîñòè íåêîòîðûõ ïàðàìåòðîâ ïðè

. . . . . . . .

53

. . . . . . . . . . . . . . . . .

55

íóëåâîé ãèïîòåçå . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

4

60

Ââåäåíèå 1

Îïèñàíèå êóðñà

Êóðñ ñëóæèò ââåäåíèåì â ïðèíöèïû ñîâðåìåííîãî èñêóññòâà ýêîíîìåòðè÷åñêîãî îöåíèâàíèÿ è ïîñòðîåíèÿ ñòàòèñòè÷åñêèõ âûâîäîâ (èíôåðåíöèè) êàê äëÿ êðîññ-äàííûõ, òàê è äëÿ âðåìåííûõ ðÿäîâ. Íåóäîâëåòâîðåííîñòü òî÷íûì ïîäõîäîì çàñòàâëÿåò íàñ ðàññìîòðåòü äâå àëüòåðíàòèâû : àñèìòîòè÷åñêèé è áóòñòðàïîâñêèé ïîäõîäû. Ïîñëå èçó÷åíèÿ âàæíûõ ýêîíîìåòðè÷åñêèõ òîíêîñòåé îáîèõ ïîäõîäîâ, êóðñ êîíöåíòðèðóåòñÿ íà ïîñòðîåíèè îöåíîê â ëèíåéíûõ ìîäåëÿõ è èçó÷åíèè èõ ñâîéñòâ. Òåì íå ìåíåå, çàêëþ÷èòåëüíàÿ ÷àñòü êóðñà ïîñâÿùåíà ïðîñòûì íåëèíåéíûì ìîäåëÿì è ìåòîäàì. Àêöåíò äåëàåòñÿ íà êîíöåïòóàëüíóþ ñîñòàâëÿþùóþ, íåæåëè íà ìàòåìàòè÷åñêóþ ñëîæíîñòü, õîòÿ ïîñëåäíÿÿ èíîãäà íåèçáåæíà. Äîìàøíèå çàäàíèÿ ïî êóðñó ñîäåðæàò êàê òåîðåòè÷åñêèå çàäà÷è, òàê è ïðàêòè÷åñêèå çàäàíèÿ, ïîäðàçóìåâàþùèå èñïîëüçîâàíèå ïàêåòà GAUSS. Çàäàíèÿ ñëóæàò âàæíûì èíãðåäèåíòîì îáó÷àþùåãî ïðîöåññà, â êîòîðîì ÷àñòî áóäóò âñòðå÷àòüñÿ òåîðåòè÷åñêèå è ýìïèðè÷åñêèå ïðèìåðû. Âûðàæàþ áëàãîäàðíîñòü Ñåì¼íó Ïîëáåííèêîâó çà ïîäãîòîâêó ÷åðíîâîé âåðñèè êîíñïåêòîâ, Ëþäìèëå Ñîëíöåâîé çà òåõíè÷åñêóþ ïîìîùü, è ñòóäåíòàì Ðîññèéñêîé Ýêîíîìè÷åñêîé Øêîëû çà çàìå÷àíèÿ è íàéäåííûå íåäî÷¼òû. Ìàòåðèàë ïîäãîòîâëåí â ðàìêàõ ïðîåêòà Ñîâåðøåíñòâîâàíèå ïðåïîäàâàíèÿ ñîöèàëüíî-ýêîíîìè÷åñêîãî îáðàçîâàíèÿ â ÂÓÇàõ, ôèíàíñèðóåìîãî Âñåìèðíûì Áàíêîì è ðåàëèçóåìîãî Íàöèîíàëüíûì Ôîíäîì Ïîäãîòîâêè Êàäðîâ (ÍÔÏÊ).

2

Ðåêîìåíäóåìàÿ ëèòåðàòóðà 1. Anatolyev, Stanislav

lutions ,

Intermediate and Advanced Econometrics : Problems and So-

Lecture Notes series, New Economic School, 2002

2. Hayashi, Fumio

Econometrics ,

3. Goldberger, Arthur 4. Greene, William

Princeton University Press, 2000

A Course in Econometrics ,

Econometric Analysis ,

5. Potcher, Benedikt and Prucha, Ingmar

Harvard University Press, 1991

Prentice Hall, 4th edition, 2000

Basic elements of asymptotic theory ,

in :

A

Companion to Theoretical Econometrics , edited by Baltagi, B., Blackwell Publishers, 2001 6. Horowitz, Joel

The bootstrap , in : Handbook of Econometrics , vol. 5, Elsevier Science,

North-Holland, 2001

5

I

Ïðèáëèæåííûé ïîäõîä ê èíôåðåíöèè

1

Ñðàâíåíèå òî÷íîãî è ïðèáëèæåííîãî ïîäõîäîâ

Ïðè ýìïèðè÷åñêîì àíàëèçå äàííûõ âîçíèêàåò ñèòóàöèÿ, êîãäà ýêîíîìåòðèñò, èìåÿ òî÷å÷íóþ îöåíêó íåêîòîðîãî ïàðàìåòðà, õî÷åò èçó÷èòü åå ñòàòèñòè÷åñêèå ñâîéñòâà. Äëÿ ýòîãî åìó íåîáõîäèìî çíàòü ðàñïðåäåëåíèå ïîëó÷åííîé îöåíêè. Çíàòü ðàñïðåäåëåíèå âñåãäà íåîáõîäèìî äëÿ ïîñòðîåíèÿ äîâåðèòåëüíûõ èíòåðâàëîâ è òåñòèðîâàíèÿ ñòàòèñòè÷åñêèõ ãèïîòåç. Ñóùåñòâóåò äâà ïîäõîäà ê âîïðîñó î ðàñïðåäåëåíèè îöåíèâàåìîãî ïàðàìåòðà :

Òî÷íûé ïîäõîä

òî÷íûé

è

ïðèáëèæåííûé .

îñíîâàí íà ïðåäïîëîæåíèè îá èçâåñòíîñòè âèäà ðàñïðåäåëåíèÿ

äàííûõ. Îñòà¼òñÿ ëèøü òðàíñôîðìèðîâàòü åãî â ðàñïðåäåëåíèå ïîñòðîåííîé ñòàòèñòèêè.

Ïðèìåð. Ïóñòü óñëîâíîå íà ìàëüíûì ñî ñðåäíèì

Xβ

X

ðàñïðåäåëåíèå âåêòîðà

è äèñïåðñèåé

2

σ In ,

Y

áóäåò ìíîãîìåðíûì íîð-

ò.å.

Y |X ∼ N (Xβ, σ 2 In ). Òîãäà ÌÍÊ-îöåíêà òîæå èìååò íîðìàëüíîå óñëîâíîå ðàñïðåäåëåíèå :

βbOLS = (X 0 X)−1 X 0 Y |X ∼ N (β, σ 2 (X 0 X)−1 ). Íåäîñòàòêè òî÷íîãî ïîäõîäà äîñòàòî÷íî î÷åâèäíû.

Âî-ïåðâûõ ,

÷òîáû èñïîëüçî-

âàòü òî÷íûé ïîäõîä, íåîáõîäèìî ñäåëàòü ïðåäïîëîæåíèå î âèäå ðàñïðåäåëåíèÿ äàííûõ.

Âî-âòîðûõ , òî÷íûé ïîäõîä îáû÷íî îãðàíè÷èâàåòñÿ èñïîëüçîâàíèåì íîðìàëüíî-

ãî ðàñïðåäåëåíèÿ, ëèíåéíûõ ìîäåëåé è ïðîñòûõ ñòàòèñòèê, èáî â ïðîòèâíîì ñëó÷àå àíàëèòè÷åñêèé âûâîä ðàñïðåäåëåíèÿ èíòåðåñóþùåé íàñ ñòàòèñòèêè îáû÷íî ñòàíîâèòñÿ î÷åíü òðóäîåìêîé èëè âîîáùå íåïîñèëüíîé çàäà÷åé.

Ïðèáëèæåííûé ïîäõîä

îñíîâàí íà àïïðîêñèìàöèè èñòèííîãî ðàñïðåäåëåíèÿ

èññëåäóåìîé ñòàòèñòèêè. Â íàñòîÿùåå âðåìÿ ñóùåñòâóåò äâà ìåòîäà â ïðèáëèæåííîì ïîäõîäå : Èäåÿ

àñèìòîòè÷åñêèé

è

áóòñòðàïîâñêèé .

àñèìïòîòè÷åñêîãî ìåòîäà

â òîì, ÷òîáû äëÿ ïîñòðîåíèÿ ïðèáëèæåííîãî ðàñ-

ïðåäåëåíèÿ ñòàòèñòèêè èñïîëüçîâàòü ïðåäåëüíîå (ïðè ñòðåìëåíèè ðàçìåðà âûáîðêè ê áåñêîíå÷íîñòè) ðàñïðåäåëåíèå âûáîðî÷íûõ ñðåäíèõ. Íåñîìíåííûì äîñòîèíñòâîì òàêîãî ïîäõîäà ÿâëÿåòñÿ òîò ôàêò, ÷òî èñïîëüçóåìûå ïðåäåëüíûå ðàñïðåäåëåíèÿ îáû÷íî ÿâëÿþòñÿ ñòàíäàðòíûìè è çàòàáóëèðîâàííûìè. Ñ äðóãîé ñòîðîíû, àñèìòîòè÷åñêàÿ àïïðîêñèìàöèÿ ðàñïðåäåëåíèÿ îöåíêè ìîæåò áûòü ïëîõîé, è, áîëåå òîãî, àïðèîðè ìû íå ìîæåì çíàòü, íàñêîëüêî îíà õîðîøà èëè ïëîõà. Äëÿ îòâåòà íà ýòîò âîïðîñ

6

ïðèõîäèòñÿ èñïîëüçîâàòü äîïîëíèòåëüíûå ñèìóëÿöèîííûå èññëåäîâàíèÿ. Êðîìå òîãî, àñèìòîòè÷åñêèé ìåòîä â ñëîæíûõ ñèòóàöèÿõ ìîæåò ïîòðåáîâàòü çíà÷èòåëüíûõ àíàëèòè÷åñêèõ âûêëàäîê.

Áóòñòðàïîâñêèé ìåòîä

â êà÷åñòâå íåèçâåñòíîãî èñòèííîãî ðàñïðåäåëåíèÿ äàííûõ

èñïîëüçóåò ýìïèðè÷åñêîå ðàñïðåäåëåíèå äàííûõ, ò.å. êàê äàííûå ëåãëè â âûáîðêå.  äàëüíåéøåì ìû ïîäðîáíåå îáñóäèì áóòñòðàïîâñêèé ìåòîä.  íàñòîÿùåå âðåìÿ ýêîíîìåòðèñòû ïðåäïî÷èòàþò èñïîëüçîâàòü ïðèáëèæåííûé ïîäõîä, ïîñêîëüêó òî÷íûé òðåáóåò ðÿäà î÷åíü ñèëüíûõ ïðåäïîëîæåíèé î ìîäåëè è âèäå ðàñïðåäåëåíèÿ äàííûõ. Âðÿä ëè ðàçóìíî ñ÷èòàòü, ÷òî âèä ýòîãî ðàñïðåäåëåíèÿ èçâåñòåí èññëåäîâàòåëþ.

2

Êîíöåïöèè àñèìïòîòè÷åñêîé òåîðèè

×àñòî èñïîëüçóåìûìè ïîíÿòèÿìè àñèìïòîòè÷åñêîé òåîðèè ÿâëÿþòñÿ

íîñòü, àñèìïòîòè÷åñêàÿ íîðìàëüíîñòü

n.

àñèìïòîòè÷åñêàÿ ýôôåêòèâíîñòü . bn , ïîëó÷åííîé èç âûáîðñâîéñòâà îöåíêè β

è

Ïóñòü íàñ èíòåðåñóþò àñèìïòîòè÷åñêèå êè ðàçìåðà

ñîñòîÿòåëü-

Ïîñêîëüêó ìû ïðåäïîëàãàåì ñëó÷àéíóþ ïðèðîäó èñõîäíûõ äàííûõ,

ïîñòðîåííàÿ îöåíêà áóäåò ñëó÷àéíîé âåëè÷èíîé. Òàêèì îáðàçîì, ìû èìååì ïîñëåäî-

n

âàòåëüíîñòü ñëó÷àéíûõ âåëè÷èí  äëÿ êàæäîãî

p • ñîñòîÿòåëüíîé , åñëè βbn → β , ãäå β

ñâîÿ

βbn .

Îöåíêà

βbn

ÿâëÿåòñÿ

 èñòèííîå çíà÷åíèå îöåíèâàåìîãî ïàðàìåò-

ðà.

• àñèìïòîòè÷åñêè íîðìàëüíîé , (îáû÷íî

δ =

åñëè

1 ). Ñîîòâåòñòâåííî, 2

d nδ (βbn − β) → N (µ, Σ)

nδ

íàçûâàåòñÿ

äëÿ êàêîãî-òî

δ>0

ñêîðîñòüþ ñõîäèìîñòè , µ



àñèìòîòè÷åñêèì ñìåùåíèåì , Σ  àñèìïòîòè÷åñêîé äèñïåðñèîííîé ìàòðèöåé .

•

áóäó÷è àñèìïòîòè÷åñêè íîðìàëüíîé è àñèìïòîòè÷åñêè íåñìåù¼ííîé íàðÿäó ñ äðóãîé îöåíêîé

βen , àñèìïòîòè÷åñêè áîëåå ýôôåêòèâíîé ,

÷åì

d

βen ,

åñëè ïðè

nδ (βbn − β) → N (0, Σ), d e nδ (βen − β) → N (0, Σ), ìàòðèöà

e −Σ Σ

ÿâëÿåòñÿ íåîòðèöàòåëüíî îïðåäåëåííîé.

Ñîñòîÿòåëüíîñòü îöåíêè  íåîáõîäèìàÿ íîðìà, ãîâîðÿùàÿ, ÷òî ÷åì áîëüøå äàííûõ, òåì áëèæå íàøà îöåíêà ê èñòèííîìó ïàðàìåòðó. Ìîæíî, êîíå÷íî, ïðåäñòàâèòü ñåáå íåñîñòîÿòåëüíóþ îöåíêó, îáëàäàþùóþ æåëàåìûìè ñâîéñòâàìè â ìàëåíüêèõ âûáîðêàõ, íî òàêàÿ ñèòóàöèÿ îòíîñèòñÿ ê ðàçðÿäó ðåäêèõ èñêëþ÷åíèé.

7

Àñèìïòîòè÷åñêàÿ íîðìàëüíîñòü âàæíà ïî òîé ïðè÷èíå, ÷òî ïðîâåðêà ñòàòèñòè÷åñêèõ ãèïîòåç è ïîñòðîåíèå äîâåðèòåëüíûõ èíòåðâàëîâ òðåáóþò çíàíèÿ ðàñïðåäåëåíèÿ îöåíêè, à ò.ê. òî÷íîãî ðàñïðåäåëåíèÿ ìû íå çíàåì, ïîëüçóåìñÿ àñèìïòîòè÷åñêèì, íîðìàëüíûì, ðàñïðåäåëåíèåì. Çäåñü ôèãóðèðóåò èìåííî íîðìàëüíîå ðàñïðåäåëåíèå, ïîñêîëüêó ïðåäåëüíûå òåîðåìû, ÿâëÿþùèåñÿ ñåðäöåì àñèìïòîòèòåñêîé òåîðèè, ãîâîðÿò èìåííî î íîðìàëüíîñòè ýìïèðè÷åñêèõ ñðåäíèõ â áåñêîíå÷íûõ âûáîðêàõ. Ýôôåêòèâíîñòü îöåíêè æåëàòåëüíà, ïîñêîëüêó ÷åì áîëåå ýôôåêòèâíà îöåíêà, òåì òî÷íåå îíà ïðåäñêàçûâàåò èñòèííûé ïàðàìåòð. Ðàñøèðÿÿ îïðåäåëåíèå, ìîæíî ñêàçàòü, ÷òî äèñïåðñèÿ ýôôåêòèâíîé îöåíêè ìèìíèìàëüíà ñðåäè äèñïåðñèé îöåíîê èç íåêîòîðîãî êëàññà.

3

Î ïîñëåäîâàòåëüíîñòÿõ ñëó÷àéíûõ âåëè÷èí

Ïðè ïðåäïîëîæåíèè î ñëó÷àéíîé ïðèðîäå èñõîäíûõ äàííûõ ïîñòðîåííûå îöåíêè ÿâëÿþòñÿ, êàê ïðàâèëî, ñëó÷àéíûìè âåëè÷èíàìè. Äëÿ äàëüíåéøåãî èññëåäîâàíèÿ ñòàòèñòè÷åñêèõ ñâîéñòâ îöåíîê äàäèì íåñêîëüêî îïðåäåëåíèé è ðåçóëüòàòîâ, îòíîñÿùèõñÿ ê òèïàì ñõîäèìîñòè ïîñëåäîâàòåëüíîñòåé ñëó÷àéíûõ âåëè÷èí.

Îïðåäåëåíèå 1 (ñõîäèìîñòü ïî÷òè íàâåðíîå). Ìàòðè÷íàÿ ïîñëåäîâàòåëüíîñòü

Zn

ñëó÷àéíûõ âåëè÷èí ñõîäèòñÿ ê ñëó÷àéíîé ìàòðèöå as ðîÿòíîñòüþ åäèíèöà ), ò.å. Zn → Z , åñëè

P

n

lim Zn = Z

n→∞

o

Z ïî÷òè íàâåðíîå

(èëè

ñ âå-

= 1,

Z.

ò.å. ïî÷òè êàæäàÿ òðàåêòîðèÿ ñõîäèòñÿ ê

Îïðåäåëåíèå 2 (ñõîäèìîñòü ïî âåðîÿòíîñòè). Ìàòðè÷íàÿ ïîñëåäîâàòåëüíîñòü p

Zn ñëó÷àéíûõ âåëè÷èí ñõîäèòñÿ ê ñëó÷àéíîé ìàòðèöå Z ïî âåðîÿòíîñòè , ò.å. Zn → Z èëè

p lim Zn = Z ,

åñëè

∀ε > 0

lim P {kZn − Zk > ε} = 0,

n→∞

ò.å. âåðîÿòíîñòü áîëüøèõ îòêëîíåíèé îò

Z

ñòðåìèòñÿ ê 0.

Îïðåäåëåíèå 3 (ñõîäèìîñòü â ñðåäíåêâàäðàòè÷åñêèõ îòêëîíåíèÿõ). Ìàòðè÷íàÿ ïîñëåäîâàòåëüíîñòü

Z â ñðåäíåêâàäðàòè÷åñêèõ

Zn

ñëó÷àéíûõ âåëè÷èí ñõîäèòñÿ ê ñëñó÷àéíîé ìàòðèöå ms îòêëîíåíèÿõ , ò.å. Zn → Z , åñëè

  lim E kZn − Zk2 = 0,

n→∞

ò.å. ñðåäíåêâàäðàòè÷åñêàÿ îøèáêà ñòðåìèòñÿ ê 0.

8

Îïðåäåëåíèå 4 (ñõîäèìîñòü ïî ðàñïðåäåëåíèþ). Ìàòðè÷íàÿ ïîñëåäîâàòåëüíîñòü d Zn →

Zn Z

ñëó÷àéíûõ âåëè÷èí ñõîäèòñÿ ê ñëó÷àéíîé ìàòðèöå d èëè Zn → DZ , ãäå DZ  ðàñïðåäåëåíèå Z , åñëè

Z ïî ðàñïðåäåëåíèþ , ò.å.

lim P {Zn ≤ z} = P {Z ≤ z}

n→∞ äëÿ âñåõ òî÷åê íåïðåðûâíîñòè

z

DZ .

ðàñïðåäåëåíèÿ

Ìîæíî ïîêàçàòü, ÷òî ñõîäèìîñòü ïî âåðîÿòíîñòè ñëåäóåò èç ñõîäèìîñòè ïî÷òè íàâåðíîå èëè ñõîäèìîñòè â ñðåäíåêâàäðàòè÷åñêèõ îòêëîíåíèÿõ. Ñõîäèìîñòü ïî ðàñïðåäåëåíèþ, â ñâîþ î÷åðåäü, âûòåêàåò èç ñõîäèìîñòè ïî âåðîÿòíîñòè.

as

p

ms

Ðåçóëüòàò 1.

{Zn → Z

Ðåçóëüòàò 2.

Zn → Z ⇒ Zn → Z .

p

èëè

Zn → Z} ⇒ Zn → Z . d

Ðåçóëüòàò 3. Åñëè

Z

 êîíñòàíòà, òî

p

d

Zn → Z ⇔ Zn → Z

Ïðèìåð. Ðàññìîòðèì ïîñëåäîâàòåëüíîñòü ñëó÷àéíûõ âåëè÷èí

Z Z Z Z Z , , , ,..., ,..., 1 2 3 4 n

{Zn } : ãäå

Z èìååò ñòàíäàðòíîå íîðìàëüíîå ðàñïðåäåëåíèå. Òîãäà E(Zn ) = 0 è V ar(Zn ) =

Òàêèì îáðàçîì

4

ms

Zn → 0,

à, ñëåäîâàòåëüíî, è

p

1 . n2

Zn → 0.

Î ïîñëåäîâàòåëüíîñòÿõ ôóíêöèé ñëó÷àéíûõ âåëè÷èí

Ñóùåñòâóåò íåñêîëüêî ïîëåçíûõ òåîðåì, êîòîðûå íàì ïîíàäîáÿòñÿ âïîñëåäñòâèè. Çäåñü îíè ïðèâåäåíû áåç äîêàçàòåëüñòâà.

Òåîðåìà (ÌàííàÂàëüäà). Ïóñòü ôóíêöèÿ

g : Rk1 ×k2 → Rl1 ×l2

íåïðåðûâíà, à

Zn



ïîñëåäîâàòåëüíîñòü ñëó÷àéíûõ âåëè÷èí. Òîãäà

as

•

åñëè

Zn → Z ,

•

åñëè

Zn → Z ,

•

åñëè

Zn → Z

•

åñëè

Zn → Z ,

p

ms

d

Çàìå÷àíèå : Åñëè

as

òî

g(Zn ) → g(Z)

òî

g(Zn ) → g(Z)

è

p

g

òî

Z

ëèíåéíà, òî

ms

g(Zn ) → g(Z)

d

g(Zn ) → g(Z) êîíñòàíòà, òî äëÿ âûïîëíåíèÿ òåîðåìû äîñòàòî÷íà òîëüêî ëî-

êàëüíàÿ íåïðåðûâíîñòü ôóíêöèè

g

â òî÷êå

Z.

Òåîðåìà (Ñëóöêîãî). Åñëè ïîñëåäîâàòåëüíîñòü ñëó÷àéíûõ âåëè÷èí âåðîÿòíîñòè ê íåêîòîðîé êîíñòàíòå

U,

Un

ñõîäèòñÿ ïî

à ïîñëåäîâàòåëüíîñòü ñëó÷àéíûõ âåëè÷èí p d ñõîäèòñÿ ïî ðàñïðåäåëåíèþ ê ñëó÷àéíîé âåëè÷èíå V , ò.å. Un → U è Vn → V , òî

9

Vn

d

• Un + Vn → U + V d

• Un Vn → U V d

• Un−1 Vn → U −1 V ,

åñëè

P r{det(Un ) = 0} = 0

Åù¼ ðàç îáðàòèì âíèìàíèå íà òîò ôàêò, ÷òî â òåîðåìå Ñëóöêîãî îäíà ïîñëåäîâàòåëüíîñòü äîëæíà ñõîäèòüñÿ

ïî âåðîÿòíîñòè ê êîíñòàíòå .

Åñëè ýòî íå òàê, òî

òåîðåìà, âîîáùå ãîâîðÿ, íå âåðíà. Ñëåäóþùèé ïðèìåð äåìîíñòðèðóåò ýòî.

Ïðèìåð. Ïóñòü ñëó÷àéíàÿ âåëè÷èíà ëåíèå, ò.å.

Îäíàêî,

èìååò ñòàíäàðòíîå íîðìàëüíîå ðàñïðåäå-

Z ∼ N (0, 1).

Ðàññìîòðèì äâå ïîñëåäîâàòåëüíîñòè ñëó÷àéíûõ âåëè÷èí : p d è {Xn } = {Z, −Z, Z, −Z, . . . }. ßñíî, ÷òî {Zn } → Z è {Xn } →

{Zn } = {Z, Z, Z, Z, . . .} Z.

Z

{Zn + Xn } = {2Z, 0, 2Z, 0, 2Z, . . . }.

Òàêèì îáðàçîì, ïîñëåäîâàòåëüíîñòü

ñóììû ñëó÷àéíûõ âåëè÷èí íå ñõîäèòñÿ âîîáùå íèêóäà. Ò.å. òåîðåìà Ñëóöêîãî íåïðèìåíèìà.

Òåîðåìà (Äåëüòà Ìåòîä). Ïóñòü ïîñëåäîâàòåëüíîñòü ñëó÷àéíûõ âåêòîðîâ ìåðíîñòè

k×1

óäîâëåòâîðÿåò óñëîâèþ

êîíñòàíòà, à ôóíêöèÿ

k

g: R → R √

ãäå

G=

l

√

d

n(Zn − Z) → N (0, Σ),

ãäå

Z

ðàç-

Z = p lim Zn

íåïðåðûâíî äèôôåðåíöèðóåìà â òî÷êå

Z.



Òîãäà

d

n(g(Zn ) − g(Z)) → N (0, GΣG0 ),

∂g(z) | . ∂z 0 z=Z

Ïðèìåðû 1 è 2 äåìîíñòðèðóþò ïðèìåíåíèå òåîðåìû ÌàííàÂàëüäà è Äåëüòà Ìåòîäà íà ïðàêòèêå.

Ïðèìåð 1. Ïóñòü

p

x→µ

ðåíöèðóåìóþ ôóíêöèþ

è

√

d

n(x − µ) → N (0, Σ).

g(x) = x0 x.

Ðàññìîòðèì íåïðåðûâíî äèôôå-

Ïî òåîðåìå ÌàííàÂàëüäà

√ d Σ−1/2 n(x − µ) → N (0, Ik ) ãäå

(Σ−1/2 )0 Σ−1/2 = Σ−1 .

Òàêèì îáðàçîì, ïîëó÷àåì ñëåäóþùèé ðåçóëüòàò :

√

d

n(x − µ)0 Σ−1 (x − µ) → χ2 (k).

Èñïîëüçóÿ Äåëüòà Ìåòîä è ó÷èòûâàÿ, ÷òî

√ Ïðèìåð 2. Ïóñòü

√

G=

∂(x0 x) | ∂x0 µ

= 2x0 |µ = 2µ0 ,

d

n(x0 x − µ0 µ) → N (0, 4µ0 Σµ).

    x1 µ1 d n − → N (0, I2 ). x2 µ2

10

ïîëó÷èì :

Ðàññìîòðèì íåïðåðûâíî äèôôåðåíöèðóåìóþ ôóíêöèþ

g

x1 x2

Âàëüäà,




=

x1 . Ïî òåîðåìå Ìàííà x2

x1 − µ1 d N (0, 1) → , x 2 − µ2 N (0, 1) ò.å. èíòåðåñóþùàÿ íàñ âåëè÷èíà èìååò ðàñïðåäåëåíèå Êîøè. Ïðèìåíÿÿ æå Äåëüòà Ìåòîä, èìååì :

  x1 x2 G= ∂(x1 , x2 ) ∂

òàê ÷òî

√

5

= (µµ12 )



1 µ1 ,− µ2 µ2





 2  µ1

x 1 µ1 d  1 + µ2 n − → N 0, x 2 µ2 µ22 



,

 .

Ïðåäåëüíûå òåîðåìû äëÿ íåçàâèñèìûõ íàáëþäåíèé

Îñíîâíûìè èíñòðóìåíòàìè ïîñòðîåíèÿ ñòàòèñòè÷åñêèõ âûâîäîâ â àñèìïòîòè÷åñêîì ïîäõîäå ÿâëÿþòñÿ

ìû

Çàêîíû Áîëüøèõ ×èñåë

(ÇÁ×) è

Öåíòðàëüíûå Ïðåäåëüíûå Òåîðå-

(ÖÏÒ). ÇÁ× ïðåäñòàâëÿåò ñîáîé ðåçóëüòàò î ñõîäèìîñòè âûáîðî÷íîãî ñðåäíåãî

ê ïîïóëÿöèîííîìó ñðåäíåìó, ÖÏÒ äàåò ïðåäñòàâëåíèå î ïðåäåëüíîì ðàñïðåäåëåíèè îïðåäåëåííûì îáðàçîì íîðìèðîâàííîãî öåíòðèðîâàííîãî âûáîðî÷íîãî ñðåäíåãî. Ñóùåñòâóåò äîâîëüíî áîëüøîå êîëè÷åñòâî ôîðìóëèðîâîê ÇÁ× è ÖÏÒ. Íàñ áóäóò èíòåðåñîâàòü ïðåäåëüíûå òåîðåìû äëÿ äâóõ îñíîâíûõ ñëó÷àåâ : ñëó÷àé

áëþäåíèé

è ñëó÷àé

ñòàöèîíàðíûõ ýðãîäè÷íûõ âðåìåííûõ ðÿäîâ .

íåçàâèñèìûõ íàÄàëåå ïðèâîäÿòñÿ

ÇÁ× è ÖÏÒ äëÿ íåçàâèñèìûõ èëè ñåðèéíî íåñêîððåëèðîâàííûõ ñêàëÿðíûõ ñëó÷àéíûõ âåëè÷èí.

Òåîðåìà Êîëìîãîðîâà (íåçàâèñèìûå îäèíàêîâî ðàñïðåäåëåííûå íàáëþäåíèÿ). Ïóñòü ñëó÷àéíûå âåëè÷èíû

{Zn }∞ i=1

íåçàâèñèìû è îäèíàêîâî ðàñïðåäåëåíû.

Êðîìå òîãî, ïóñòü ñóùåñòâóåò ìàòåìàòè÷åñêîå îæèäàíèå

E|Zi |.

Òîãäà

n

1X as Zi → E[Zi ]. n i=1 Òåîðåìà Êîëìîãîðîâà (íåçàâèñèìûå íåîäíîðîäíûå íàáëþäåíèÿ). Ïóñòü ñëó÷àéíûå âåëè÷èíû

∞,

2 {Zn }∞ i=1 íåçàâèñèìû è èìåþò êîíå÷íûå äèñïåðñèè σi . Åñëè

òî

σi2 i=1 i2

P∞

<

" n # n 1X 1X as Zi − E Zi → 0. n i=1 n i=1

Òåîðåìà ×åáûøåâà (íåñêîððåëèðîâàííûå íàáëþäåíèÿ). Ïóñòü ñëó÷àéíûå âåëè÷èíû

{Zn }∞ i=1 íåñêîððåëèðîâàíû, ò.å. Cov(Zi , Zj ) = 0 äëÿ i 6= j . Åñëè

11

1 n2

Pn

i=1

σi2 →

n→∞

0,

òî

" n # n 1X 1X p Zi − E Zi → 0. n i=1 n i=1 Òåîðåìà Ëèíäáåðãà-Ëåâè (íåçàâèñèìûå îäèíàêîâî ðàñïðåäåëåííûå íàáëþäåíèÿ). Ïóñòü ñëó÷àéíûå âåëè÷èíû ñ ìàòåìàòè÷åñêèì îæèäàíèåì

√

{Zn }∞ i=1

E[Zi ] = µ

è äèñïåðñèåé

n

n

íåçàâèñèìû è îäèíàêîâî ðàñïðåäåëåíû

1X Zi − µ n i=1

!

V ar[Zi ] = σ 2 .

Òîãäà :

d

→ N (0, σ 2 ).

Òåîðåìà Ëÿïóíîâà (íåçàâèñèìûå íåîäíîðîäíûå íàáëþäåíèÿ). Ïóñòü ñëó÷àéíûå âåëè÷èíû ïåðñèåé

{Zn }∞ i=1

V ar[Zi ] =

íåçàâèñèìû ñ ìàòåìàòè÷åñêèì îæèäàíèåì

σi2 è òðåòüèì öåíòðàëüíûì ìîìåíòîì

åñëè

E[|Zi − µi |3 ] = νi .

Òîãäà,

P 1/3 ( ni=1 νi ) → 0, P 1/2 ( ni=1 σi2 ) n→∞

òî

6

E[Zi ] = µi , äèñ-

Pn

i=1 (Zi − µi ) d → N (0, 1). Pn 1/2 ( i=1 σi2 )

Àñèìïòîòè÷åñêèå ñòàòèñòè÷åñêèå âûâîäû

Èäåÿ ïîñòðîåíèÿ ñòàòèñòè÷åñêèõ âûâîäîâ ïðè ïîìîùè àñèìïòîòè÷åñêîãî ìåòîäà äîâîëüíî î÷åâèäíà. Âìåñòî òî÷íîãî ðàñïðåäåëåíèÿ îöåíêè áåðåòñÿ àñèìïòîòè÷åñêîå, íà îñíîâàíèè êîòîðîãî ñòðîÿòñÿ ðàñïðåäåëåíèÿ òåñòîâûõ ñòàòèñòèê.

Ïðèìåð. Ïóñòü

√

d

n(Z n − µ) → N (0, σ 2 ).

 äàííîì ñëó÷àå ìû èìååì äåëî ñ âûáîðî÷íûì ñðåäíèì

Z n,

êîòîðîå ñîãëàñíî ÖÏÒ

èìååò àñèìòîòè÷åñêè íîðìàëüíîå ðàñïðåäåëåíèå. Çàìåòèì, ÷òî â äàííîì ñëó÷àå ðàñïðåäåëåíèå çàâèñèò îò íåèçâåñòíîãî ïàðàìåòðà

σ2,

ïîýòîìó ñòàòèñòèêà

Zn

ÿâëÿåòñÿ

àñèìòîòè÷åñêè íåïèâîòàëüíîé ñòàòèñòèêîé . Îïðåäåëåíèå. Ñòàòèñòèêà íàçûâàåòñÿ (àñèìòîòè÷åñêè)

ïèâîòàëüíîé , åñëè åå (àñèì-

ïòîòè÷åñêîå) ðàñïðåäåëåíèå íå çàâèñèò îò íåèçâåñòíûõ ïàðàìåòðîâ. Âîçâðàùàÿñü ê íàøåìó ïðèìåðó, ìû ìîæåì ïîëó÷èòü ïèâîòàëüíóþ ñòàòèñòèêó, ïîñòðîèâ ñîñòîÿòåëüíóþ îöåíêó äèñïåðñèè

√

n(Z n − µ) = σ b

√

σ b2 :

n(Z n − µ) σ d → N (0, 1), σ σ b

12

√ d ò.ê. ñîãëàñíî ÖÏÒ n(Z n − µ)/σ → N (0, 1), à â ñèëó ñîñòîÿòåëüíîñòè îöåíêè σ b2 , p σ/b σ → 1. Òåïåðü, çíàÿ àñèìïòîòè÷åñêîå ðàñïðåäåëåíèå ïîñòðîåííîé ñòàòèñòèêè ìîæíî ïîñòðîèòü äîâåðèòåëüíûé èíòåðâàë. Òàê àñèìòîòè÷åñêèé äîâåðèòåëüíûé èíòåðâàë äëÿ

µ

áóäåò

  σ b N (0,1) σ b N (0,1) Z n − √ q1− α , Z n + √ q1− α . 2 2 n n Ïðåäïîëîæèì òåïåðü, ÷òî íàì íóæíî ïðîòåñòèðîâàòü ãèïîòåçó ãëàñíî ïîñòðîåííîìó íàìè îòâåðãàòüñÿ, åñëè

√

H 0 : µ = µ0 .

Ñî-

α-ïðîöåíòíîìó äîâåðèòåëüíîìó èíòåðâàëó ãèïîòåçà áóäåò N (0,1)

n|Z n − µ0 |/b σ > q1− α 2

.  ïðîòèâíîì ñëó÷àå ãèïîòåçà ïðèíèìàåò-

ñÿ. Îñòàëîñü ïîñòðîèòü ñîñòîÿòåëüíóþ îöåíêó äèñïåðñèè. Îêàçûâàåòñÿ, âûáîðî÷íàÿ äèñïåðñèÿ áóäåò ñîñòîÿòåëüíîé îöåíêîé äëÿ äèñïåðñèè :

v v u n u n u1 X u1 X p 2 t σ b= (Zi − Z n ) = t (Zi − µ)2 − (Z n − µ)2 → σ, n i=1 n i=1 ïîñêîëüêó èç ÇÁ× ñëåäóåò, ÷òî

7

1 n

Pn

i=1 (Zi

p

− µ)2 → E[(Zi − µ)2 ] = σ 2

è

p

(Z n − µ)2 → 0.

Àñèìïòîòèêà äëÿ ñòàöèîíàðíûõ âðåìåííûõ ðÿäîâ

Äî ñèõ ïîð ìû ðàññìàòðèâàëè àñèìïòîòè÷åñêèå ñâîéñòâà îöåíîê â ñëó÷àå íåçàâèñèìûõ íàáëþäåíèé, è åñëè ó íàñ åñòü ïîñëåäîâàòåëüíîñòü ìîãëè ñêàçàòü, ÷òî ó íàñ èìååòñÿ

n

Z 1 , Z2 , Z3 , . . . , Zn ,

ìû

íàáëþäåíèé.  ñëó÷àå âðåìåííûõ ðÿäîâ (íàáëþ-

äåíèé âî âðåìåíè) ýòî, âîîáùå ãîâîðÿ, íå òàê. Êàæäàÿ òðàåêòîðèÿ

îäíî íàáëþäåíèå ,

ïðåäñòàâëÿåò ñîáîé â îáùåì ñëó÷àå

Z1 , Z2 , Z3 , . . . , ZT

à èç îäíîãî íàáëþäåíèÿ äå-

ëàòü ñòàòèñòè÷åñêèå âûâîäû ïðîáëåìàòè÷íî. Ïîýòîìó íà ïðèðîäó èñõîäíûõ äàííûõ ïðèõîäèòñÿ íàêëàäûâàòü êàêóþ-òî ñòðóêòóðó. ×àñòî äëÿ ýòîãî èñïîëüçóþòñÿ ïðåäïîëîæåíèÿ î

ñòàöèîíàðíîñòè è ýðãîäè÷íîñòè

 ýòî ñòàáèëüíîñòü ðàñïðåäåëåíèÿ

Zt

ðÿäà. Ãðóáî ãîâîðÿ,

âî âðåìåíè, à

ñòàöèîíàðíîñòü

ýðãîäè÷íîñòü

 ýòî ïîòåðÿ

ïàìÿòè, èëè àñèìïòîòè÷åñêàÿ íåçàâèñèìîñòü îò íà÷àëüíûõ äàííûõ. Äàäèì áîëåå ÷åòêèå îïðåäåëåíèÿ :

Îïðåäåëåíèå. Âðåìåííîé ðÿä íàçûâàåòñÿ ðàñïðåäåëåíèå

Zt , Zt−1 , . . . , Zt−k

ñòðîãî ñòàöèîíàðíûì ,

íå çàâèñèò îò

t

äëÿ ëþáûõ

åñëè ñîâìåñòíîå

k.

Ïîñêîëüêó òî÷íîå îïðåäåëåíèå ýðãîäè÷íîñòè èñïîëüçóåò ïîíÿòèÿ òåîðèè ìåðû, äàäèì èíòóèòèâíîå îïðåäåëåíèå :

Îïðåäåëåíèå. Âðåìåííîé ðÿä òè÷åñêè íåçàâèñèìû ïðè

Zt

íàçûâàåòñÿ

ýðãîäè÷íûì , åñëè Zt

è

Zt+k

àñèìïòî-

k → ∞.

Ïðèâåäåì ïðèìåðû ðàçëè÷íûõ ñòàöèîíàðíûõ èëè íåñòàöèîíàðíûõ è ýðãîäè÷íûõ èëè íåýðãîäè÷íûõ âðåìåííûõ ðÿäîâ.

13

Ïðèìåð 1 (ñòàöèîíàðíûå ýðãîäè÷íûå ðÿäû).

• Zt ∼ iid,

íåçàâèñèìûå îäèíàêîâî ðàñïðåäåëåííûå íàáëþäåíèÿ

• εt ∼ iid(0, σ 2 ),

ñèëüíûé áåëûé øóì

• AR(1) : zt = ρzt−1 + εt , |ρ| < 1 • M A(1) : zt = εt + θεt−1 Ïðèìåð 2 (íåñòàöèîíàðíûå íåýðãîäè÷íûå ðÿäû).

• zt = zt−1 + εt ,

ñëó÷àéíîå áëóæäàíèå. Çäåñü äèñïåðñèÿ íàáëþäåíèé ðàñòåò ñî

V ar(zt ) = V ar(zt−1 ) + σε2 , ò.å. ðÿä íå ìîæåò áûòü ñòàöèîíàðåí. Êðîìå Pt íà÷àëüíûå äàííûå íå çàáûâàþòñÿ ñî âðåìåíåì : zt = z0 + i=1 εi , è ðÿä

âðåìåíåì : òîãî,

íåýðãîäè÷åí.

Ïðèìåð 3 (ñòàöèîíàðíûå íåýðãîäè÷íûå ðÿäû).

•

Ïóñòü

z ∼ N (0, 1)

è

zt = z + εt ,

ãäå

εt

è

z

íåçàâèñèìû. Î÷åâèäíî, ÷òî ðÿä

zt

ñòàöèîíàðåí, íî íåýðãîäè÷åí.

Ïðèìåð 4 (íåñòàöèîíàðíûå ýðãîäè÷íûå ðÿäû).

•

Ñåçîííûé ðÿä :

zt = s(τ, t) + εt ,

ãäå

s(τ, t) = s(τ, t + τ ).

Ðåçóëüòàò. Åñëè ñëó÷àéíûé ïðîöåññ zt ÿâëÿåòñÿ ñòàöèîíàðíûì è ýðãîäè÷íûì, è åñëè

Yt = f (zt , zt−1 . . .)

åñòü ñëó÷àéíàÿ âåëè÷èíà, òî

Yt

òàêæå ÿâëÿåòñÿ ñòàöèîíàðíûì è

t

íàçûâàþòñÿ âñå ðåàëèçîâàâøèåñÿ

ýðãîäè÷íûì ðÿäîì.

Îïðåäåëåíèå. çíà÷åíèÿ

zk

Èíôîðìàöèåé

âïëîòü äî

Îïðåäåëåíèå. Ðÿä

íèé

zt

zt ,

ò.å.

â ìîìåíò âðåìåíè

It = {zt , zt−1 , . . .}.

íàçûâàåòñÿ

ïîñëåäîâàòåëüíîñòüþ ìàðòèíãàëüíûõ ïðèðàùå-

(ÏÌÏ) ïî îòíîøåíèþ ê ñâîåìó ïðîøëîìó, åñëè

E[zt |It−1 ] = 0.

Ñôîðìóëèðóåì ÇÁ× è ÖÏÒ äëÿ âðåìåííûõ ðÿäîâ.

Òåîðåìà ÁèðêîôôàÕèí÷èíà (çàâèñèìûå íàáëþäåíèÿ). Ïóñòü ðÿä ñòàöèîíàðåí è ýðãîäè÷åí. Êðîìå òîãî, ïóñòü

E[|Zt |] < ∞,

T 1X as Zt → E[Zt ] T t=1 ïðè

T → ∞.

14

òîãäà

{Zt }+∞ t=−∞

Òåîðåìà Áèëëèíãñëåÿ (ïîñëåäîâàòåëüíîñòü ìàðòèíãàëüíûõ ïðèðàùåíèé). Ïóñòü ðÿä

{Zt }+∞ t=−∞ ñòàöèîíàðåí, ýðãîäè÷åí è ÿâëÿåòñÿ ÏÌÏ ïî îòíîøåíèþ ê ñâîåìó σ 2 = E[Zt2 ] < ∞,

ïðîøëîìó. Êðîìå òîãî, ïóñòü

òîãäà

T 1 X d √ Zt → N (0, σ 2 ) T t=1 ïðè

T → ∞.

Òåîðåìà (çàâèñèìûå íàáëþäåíèÿ). Ïóñòü ðÿä

{Zt }+∞ t=−∞

ñòàöèîíàðåí è ýðãîäè-

÷åí. Êðîìå òîãî, ïóñòü

2

σ =

+∞ X

Cov[Zt , Zt−j ] < ∞.

j=−∞ Òîãäà ïðè îïðåäåëåííûõ óñëîâèÿõ,

√

ïðè

T

T 1X Zt − E[Zt ] T t=1

!

d

→ N (0, σ 2 )

T → ∞.

Ïðèâåäåì ïðèìåðû èñïîëüçîâàíèÿ èçëîæåíûõ âûøå òåîðåì äëÿ èññëåäîâàíèÿ àñèìòîòè÷åñêèõ ñâîéñòâ îöåíîê íà âðåìåííûõ ðÿäàõ.

Ïðèìåð. Ðàññìîòðèì àâòîðåãðåññèîííûé ïðîöåññ ïåðâîãî ïîðÿäêà

AR(1) :

xt = ρxt−1 + εt , |ρ| < 1, εt ∼ iid(0, σ 2 ). Íàñ èíòåðåñóþò àñèìòîòè÷åñêèå ñâîéñòâà ÌÍÊ-îöåíêè

ρb =

PT

xt−1 xt Pt=2 T 2 t=2 xt−1

PT

= ρ + Pt=2 T

xt−1 εt

2 t=2 xt−1

.

Ïî òåîðåìå ÁèðêîôôàÕèí÷èíà,

T

1 X p xt−1 εt → E[xt−1 εt ] = 0, T − 1 t=2 T

1 X 2 p x → E[x2t−1 ]. T − 1 t=2 t−1 Ñëåäîâàòåëüíî, ïî òåîðåìå Ñëóöêîãî îöåíêà p ρb → ρ.

ρb ÿâëÿåòñÿ

ñîñòîÿòåëüíîé îöåíêîé, ò.å.

Òåïåðü íàéäåì àñèìòîòè÷åñêîå ðàñïðåäåëåíèå ÌÍÊ-îöåíêè :

√

T (b ρ − ρ) =

√1 T −1 1 T −1

PT

t=2 xt−1 εt PT 2 t−2 xt−1

15

r

T . T −1

q

PT p T 1 2 2 → 1, à T −1 t−2 xt−1 → E[xt−1 ]. Ïîêàæåì, ÷òî ïîñëåäîâàòåëüT −1 n→∞ íîñòü xt−1 εt ÿâëÿåòñÿ ïîñëåäîâàòåëüíîñòüþ ìàðòèíãàëüíûõ ïðèðàùåíèé ïî îòíîøåÎ÷åâèäíî, ÷òî

íèþ ê ñâîåìó ïðîøëîìó, ò.å. èíôîðìàöèîííîìó ìíîæåñòâó

It−1 = {xt−2 εt−1 , xt−3 εt−2 . . .}. E[xt−1 εt |It−1 ] = E[E[xt−1 εt |xt−1 , xt−2 εt−1 . . .]|It−1 ] = 0. Ò.å. ïîñëåäîâàòåëüíîñòü

xt−1 εt

ÿâëÿåòñÿ ÏÌÏ. Òàêèì îáðàçîì, ìû ìîæåì ïðèìåíèòü

ÖÏÒ Áèëëèíãñëåÿ :

T

X 1 d √ xt−1 εt → N (0, E[x2t−1 ε2t ]). T − 1 t=2 Çàìåòèâ, ÷òî

E[x2t ] = V ar[xt ] = ρ2 V ar[xt−1 ] + σ 2 =

ðåçóëüòàò :

√

σ2 , ïîëó÷èì îêîí÷àòåëüíûé 1−ρ2

d

T (b ρ − ρ) → N (0, 1 − ρ2 ).

Ñîîòâåòñòâóþùàÿ ïèâîòàëüíàÿ ñòàòèñòèêà áóäåò

√ T (b ρ − ρ) d p → N (0, 1). 1 − ρb2

ρ åñòü # r r 2 2 1 − ρb 1 − ρb CIρ = ρb − 1.96 ; ρb + 1.96 . T T

 ðåçóëüòàòå, 95%-íûé äîâåðèòåëüíûé èíòåðâàë äëÿ

"

Îáðàòèìñÿ åùå ðàç ê ÖÏÒ äëÿ çàâèñèìûõ íàáëþäåíèé. Âèä âàðèàöèîííîé ìàòðèöû â àñèìòîòè÷åñêîì ðàñïðåäåëåíèè îöåíêè òðåáóåò íåêîòîðîãî ïîÿñíåíèÿ. Êîãäà ìû èìååì äåëî ñ ïîñëåäîâàòåëüíîñòüþ ìàðòèíãàëüíûõ ïðèðàùåíèé

0

äëÿ

E[Zt2 ].

j > 0,

Zt , ó íàñ E[Zt Zt−j ] =

ïîýòîìó àñèìòîòè÷åñêàÿ äèñïåðñèÿ äëÿ ÏÌÏ èìååò ïðîñòîé âèä :

σ2 =

Îäíàêî, âñ¼ ñëîæíåå äëÿ áîëåå çàâèñèìûõ íàáëþäåíèé :

"

# " T # T X X 1 1 V ar √ Zt = V ar Zt = T T t=1 t=1 1 = [T V ar(Zt ) + (T − 1)Cov(Zt , Zt+1 ) + (T − 1)Cov(Zt , Zt−1 ) + T + (T − 2)Cov(Zt , Zt+2 ) + (T − 2)Cov(Zt , Zt−2 ) + . . . + +∞ X + Cov(Z1 , ZT ) + Cov(ZT , Z1 )] → Cov(Zt , Zt−j ). T →∞

j=−∞

Ðàññìîòðèì ïðèìåð ñ çàâèñèìûìè íàáëþäåíèÿìè, êîãäà àñèìòîòè÷åñêóþ äèñïåðñèîííóþ ìàòðèöó ïðèõîäèòñÿ ñ÷èòàòü ïî óêàçàííîé âûøå ôîðìóëå. ßñíî, ÷òî â ýòîì ñëó÷àå îøèáêè äîëæíû áûòü ñêîððåëèðîâàíûìè.

16

Ïðèìåð. Ðàññìîòðèì ïðîöåññ ñêîëüçÿùåãî ñðåäíåãî ïåðâîãî ïîðÿäêà

M A(1) :

zt = εt + θεt−1 , εt ∼ iid(0, σ 2 ). Çàìåòèì, ÷òî

V ar(zt ) = (1 + θ2 )σ 2 , Cov(zt , zt−1 ) = θσ 2 , Cov(zt , zt−j ) = 0, j > 1.  ýòîì ñëó÷àå,

+∞ X

Cov(zt , zt−j ) = (1 + θ2 )σ 2 + 2θσ 2 = (1 + θ)2 σ 2 .

j=−∞ Òîãäà, ñîãëàñíî ÖÏÒ äëÿ çàâèñèìûõ íàáëþäåíèé,

T 1 X d √ zt → N (0, (1 + θ)2 σ 2 ). T t=1 Îáðàòèì âíèìàíèå íà òî, ÷òî â ýòîì ñëó÷àå

{zt−1 , zt−2 , zt−3 . . .},

ò.ê.

zt

íå ÿâëÿåòñÿ ÏÌÏ îòíîñèòåëüíî

It =

E[zt |zt−1 , zt−2 , . . .] = θεt−1 6= 0.

Äëÿ ïîëó÷åíèÿ ïèâîòàëüíîé ñòàòèñòèêè âîçíèêàåò íåîáõîäèìîñòü ñîñòîÿòåëüíîãî îöåíèâàíèÿ àñèìòîòè÷åñêîé äèñïåðñèîííîé ìàòðèöû. Âèä èñêîìîé îöåíêè ìîæåò áûòü

T T −1 T X 1 X 1X 0 b Ω= (Zt − Z)(Zt − Z) + {(Zt − Z)(Zt−j − Z)0 + (Zt − Z)(Zt+j − Z)0 }. T t=1 T j=1 t=j+1 Óâû, òàêàÿ îöåíêà íå áóäåò ñîñòîÿòåëüíîé, ò.å.

p b9 Ω Ω. Äåëî â òîì, ÷òî èç-çà êîíå÷íî-

ñòè âûáîðêè íåâîçìîæíî ñîñòîÿòåëüíî îöåíèòü êðàéíèå ÷ëåíû ðÿäà. Òàêèì îáðàçîì, èñïîëüçóÿ ýðãîäè÷íîñòü, íåîáõîäèìî îáðåçàòü ðÿä íà ñëàãàåìîì íîìåð òàêîì, ÷òîáû ïðè

T →∞

ìû èìåëè

m→∞

è

m/T → 0.

m << T ,

Íüþè è Óýñò ïðåäëîæè-

ëè ñîñòîÿòåëüíóþ îöåíêó âàðèàöèîííîé ìàòðèöû, êîòîðàÿ ïî ïîñòðîåíèþ ÿâëÿåòñÿ

ïîëîæèòåëüíî îïðåäåëåííîé :

bNW = Ω

m  X

j=−m

|j| 1− m+1



1 T

min(T,T +j)

X

(Zt − Z)(Zt−j − Z)0 .

t=max(1,1+j)

Äëÿ ïðàêòè÷åñêîãî èñïîëüçîâàíèÿ áûëà ïðåäëîæåíà ñëåäóþùàÿ ôîðìóëà âûáîðà

m:

"  1/3 # T m= 4 . 100 Òàêîé âûáîð

m äàåò õîðîøèå ðåçóëüòàòû â ñìûñëå òî÷íîñòè îöåíîê, çà èñêëþ÷åíèåì

òåõ ñëó÷àåâ, êîãäà çàòóõàíèå âîçìóùåíèé â ïðîöåññå ïðîèñõîäèò ìåäëåííî, ò.å. êîðíè ñîîòâåòñòâóþùèõ ïîëèíîìîâ ëåæàò áëèçêî ê åäèíè÷íîìó êðóãó.

17

Âåðíåìñÿ ê óæå ðàññìîòðåííîìó ïðèìåðó MA(1) :

zt = εt + θεt−1 .

Âîò ðåçóëüòàò,

êîòîðûé ìû ïîëó÷èëè :

T 1 X d √ zt → N (0, (1 + θ)2 σ 2 ). T t=1 Äîïóñòèì òåïåðü, ÷òî ìû õîòèì ïîëó÷èòü ñîñòîÿòåëüíóþ îöåíêó äëÿ àñèìòîòè÷åñêîé äèñïåðñèè. Íà ïðàêòèêå ó íàñ åñòü 3 âîçìîæíûõ ñïîñîáà :

•

•

p θb → θ

Ìû ìîæåì ïîñòðîèòü ñîñòîÿòåëüíûå îöåíêè

p

σ b2 → σ 2 ,

è

à çàòåì ñêîí-

ñòðóèðîâàòü ñîñòîÿòåëüíóþ îöåíêó àñèìòîòè÷åñêîé äèñïåðñèè : σ bz2

b 2σ = (1 + θ) b2 .

σz2 = V ar(zt ) + 2Cov(zt , zt−1 ), ìû \ ìîæåì ñêîíñòðóèðîâàòü ñîñòîÿòåëüíóþ îöåíêó â âèäå σ b2 = V\ ar(zt )+2Cov(z t , zt−1 ),

Çíàÿ, ÷òî èñêîìàÿ äèñïåðñèÿ âûðàæàåòñÿ êàê

z

ãäå

T T 1X 1X 2 \ \ V ar(zt ) = z , Cov(zt , zt−1 ) = zt zt−1 . T t=1 t T t=2

•

Ìû ìîæåì èñïîëüçîâàòü ïðèâåäåííóþ âûøå îöåíêó ÍüþèÓýñòà :

σ bz2 8

=

m  X

j=−m

|j| 1− m+1



1 T

min(T,T +j)

X

zt zt−j .

t=max(1,1+j)

Ââåäåíèå â àñèìòîòèêó äëÿ íåñòàöèîíàðíûõ ïðîöåññîâ

Åñëè âðåìåííîé ðÿä íå ñòàöèîíàðåí, à èìååò ñòîõàñòè÷åñêèå òðåíäû, ïîñòðîåíèå ñòàòèñòè÷åñêèõ âûâîäîâ çíà÷èòåëüíî óñëîæíÿåòñÿ. Çäåñü ìû ðàññìîòðèì ïðîñòåéøèé ïðèìåð âàæíîãî êëàññà íåñòàöèîíàðíûõ ïðîöåññîâ. Ïóñòü

Xt

îïèñûâàåòñÿ óðàâíåíè-

åì ñëó÷àéíîãî áëóæäàíèÿ, ò.å. :

Xt = Xt−1 + εt , X0 = 0, εt ∼ iid(0, σ 2 ). Òîãäà âûáîðî÷íîå ñðåäíåå âûðàæàåòñÿ ñëåäóþùèì îáðàçîì :

T 1X εT 2 T −t+1 Xt = + εT −1 + · · · + εt + · · · + ε1 . T t=1 T T T Ñëåäîâàòåëüíî,

V ar

T 1X Xt T t=1

ò.å.

V ar

!

= σ2

T 1X Xt T t=1

1+

!



T −1 T

= σ2

2

 2  2 ! 2 1 + ··· + + , T T

(T + 1)(2T + 1) = O(T ). 6T

18

Ðàññóæäàÿ àíàëîãè÷íî, â ðåçóëüòàòå ìû ïîëó÷èì :

T 1 X

T 3/2 ãäå

V1 , V2 , V3

t=1

T T 1X 1 X 2 p p Xt → V1 , Xt−1 εt → V2 , 2 X → V3 , T t=1 T t=1 t−1 p

 íåêîòîðûå ñëó÷àéíûå âåëè÷èíû.

Åñëè ìû òåïåðü èñïîëüçóåì ÌÍÊ-îöåíêó äëÿ

ρ,

êîòîðîå ðàâíî åäèíèöå, òî àñèì-

òîòè÷åñêèå ñâîéñòâà ýòîé îöåíêè áóäóò ñëåäóþùèå :

p

T (b ρ − 1) →

V2 . V3

ñóïåðñîñòîÿòåëüíà , ò.å. ñêîðîñòü ñõîäèìî√ ïðåâûøàåò T . Âî-âòîðûõ, àñèìòîòè÷åñêîå

Âî-ïåðâûõ, ÌÍÊ-îöåíêà â äàííîì ñëó÷àå ñòè ê àñèìòîòè÷åñêîìó ðàñïðåäåëåíèþ

ðàñïðåäåëåíèå íåñòàíäàðòíî : îíî íå ÿâëÿåòñÿ íîðìàëüíûì, çàòî îáëàäàåò íåíóëåâûìè ñìåùåíèåì è ñêîøåííîñòüþ. Îíî íîñèò íàçâàíèå

II 1

ðàñïðåäåëåíèÿ ÄèêèÔóëëåðà .

Áóòñòðàïîâñêèé ïîäõîä Ïðèáëèæåíèå èñòèííîãî ðàñïðåäåëåíèÿ áóòñòðàïîâñêèì

 îñíîâå áóòñòðàïîâñêîãî ïîäõîäà ëåæèò èäåÿ, ÷òî èñòèííîå ðàñïðåäåëåíèå äàííûõ ìîæíî õîðîùî ïðèáëèçèòü ýìïèðè÷åñêèì. Òàêèì îáðàçîì ìîæåò áûòü ïîëó÷åíî ïðèáëèæåííîå ðàñïðåäåëåíèå èíòåðåñóþùåé íàñ ñòàòèñòèêè. Ïóñòü èç èñõîäíîé ïîïóëÿöèè ñ ðàñïðåäåëåíèåì

F (x)

ôóíêöèÿ ðàñïðåäåëåíèÿ ìèòñÿ ê

F (x)

ïðè

áûëà ïîëó÷åíà âûáîðêà ðàçìåðà

Fn (x) =

n → ∞.

1 n

PT

i=1

I(Xi 6 x)

n.

Òîãäà ýìïèðè÷åñêàÿ

ðàâíîìåðíî ïî÷òè íàâåðíîå ñòðå-

Ýòî ñâîéñòâî ìîòèâèðóåò èñïîëüçîâàíèå áóòñòðàïà.

×òîáû áîëåå íàãëÿäíî ïîÿñíèòü áóòñòðàïîâñêèé ìåòîä, ðàññìîòðèì ïðîñòåéøèé ïðèìåð. Ïóñòü ó íàñ åñòü âñåãî äâà íàáëþäåíèÿ :

        x1 1 x2 2 = , = . y1 2 y2 1 Äîïóñòèì, íàñ èíòåðåñóåò êîýôôèöèåíò ðåãðåññèè ñëó÷àå ÌÍÊ-îöåíêà

θ

y

íà

x,

ò.å.

ðàâíà

x1 y1 + x2 y2 1×2+2×1 4 = = . θb = 2 2 2 2 x1 + x2 1 +2 5 Ýìïèðè÷åñêàÿ ôóíêöèÿ ðàñïðåäåëåíèÿ äàííûõ åñòü

(x, y)0 =

(

(1, 2)0

ñ âåðîÿòíîñòüþ

1/2

0

ñ âåðîÿòíîñòüþ

1/2

(2, 1)

19

yi = θxi + εi .

 ýòîì

Ïî îòíîøåíèþ ê ýòîìó ðàñïðåäåëåíèþ, äàííûå èç äâóõ íàáëþäåíèé ðàñïðåäåëåíû ñëåäóþùèì îáðàçîì :

  (1, 2)0 , (1, 2)0     (2, 1)0 , (2, 1)0 0 0 (x1 , y1 ) , (x2 , y2 ) =  (1, 2)0 , (2, 1)0     (2, 1)0 , (1, 2)0

ñ âåðîÿòíîñòüþ

1/4

ñ âåðîÿòíîñòüþ

1/4

ñ âåðîÿòíîñòüþ

1/4

ñ âåðîÿòíîñòüþ

1/4

Ýòî ðàñïðåäåëåíèå è ÿâëÿåòñÿ áóòñòðàïîâñêèì. Ñîîòâåòñòâåííî, ÌÍÊ-îöåíêà ðàñïðåäåëåíà ñîãëàñíî åå áóòñòðàïîâñêîìó ðàñïðåäåëåíèþ

   1/2 ∗ b θ2 = 4/5   2

ñ âåðîÿòíîñòüþ

1/4

ñ âåðîÿòíîñòüþ

1/2

ñ âåðîÿòíîñòüþ

1/4

Èñïîëüçóÿ ýòî áóòñòðàïîâñêîå ðàñïðåäåëåíèå, ìîæíî ñòðîèòü äîâåðèòåëüíûå èíòåðâàëû èëè òåñòèðîâàòü ãèïîòåçû îáû÷íûì îáðàçîì. Ïðèìåð, ðàññìîòðåííûé íàìè, áûë ÷ðåçâû÷àéíî ïðîñò : ðàçìåð èñõîäíîé âûáîðêè áûë ðàâåí 2.  îáùåì ñëó÷àå, êîãäà ìû èìååì

n

íàáëþäåíèé, êîëè÷åñòâî âàðèàíòîâ

äëÿ áóòñòðàïîâñêèõ ñòàòèñòèê èìååò ïîðÿäîê

n

. Òàêèì îáðàçîì, â âû÷èñëèòåëüíîì

n

ïëàíå çàäà÷à ñèëüíî óñëîæíÿåòñÿ ïî ìåðå ðîñòà

2

n.

Ïðèáëèæåíèå ñ ïîìîùüþ ñèìóëÿöèé

Êàê óïîìèíàëîñü, ïðè óâåëè÷åíèè ðàçìåðà âûáîðêè îáúåì âû÷èñëåíèé äëÿ ïîëó÷åíèÿ áóòñòðàïîâñêîãî ðàñïðåäåëåíèÿ áûñòðî âîçðàñòàåò. Ïîýòîìó, êàê ïðàâèëî, ïðîöåäóðà áóòñòðàïèðîâàíèÿ îñóùåñòâëÿåòñÿ ñ ïîìîùüþ ñèìóëÿöèé. Çäåñü ìû ïðèâåäåì îïèñàòåëüíûé àëãîðèòì ïîñòðîåíèÿ áóòñòðàïîâñêèõ äîâåðèòåëüíûõ èíòåðâàëîâ.

Áóòñòðàïîâñêèé àëãîðèòì.

B (îáû÷íî õâàòàåò 1000). Äëÿ b = 1, 2, . . . , B

1. Âûáðàòü êîëè÷åñòâî ïñåâäîâûáîðîê

∗ ∗ ∗ ïîñòðîèòü ïñåâäîâûáîðêè (z1 ; z2 ; . . . ; zn )b , âûòÿãèâàÿ ýëåìåíòû ïñåâäîâûáîðîê ñëó÷àéíûì îáðàçîì

ñ âîçâðàùåíèåì

èç èñõîäíîé âûáîðêè

b∗ äîé ïñåâäîâûáîðêè âû÷èñëèòü ïñåâäîñòàòèñòèêó θ b 2. Ïîëó÷åííûå ïñåâäîñòàòèñòèêè  êà÷åñòâå êâàíòèëåé

∗ θb1∗ , . . . , θbB

∗ qα∗ 1 , q1−α 2

b ∗ ; . . . ; z ∗ )b ). = θ((z n 1

îòñîðòèðîâàòü â ïîðÿäêå âîçðàñòàíèÿ.

âçÿòü çíà÷åíèÿ

êîòîðûõ ïîñòðîèòü äîâåðèòåëüíûé èíòåðâàë.

20

(z1 ; . . . ; zn ). Äëÿ êàæ-

∗ ∗ θb[Bα , θb[B(1−α , 1] 2 )+1]

íà îñíîâå

3

Êàêèå ñòàòèñòèêè áóòñòðàïèòü ?

Îòâåò íà âîïðîñ, êàêèå ñòàòèñòèêè ëó÷øå èñïîëüçîâàòü ïðè ïîñòðîåíèè äîâåðèòåëüíûõ èíòåðâàëîâ ñ ïîìîùüþ áóòñòðàïà, êðîåòñÿ â äâóõ ïðîñòûõ ñîîáðàæåíèÿõ. Âîïåðâûõ, áóòñòðàïîâñêîå ðàñïðåäåëåíèå öåíòðèðîâàíî íå îêîëî èñòèííîãî çíà÷åíèÿ ñòàòèñòèêè, à îêîëî åãî âûáîðî÷íîãî àíàëîãà. Âî-âòîðûõ, ïîëàãàåòñÿ áóòñòðàïèðîâòü àñèìïòîòè÷åñêè ïèâîòàëüíûå ñòàòèñòèêè. Ðàññìîòðèì íåñêîëüêî âàðèàíòîâ áóòñòðàïîâñêèõ ñòàòèñòèê, èñïîëüçóåìûõ äëÿ ïîñòðîåíèÿ äîâåðèòåëüíûõ èíòåðâàëîâ è ïîä÷åðêíåì èõ ïîëîæèòåëüíûå è îòðèöàòåëüíûå êà÷åñòâà. Ïóñòü íàñ èíòåðåñóåò ïîñòðîåíèå ñòàòèñòè÷åñêèõ âûâîäîâ îòíîñèòåëüíî ïàðàìåòðà

•

β

èç åå îöåíêè

βb.

Ýôðîíîâñêèé äîâåðèòåëüíûé èíòåðâàë.  äàííîì ñëó÷àå áóòñòðàïèðóåìîé ñòàòèñòèêîé ÿâëÿåòñÿ ñàìà îöåíêà, ò.å. ÷àåì áóòñòðàïîâñêîå ðàñïðåäåëåíèå ðàñïðåäåëåíèÿ 

∗ ∗ qα/2 , q1−α/2 ,

θb = βb.

{θbb∗ = βbb∗ }B b=1 .

Òàêèì îáðàçîì, ìû ïîëó-

Ñîîòâåòñòâóþùèå êâàíòèëè

à äîâåðèòåëüíûé èíòåðâàë 

∗ ∗ CIE = [qα/2 , q1−α/2 ]. Ýôðîíîâñêèé äîâåðèòåëüíûé èíòåðâàë áûë ïîïóëÿðåí, êîãäà áóòñòðàïîâñèé ïîäõîä òîëüêî íà÷èíàë èñïîëüçîâàòüñÿ. Íà ñàìîì äåëå, ýòîò äîâåðèòåëüíûé èíòåðâàë äàåò ïëîõóþ àïïðîêñèìàöèþ äëÿ èñòèííûõ óðîâíåé çíà÷èìîñòè, ïîñêîëüêó ñîõðàíÿåò ñìåùåíèå èñõîäíîé âûáîðêè.

•

Õîëëîâñêèé äîâåðèòåëüíûé èíòåðâàë. Õîëë ïðåäëîæèë èñïîëüçîâàòü äëÿ ïîñòðîåíèÿ äîâåðèòåëüíîãî èíòåðâàëà ðåöåíòðèðîâàííóþ ñòàòèñòèêó

θb = βb −β ,

÷òî ñíèìàåò ïðîáëåìó ñìåùåíèÿ, ñâÿçàííîãî ñ êîíå÷íîñòüþ âûáîðêè. Òàêèì îáðàçîì, ïîëó÷àåòñÿ áóòñòðàïîâñêîå ðàñïðåäåëåíèå ñòâóþùèå êâàíòèëè 

∗ ∗ , qα/2 , q1−α/2

b B . {θbb∗ = βbb∗ − β} b=1

Ñîîòâåò-

à äîâåðèòåëüíûé èíòåðâàë 

∗ ∗ CIH = [βb − q1−α/2 , βb − qα/2 ]. Õîëëîâñêèé äîâåðèòåëüíûé èíòåðâàë äàåò ëó÷øóþ, ÷åì Ýôðîíîâñêèé, àïïðîêñèìàöèþ óðîâíåé çíà÷èìîñòè. Ïëþñîì èñïîëüçîâàíèÿ Õîëëîâñêîãî äîâåðèòåëüíîãî èíòåðâàëà ÿâëÿåòñÿ îòñóòñòâèå íåîáõîäèìîñòè îöåíèâàíèÿ ñòàíäàðòíûõ îøèáîê, õîòÿ, êàê óâèäèì âïîñëåäñòâèè, òàêàÿ ñòðàòåãèÿ îáîðà÷èâàåòñÿ ñåðüåçíûì ìèíóñîì.

•

t-ïðîöåíòíûé äîâåðèòåëüíûé èíòåðâàë. Òàêîé èíòåðâàë èñïîëüçóåò â êà÷åñòâå áóòñòðàïèðóåìîé ñòàòèñòèêè t-ñòàòèñòèêó, ò.å.

21

βb − β . b se(β)

Òàêèì îáðàçîì,

íàõîäÿò áóòñòðàïîâñêîå ðàñïðåäåëåíèå ñòàòèñòèêè

(

βbb∗ − βb se(βb∗ ) b

þùèå êâàíòèëè

)B

è ñîîòâåòñòâó-

b=1

∗ ∗ qα/2 , q1−α/2 , à ñàì t-ïðîöåíòíûé äîâåðèòåëüíûé èíòåðâàë ñòðî-

ÿò êàê

b ∗ b b ∗ CIt = [βb − se(β)q 1−α/2 , β − se(β)qα/2 ].

t-ïðîöåíòíûé äîâåðèòåëüíûé èíòåðâàë åùå ëó÷øå àïïðîêñèìèðóåò èñòèííûå óðîâíè çíà÷èìîñòè, ÷åì Õîëëîâñêèé äîâåðèòåëüíûé èíòåðâàë. Íî èñïîëüçîâàòü åãî ðåêîìåíäóåòñÿ òîëüêî åñëè ñòàíäàðòíûå îøèáêè ìîæíî ïîñòðîèòü êà÷åñòâåííî.

•

Ñèììåòðè÷íûé t-ïðîöåíòíûé äîâåðèòåëüíûé èíòåðâàë. Òàêîé èíòåðâàë èñïîëüçóåò â êà÷åñòâå áóòñòðàïèðóåìîé ñèììåòðèçîâàííóþ t-ñòàòèñòèêó ( )B b |βb − β| |βbb∗ − β| . Ðàñïðåäåëåíèå áóòñòðàïîâñêîé ñòàòèñòèêè åñòü , à ïðàb se(β) se(βbb∗ ) b=1 ∗ âûé êâàíòèëü  qα . Ñèììåòðè÷íûé t-ïðîöåíòíûé äîâåðèòåëüíûé èíòåðâàë åñòü

b ∗ , βb + se(β)q b ∗ ]. CI|t| = [βb − se(β)q 1−α 1−α Ñèììåòðè÷íûé t-ïðîöåíòíûé äîâåðèòåëüíûé èíòåðâàë èìååò â îïðåäåëåííûõ ñëó÷àÿõ ïðåèìóùåñòâî ïåðåä t-ïðîöåíòíûì äîâåðèòåëüíûì èíòåðâàëîì. À èìåííî, åñëè àñèìïòîòè÷åñêîå ðàñïðåäåëåíèå ñòàòèñòèêè êàê â ñëó÷àå àñèìïòîòè÷åñêîé íîðìàëüíîñòè), òî

b β−β ñèììåòðè÷íî (êàê ðàç

CI|t|

äàåò ëó÷øóþ àïïðîêñè-

ìàöèþ óðîâíåé çíà÷èìîñòè.

4

Êîððåêòèðîâêà ñìåùåíèÿ

Áóòñòðàï ïîçâîëÿåò ñêîððåêòèðîâàòü ñìåùåíèå, ñâÿçàííîå ñ êîíå÷íîñòüþ âûáîðêè. Ïóñòü ó íàñ åñòü ñìåù¼ííàÿ, íî ñîñòîÿòåëüíàÿ ñòàòèñòèêà

βb :

b 6= β. E[β] Òîãäà ìû ìîæåì âûðàçèòü ñìåùåíèå ñëåäóþùèì îáðàçîì :

b − β. Bias = E[β] Åñëè ó íàñ åñòü âîçìîæíîñòü êà÷åñòâåííî îöåíèòü ñìåùåíèå, òî ìû ìîæåì ñêîððåêòèðîâàòü èñõîäíóþ ñòàòèñòèêó :

[ βe = βb − Bias.

22

Ñìåùåíèå æå ìîæíî îöåíèòü ñ ïîìîùüþ áóòñòðàïà :

B 1 X b∗ b ∗ b b Bias = E [βb ] − β = β − β. B b=1 b ∗

∗

Òàêèì îáðàçîì, ñêîððåêòèðîâàííàÿ ñòàòèñòèêà åñòü

! B 1 X b∗ b β − β = 2βb − βb∗ . B b=1 b

βe = βb − 5

Òåñòèðîâàíèå ãèïîòåç ïðè ïîìîùè áóòñòðàïà

Îäíîé èç îñíîâíûõ öåëåé áóòñòðàïà ÿâëÿåòñÿ òåñòèðîâàíèå ãèïîòåç. Ðàñìîòðèì êàê ñ ïîìîùüþ áóòñòðàïà òåñòèðóþòñÿ ïðîñòåéøèå ñòàòèñòè÷åñêèå ãèïîòåçû. Ïóñòü íóëåâàÿ ãèïîòåçà èìååò âèä

•

H0 : β = β 0 ,

ãäå

β

 ñêàëÿð.

Àëüòåðíàòèâíàÿ ãèïîòåçà îäíîñòîðîííÿÿ :

Ha : β > β 0 .

Áóòñòðàïèì t-

ïðîöåíòíóþ ñòàòèñòèêó

βb − β θb = b se(β)

è ïîëó÷àåì áóòñòðàïîâñêîå ðàñïðåäåëåíèå ýòîé ñòàòèñòèêè è ñîîòâåòñòâóþùèé êâàíòèëü :

(

βb∗ − βb θbb∗ = b se(βb∗ )

)B

b

Ãèïîòåçà

•

H0

îòâåðãàåòñÿ, åñëè

∗ ⇒ q1−α .

b=1

βb − β 0 ∗ > q1−α . b se(β)

Àëüòåðíàòèâíàÿ ãèïîòåçà äâóñòîðîííÿÿ :

Ha : β 6= β 0 .

áóòñòðàïèì ñèììåòðè÷íóþ t-ïðîöåíòíóþ ñòàòèñòèêó

|βb − β| . θb = b se(β)

Ïîëó÷àåì áóòñòðàïîâñêîå ðàñïðåäåëåíèå è êâàíòèëü :

(

b |βb∗ − β| θbb∗ = b se(βb∗ ) b

Ãèïîòåçà

H0

îòâåðãàåòñÿ, åñëè

)B

∗ ⇒ q1−α .

b=1

|βb − β 0 | ∗ > q1−α . b se(β)

23

 ýòîì ñëó÷àå ìû

Ïóñòü íóëåâàÿ ãèïîòåçà èìååò âèä

H0 : β = β 0 ,

ãäå

β

 âåêòîð.  ýòîì ñëó÷àå

ìû áóòñòðàïèì Âàëüäîâñêóþ ñòàòèñòèêó (ñ òî÷íîñòüþ äî êîýôôèöèåíòà ïðîïîðöèîíàëüíîñòè)

θb = (βb − β)0 Vbβ−1 (βb − β).

Ñîîòâåòñòâåííî, ïîëó÷àåì áóòñòðàïîâñêîå ðàñïðåäåëåíèå è êâàíòèëü :

oB n b 0 Vb ∗−1 (βb∗ − β) b θbb∗ = (βbb∗ − β) b β

b=1

Ãèïîòåçà

H0

îòâåðãàåòñÿ, åñëè

∗ . ⇒ q1−α

∗ . θb0 = (βb − β 0 )0 Vbβ−1 (βb − β 0 ) > q1−α

Ïóñòü òåïåðü íóëåâàÿ ãèïîòåçà èìååò âèä ëèíåéíûõ îãðàíè÷åíèé íà êîýôôèöèåíòû

H0 : Rβ = r,

ãäå

R

 ìàòðèöà îãðàíè÷åíèé.  ýòîì ñëó÷àå ìû ñíîâà áóòñòðàïèì

Âàëüäîâñêóþ ñòàòèñòèêó (ñ òî÷íîñòüþ äî êîýôôèöèåíòà ïðîïîðöèîíàëüíîñòè)

θb = (Rβb − r)0 (RVbβ R0 )−1 (Rβb − r). Ïîëó÷àåì áóòñòðàïîâñêîå ðàñïðåäåëåíèå, èç êîòîðîãî íàõîäèì ñîîòâåòñòâóþùèé êâàíòèëü :

n oB b 0 R0 (RVb ∗ R0 )−1 R(βb∗ − β) b θbb∗ = (βbb∗ − β) β b

b=1

∗ ⇒ q1−α .

Çàìåòèì, ÷òî ìû ðåöåíòðèðóåì áóòñòðàïîâñêóþ ñòàòèñòèêó. Áåç ýòîãî áóòñòðàïîâñêîå ðàñïðåäåëåíèå óíàñëåäîâàëî áû ñìåùåíèå, ñâîéñòâåííîå ïåðâîíà÷àëüíîé ñòàòèñòèêå. Ãèïîòåçà

6

H0

îòâåðãàåòñÿ, åñëè

∗ θb = (Rβb − r)0 (RVbβ R0 )−1 (Rβb − r) > q1−α .

Àñèìòîòè÷åñêîå ðàôèíèðîâàíèå

Èíîãäà ãîâîðÿò, ÷òî ñ ïîìîùüþ áóòñòðàïà äîñòèãàåòñÿ àñèìòîòè÷åñêîå ðàôèíèðîâàíèå.  ýòîé ãëàâå ìû îáñóäèì, ÷òî òàêîå àñèìòîòè÷åñêîå ðàôèíèðîâàíèå è â êàêèõ ñëó÷àÿõ îíî èìååò ìåñòî.

Fθb(x). ∗ Îáîçíà÷èì áóòñòðàïîâñêîå ðàñïðåäåëåíèå ýòîé ñòàòèñòèêè ÷åðåç F b (x). Ãîâîðÿò, ÷òî θ Ïóñòü ó íàñ åñòü íåêîòîðàÿ ñòàòèñòèêà

θb,

èñòèííîå ðàñïðåäåëåíèå êîòîðîé

ñ ïîìîùüþ áóòñòðàïà äîñòèãàåòñÿ àñèìòîòè÷åñêîå ðàôèíèðîâàíèå, åñëè îøèáêà àïïðîêñèìàöèè èñòèííîãî ðàñïðåäåëåíèÿ

Fθb(x)

áóòñòðàïîâñêèì

Fθb∗ (x)

 áîëüøåãî ïî-

ðÿäêà ìàëîñòè, ÷åì îøèáêà àïïðîêñèìàöèè àñèìïòîòè÷åñêèì ðàñïðåäåëåíèåì ïðè ñòðåìëåíèè îáúåìà âûáîðêè ê áåñêîíå÷íîñòè. Ïðèâåäåì ïðèìåðû, èñïîëüçóþùèå ðàçëîæåíèå Ýäæâîðòà ôóíêöèè ðàñïðåäåëåíèÿ ñòàòèñòèêè âîêðóã ïðåäåëüíîãî ðàñïðåäåëåíèÿ.

Ïðèìåð 1 : àñèìïòîòè÷åñêè ïèâîòàëüíàÿ t-ñòàòèñòèêà. Ïóñòü áóòñòðàïèðóåìàÿ íàìè ñòàòèñòèêà åñòü

βb − β . θb = b se(β) 24

Åå àñèìòîòè÷åñêîå ðàñïðåäåëåíèå, êàê ìû óæå âèäåëè, ÿâëÿåòñÿ ñòàíäàðòíûì íîðd b→ ìàëüíûì : θ N (0, 1) (ò.å. ñòàòèñòèêà àñèìïòîòè÷åñêè ïèâîòàëüíàÿ). Îáîçíà÷èì òî÷íîå ðàñïðåäåëåíèå ñòàòèñòèêè ÷åðåç

Fθb(x),

à áóòñòðàïîâñêîå  ÷åðåç

Fθb∗ (x).

Äëÿ

êóìóëÿòèâíîé ôóíêöèè ñòàíäàðòíîãî íîðìàëüíîãî ðàñïðåäåëåíèÿ èñïîëüçóåì îáû÷íîå îáîçíà÷åíèå

Φ(x).

Èòàê, ðàçëîæèì èñòèííîå è áóòñòðàïîâñêîå ðàñïðåäåëåíèÿ âîêðóã àñèìïòîòè÷åñêîãî :

Çäåñü

h1 (x, F )



íåïðåðûâíàÿ ïî

  1 h1 (x, F ) h2 (x, F ) + +O , Fθb(x) = Φ(x) + √ n n3/2 n   h1 (x, Fb) h2 (x, Fb) 1 ∗ Fθb (x) = Φ(x) + √ + +O . n n3/2 n ÷åòíàÿ ïî x, íåïðåðûâíàÿ ïî F ôóíêöèÿ, h2 (x, F ) F

 íå÷åòíàÿ ïî

x,

ôóíêöèÿ. Îøèáêè àïïðîêñèìàöèè òî÷íîãî ðàñïðåäåëåíèÿ àñèì-

òîòè÷åñêèì è áóòñòðàïîâñêèì, ñîîòâåòñòâåííî, ðàâíû

h1 (x, F ) Φ(x) − Fθb(x) = √ +O n



1 √ n



=O



1 √ n



,

    1 h1 (x, Fb) − h1 (x, F ) 1 √ +O =O . − Fθb(x) = n n n b) − h1 (x, F ) âîñïîëüçîâàëèñü òåì ôàêòîì, ÷òî ðàçíîñòü h1 (x, F Fθb∗ (x)

Çäåñü ìû

èìååò àñèì-

1 ïòîòèêó √ , ïîñêîëüêó n

 √  √ n Fb(x) − F (x) = n

n

1X 1[xi ≤ x] − E [1[xi ≤ x]] n i=1

!

d

→ N (0, P {xi ≤ x}P {xi > x}). Òàêèì îáðàçîì, â äàííîì ïðèìåðå èñïîëüçîâàíèå áóòñòðàïà ïðèâîäèò ê àñèìòîòè÷åñêîìó ðàôèíèðîâàíèþ.

Ïðèìåð 2 : àñèìïòîòè÷åñêè íåïèâîòàëüíàÿ ñòàòèñòèêà. Ðàññìîòðèì ñòàòèñòèêó

θb =

√

d

n(βb − β) → N (0, Vβ ).

Ñîõðàíèâ îáîçíà÷åíèå êóìóëÿòèâíûõ ôóíêöèé ðàñïðåäåëåíèÿ äëÿ òî÷íîãî ðàñïðåäåëåíèÿ è áóòñòðàïîâñêîãî èç ïðåäûäóùåãî ïðèìåðà, îáîçíà÷èì àñèìïòîòè÷åñêîå ðàñïðåäåëåíèå ÷åðåç

Φ(x, Vβ ).

Çàìåòèì, ÷òî òåïåðü íàøà ñòàòèñòèêà àñèìïòîòè÷å-

ñêè íåïèâîòàëüíàÿ, ò.å. åå àñèìòîòè÷åñêîå ðàñïðåäåëåíèå çàâèñèò îò íåèçâåñòíîãî ïàðàìåòðà, â äàííîì ñëó÷àå

Vβ .

Êàê â ïðåäûäóùåì ïðèìåðå, ðàçëîæèì òî÷íîå è

áóòñòðàïîâñêîå ðàñïðåäåëåíèÿ âîêðóã àñèìòîòè÷åñêîãî :

h1 (x, F ) +O Fθb(x) = Φ(x, Vβ ) + √ n 25

  1 , n

Fθb∗ (x)

=

Φ(x, Vβ∗ )

h1 (x, Fb) + √ +O n

  1 . n

Îøèáêè àïïðîêñèìàöèè äëÿ àñèìïòîòè÷åñêîãî è áóòñòðàïîâñêîãî ðàñïðåäåëåíèé ñ÷èòàþòñÿ àíàëîãè÷íî ïðåäûäóùåìó ïðèìåðó :

    1 1 , =O √ n n     1 1 ∗ ∗ . Fθb (x) − Fθb(x) = Φ(x, Vβb ) − Φ(x, Vβb) + O =O √ n n h1 (z, F ) Φ(x, Vβ ) − Fθb(x) = − √ +O n

Êàê âèäíî, â äàííîì ñëó÷àå èñïîëüçîâàíèå áóòñòðàïà íå ïðèâîäèò ê àñèìïòîòè÷åñêîìó ðàôèíèðîâàíèþ. Âîîáùå, êàê ïðàâèëî, áóòñòðàïèðîâàíèå

íåïèâîòàëüíûõ

àñèìïòîòè÷åñêè

ñòàòèñòèê íå äàåò àñèìòîòè÷åñêîãî ðàôèíèðîâàíèÿ.

Ïðèìåð 3 : àñèìïòîòè÷åñêè ïèâîòàëüíàÿ ñèììåòðè÷íàÿ t-ñòàòèñòèêà. Òåïåðü ðàññìîòðèì â êà÷åñòâå ïðèìåðà ñèììåòðè÷íóþ t-ñòàòèñòèêó

|βb − β| d → |N (0, 1)|. θb = b se(β)

Ñîõðàíÿÿ îáîçíà÷åíèÿ ïðåäûäóùèõ ïðèìåðîâ, ðàçëîæèì òî÷íîå è áóòñòðàïîâñêîå ðàñïðåäåëåíèÿ :

  1 βb − β 2h2 (x, F ) ≤ x} = 2Φ(x) − 1 + +O , Fθb(x) = P r{−x ≤ b n n3/2 se(β)   2h2 (x, Fb) 1 ∗ Fθb (x) = 2Φ(x) − 1 + +O . n n3/2 Òàêèì îáðàçîì, îøèáêè àïïðîêñèìàöèè äëÿ àñèìïòîòèêè è áóòñòðàïà èìåþò ïîðÿäêè

  1 , 2Φ(x) − 1 − Fθb(x) = O n      2 1 1 ∗ Fθb (x) − Fθb(x) = h2 (x, Fb) − h2 (x, F ) + O =O . n n3/2 n3/2

Òàêèì îáðàçîì, ìû ïîëó÷àåì àñèìïòîòè÷åñêîå ðàôèíèðîâàíèå. Çàìåòèì, ÷òî áóòñòðàïèðîâàíèå ñèììåòðè÷íîãî äâóñòîðîííåãî òåñòà èìååò îøèáêó áîëåå âûñîêîãî ïîðÿäêà, ÷åì áóòñòðàïèðîâàíèå îäíîñòîðîííåãî òåñòà.

7

Ïîñòðîåíèå ïñåâäîâûáîðîê ïðè áóòñòðàïå êðîññ-ñåêöèé

Ðàññìîòðèì ñëó÷àé ïðîñòåéøåé ìíîæåñòâåííîé ðåãðåññèè ñ íåçàâèñèìûìè íàáëþäåíèÿìè :

y = x0 β + e, E[e|x] = 0, {(xi , yi )} ∼ iid. Ñóùåñòâóåò íåñêîëüêî àëüòåðíàòèâíûõ ñïîñîáîâ ïîñòðîåíèÿ ïñåâäîâûáîðêè äëÿ ýòîé ðåãðåññèè :

26

1.

Íåïàðàìåòðè÷åñêîå ïîñòðîåíèå ïñåâäîâûáîðêè. Èç èñõîäíûõ íàáëþäåíèé

2.

{(xi , yi )}ni=1

n

ñëó÷àéíî ñ âîçâðàùåíèåì èçâëåêàþòñÿ

íàáëþäåíèé

(x∗i , yi∗ ).

Ïîñòðîåíèå ïñåâäîâûáîðêè ïî îñòàòêàì. Ñíà÷àëà îöåíèâàåòñÿ ìîäåëü è íàõîäèòñÿ ñîñòîÿòåëüíàÿ îöåíêà Èç ìíîæåñòâà ïàð

n

þòñÿ

yi∗

=

íàáëþäåíèé

{(xi , ebi )}ni=1 (x∗i , eb∗i ).

βb.

Çàòåì, âû÷èñëÿþòñÿ îñòàòêè :

ebi = yi − x0i βb.

ñëó÷àéíûì îáðàçîì ñ âîçâðàùåíèåì èçâëåêà-

Çàòåì âîññòàíàâëèâàåòñÿ ïåðåìåííàÿ ëåâîé ÷àñòè

b b∗ . Çàìåòèì, ÷òî â äàííîì êîíòåêñòå ýòîò ìåòîä ïîñòðîåíèÿ ïñåâäîx0∗ i β +e i

âûáîðêè èäåíòè÷åí íåïàðàìåòðè÷åñêîìó ìåòîäó, íî èäåíòè÷íîñòü ïðîïàäàåò â áîëåå ñëîæíûõ ñëó÷àÿõ. 3.

Ïîñòðîåíèå ïñåâäîâûáîðêè ïî îñòàòêàì (ñïåöèàëüíûé ñëó÷àé). Åñëè èññëåäîâàòåëþ çàðàíåå èçâåñòíî, ÷òî îøèáêè è ðåãðåññîðû íåçàâèñèìû, òî ýôôåêòèâíîñòü áóòñòðàïà ìîæíî óâåëè÷èòü, èçâëåêàÿ ñëó÷àéíî ñ âîçâðàùåíèåì

x∗i 4.

èç

{xi }ni=1

è

eb∗i

èç

{b ei }ni=1

ïî îòäåëüíîñòè.

Ïîñòðîåíèå ïñåâäîâûáîðêè ïî îñòàòêàì (ñïåöèàëüíûé ñëó÷àé). Åñëè èññëåäîâàòåëü çíàåò, ÷òî îøèáêè è ðåãðåññîðû íåçàâèñèìû, è, êðîìå òîãî, îøèáêè ðàñïðåäåëåíû íîðìàëüíî, ò.å.

ei ∼ N (0, σ 2 ),

òî ýôôåêòèâíîñòü áóò-

ñòðàïà ìîæíî óâåëè÷èòü (ïî ñðàâíåíèþ ñ ïðåäûäóùèì ñëó÷àåì), âûáèðàÿ ðåãðåññîðû è îñòàòêè äëÿ ïñåâäîâûáîðêè ïî îòäåëüíîñòè, è, êðîìå òîãî, îñòàòêè ñòîèò èçâëåêàòü èç íîðìàëüíîãî ðàñïðåäåëåíèÿ, ò.å. ñ âîçâðàùåíèåì èç

8

x∗i

èçâëåêàþòñÿ ñëó÷àéíî

N (0, σ b2 ).

Ïîñòðîåíèå ïñåâäîâûáîðîê ïðè áóòñòðàïå âðåìåííûõ ðÿäîâ

Âðåìåííîé ðÿä îòëè÷àåòñÿ îò êðîññ-ñåêöèîííîé âûáîðêè òåì, ÷òî íàáëþäåíèÿ çäåñü çàâèñèìû, ïîýòîìó ñëó÷àéíîå ïåðåìåøèâàíèå ïðè íåïàðàìåòðè÷åñêîì áóòñòðàïå ðàçðóøàåò ýòó çàâèñèìîñòü, òàê ÷òî âåðîÿòíîñòíàÿ ñòðóêòóðà ïñåâäîäàííûõ óæå íå èìèòèðóåò âåðîÿòíîñòíóþ ñòðóêòóðó äàííûõ. ×òîáû èçáåæàòü ýòîãî, èñïîëüçóåòñÿ áëî÷íûé áóòñòðàï, â êîòîðîì ïñåâäîâûáîðêà ñòðîèòñÿ èç áëîêîâ èñõîäíîé âûáîðêè. Àíàëîãè÷íî ñëó÷àþ íåçàâèñèìûõ íàáëþäåíèé, âî âðåìåíûõ ðÿäàõ âîçìîæíî ïîñòðîåíèå ïñåâäîâûáîðêè ïî îñòàòêàì, îäíàêî òàêîé ñïîñîá ïðèìåíèì òîëüêî â òåõ ðåäêèõ ñëó÷àÿõ, êîãäà îøèáêè èëè èííîâàöèè ñåðèéíî íåçàâèñèìû. Ðàññìîòðèì íåñêîëüêî àëüòåðíàòèâíûõ ñïîñîáîâ ïîñòðîåíèÿ áëî÷íîé ïñåâäîâûáîðêè.

1.

Ïîñòðîåíèå ïñåâäîâûáîðêè èç ïåðåêðûâàþùèõñÿ áëîêîâ. Èñõîäíàÿ âûáîðêà äåëèòñÿ íà íåêîòîðîå êîëè÷åñòâî ïåðåêðûâàþùèõñÿ áëîêîâ. Äëèíà áëîêà âûáèðàåòñÿ èññëåäîâàòåëåì èñõîäÿ èç âðåìåííîé ñòðóêòóðû ðÿäà. Ïóñòü

27

{yt }Tt=1

 èñõîäíàÿ âûáîðêà, à

l  äëèíà áëîêà. Òîãäà â ïåðâûé áëîê âîéäóò íàáëþäåíèÿ

y1 , . . . , yl , âî âòîðîé  y2 , . . . , yl+1 , â òðåòèé  y3 , . . . , yl+2 , è íàêîíåö â T −l+1-ûé  íàáëþäåíèÿ

yT −l+1 , . . . , yT .

Ïðè ïîñòðîåíèè ïñåâäîâûáîðêè áëîêè èçâëåêàþòñÿ

ñëó÷àéíî ñ âîçâðàùåíèåì. 2.

Ïîñòðîåíèå ïñåâäîâûáîðêè èç íåïåðåêðûâàþùèõñÿ áëîêîâ.  äàííîì ñëó÷àå èñõîäíàÿ âûáîðêà äåëèòñÿ íà íåêîòîðîå êîëè÷åñòâî íåïåðåêðûâàþùèõñÿ áëîêîâ. Äëèíà áëîêà, òàê æå êàê è â ïðåäûäóùåì ñëó÷àå, âûáèðàåòñÿ èññëåäîâàòåëåì. Ïóñòü èñõîäíàÿ âûáîðêà ñîñòîèò èç íàáëþäåíèé

y1 , . . . , y l ,

â ïåðâûé áëîê âîéäóò íàáëþäåíèÿ íåö, â ïîñëåäíèé

T  l

-ûé áëîê  íàáëþäåíèÿ

âî âòîðîé 

{yt }Tt=1 .

yl+1 , . . . , y2l ,

Òîãäà

è íàêî-

yl[ T ]−l+1 , . . . , yl[ T ] . Ïðè ïîñòðîåíèè l

l

ïñåâäîâûáîðêè áëîêè èçâëåêàþòñÿ ñëó÷àéíûì îáðàçîì ñ âîçâðàùåíèåì. 3.

Ïîñòðîåíèå ñòàöèîíàðíîé ïñåâäîâûáîðêè. Ïðåäûäóùèå äâà âàðèàíòà ïîñòðîåíèÿ ïñåâäîâûáîðêè, êàê ïðàâèëî, íàðóøàþò ñòàöèîíàðíîñòü ðÿäà, ò.å. èç ñòàöèîíàðíîé èñõîäíîé âûáîðêè ïîëó÷àþòñÿ íåñòàöèîíàðíûå ïñåâäîâûáîðêè. ×òîáû ïîëó÷èòü ñòàöèîíàðíóþ ïñåâäîâûáîðêó, áûë ïðåäëîæåí ñïîñîá, îñíîâàííûé íà íåôèêñèðîâàííîé äëèíå áëîêîâ. À èìåííî, çàäàåòñÿ âåðîÿòíîñòü îêîí÷àíèÿ áëîêà

p.

òåì ñ âåðîÿòíîñòüþ

Ïåðâûé ýëåìåíò ïñåâäîâûáîðêè âûáèðàåòñÿ ñëó÷àéíî. Çà-

(1 − p)

â òåêóùèé áëîê âêëþ÷àåòñÿ ñëåäóþùèé ýëåìåíò

èñõîäíîé âûáîðêè, à ñ âåðîÿòíîñòüþ

p íà÷èíàåòñÿ íîâûé áëîê, ïåðâûé ýëåìåíò

êîòîðîãî ñíîâà âûáèðàåòñÿ ñëó÷àéíî èç èñõîäíîé âûáîðêè. Òàê ïðîäîëæàåòñÿ, ïîêà â ïñåâäîâûáîðêó íå áóäåò íàáðàíî íóæíîå êîëè÷åñòâî ýëåìåíòîâ.

III

Îñíîâíûå ýêîíîìåòðè÷åñêèå ïîíÿòèÿ

Äàííûé ðàçäåë êðàòêî ïîâòîðÿåò îñíîâíûå ïîíÿòèÿ, èçó÷åííûå â êóðñå ñòàòèñòèêè è òåîðèè âåðîÿòíîñòåé.

1

Óñëîâíîå ìàòåìàòè÷åñêîå îæèäàíèå

Ïóñòü

(X, Y )

 ïàðà ñëó÷àéíûõ âåëè÷èí. Ôóíêöèÿ ñîâìåñòíîé ïëîòíîñòè ðàñïðåäå-

ëåíèÿ

f(X,Y ) (x, y) ≥ 0 îáëàäàåò ñâîéñòâîì íîðìèðîâêè

Z

+∞

−∞

Z

+∞

f(X,Y ) (x, y)dxdy = 1.

−∞

28

Âåðîÿòíîñòü äëÿ

(X, Y )

[a, b] × [c, d]

ïîïàñòü â ïðÿìîóãîëüíèê

P r{a ≤ X ≤ b, c ≤ Y ≤ d} =

d

Z

b

Z

c

f(X,Y ) (x, y)dxdy.

a

X

Ìàðãèíàëüíàÿ ôóíêöèÿ ïëîòíîñòè ðàñïðåäåëåíèÿ ñòüþ

(X, Y )

îïðåäåëÿåòñÿ êàê

ñâÿçàíà ñ ñîâìåñòíîé ïëîòíî-

êàê

fX (x) =

+∞

Z

f(X,Y ) (x, y)dy.

−∞ Óñëîâíàÿ ïëîòíîñòü ðàñïðåäåëåíèÿ

Y

ïðè

X=x

fY |X=x (x, y) =

f(X,Y ) (x, y) . fX (x)

[c, d] îïðåäåëÿþòñÿ Z d P r{c ≤ Y ≤ d | X = x} = fY |X=x (x, y)dy,

Óñëîâíûå âåðîÿòíîñòè ïîïàäàíèÿ

Y

åñòü

â îòðåçîê

âûðàæåíèÿìè

c

P r{c ≤ Y ≤ d | a ≤ X ≤ b} = Óñëîâíîå ìàòåìàòè÷åñêîå îæèäàíèå

Y

RdRb

fX,Y (x, y)dxdy . Rb f (x)dx X a

c

a

ïðè óñëîâèè

åñòü

+∞

Z

E[Y | X = x] =

X=x

yfY |X=x (x, y)dy.

−∞ Çàìåòèì, ÷òî ôóíêöèÿ óñëîâíîãî ìàòåìàòè÷åñêîãî îæèäàíèÿ ÷àéíîé âåëè÷èíîé (ò.ê.

X

ñëó÷àåí). Èìååò ìåñòî

E[Y | X] ÿâëÿåòñÿ ñëó-

çàêîí ïîñëåäîâàòåëüíûõ ìàòåìà-

òè÷åñêèõ îæèäàíèé :

E[h(X, Y )] = E[E[h(X, Y ) | X]], ãäå

h(X, Y )  ïðîèçâîëüíàÿ ôóíêöèÿ îò (X, Y ).  ñëó÷àå íåïðåðûâíûõ ðàñïðåäåëåíèé

ñïðàâåäëèâîñòü ýòîãî çàêîíà ëåãêî ïîêàçàòü :

Z

+∞

−∞

2

Z

+∞

h(x, y)f(X,Y ) (x, y)dxdy =

Z

−∞

+∞

Z

−∞

+∞



h(x, y)fY |X (x, y)dy fX (x)dx.

−∞

Ïðåäñêàçûâàíèå

×àñòî â ýêîíîìåòðèêå âñòðå÷àåòñÿ ñèòóàöèÿ, êîãäà èññëåäîâàòåëü õî÷åò ïî ïåðåìåííûì

X

(íàçûâàåìûõ

ðåãðåññîðàìè )

ïðåäñêàçàòü çíà÷åíèå

Y

(íàçûâàåìîé

çàâèñèìîé

ïåðåìåííîé ). Ñóùåñòâóåò íåñêîëüêî ïîëåçíûõ ðåçóëüòàòîâ, ñâÿçàííûõ ñ òàêîé ïîñòàíîâêîé çàäà÷è.

Òåîðåìà. Îïòèìàëüíûì ïðåäèêòîðîì

Y

èç

X

â ñìûñëå ìèíèìèçàöèè ñðåäíåêâàäðà-

òè÷íîé îøèáêè ïðåäñêàçàíèÿ ÿâëÿåòñÿ óñëîâíîå ìàòåìàòè÷åñêîå îæèäàíèå

29

E[Y | X].

Äîêàçàòåëüñòâî. Ïóñòü

g(X)

 ïðîèçâîëüíûé ïðåäèêòîð. Òîãäà ñðåäíåêâàäðàòè÷-

íàÿ îøèáêà ïðåäñêàçàíèÿ áóäåò âûðàæàòüñÿ ñëåäóþùèì îáðàçîì :

M SP E = E[(Y − g(X))2 ] = E[(Y − E[Y |X] + E[Y |X] − g(X))2 ] = = E[(Y − E[Y |X])2 ] + E[(E[Y |X] − g(X))2 ] ≥ E[(Y − E[Y |X])2 ] Çàìåòèì, ÷òî ðàâåíñòâî äîñòèãàåòñÿ ïðè

g(X) = E[Y |X],

ò.å. óñëîâíîå ìàòåìàòè÷å-

ñêîå îæèäàíèå äåéñòâèòåëüíî ìèíèìèçèðóåò ñðåäíåêâàäðàòè÷íóþ îøèáêó ïðåäñêàçàíèÿ.

Îïðåäåëåíèå.

Îøèáêîé îïòèìàëüíîãî ïðåäñêàçàíèÿ

íàçûâàåòñÿ âåëè÷èíà

e=Y −

E[Y |X]. Îøèáêà îïòèìàëüíîãî ïðåäñêàçàíèÿ îáëàäàåò ñëåäóþùèìè ñâîéñòâàìè :

⇒ E[e] = 0

E[e|X] = 0

⇒ E[eh(X)] = 0.

Îòñþäà â ÷àñòíîñòè ñëåäóåò, ÷òî óñëîâíîå ìàòåìàòè÷åñêîå îæèäàíèå ÿâëÿåòñÿ íåñìåù¼ííûì ïðåäèêòîðîì.

Îïðåäåëåíèå. öèÿ îò

Ëèíåéíûì ïðåäèêòîðîì Y ïî X

íàçûâàåòñÿ ëþáàÿ ëèíåéíàÿ ôóíê-

X : g(X) = a + bX.

Òåîðåìà. Îïòèìàëüíûì ëèíåéíûì ïðåäèêòîðîì

Y

ñðåäíåêâàäðàòè÷íîé îøèáêè ïðåäñêàçàíèÿ ÿâëÿåòñÿ

òîð

BLP (Y |X) = α + βX,

β=

Cov(X, Y ) , V ar(X)

ïî

X

â ñìûñëå ìèíèìèçàöèè

íàèëó÷øèé ëèíåéíûé ïðåäèê-

α = E[Y ] − βE[X].

Äîêàçàòåëüñòâî. Çàäà÷à ìèíèìèçàöèè

M SP E = E[(Y − a − bX)2 ] → min a,b

èìååò óñëîâèÿ ïåðâîãî ïîðÿäêà

−E[2(Y − a − bX)] = 0, Îòñþäà ìîæíî ïîëó÷èòü

α

è

β

−E[2(Y − a − bX)X] = 0.

èç ïîñòàíîâêè òåîðåìû.

Òåîðåìà. Íàèëó÷øåé ëèíåéíîé àïïðîêñèìàöèåé äëÿ óñëîâíîãî ñðåäíåãî

E[Y |X]

â

ñìûñëå ìèíèìèçàöèè ñðåäíåêâàäðàòè÷íîé îøèáêè àïïðîêñèìàöèè ÿâëÿåòñÿ íàèëó÷øèé ëèíåéíûé ïðåäèêòîð

BLP (Y |X).

Äîêàçàòåëüñòâî. Àíàëîãè÷íî äîêàçàòåëüñòâó ïðåäûäóùåé òåîðåìû íóæíî ðåøèòü îïòèìèçàöèîííóþ çàäà÷ó

M SAE = E[(E[Y |X] − a − bX)2 ] → min. a,b

30

Ïîëó÷èì

α

è

β

èç ïîñòàíîâêè ïðåäûäóùåé òåîðåìû.

Îïðåäåëåíèå. Îøèáêîé íàèëó÷øåãî ëèíåéíîãî ïðåäñêàçàíèÿ íàçûâàåòñÿ âåëè÷èíà

u = Y − BLP (Y |X). Îøèáêà íàèëó÷øåãî ëèíåéíîãî ïðåäñêàçàíèÿ îáëàäàåò ñâîéñòâàìè

E[u] = 0, Òåîðåìà. Åñëè óñëîâíîå ñðåäíåå

3

E[uX] = 0.

E[Y |X]

X,

ëèíåéíî ïî

òî

E[Y |X] = BLP (Y |X).

Ñâîéñòâà äâóìåðíîãî íîðìàëüíîãî ðàñïðåäåëåíèÿ

Ðàññìîòðèì äâóìåðíóþ ñëó÷àéíóþ âåëè÷èíó, ðàñïðåäåëåííóþ ñîãëàñíî íîðìàëüíîìó çàêîíó :

  Y ∼N X



 σY2 µY , µX ρσX σY

ρσX σY σY2

!!

.

Åå ïëîòíîñòü ðàñïðåäåëåíèÿ çàäàåòñÿ ñëåäóþùèì âûðàæåíèåì :

 

 1  p exp − f(X,Y ) (x, y) = 2  2πσX σY 1 − ρ

x − µX σX

2

+



 2 y − µY (x − µX )(y − µY ) − 2ρ  σY σX σY  . 2 2(1 − ρ ) 

Íèæå ïåðå÷èñëåíû ñâîéñòâà òàêîãî ðàñïðåäåëåíèÿ. 1. Êàæäàÿ èç êîìïîíåíò äâóìåðíîé íîðìàëüíîé âåëè÷èíû ðàñïðåäåëåíà íîðìàëüíî :

2 X ∼ N (µX , σX ).

Y |X = x íîðìàëüíî :   σY 2 2 Y |X = x ∼ N µY + ρ (x − µX ), σY (1 − ρ ) . σX

2. Óñëîâíîå ðàñïðåäåëåíèå

Èç ýòîãî ñâîéñòâà òàêæå âûòåêàåò óñëîâíàÿ ãîìîñêåäàñòè÷íîñòü è

E[Y |X] =

BLP [X|Y ]. 3. Åñëè

Y

è

X

íåñêîððåëèðîâàíû (ò.å.

ρ = 0),

òî

Y

è

X

íåçàâèñèìû.

4. Ëèíåéíàÿ ôóíêöèÿ îò íîðìàëüíîé ñëó÷àéíîé âåëè÷èíû ÿâëÿåòñÿ òàêæå íîðìàëüíîé ñëó÷àéíîé âåëè÷èíîé :

  Y A ∼N X Çäåñü

A



2×2

 σY2 µY A ,A µX ρσX σY 

ρσX σY

ìàòðèöà ëèíåéíîãî ïðåîáðàçîâàíèÿ.

31

σY2

!

A0

!

.

4

Ñâîéñòâà ìíîãîìåðíîãî íîðìàëüíîãî ðàñïðåäåëåíèÿ

Ïóñòü

Y

 ìíîãîìåðíàÿ âåëè÷èíà, ðàñïðåäåëåííàÿ ñîãëàñíî íîðìàëüíîìó çàêîíó, ò.å.

Y ∼ N (µ, Σ), ãäå

µ



k×1

äåëåíèÿ

Y

âåêòîð ñðåäíèõ,



k×k

äèñïåðñèîííàÿ ìàòðèöà. Ïëîòíîñòü ðàñïðå-

åñòü

fY (y) = Ðàçîáüåì

Σ

Y

1 (2π)k/2 |Σ|1/2

  (y − µ)0 Σ−1 (y − µ) exp − . 2

íà äâå ÷àñòè :

  Y1 Y = ∼N Y2

!!   Σ11 Σ12 µ1 , = N (µ, Σ). µ2 Σ21 Σ22

Ìíîãîìåðíîå íîðìàëüíîå ðàñïðåäåëåíèå îáëàäàåò ñëåäóþùèìè ñâîéñòâàìè : 1.

Y1 ∼ N (µ1 , Σ11 ).

2.

Y2 |Y1 = y1 ∼ N (µ2 + B 0 (y1 − µ1 ), Σ22 − B 0 Σ11 B),

3. Åñëè 4.

Σ12 = 0,

òî

Y1

è

Y2

ãäå

B = Σ−1 11 Σ12 .

íåçàâèñèìû.

g + HY ∼ N (g + Hµ, HΣH 0 ),

ãäå

g

 ôèêñèðîâàííûé âåêòîð, à

H

 ìàòðèöà

ëèíåéíîãî ïðåîáðàçîâàíèÿ.

5

Ïðèíöèï àíàëîãèé

Ïðè ïîñòðîåíèè âñåâîçìîæíûõ îöåíîê èñïîëüçóþò

ïðèíöèï àíàëîãèé , îñíîâíàÿ èäåÿ

êîòîðîãî ñîñòîèò â çàìåíå íåèçâåñòíîé èñòèííîé ôóíêöèè ðàñïðåäåëåíèÿ èçâåñòíîé ýìïèðè÷åñêîé. Ýòó èäåþ ìû óæå âñòðå÷àëè ïðè èçó÷åíèè áóòñòðàïà. Ïóñòü èíòåðåñóþùèé íàñ ïàðàìåòð

X , FX (x).

θ

èçâåñòíûì îáðàçîì çàâèñèò îò ôóíêöèè ðàñïðåäåëåíèÿ

Òîãäà, ñîãëàñíî ïðèíöèïó àíàëîãèé, îöåíêó

èñòèííóþ ôóíêöèþ ðàñïðåäåëåíèÿ

FX (x)

θb ìîæíî

ïîñòðîèòü, çàìåíèâ

íà åå âûáîðî÷íûé àíàëîã

n

1X I[xi ≤ x]. Fn (x) = n i=1 Ïðèâåäåì ïðèìåðû.

Ïðèìåð 1. Ïóñòü èíòåðåñóþùèé íàñ ïàðàìåòð åñòü òåîðåòè÷åñêîå ñðåäíåå :

θ = E[X] =

Z

+∞

−∞

32

xdF (x).

Òîãäà, ïî ïðèíöèïó àíàëîãèé, åãî àíàëîãîâàÿ îöåíêà áóäåò ðàâíà

θb =

Z

+∞

−∞

n

1X xi . xdFn (x) = n i=1

Ïðèìåð 2 : ÌÍÊ-îöåíêà. Ïîêàæåì, ÷òî ÌÍÊ-îöåíêà òàêæå ÿâëÿåòñÿ àíàëîãîâîé îöåíêîé. Ïóñòü èñõîäíàÿ ìîäåëü áóäåò

y = x0 β + e, Òîãäà ïàðàìåòð

β

E[ex] = 0.

E[(y − x0 β)x] = 0.

íàõîäèòñÿ èç óñëîâèÿ :

Åãî âèä :

β = (E(xx0 ))−1 E(xy). Èñïîëüçóÿ ïðèíöèï àíàëîãèé, ïîëó÷èì ÌÍÊ-îöåíêó :

n

βb =

1X xi x0i n i=1

!−1

! n 1X xi yi . n i=1

Ïðèìåð 3 : åù¼ ðàç ÌÍÊ-îöåíêà. ÌÍÊ-îöåíêó ìîæíî ïîëó÷èòü êàê àíàëîãîâóþ è èç óñëîâèÿ ìèíèìèçàöèè ñðåäíåêâàäðàòè÷íîé îøèáêè ïðîãíîçà. Èñõîäíàÿ ðåãðåññèîííàÿ ìîäåëü â ýòîì ñëó÷àå åñòü

E[y|x] = x0 β. Ïàðàìåòð

β

íàõîäèòñÿ èç óñëîâèÿ ìèíèìèçàöèè ñðåäíåêâàäðàòè÷íîé îøèáêè :

β = arg minE[(y − x0 b)2 ]. b

Ñîîòâåòñòâóþùåå àíàëîãîâîå óñëîâèå çàïèñûâàåòñÿ â âèäå

1 βb = arg min b n

n X

(yi − x0i b)2 .

i=1

Î÷åâèäíî, ÷òî ðåçóëüòàòîì ðåøåíèÿ ýòîé çàäà÷è íà ýêñòðåìóì âíîâü ÿâëÿåòñÿ ÌÍÊîöåíêà.

6

Îñíîâíûå ïîíÿòèÿ, ñâÿçàííûå ñ ðåãðåññèåé

Ñåé÷àñ è â äàëüíåéøåì ìû íå áóäåì ðàçëè÷àòü ïðîïèñíûå è ñòðî÷íûå áóêâû äëÿ îáîçíà÷åíèÿ ñëó÷àéíûõ âåëè÷èí è èõ ðåàëèçàöèé, èíà÷å ìîæíî ñ óìà ñîéòè. Ïóñòü ó íàñ åñòü ïàðà

(y, x),

ãäå

y

 ñêàëÿð, à

x

 âåêòîð.

Îïðåäåëåíèå. Ðåãðåññèåé (â øèðîêîì ñìûñëå) íàçûâàåòñÿ êàêîå-ëèáî ñâîéñòâî óñëîâíîãî ðàñïðåäåëåíèÿ

y

ïðè çàäàííîì

x

êàê ôóíêöèÿ îò

33

x.

Ïðèâåäåì íåñêîëüêî ïðèìåðîâ ðåãðåññèé :

Ïðèìåð 1. Ðåãðåññèÿ ñðåäíåãî

E[y|x].

Ïðèìåð 2. Ìåäèàííàÿ ðåãðåññèÿ

M ed[y|x].

Ïðèìåð 3. Êâàíòèëüíàÿ ðåãðåññèÿ Ïðèìåð 4. Ìîäàëüíàÿ ðåãðåññèÿ Ðàññìîòðèì ïîäðîáíåå

qα [y|x].

M ode[y|x].

ðåãðåññèþ ñðåäíåãî ,

êîòîðàÿ íàèáîëåå ÷àñòî èñïîëüçóåòñÿ â

ýêîíîìåòðè÷åñêîì àíàëèçå. Îøèáêîé ðåãðåññèè ñðåäíåãî íàçûâàåòñÿ âåëè÷èíà

y − E[y|x].

Ýòà îøèáêà îáëàäàåò ñâîéñòâîì

E[e|x] = 0,

e =

è, êàê ñëåäñòâèå, ñâîéñòâîì

E[eh(x)] = 0 äëÿ ëþáîé ôóíêöèè h(x).  ÷àñòíîñòè, E[e] = 0. Îäíàêî ðåãðåññîðû x è îøèáêà

e ìîãóò íå áûòü íåçàâèñèìûìè. Ðåãðåññèþ ñðåäíåãî ñðåäíåãî ìîæíî çàïèñàòü

â ïðèâû÷íîì âèäå êàê

y = E[y|x] + e,

E[e|x] = 0.

Ïîêà åùå íå ñäåëàíî íèêàêèõ ïðåäïîëîæåíèé, êðîìå ñóùåñòâîâàíèÿ ââåäåííûõ îáúåêòîâ. Îáû÷íî èññëåäîâàòåëü, îáëàäàÿ ñîâîêóïíîñòüþ íàáëþäåíèé íûì îáðàçîì âûáðàííûõ èç ïîïóëÿöèè ôóíêöèþ 1.

E[y|x].

ñëó÷àé-

õî÷åò îöåíèòü, èñïîëüçóÿ ýòè äàííûå,

Ñóùåñòâóåò íåñêîëüêî ðàçëè÷íûõ ïîäõîäîâ ê äàííîé çàäà÷å :

Íåïàðàìåòðè÷åñêîå îöåíèâàíèå : Ïðè òàêîì ïîäõîäå äåëàþòñÿ ñëàáûå ïðåäïîëîæåíèÿ î ãëàäêîñòè ôóíêöèè ïëîòíîñòè ðàñïðåäåëåíèÿ

2.

(y, x),

{(yi , xi )}ni=1 ,

E[y|x]

è, âîçìîæíî, åå ïðîèçâîäíîé ïî

x

è

x.

Ïàðàìåòðè÷åñêîå îöåíèâàíèå : Ïðè òàêîì ïîäõîäå ïðåäïîëàãàåòñÿ èçâåñòíûì âèä ôóíêöèè ðàìåòðîâ

β∈R

k

E[y|x] = g(x, β). Íåèçâåñòíûìè ÿâëÿþòñÿ êîíå÷íîå ÷èñëî ïà-

. Ýòè ïàðàìåòðû îöåíèâàþòñÿ, ÷òî äà¼ò îöåíêó è äëÿ

g(x, β).

Òàêèì îáðàçîì, ôóíêöèÿ óñëîâíîãî ñðåäíåãî ïàðàìåòðèçóåòñÿ, îòñþäà è íàçâàíèå ìåòîäà. Ïàðàìåòðè÷åñêèé ìåòîä îöåíèâàíèÿ ÿâëÿåòñÿ áîëåå ýôôåêòèâíûì, ÷åì íåïàðàìåòðè÷åñêèé, åñëè ñïåöèôèêàöèÿ ìîäåëè ïðàâèëüíàÿ. Îäíàêî, åñëè ôóíêöèÿ óñëîâíîãî ñðåäíåãî ïàðàìåòðèçîâàíà íåâåðíî, òî îöåíèâàíèå ïðèâîäèò ê íåñîñòîÿòåëüíûì îöåíêàì äëÿ 3.

E[y|x].

Ïîëóïàðàìåòðè÷åñêîå îöåíèâàíèå : Ïîëóïàðàìåòðè÷åñêîå îöåíèâàíèå ïðåäñòàâëÿåò ñîáîé íå÷òî ñðåäíåå ìåæäó ïàðàìåòðè÷åñêèì è íåïàðàìåòðè÷åñêèì ïîäõîäàìè. Ìîæíî ñêàçàòü, ÷òî

E[y|x]

ïàðàìåòðèçóåòñÿ, íî êîëè÷åñòâî ïàðà-

ìåòðîâ áåñêîíå÷íî. Ïðèìåðîì ÿâëÿþòñÿ òàê íàçûâàåìûå èíäåêñíûå ìîäåëè, ãäå âèä ôóíêöèè óñëîâíîãî ñðåäíåãî íàì íåèçâåñòåí, îäíàêî èçâåñòíî, ÷òî îíà çàâèñèò îò êîíå÷íîìåðíîé ëèíåéíîé êîìáèíàöèè ðåãðåññîðîâ.

34

IV 1

Ëèíåéíàÿ ðåãðåññèÿ ñðåäíåãî Ìåòîä íàèìåíüøèõ êâàäðàòîâ

Ïóñòü

E[y|x] = x0 β ,

òîãäà ðåãðåññèÿ ñðåäíåãî çàïèñûâàåòñÿ ïðèâû÷íûì îáðàçîì êàê

y = x0 β + e, Ïðåäïîëîæèì, ìàòðèöà

{(yi , xi )}ni=1 ∼ iid.

E[e|x] = 0,

E[xx0 ] íåâûðîæäåííàÿ. Òîãäà ïàðàìåòð β , ìèíèìèçèðóþùèé

ñðåäíåêâàäðàòè÷íóþ îøèáêó, áóäåò åäèíñòâåííûì ðåøåíèåì çàäà÷è

β = arg minE[(y − x0 b)2 ]. b

Ïîëüçóÿñü ïðèíöèïîì àíàëîãèé, ìîæíî ïîñòðîèòü îöåíêó äëÿ

n

n

1X (yi − x0i b)2 = βb = arg min b n i=1

1X xi x0i n i=1

!−1

β: n

1X xi yi . n i=1

Ýòî è åñòü îöåíêà ìåòîäà íàèìåíüøèõ êâàäðàòîâ, èëè ÌÍÊ-îöåíêà.

2

Àñèìòîòè÷åñêèå ñâîéñòâà ÌÍÊ-îöåíêè

Äëÿ âûÿñíåíèÿ àñèìïòîòè÷åñêèõ ñâîéñòâ ÌÍÊ-îöåíêè ïåðåïèøåì åå â ñëåäóþùåì âèäå :

n

βb = β +

1X xi x0i n i=1

!−1

n

1X xi ei . n i=1

Êàê ìû óæå çíàåì, ÌÍÊ-îöåíêà ñîñòîÿòåëüíà, ò.å.

p βb → β .

Êðîìå òîãî, ÌÍÊ-îöåíêà

àñèìïòîòè÷åñêè ðàñïðåäåëåíà ïî íîðìàëüíîìó çàêîíó :

√

n

n(βb − β) =

1X xi x0i n i=1

!−1

n


1 X d −1 √ xi ei → N 0, Q−1 xx Qe2 xx Qxx , n i=1

ãäå ìû èñïîëüçîâàëè ñëåäóþùèå îáîçíà÷åíèÿ :

Qxx = E[xx0 ],

Qe2 xx = E[e2 xx0 ] = V ar[xe].

Ïðèâåäåííûå àñèìïòîòè÷åñêèå ñâîéñòâà ñëåäóþò èç ÇÁ× è ÖÏÒ. Èç çàêîíà áîëüøèõ ÷èñåë ñëåäóåò, ÷òî

n

1X p xi x0i → E[xx0 ] = Qxx , n i=1 n

1X p xi ei → E[xe] = E[xE[e|x]] = 0, n i=1 35

÷òî âëå÷¼ò ñîñòîÿòåëüíîñòü ÌÍÊ-îöåíêè. Èç öåíòðàëüíîé ïðåäåëüíîé òåîðåìû äëÿ íåçàâèñèìûõ îäèíàêîâî ðàñïðåäåëåííûõ âåëè÷èí ñëåäóåò, ÷òî

n

1 X d √ xi ei → N (0, V ar[xe]) = N (0, Qe2 xx ) , n i=1 ÷òî âëå÷¼ò àñèìïòîòè÷åñêóþ íîðìàëüíîñòü ÌÍÊ-îöåíêè. Ðàññìîòðèì ñïåöèàëüíûé ñëó÷àé, êîãäà ðåãðåññîííàÿ îøèáêà óñëîâíî ãîìîñêåäàñòè÷íà, ò.å.

E[e2 |x] = σ 2 = const.

 ýòîì ñëó÷àå

Qe2 xx = σ 2 Qxx

è àñèìòîòè÷åñêîå

ðàñïðåäåëåíèå ÌÍÊ-îöåíêè èìååò äèñïåðñèîííóþ ìàòðèöó â óïðîùåííîì âèäå :

√


d n(βb − β) → N 0, σ 2 Q−1 xx .

Êðîìå òîãî, ëåãêî ïîñòðîèòü ñîñòîÿòåëüíóþ îöåíêó ýòîé äèñïåðñèîííîé ìàòðèöû :

n

1X p b2→ σ b = (yi − x0i β) σ2, n i=1 2

n

X p bxx = 1 Q xi x0i → Qxx . n i=1

Ñîñòîÿòåëüíîñòü ïåðâîé îöåíêè ñëåäóåò èç ÇÁ×. Ñîñòîÿòåëüíîñòü ïîñëåäíåé äîâîëüíî ëåãêî ïîêàçàòü :

n

1X b2= (yi − x0i β) n i=1 n

n

n

X 1X 0 1X b2+ 2 b = (yi − x0i β)2 + (xi β − x0i β) (yi − x0i β)(x0i β − x0i β) n i=1 n i=1 n i=1 ! n n n X X 1X 1 b0 b +2 b = (yi − x0i β)2 + (β − β) xi x0i (β − β) (yi − x0i β)x0i (β − β). n i=1 n i=1 n i=1 =

Äàëåå, ïðèìåíÿÿ ÇÁ× è òåîðåìó Ñëóöêîãî, ïîëó÷èì :

n

1X p (yi − x0i β)2 → σ 2 , n i=1 b0 (β − β)

! n 1X p b → xi x0i (β − β) 0, n i=1

n

2X p b → (yi − x0i β)x0i (β − β) 0. n i=1 Âñ¼ âìåñòå âëå÷¼ò ñîñòîÿòåëüíîñòü îöåíêè óñëîâíîé äèñïåðñèè ðåãðåññèîííîé îøèáêè :

n

1X p b2→ (yi − x0i β) σ2. n i=1

36

Òåïåðü ðàññìîòðèì îáùèé ñëó÷àé óñëîâíîé ãåòåðîñêåäàñòè÷íîñòè.  ýòîì ñëó÷àå íàì íóæíî ñîñòîÿòåëüíî îöåíèòü ìàòðèöó

Qe2 xx . Ìîæíî ïîêàçàòü, ÷òî ñîñòîÿòåëüíîé

îöåíêîé ýòîé ìàòðèöû áóäåò ñëåäóþùàÿ :

n

X p b2→ be2 xx = 1 Q xi x0i (yi − x0i β) Qe2 xx . n i=1 Èòàê, ñîñòîÿòåëüíàÿ îöåíêà äèñïåðñèîííîé ìàòðèöû ÌÍÊ-îöåíêè â ñëó÷àå óñëîâíîé ãåòåðîñêåäàñòè÷íîñòè çàïèøåòñÿ êàê

b−1 b b−1 Vbβ = Q xx Qe2 xx Qxx .

Áóäåì íàçûâàòü

ñòàíäàðòíîé îøèáêîé îöåíêè βbj r h i 1 b se(βbj ) = Vβ . n jj

Òîãäà ñîîòâåòñòâóþùàÿ

t-ñòàòèñòèêà

âåëè÷èíó

áóäåò àñèìïòîòè÷åñêè ïèâîòàëüíîé îöåíêîé,

àñèìïòîòè÷åñêîå ðàñïðåäåëåíèå êîòîðîé ÿâëÿåòñÿ ñòàíäàðòíûì íîðìàëüíûì :

tj =

βbj − βj d → N (0, 1). se(βbj )

Âàëüäîâñêàÿ ñòàòèñòèêà äëÿ îãðàíè÷åíèé îáùåãî âèäà ÷åíèé

l ≤ k,

h(β) = 0,

ãäå ÷èñëî îãðàíè-

èìååò àñèìïòîòè÷åñêîå ðàñïðåäåëåíèå õè-êâàäðàò :

h i−1 d b0 H b → b Vbβ H b0 W = h(β) h(β) χ2 (l), ãäå èñïîëüçîâàíû îáîçíà÷åíèÿ

H= 3

∂h(β) , ∂β 0

b b = ∂h(β) . H ∂β 0

Ñâîéñòâà ÌÍÊ-îöåíêè â êîíå÷íûõ âûáîðêàõ

Ââåäåì ñëåäóþùèå îáîçíà÷åíèÿ :

X = (x1 , x2 , . . . , xn )0 ,

y = (y1 , y2 , . . . , yn )0 ,

ε = (e1 , e2 , . . . , en )0 .

Òîãäà óæå çíàêîìóþ íàì ðåãðåññèîííóþ ìîäåëü ëèíåéíîãî óñëîâíîãî ñðåäíåãî ìîæíî ïåðåïèñàòü â ìàòðè÷íîì âèäå

y = Xβ + ε,

E[ε|X] = 0.

ÌÍÊ-îöåíêà â òàêîì ñëó÷àå çàïèøåòñÿ êàê

βb = (X 0 X)−1 X 0 y = β + (X 0 X)−1 X 0 ε. Ýòà îöåíêà îáëàäàåò ñëåäóþùèìè ñâîéñòâàìè â êîíå÷íûõ âûáîðêàõ :

37

•

Óñëîâíàÿ íåñìåù¼ííîñòü :

b E[β|X] = β + (X 0 X)−1 X 0 E[ε|X] = β. •

Áåçóñëîâíàÿ íåñìåù¼ííîñòü ñëåäóåò èç óñëîâíîé íåñìåù¼ííîñòè.

•

Óñëîâíàÿ äèñïåðñèÿ îöåíêè åñòü

b V ar[β|X] = (X 0 X)−1 X 0 ΩX(X 0 X)−1 , ãäå

4

Ω = V ar[y|X] = E[εε0 |X].

Îáîáùåííûé ìåòîä íàèìåíüøèõ êâàäðàòîâ

Îïðåäåëåíèå. Ïóñòü

E[y|X] = Xβ .

ñîäåðæàùèé îöåíêè âèäà îò

A(X)y ,

Êëàññîì

ãäå

A(X)

ëèíåéíûõ îöåíîê β

 ìàòðèöà

k × n,

íàçûâàåòñÿ êëàññ,

êîòîðàÿ çàâèñèò òîëüêî

X.

Ïðèìåð. Äëÿ ÌÍÊ-îöåíêè Îïðåäåëåíèå. Ïóñòü

A(X) = (X 0 X)−1 X 0 .

E[y|X] = Xβ .

Êëàññîì

çûâàåòñÿ êëàññ, ñîäåðæàùèé îöåíêè âèäà òîëüêî îò

X

Çàìåòèì, ÷òî

íà-

A(X)y , ãäå A(X)  ìàòðèöà k×n, çàâèñÿùàÿ

è óäîâëåòâîðÿþùàÿ óñëîâèþ

Ïðèìåð. Äëÿ ÌÍÊ-îöåíêè

ëèíåéíûõ íåñìåù¼ííûõ îöåíîê β

A(X)X = Ik .

A(X)X = (X 0 X)−1 X 0 X = Ik .

V ar[A(X)y|X] = A(X)ΩA(X)0 . Ìû õîòèì íàéòè ëèíåéíóþ íåñìåù¼í-

íóþ îöåíêó, êîòîðàÿ ìèíèìèçèðóåò

V ar[A(X)y|X].

Òåîðåìà (Ãàóññà-Ìàðêîâà). Íàèëó÷øåé ëèíåéíîé íåñìåù¼ííîé îöåíêîé ëèíåéíîé ðåãðåññèè ñðåäíåãî ÿâëÿåòñÿ îöåíêà

βe = A∗ (X)y,

ãäå

A∗ (X) = (X 0 Ω−1 X)−1 X 0 Ω−1 .  ýòîì ñëó÷àå äèñïåðñèîííàÿ ìàòðèöà îöåíêè èìååò âèä

e V ar[β|X] = (X 0 Ω−1 X)−1 . Äîêàçàòåëüñòâî. Îöåíêà èáî

βe

ïðèíàäëåæèò êëàññó ëèíåéíûõ íåñìåù¼ííûõ îöåíîê,

A∗ (X)X = Ik . Âîçüìåì ïðîèçâîëüíóþ ìàòðèöó A(X), òàêóþ, ÷òî A(X)X = Ik . Â

ýòîì ñëó÷àå èìåþò ìåñòî ñëåäóþùèå ðàâåíñòâà :

(A(X) − A∗ (X))X = 0, (A(X) − A∗ (X))ΩA∗ (X)0 = (A(X) − A∗ (X))ΩΩ−1 X(X 0 Ω−1 X)−1 = 0.

38

Òîãäà

V ar[A(X)Y |X] = A(X)ΩA(X)0 = = (A(X) − A∗ (X) + A∗ (X))Ω(A(X) − A∗ (X) + A∗ (X))0 = e = (A(X) − A∗ (X))Ω(A(X) − A∗ (X))0 + V ar[A∗ (X)Y |X] ≥ V ar[β|X]. íîê.

βe ÿâëÿåòñÿ

Îïðåäåëåíèå. Ïóñòü

E[y|X] = Xβ .

Ñëåäîâàòåëüíî, îöåíêà

îöåíêîé

íàèëó÷øåé â êëàññå ëèíåéíûõ íåñìåù¼ííûõ îöå-

Îöåíêà

βe = (X 0 Ω−1 X)−1 X 0 Ω−1 y

îáîáù¼ííîãî ìåòîäà íàèìåíüøèõ êâàäðàòîâ

Ñëåäñòâèå 1. ÎÌÍÊ-îöåíêà

íàçûâàåòñÿ

(ÎÌÍÊ).

βe ÿâëÿåòñÿ ýôôåêòèâíîé â êëàññå ëèíåéíûõ íåñìåù¼í-

íûõ îöåíîê.

Ñëåäñòâèå 2. Åñëè îøèáêà ëèíåéíîé ðåãðåññèè ñðåäíåãî îáëàäàåò ñâîéñòâîì óñëîâíîé ãîìîñêåäàñòè÷íîñòè, òî

βe = βb,

ò.å. ÌÍÊ- è ÎÌÍÊ-îöåíêè ñîâïàäàþò.

Íèæå ïðèâåäåíà òàáëèöà, ñîäåðæàùàÿ óñëîâíûå äèñïåðñèîííûå ìàòðèöû ÌÍÊ- è ÎÌÍÊ-îöåíîê â êîíå÷íûõ âûáîðêàõ äëÿ ñëó÷àåâ óñëîâíîé ãåòåðî- è ãîìîñêåäàñòè÷íîñòè.

OLS

GLS

Ãîìîñêåäàñòè÷íîñòü

σ 2 (X 0 X)−1

σ 2 (X 0 X)−1

Ãåòåðîñêåäàñòè÷íîñòü

(X 0 X)−1 X 0 ΩX(X 0 X)−1

(X 0 Ω−1 X)−1

βe ÿâëÿåòñÿ íåäîñòóïíîé ,

Çàìå÷àíèå 1. ÎÌÍÊ-îöåíêà âåñòíà.

Çàìå÷àíèå 2. ÎÌÍÊ-îöåíêà

òîäà íàèìåíüøèõ êâàäðàòîâ

βe ÿâëÿåòñÿ

ïîñêîëüêó ìàòðèöà

÷àñòíûì ñëó÷àåì îöåíêè

Ω

íåèç-

âçâåøåííîãî ìå-

(ÂÌÍÊ)

βbW LS = (X 0 W X)−1 X 0 W Y, ãäå

5

W

 ïîëîæèòåëüíî îïðåäåëåííàÿ ìàòðèöà.

Àñèìòîòè÷åñêèå ñâîéñòâà ÎÌÍÊ-îöåíîê

Ðàññìîòðèì àñèìòîòè÷åñêèå ñâîéñòâà ÎÌÍÊ-îöåíêè. Äëÿ ýòîãî ïðåäñòàâèì åå â ñëåäóþùåì âèäå :

n

βe = β +

1 X xi x0i n i=1 σ 2 (xi )

39

!−1

n

1 X xi ei . n i=1 σ 2 (xi )

Ïîëüçóÿñü çàêîíîì áîëüøèõ ÷èñåë è öåíòðàëüíîé ïðåäåëüíîé òåîðåìîé, ïîëó÷èì :

  n xx0 1 X xi x0i p → Qxx/σ2 = E 2 , n i=1 σ 2 (xi ) σ (x)   n 1 X xi ei p xe →E 2 = 0, n i=1 σ 2 (xi ) σ (x) n


1 X xi ei d √ 2 . → N 0, Q xx/σ n i=1 σ 2 (xi ) Ïîñëåäíåå âûðàæåíèå ñëåäóåò ââèäó

E

"

xe σ 2 (x)

2 #

 xx0 2 = E 2 E[e |x] = Qxx/σ2 . σ (x) 

Òàêèì îáðàçîì, ÎÌÍÊ-îöåíêà ÿâëÿåòñÿ ñîñòîÿòåëüíîé è àñèìòîòè÷åñêè íîðìàëüíîé. Íèæå ïðèâåäåíà òàáëèöà, ñîäåðæàùàÿ àñèìòîòè÷åñêèå äèñïåðñèîííûå ìàòðèöû ÌÍÊ- è ÎÌÍÊ-îöåíîê äëÿ ñëó÷àåâ óñëîâíîé ãåòåðî- è ãîìîñêåäàñòè÷íîñòè :

OLS

GLS

Ãîìîñêåäàñòè÷íîñòü

σ 2 Q−1 xx

2 −1 Q−1 xx/σ 2 = σ Qxx

Ãåòåðîñêåäàñòè÷íîñòü

−1 Q−1 xx Qe2 xx Qxx

Q−1 xx/σ 2

Òåîðåìà. ÎÌÍÊ-îöåíêà

ãäå

zi = f (xi )

βe àñèìïòîòè÷åñêè ýôôåêòèâíà â !−1 n n X 1 1X 0 b zi xi zi yi , βIV = n i=1 n i=1

äëÿ ëþáîé ôóíêöèè

êëàññå îöåíîê âèäà

f : Rk → Rk .

Äîêàçàòåëüñòâî. Çàìåòèì, ÷òî ÌÍÊ- è ÎÌÍÊ-îöåíêè ïðèíàäëåæàò óêàçàííîìó êëàññó, ò.ê. äëÿ ÌÍÊ

zi = xi ,

à äëÿ ÎÌÍÊ

n

βbIV =

1X 0 zi xi n i=1

zi = xi /σ 2 (xi ). !−1

Ðàññìîòðèì îöåíêó

n

1X zi yi . n i=1

Ëåãêî ïîêàçàòü, ÷òî îíà ñîñòîÿòåëüíà è àñèìïòîòè÷åñêè íîðìàëüíà ñ àñèìòîòè÷åñêîé äèñïåðñèîííîé ìàòðèöåé

−1 Vzz = Q−1 zx Qe2 zz Qxz ,

40

ãäå

Qzx = E[zx0 ],

à

Qe2 zz = E[zz 0 e2 ] = E[zz 0 σ 2 (x)].

Çíàÿ, ÷òî àñèìïòîòè÷åñêàÿ äèñ-

−1 ïåðñèÿ ÎÌÍÊ-îöåíêè ðàâíà Q xx/σ 2 , ðàññìîòðèì ðàçíîñòü

Vzz −

Q−1 xx/σ 2

−1

0

0 2

= (E[zx ])

−1

E[zz σ (x)] (E[xz ])

−1

= (E[vu0 ])

−1

0

  −1 xx0 − E 2 = σ (x)

−1

E[vv 0 ] (E[uv 0 ]) − (E[uu0 ]) = h i −1 0 −1 0 0 0 −1 0 = (E[vu ]) E[vv ] − E[vu ] (E[uu ]) E[uv ] (E[uv 0 ]) = −1

= (E[vu0 ]) Çäåñü

−1

E[ww0 ] (E[uv 0 ])

≥ 0.

v = zσ(x), u = x/σ(x) è w = v−E[vu0 ](E[uu0 ])−1 u. Òàêèì îáðàçîì, ìû ïîêàçàëè,

÷òî ÎÌÍÊ-îöåíêà àñèìïòîòè÷åñêè ýôôåêòèâíà â óêàçàííîì êëàññå.

Ðåçóëüòàò. ÎÌÍÊ-îöåíêà ÿâëÿåòñÿ àíàëîãîâîé îöåíêîé, ò.å. ìîæåò áûòü ïîëó÷åíà èç ïðèíöèïà àíàëîãèé. À èìåííî, ÎÌÍÊ-îöåíêà ïîëó÷àåòñÿ èç óñëîâèÿ

n

  x =0 E e σ(x) 6

1X e xi = 0. (yi − x0i β) n i=1 σ(xi )

⇒

Äîñòóïíàÿ ÎÌÍÊ-îöåíêà

Êàê óæå áûëî çàìå÷åíî, ÷òîáû ïîëó÷èòü ÎÌÍÊ-îöåíêó, íàì íåîáõîäèìî çíàòü äèñïåðñèîííóþ ìàòðèöó îøèáîê

σ 2 (xi ),

Ω,

ãëàâíàÿ äèàãîíàëü êîòîðîé íàïè÷êàíà âåëè÷èíàìè

à íà îñòàëüíûõ ìåñòàõ ñòîÿò íóëè. Åñòåñòâåííî ïîëàãàòü, ÷òî ýòè ïàðàìåòðû

ÿâëÿþòñÿ íåèçâåñòíûìè àïðèîðè, ïîýòîìó îíè äîëæíû áûòü îöåíåíû. Ïëîõî òî, ÷òî äëÿ ýòîãî íåîáõîäèìà ìîäåëü äëÿ

σ 2 (x).

Ýòó ôóíêöèþ ìîæíî (è íóæíî !) îöåíèâàòü

íåïàðàìåòðè÷åñêè, íî ìû ïîêà ê ýòîìó íå ãîòîâû. Îáû÷íî ïðåäïîëàãàþò, ÷òî äèñïåðñèÿ îøèáîê åñòü ëèíåéíàÿ ôóíêöèÿ îò íåêîòîðîé òðàíñôîðìàöèè

x: σ 2 (x) = E[e2 |x] = z 0 γ,

ãäå

z

x,

åñòü íåêîòîðàÿ òðàíñôîðìàöèÿ

íàïðèìåð

z = x2 .

Åñëè ïðåäïîëîæåíèå ïðà-

ñêåäàñòè÷íóþ ðåãðåññèþ

âèëüíîå, òî ìîæíî îöåíèòü

e2 = z 0 γ + ε,

E[ε|z] = 0.

Îöåíèâ èñõîäíóþ ðåãðåññèþ ñ ïîìîùüþ ÌÍÊ è ñêåäàñòè÷íóþ ðåãðåññèþ, èñïîëüçóÿ êâàäðàòû ÌÍÊ-îñòàòêîâ âìåñòî êâàäðàòîâ îøèáîê, òàêæå ñ ïîìîùüþ ÌÍÊ, èìååì :

γ b=

X i

zi zi0

!−1

b ebi = yi − x0i βb = ei + x0i (β − β), X i

zi e2i + 2

X i

b i+ zi x0i (β − β)e 41

X i

b 2 zi (x0i (β − β))

!

p

→ γ.

Òàêèì îáðàçîì, ìû ïîëó÷àåì ñîñòîÿòåëüíûå îöåíêè äèñïåðñèé îøèáîê :

σ b2 (xi ) = zi0 γ b, ïîñëå ÷åãî, ìû ìîæåì ïîñòðîèòü äîñòóïíóþ îöåíêó îáîáùåííîãî ìåòîäà íàèìåíüøèõ êâàäðàòîâ (ÄÎÌÍÊ) :

βeF =

n X xi x0i σ b2 (xi ) i=1

!−1

n X xi yi b −1 X)−1 X 0 Ω b −1 y. = (X 0 Ω 2 σ b (xi ) i=1

Ïðèâåäåì àëãîðèòì ïîñòðîåíèÿ ÄÎÌÍÊ-îöåíêè :

1. Èñïîëüçóÿ ÌÍÊ, îöåíèòü èñõîäíóþ ðåãðåññèþ è ïîëó÷èòü îñòàòêè

1, . . . , n.

Ïðîãíàòü ñêåäàñòè÷íóþ ðåãðåññèþ, ïîëó÷èòü îöåíêè

îöåíêè äèñïåðñèé îøèáîê

2

σ b (xi )

(èëè

b ). Ω

γ b

ebi

äëÿ

i=

è ïîñòðîèòü

2. Ïîñòðîèòü ÄÎÌÍÊ-îöåíêó

βeF =

n X xi x0i σ b2 (xi ) i=1

!−1

n X xi yi b −1 X)−1 X 0 Ω b −1 y. = (X 0 Ω 2 (x ) σ b i i=1

Âîîáùå ãîâîðÿ, òàêîé àëãîðèòì ïîñòðîåíèÿ îöåíîê äèñïåðñèè îøèáîê íå ãàðàíòèðóåò èõ ïîëîæèòåëüíîñòü. Íèæå ïðèâåäåíû ñïîñîáû èçáåæàòü 1. Âûáðàòü íåêîòîðîå ìàëîå

δ > 0.

Ïîëîæèòü

2. Âûáðîñèòü òå íàáëþäåíèÿ, äëÿ êîòîðûõ 3. Ïîëîæèòü

σ b2 (xi ) =

1 n

Pn

σ b2 (xi ) < 0.

σ b2 (xi ) = max(zi0 γ b, δ).

σ b2 (xi ) < 0.

0 b äëÿ òåõ íàáëþäåíèé, äëÿ êîòîðûõ j=1 zj γ

σ b2 (xi ) < 0.

Ðåçóëüòàò. Åñëè ñêåäàñòè÷íàÿ ôóíêöèÿ ïðàâèëüíî ñïåöèôèöèðîâàíà, òî ÄÎÌÍÊîöåíêà

βeF

àñèìïòîòè÷åñêè ýêâèâàëåíòíà ÎÌÍÊ-îöåíêå

√

d

βe,

ò.å.

n(βeF − β) → N (0, Q−1 xx/σ 2 ).

Ñîñòîÿòåëüíàÿ îöåíêà àñèìïòîòè÷åñêîé äèñïåðñèè â ýòîì ñëó÷àå åñòü

n X xi x0i b Vβ = n σ b2 (xi ) i=1

!−1

.

Åñëè ñêåäàñòè÷íàÿ ôóíêöèÿ ñïåöèôèöèðîâàíà íåïðàâèëüíî, òî îöåíêà ìåíåå, îñòàåòñÿ ñîñòîÿòåëüíîé è àñèìïòîòè÷åñêè íîðìàëüíîé :

√

  d −1 −1 e n(βF − β) → N 0, Qxx/σ2 Qxx/σ4 e2 Qxx/σ2 , 42

βeF ,

òåì íå

ãäå èñïîëüçîâàíû ñëåäóþùèå îáîçíà÷åíèÿ :

Qxx/σ2

 xx0 =E 0 , zγ 

Qxx/σ4 e2

 xx0 2 =E e . (z 0 γ)2 

Ñîñòîÿòåëüíàÿ îöåíêà àñèìïòîòè÷åñêîé äèñïåðñèè â ýòîì ñëó÷àå ðàâíà

X xi x0

i

Vbβ = n 7

i

zi0 γ b

!−1

X xi x0 i 2 eb 0 2 i (z γ b ) i i

X xi x0

i

i

zi0 γ b

!−1

.

Ðåãðåññèÿ ñ íåñëó÷àéíîé âûáîðêîé

 ñëó÷àå, êîãäà íàáëþäåíèÿ ïðåäñòàâëÿþò ñîáîé íåñëó÷àéíóþ âûáîðêó, äèñïåðñèîííàÿ ìàòðèöà îøèáîê îöåíêè

βb = (X 0 X)−1 X 0 y

Ω = V ar[y|X]

íå ÿâëÿåòñÿ äèàãîíàëüíîé. Äèñïåðñèÿ ÌÍÊ-

â ýòîì ñëó÷àå åñòü

b V ar[β|X] = (X 0 X)−1 X 0 ΩX(X 0 X)−1 , à äèñïåðñèÿ ÎÌÍÊ-îöåíêè

βe = (X 0 Ω−1 X)−1 X 0 Ω−1 y

åñòü

e V ar[β|X] = (X 0 Ω−1 X)−1 . ×òîáû ïîñòðîèòü ïèâîòàëüíóþ ñòàòèñòèêó â ñëó÷àå íåñëó÷àéíûõ íàáëþäåíèé, íåîáõîäèìî ïàðàìåòðèçîâàòü äèñïåðñèîííóþ ìàòðèöó îøèáîê

Ω

íåáîëüøèì ÷èñëîì ïà-

ðàìåòðîâ.

8

ÌÍÊ è ÎÌÍÊ â ðåãðåññèÿõ íà âðåìåííûõ ðÿäàõ

Ðàññìîòðèì ñëåäóþùóþ ðåãðåññèîííóþ ìîäåëü :

yt = x0t β + et , ãäå

{(xt , yt )}Tt=1

E[e2t |It−1 ] = σ 2 (It−1 ),

E[et |It−1 ] = 0,

 ñòàöèîíàðíûé è ýðãîäè÷íûé ïðîöåññ, à

It−1 = {yt−1 , yt−2 , . . . ; xt , xt−1 , . . .}. Ïðèìåðàìè òàêèõ ìîäåëåé ìîãóò ñëóæèòü :

xt = (yt−1 , yt−2 , . . . , yt−p )0 .

•

Ìîäåëü

•

Ëèíåéíîå ïðåäñêàçàíèå îáìåííîãî êóðñà :

AR(p),

ãäå

st+1 − st = α + β(ft − st ) + et , ãäå

ft

 öåíà ôîðâàðäíîãî êîíòðàêòà, à

43

st

E[et |It−1 ] = 0,

 òåêóùèé îáìåííûé êóðñ.

•

Ëèíåéíîå ïðåäñêàçàíèå èíôëÿöèè :

E[et |It−1 ] = 0,

πt+1 = α + βit + et , ãäå

πt+1

 èíôëÿöèÿ, à

it

 ïðîöåíòíàÿ ñòàâêà.

Çàìåòèì, ÷òî óñëîâíîå ìàòåìàòè÷åñêîå îæèäàíèå

E[Y |X]

íå åñòü

Xβ ,

ïîýòîìó íå

ñëåäóåò îæèäàòü õîðîøèõ ñâîéñòâ â êîíå÷íûõ âûáîðêàõ. Ðàññìîòðèì àñèìïòîòè÷åñêèå ñâîéñòâà ÌÍÊ- è ÎÌÍÊ-îöåíîê.

ÌÍÊ-îöåíêà. ßñíî, ÷òî ÌÍÊ-îöåíêà ñîñòîÿòåëüíà : T X

βb =

xt x0t

!−1

T X

p

xt yt → β.

t=1

t=1

Ýòî ñëåäóåò èç òîãî, ÷òî :

E[xt et ] = E[E[xt et |It−1 ]] = E[xt E[et |It−1 ]] = 0. Êðîìå òîãî, èç öåíòðàëüíîé ïðåäåëüíîé òåîðåìû äëÿ ïîñëåäîâàòåëüíîñòåé ìàðòèíãàëüíûõ ïðèðàùåíèé ñëåäóåò àñèìïòîòè÷åñêàÿ íîðìàëüíîñòü ÌÍÊ-îöåíêè :

√ ãäå

d T (βb − β) → N (0, Vβ ),

−1 Vβ = Q−1 xx Qe2 xx Qxx ,

Qxx = E[xt x0t ], Qe2 xx = E[xt x0t e2t ]. Íåäèàãîíàëüíûå ýëåìåíòû ìàòðèöû Qe2 xx

ðàâíû

0, ïîñêîëüêó

E[xt et x0t−j et−j ] = E[E[xt et x0t−j et−j |It−1 ]] = E[xt E[et |It−1 ]x0t−j et−j ] = 0. ÎÌÍÊ-îöåíêà. ÎÌÍÊ-îöåíêà â ìîäåëÿõ áåç ñåðèéíîé êîððåëÿöèèè â îøèáêàõ, î÷åâèäíî, òîæå áóäåò ñîñòîÿòåëüíà è àñèìïòîòè÷åñêè íîðìàëüíà. Âûãëÿäèò ÎÌÍÊîöåíêà ñëåäóþùèì îáðàçîì :

βe =

T X t=1

xt x0t 2 σ (It−1 )

!−1

T X

xt yt . 2 σ (It−1 ) t=1

Íà ïðàêòèêå ÎÌÍÊ-îöåíêà ðåäêî èñïîëüçóåòñÿ âî âðåìåííûõ ðÿäàõ, ïîñêîëüêó òðåáóåò çíàíèÿ èëè ñîñòîÿòåëüíîãî îöåíèâàíèÿ ñêåäàñòè÷íîé ôóíêöèè â ïðèíöèïå ìîæåò çàâèñåòü îò áåñêîíå÷íîé ïðåäûñòîðèè

σ 2 (It−1 ), êîòîðàÿ

It−1 .

Òåïåðü ðàññìîòðèì ðåãðåññèîííóþ ìîäåëü íà âðåìåííûõ ðÿäàõ áîëåå îáùåãî âèäà, ñ âîçìîæíîñòüþ ñåðèéíîé êîððåëÿöèè â îøèáêàõ :

yt = x0t β + et , ãäå

E[et |It−q ] = 0,

It−q = {yt−q , yt−q−1 , . . . ; xt , xt−1 , . . .}.

Ïðèìåðàìè òàêèõ ìîäåëåé ìîãóò ñëóæèòü :

44

E[e2t |It−q ] = σ 2 (It−q ),

xt = (yt−q , yt−q−1 , . . . , yt−q−p+1 )0 .

•

Ìîäåëü

•

Ëèíåéíîå ïðåäñêàçàíèå îáìåííîãî êóðñà :

ARM A(p, q),

ãäå

st+q − st = α + β(ft,q − st ) + et , ãäå

ft,q

 öåíà ôîðâàðäíîãî êîíòðàêòà íà

q

E[et |It−q ] = 0,

ïåðèîäîâ âïåðåä, à

st

 òåêóùèé

îáìåííûé êóðñ.

•

Ëèíåéíîå ïðåäñêàçàíèå èíôëÿöèè :

πt+q = α + βit,q + et , ãäå

πt+q

 èíôëÿöèÿ, à

it,q

E[et |It−q ] = 0,

 ïðîöåíòíàÿ ñòàâêà íà

ÌÍÊ-îöåíêà. T X

βb =

xt x0t

!−1

t=1

T X

q

ïåðèîäîâ âïåðåä.

xt yt .

t=1

Îöåíêà îñòàåòñÿ ñîñòîÿòåëüíîé è àñèìïòîòè÷åñêè íîðìàëüíîé, ò.å.

√ íî ìàòðèöà

Qe2 xx

d T (βb − β) → N (0, Vβ ),

−1 Vβ = Q−1 xx Qe2 xx Qxx ,

ñ÷èòàåòñÿ ïî ôîðìóëå

Qe2 xx =

E[xt x0t e2t ]

+

q−1 X

(E[xt x0t−j et et−j ] + E[xt x0t+j et et+j ]).

j=1

Ñóììà ñîäåðæèò êîíå÷íîå ÷èñëî êîìïîíåíò

2q − 1,

èáî äëÿ

j >q−1

0 E[xt x0t−j et et−j ] = E[E[xt Xt−j et et−j |It−q ]] = E[xt x0t−j E[et |It−q ]et−j ] = 0. ×òîáû ñîñòîÿòåëüíî îöåíèòü àñèìïòîòè÷åñêóþ äèñïåðñèþ ÌÍÊ-îöåíêè

Vβ

â ñëó÷àå

ñåðèéíîé êîððåëÿöèè îøèáîê, ìîæíî âîñïîëüçîâàòüñÿ, íàïðèìåð, ôîðìóëîé ÍüþèÓýñòà.

ÎÌÍÊ-îöåíêà. ÎÌÍÊ-îöåíêà íå èñïîëüçóåòñÿ â ìîäåëÿõ ñ ñåðèéíîé êîððåëÿöèåé îøèáîê. Çàìåòèì,÷òî â ýòîì ñëó÷àå

βe 6=

T X t=1

xt x0t 2 σ (It−1 )

!−1

45

T X

xt yt . 2 σ (It−1 ) t=1

V

Ëèíåéíûå ìîäåëè ñ èíñòðóìåíòàëüíûìè ïåðåìåííûìè

1

Ýíäîãåííûå ïåðåìåííûå

E[y|x]

Áûâàþò ñëó÷àè, êîãäà óñëîâíîå ñðåäíåå

íå ÿâëÿåòñÿ èíòåðåñóþùèì íàñ îáú-

åêòîì. Ïðèâåäåì íåñêîëüêî ïðèìåðîâ.

Ïðèìåð 1. Ïóñòü

E[y|x∗ ] = (x∗ )0 β ,

îäíàêî ïåðåìåííûå

ìè. Âìåñòî íèõ èññëåäîâàòåëü íàáëþäàåò ïåðåìåííûå îò

x

∗

è

y.

x∗

ÿâëÿþòñÿ íåíàáëþäàåìû-

x = x ∗ + u,

ãäå

u

 íåçàâèñèìà

 ýòîì ñëó÷àå ÌÍÊ-îöåíêà áóäåò íåñîñòîÿòåëüíîé :

y = (x∗ )0 β + e = (x − u)0 β + e = x0 β + v,

v = e − u0 β,

E[xv] = E[(x∗ + u)(e − u0 β)] = −E[uu0 ] 6= 0

⇒

p βb 9 β.

 òàêîé ñèòóàöèè àñèìïòîòè÷åñêîå ñìåùåíèå îöåíêè ñâÿçàíî ñ îøèáêîé èçìåðåíèÿ.

Ïðèìåð 2. Ïóñòü ó íàñ åñòü ñèñòåìà ëèíåéíûõ óðàâíåíèé Cïðîñ

Q = −β1 P + e1

:

: Q = β2 P + e2   e1 ∼ iid(0, I2 ). e2

Ïðåäëîæåíèå

ãäå

Î÷åâèäíî, ÷òî â ýòîì ñëó÷àå öåíû êîððåëèðóþò ñ îøèáêàìè :

E[e1 P ] 6= 0,

E[e2 P ] 6= 0.

Ïîýòîìó, èñïîëüçóÿ ÌÍÊ-îöåíêó â ðåãðåññèè

Q

íà

P,

ìû ïîëó÷èì

p E[QP ] βb → . E[P 2 ] Èñõîäíóþ ñèñòåìó ëåãêî ðàçðåøèòü îòíîñèòåëüíî âûïóñêà è öåí :

  1 Q = P β1 + β2

β2 1

!  e1 , e2 −1 β1

îòêóäà ñðàçó æå ñëåäóåò, ÷òî

E[QP ] =

β2 − β1 , β1 + β2

E[P 2 ] =

2 . β1 + β2

Òàêèì îáðàçîì, ÌÍÊ-îöåíêà íå ñîñòîÿòåëüíà íè äëÿ äëÿ ÷åãî-òî ñðåäíåãî ìåæäó íèìè :

β2 − β1 p E[QP ] = βb → . 2 E[P ] 2 46

β1 ,

íè äëÿ

β2 ,

à ñîñòîÿòåëüíà

 îáîèõ ïðèìåðàõ ïåðåìåííûå, êîððåëèðóþùèå ñ îøèáêàìè, ÿâëÿþòñÿ ýíäîãåíûìè, è ÌÍÊ-îöåíèâàíèå íåñîñòîÿòåëüíî.

Îïðåäåëåíèå. Ïåðåìåííàÿ íàçûâàåòñÿ

ýíäîãåííîé ,

åñëè

Îïðåäåëåíèå. Ïåðåìåííàÿ

x

â ïðàâîé ÷àñòè ñòðóêòóðíîãî óðàâíåíèÿ

y = x0 β + e

E[e|x] 6= 0. z

y = x0 β + e, åñëè E[e|z] = 0. Â

íàçûâàåòñÿ ýêçîãåííîé äëÿ ñòðóêòóðíîãî óðàâíåíèÿ

ýòîì ñëó÷àå

z

ìîæåò èñïîëüçîâàòüñÿ êàê

èíñòðóìåíò

äëÿ îöåíèâàíèÿ ïàðàìåòðîâ óðàâíåíèÿ. Çàìåòèì, ÷òî â îáû÷íîé ðåãðåññèè óñëîâíîãî ñðåäíåãî ðåãðåññîðû ÿâëÿþòñÿ ýêçîãåííûìè ïåðåìåííûìè, ò.å. äëÿ ìîäåëè

y = x0 β + e,

E[e|x] = 0

z = x ÿâëÿåòñÿ ýêçîãåííîé ïåðåìåííîé. ÌÍÊ êàê ðàç è èñïîëüçóåò å¼ êàê èíñòðóìåíò. 2

Òî÷íàÿ èäåíòèôèêàöèÿ

Ðàññìîòðèì ñëó÷àé, êîãäà êîëè÷åñòâî èíñòðóìåíòîâ ãðåññîðîâ

k

òî÷íîé èäåíòèôèêàöèè ).

(ñëó÷àé

ñîâïàäàåò ñ êîëè÷åñòâîì ðå-

Ïóñòü ìàòðèöà

æäåíà. Èç îïðåäåëåíèÿ èíñòðóìåíòîâ ñëåäóåò, ÷òî

óñëîâèåì âàëèäíîñòè

l

Qzz = E[zz 0 ]

íåâûðî-

E[ze] = 0. Ýòî óñëîâèå íàçûâàåòñÿ

èíñòðóìåíòîâ. Ïðèìåíÿÿ ê íåìó ïðèíöèï àíàëîãèé, ïîëó÷èì

n

1X zi (yi − x0i βbIV ) = 0, n i=1 îòêóäà ïîëó÷àåì

èíñòðóìåíòàëüíóþ îöåíêó

βbIV =

n X

zi x0i

!−1

i=1

n X

zi yi .

i=1

 ìàòðè÷íîì âèäå èíñòðóìåíòàëüíàÿ îöåíêà âûãëÿäèò ñëåäóþùèì îáðàçîì :

βbIV = (Z 0 X)−1 Z 0 Y,

Z = (z10 , z20 , . . . , zn0 )0 .

 êîíå÷íûõ âûáîðêàõ èíñòðóìåíòàëüíàÿ îöåíêà ñìåùåíà, îäíàêî ÿâëÿåòñÿ ñîñòîÿòåëüíîé è àñèìïòîòè÷åñêè íîðìàëüíîé :

√ ãäå

E[βbIV |Z, X] = (Z 0 X)−1 Z 0 E[Y |Z, X] 6= β, d

n(βbIV − β) → N (0, Vβ ),

−1 Vβ = Q−1 zx Qe2 zz Qxz ,

Qzx = E[zx0 ], Qe2 zz = E[e2 zz 0 ]. Çàìåòèì, ÷òî âûøåïðèâåä¼ííàÿ àñèìïòîòèêà ñïðà-

âåäëèâà òîëüêî ïðè âûïîëíåíèè

óñëîâèÿ ðåëåâàíòíîñòè : ìàòðèöà Qzx

47

äîëæíà áûòü

íåâûðîæäåííîé. Ñîñòîÿòåëüíûå îöåíêè ìàòðèö çîì :

n

X bzx = 1 Q zi x0i , n i=1

Qzx , Qe2 zz

ñòðîÿòñÿ î÷åâèäíûì îáðà-

n

X be2 zz = 1 Q zi zi0 eb2i , n i=1

ebi = yi − x0i βbIV .

Çàìåòèì, ÷òî äîìíîæåíèå èíñòðóìåíòîâ ñëåâà íà ëþáóþ ñîðàçìåðíóþ íåâûðîæäåííóþ ìàòðèöó êîíñòàíò

C

íå ìåíÿåò âèäà èíñòðóìåíòàëüíîé îöåíêè

ñòâåííî, å¼ ñòàòèñòè÷åñêèõ ñâîéñòâ.

3

βbIV , è, åñòå-

Ñâåðõèäåíòèôèêàöèÿ

Ðàññìîòðèì ñëó÷àé, êîãäà

l>k

ñâåðõèäåíòèôèêàöèè ).

(ñëó÷àé

Ïóñòü ìàòðèöà

Qzz

íåâûðîæäåíà. Èäåÿ ïîñòðîåíèÿ èíñòðóìåíòàëüíîé îöåíêè â ýòîì ñëó÷àå ñîñòîèò â ñëåäóþùåì. Ñíà÷àëà íàéä¼ì ëèíåéíûé ïî

z

x:

E[zu0 ] = 0.

x = Γz + u, Èç ïîñëåäíåãî óñëîâèÿ íàõîäèì

ïðåäèêòîð

Γ:

E[z(x − Γz)0 ] = 0

⇒

Γ0 = (E[zz 0 ])−1 E[zx0 ] = Q−1 zz Qzx .

Òåïåðü, âîçâðàùàÿñü ê èñõîäíîé ñòðóêòóðíîé ôîðìå, ìû ìîæåì íàïèñàòü :

y = (Γz + u)0 β + e = (Γz)0 β + v,

v = e + u0 β.

Î÷åâèäíî, âûïîëíÿåòñÿ ñîîòíîøåíèå

E[Γzv] = ΓE[z(e + u0 β)] = 0, ïîýòîìó ïàðàìåòð ñòðóêòóðíîãî óðàâíåíèÿ ìîæíî çàïèñàòü êàê

−1 β = (E[Γz(Γz)0 ])−1 E[Γzy] = (Qxz Qzz Qzx )−1 Qxz Q−1 zz Qzy . Ïðèìåíÿÿ ïðèíöèï àíàëîãèé, ïîëó÷èì èíñòðóìåíòàëüíóþ îöåíêó (íàçûâàåìóþ îöåíêîé

äâóõøàãîâîãî ìåòîäà íàèìåíüøèõ êâàäðàòîâ ) äëÿ ñëó÷àÿ ñâåðõèäåíòèôèêàöèè :



βb2SLS = 

n X

xi zi0

i=1

n X i=1

zi zi0

!−1

n X i=1

−1

zi x0i 

n X i=1

xi zi0

n X

zi zi0

i=1

èëè â ìàòðè÷íîé ôîðìå,

βb2SLS = (X 0 Z(Z 0 Z)−1 Z 0 X)−1 X 0 Z(Z 0 Z)−1 Z 0 Y.

48

!−1

n X i=1

zi yi ,

Èíñòðóìåíòàëüíàÿ îöåíêà ñîñòîÿòåëüíà è àñèìïòîòè÷åñêè íîðìàëüíà, îäíàêî â îáùåì ñëó÷àå íå ÿâëÿåòñÿ àñèìïòîòè÷åñêè ýôôåêòèâíîé :

p βb2SLS → β,

√

d

n(βb2SLS − β) → N (0, V2SLS ),

ãäå

−1 −1 −1 −1 −1 V2SLS = (Qxz Q−1 zz Qzx ) Qxz Qzz Qe2 zz Qzz Qzx (Qxz Qzz Qxz ) . Îñîáûì ñëó÷àåì ÿâëÿåòñÿ ñëó÷àé óñëîâíîé ãîìîñêåäàñòè÷íîñòè, êîãäà

σ 2 = const. ïîñêîëüêó

E[e2 |z] =

 ýòîì ñëó÷àå àñèìïòîòè÷åñêàÿ äèñïåðñèîííàÿ ìàòðèöà óïðîùàåòñÿ,

Qe2 zz = σ 2 Qzz : −1 V2SLS = σ 2 (Qxz Q−1 zz Qzx ) .

Çàìåòèì, ÷òî íåñìîòðÿ íà ïðèñóòñòâèå äâóõ øàãîâ â íàçâàíèè, îöåíêó ìîæíî ïîäñ÷èòàòü ñðàçó ïî îäíîé ôîðìóëå.  òî æå âðåìÿ ïîíèìàíèå å¼ äâóõøàãîâîé ïðèðîäû ïîìîãàåò â íåêîòîðûõ ñëó÷àÿõ ëó÷øå îðèåíòèðîâàòüñÿ â ñâîéñòâàõ îöåíêè. Àíàëîãè÷íî ñëó÷àþ òî÷íîé èäåíòèôèêàöèè, ïðè ñâåðõèäåíòèôèêàöèè íåîáõîäèìî, ÷òîáû ðàíã ìàòðèöû

Qxz

áûë ðàâåí êîëè÷åñòâó ðåãðåññîðîâ

k:

rank(Qxz ) = k. Çàìå÷àíèå. Îöåíêó èäåíòèôèêàöèåé :

βb2SLS

βb2SLS = Çäåñü

ξi

n X

ìîæíî âûðàçèòü êàê èíñòðóìåíòàëüíóþ îöåíêó ñ òî÷íîé

ξi x0i

i=1

!−1

n X

ξi yi ,

ξi =

i=1

n X

xj zj0

j=1

n X

zj zj0

!−1

zi .

j=1

 òðàíñôîðìèðîâàííûå èíñòðóìåíòû. Íî ñ òî÷êè çðåíèÿ àñèìïòîòè÷åñêîé

ýôôåêòèâíîñòè òàêàÿ òðàíñôîðìàöèÿ íåîïòèìàëüíà.

4

Íåïîëíàÿ èäåíòèôèêàöèÿ

Åñëè ìàòðèöà

Qzx

èìååò ðàíã ìåíüøå

k,

òî óñëîâèå èäåíòèôèêàöèè íå âûïîëíåíî.

 èíñòðóìåíòàõ íå õâàòàåò èíôîðìàöèè, ñïîñîáíîé îäíîçíà÷íî èäåíòèôèöèðîâàòü ïàðàìåòð.  ýòîì ñëó÷àå èíñòðóìåíòàëüíûå îöåíêè áóäóò èìåòü íåïðèÿòíûå àñèìïòîòè÷åñêèå ñâîéñòâà.

Ïðèìåð. Ðàññìîòðèì ñëåäóþùóþ ìîäåëü :

l = k = 1,

y = βx + e,

E[e|z] = 0,

49

E[xz] = 0.

Ïîñëåäíåå ðàâåíñòâî îçíà÷àåò, ÷òî ðàíã

Qxz

ðàâåí 0, ò.å. íå âûïîëíåíî óñëîâèå ðå-

ëåâàíòíîñòè èíñòðóìåíòîâ. Ñîãëàñíî öåíòðàëüíîé ïðåäåëüíîé òåîðåìå èìååò ìåñòî ñîâìåñòíàÿ ñõîäèìîñòü :

n

n

1 X d √ zi xi → N (0, Qz2 x2 ). n i=1

1 X d √ zi ei → N (0, Qz2 e2 ), n i=1

Òàêèì îáðàçîì, èíñòðóìåíòàëüíàÿ îöåíêà óæå íå áóäåò àñèìïòîòè÷åñêè íîðìàëüíîé :

βbIV ãäå

D

P zi yi =P =β+ zi xi

√1 n √1 n

P

i zi ei

P

i zi xi

d

→ β + D,

 íåêîå íåãàóññîâñêîå ðàñïðåäåëåíèå ñ òÿæ¼ëûìè õâîñòàìè. Òàêèì îáðàçîì,

àñèìïòîòè÷åñêîå ðàñïðåäåëåíèå îöåíêè íå ÿâëÿåòñÿ àñèìïòîòè÷åñêè íîðìàëüíûì è äàæå íå èìååò êîíå÷íîãî ñðåäíåãî. Åñëè ó íàñ åñòü ïîäîçðåíèå, ÷òî èíñòðóìåíòû íåðåëåâàíòíûå, ñòîèò âíà÷àëå ïðîòåñòèðîâàòü ãèïîòåçó :

H0 : E[xz] = 0,

è åñëè ýòà ãèïîòåçà îòâåðãàåòñÿ, òî èíñòðóìåíò

íàä¼æíûé. Íà ïðàêòèêå ÷àùå âñåãî ðóêîâîäñòâóþòñÿ çíà÷åíèåì F-ñòàòèñòèêè ïðè ëèíåéíîé ðåãðåññèè

5

x

íà

z.

Áóòñòðàïèðîâàíèå èíñòðóìåíòàëüíûõ îöåíîê

Ïðîöåäóðà áóòñòðàïà äëÿ èíñòðóìåíòàëüíûõ îöåíîê ïðàêòè÷åñêè íè÷åì íå îòëè÷àåòñÿ îò ïîñòðîåíèÿ áóòñòðàïîâñêîãî ðàñïðåäåëåíèÿ äëÿ îáû÷íîé ñòàòèñòèêè îò íåçàâèñèìûõ íàáëþäåíèé. Åñòü, ïðàâäà, òîíêèé ìîìåíò â ñëó÷àå ñâåðõèäåíòèôèêàöèè.

Ñëó÷àé

l = k. βbIV =

X

zi x0i

−1 X

zi yi ,

∗ βbIV =

X

zi∗ x∗0 i

−1 X

zi∗ yi∗ .

Åñëè îöåíêà àñèìïòîòè÷åñêîé äèñïåðñèîííîé ìàòðèöà âûãëÿäèò êàê

VbIV = n

X

zi x0i

−1 X

zi zi0 eb2i

X

xi zi0

−1

,

Òî å¼ áóòñòðàïîâñêèé àíàëîã 

∗ VbIV =n

Ñëó÷àé

l > k.

X

zi∗ x∗0 i

−1 X

zi∗ zi∗0 eb∗2 i

X

x∗i zi∗0

−1

.

Çàìåòèì, ÷òî õîòÿ â ïîïóëÿöèè âûïîëíåíî óñëîâèå

âûáîðêå îíî íàðóøàåòñÿ, èáî

n

1X zi ebi 6= 0. n i=1

50

E[ze] = 0,

â

Ïîýòîìó ïðè áóòñòðàïå íóæíî ïîìíèòü ïðî ðåöåíòðèðîâàíèå. Èòàê, èíñòðóìåíòàëüíàÿ îöåíêà åñòü

βb2SLS = (. . .)−1

X

xi zi0

X

zi zi0

−1 X

zi yi ,

à å¼ áóòñòðàïîâñêèé àíàëîã 

∗ βb2SLS = (. . .∗ )−1

X

x∗i zi∗0

X

zi∗ zi∗0

−1 X

zi∗ yi∗ −

X

Ñîîòâåòñòâåííî,

Vb2SLS = n(. . .)−1

X

xi zi0

X

zi zi0

−1 X

zi zi0 eb2i

X

zi zi0

 zi ebi .

−1 X

zi x0i (. . .)−1 ,

−1 X X −1 X X X ∗ −1 ∗ ∗0 ∗ zi∗ x∗0 z z u∗i u∗0 zi∗ zi∗0 = n(. . .∗ )−1 x∗i zi∗0 Vb2SLS i (. . . ) . i i i P ∗ ∗ ∗ Çäåñü ui = zi e bi − n1 nj=1 zj ebj . 6

Èíñòðóìåíòàëüíûå ïåðåìåííûå âî âðåìåííûõ ðÿäàõ

Ðàññìîòðèì ñëåäóþùóþ ìîäåëü âðåìåííîãî ðÿäà :

yt = x0t β + et ,

E[et |It−1 ] = 0,

It−1 = {yt−1 , yt−2 . . . ; xt , xt−1 , . . .}.

Âîçüì¼ì âåêòîð èíñòðóìåíòîâ

zt = (yt−1 , yt−2 , . . . , yt−ly , x0t , x0t−1 , . . . , x0t−lx )0 . Îí âàëèäíûé, ò.ê. âñå ýëåìåíòû ïðèíàäëåæàò

It−1 ,

è

E[et |zt ] = E[E[et |It−1 ]|zt ] = 0. Ïðè òàêèì îáðàçîì âûáðàííîì èíñòðóìåíòå èíñòðóìåíòàëüíàÿ îöåíêà

βb2SLS

ñîâ-

ïàäàåò ñ ÌÍÊ-îöåíêîé (óïðàæíåíèå : ïî÷åìó ?), è, ñîîòâåòñòâåííî, îáëàäàåò òåìè æå ñâîéñòâàìè. Ïîýòîìó â äàííîé çàäà÷å îáûñíî èñïîëüçóþò ðàñøèðåíèå èíñòðóìåíòàëüíûõ îöåíîê  îöåíêè îáîáùåííîãî ìåòîäà ìîìåíòîâ. Òî æå ñàìîå ñïðàâåäëèâî è â áîëåå îáùåé ìîäåëè, äîïóñêàþùåé àâòîêîððåëÿöèþ îøèáîê :

yt = x0t β + et ,

VI 1

E[et |It−q ] = 0,

zt = {yt−q , . . . , yt−ly , x0t , . . . , x0t−lx }0 .

Îöåíèâàíèå íåëèíåéíîé ðåãðåññèè ñðåäíåãî Íåëèíåéíîñòü ïî îòíîøåíèþ ê ðåãðåññîðàì

Ïóñòü óñëîâíîå ñðåäíåå

E[y|x] = g(x, β) äëÿ íåêîòîðîé íåëèíåéíîé ôóíêöèè g(·, ·). Â

ýòîì ñëó÷àå ìû èìååì äåëî ñ íåëèíåéíîé ìîäåëüþ. Òåì íå ìåíåå, ñóùåñòâóþò ñëó÷àè íåëèíåéíîñòåé, ñâîäÿùèåñÿ ê ëèíåéíîìó ñëó÷àþ ñ ïîìîùüþ òðàíñôîðìàöèé.

51

Ïóñòü

g(x, β) íåëèíåéíà ïî ðåãðåññîðàì x è ëèíåéíà ïî ïàðàìåòðàì β , òîãäà ìîæíî

âûïîëíèòü òàêóþ òðàíñôîðìàöèþ

x → z,

÷òî

E[y|z] = z 0 β .

Ïðèìåð 1. Ïóñòü óñëîâíîå ñðåäíåå âûðàæàåòñÿ íåëèíåéíîé ôóíêöèåé îò ðåãðåññîðîâ ñëåäóþùåãî âèäà :

g(x, β) = β0 + β1 x1 + β2 x2 + β3 x1 x2 + β4 x21 + β5 x22 . Òîãäà ïîäõîäÿùåé òðàíñôîðìàöèåé áóäåò :

z = (1, x1 , x2 , x1 x2 , x21 , x22 )0 . Ïðèìåð 2. Óñëîâíîå ñðåäíåå âûðàæàåòñÿ íåëèíåéíîé ôóíêöèåé ðåãðåññîðîâ ñëåäóþùåãî âèäà :

g(x, β) = β0 + β1 x + β2 x2 + · · · + βp xp . Ñîîòâåòñòâóþùàÿ òðàíñôîðìàöèÿ ðåãðåññîðîâ :

z = (1, x, . . . , xp ). Íåîáõîäèìî îòìåòèòü î ñëîæíîñòè â èíòåðïðåòàöèè êîýôôèöèåíòîâ. Ìàðæèíàëüíîå âëèÿíèå ðåãðåññîðà

x

åñòü

∂g(x, β) = β1 + 2β2 x + · · · + pβp xp−1 . ∂x Íåÿñíî, êàêîå

x ïîäñòàâëÿòü â äàííóþ ôîðìóëó, ÷òîáû ïîëó÷èòü ÷èñëåííîå çíà÷åíèå.

Ìîæíî îöåíèòü â êàêîì-òî êîíêðåòíîì èëè èñïîëüçîâàòü ñðåäíåå çíà÷åíèå ìèðîâàííûõ ðåãðåññîðîâ

x, êîòîðîå îïðåäåëÿåòñÿ èç êîíòåêñòà çàäà÷è,

x, èëè æå îöåíèòü â ñðåäíèõ çíà÷åíèÿ òðàíñôîð-

x, x2 , . . . , xp−1 .  ëþáîì ñëó÷àå, êîýôôèöèåíòû β1 , β2 , . . . , βp

ñàìè ïî ñåáå íå èìåþò ýêîíîìè÷åñêîãî ñìûñëà. Èìååò ñìûñë òîëüêî èõ îïðåäåë¼ííûå êîìáèíàöèè. Ëèíåéíûìè ïî-ñóùåñòâó ìîäåëÿìè íàçûâàþòñÿ òàêèå, êîòîðûå, íåñìîòðÿ íà îáìàí÷èâóþ íåëèíåéíîñòü, ìîæíî ïðåîáðàçîâàòü ê ëèíåéíîìó âèäó. Ðàññìîòðèì òàêîé ïðèìåð :

y = AK α L1−α exp(e),

E[e|A, K, L] = 0.

Çäåñü ëîãàðèôìè÷åñêàÿ òðàíñôîðìàöèÿ ìîäåëè ñâîäèò åå ê ëèíåéíîìó ñëó÷àþ :

E[log Y | log A, log K, log L] = log A + α log K + (1 − α) log L.

52

2

Íåëèíåéíûå ðåãðåññèîííûå ìîäåëè

 äàííîé ãëàâå ìû ðàññìîòðèì íåëèíåéíûå ìîäåëè, êîòîðûå íå ïðèâîäÿòñÿ ê ëèíåéíûì, ò.å.

E[y|x] = g(x0 β) 6= z 0 β äëÿ ëþáîé ôóíêöèè

z(x).

Ïðèìåðû.

• g(x, β) = β1 + β2

x 1 + β3 x

• g(x, β) = β1 + β2 eβ3 x • g(x, β) = (β1 + β2 x1 )1[x2 ≤ β3 ] + (β4 + β5 x1 )1[x2 > β3 ] Ïóñòü ôóíêöèÿ

g(x, β)

äèôôåðåíöèðóåìà ïî îáîèì àðãóìåíòàì.

Îïðåäåëåíèå. Âåëè÷èíà

∂g(x, β) = gβ (x, β) ∂β 0

íàçûâàåòñÿ

êâàçèðåãðåññîðîì .

 îáû÷íîé ëèíåéíîé ðåãðåññèè

g(x, β) = x0 β

⇒

ò.å. êâàçèðåãðåññîð íå çàâèñèò îò ïàðàìåòðà

gβ (x) = x, β.

Îäíàêî â îáùåì ñëó÷àå êâàçèðå-

ãðåññîðû çàâèñÿò îò ïàðàìåòðîâ ìîäåëè. Ýòîò ôàêò óñëîæíÿåò îïðåäåë¼ííûå ýòàïû îöåíèâàíèÿ è èíôåðåíöèè.

3

Îöåíèâàíèå íåëèíåéíûì ìåòîäîì íàèìåíüøèõ êâàäðàòîâ

Íàì èçâåñòíî, ÷òî ïàðàìåòð

β

åñòü ðåøåíèå ìèíèìèçàöèîííîé çàäà÷è

β = arg minE[(y − g(x, b))2 ]. b

Èñïîëüçóÿ ïðèíöèï àíàëîãèé, ïîëó÷èì îöåíêó

äðàòîâ (ÍÌÍÊ) :

íåëèíåéíîãî ìåòîäà íàèìåíüøèõ êâà-

n

1X β = arg min (yi − g(xi , b))2 . b n i=1 Óñëîâèå ïåðâîãî ïîðÿäêà åñòü

n

1X b β (xi , β) b = 0. (yi − g(xi , β))g n i=1 ßñíî, ÷òî ÿâíîå àíàëèòè÷åñêîå âûðàæåíèå äëÿ

βb

ïîëó÷èòü â îáùåì ñëó÷àå íåâîç-

ìîæíî, ïîýòîìó äëÿ íàõîæäåíèÿ ÍÌÍÊ-îöåíîê ïîëüçóþòñÿ ÷èñëåííûìè ìåòîäàìè.

53

Ïîëó÷åíèå ÍÌÍÊ-îöåíêè ìåòîäîì êîíöåíòðàöèè. Îäíèì èç ÷èñëåííûõ ìåòîäîâ ïîëó÷åíèÿ ÍÌÍÊ-îöåíêè ÿâëÿåòñÿ ìåòîä êîíöåíòðàöèè. Ðàçäåëèì ïàðàìåòðû çàäà÷è íà äâå ãðóïïû, óäîâëåòâîðÿþùèå óñëîâèÿì

β = (γ10 , γ20 )0 ,

g(x, β) = γ10 x(γ2 ).

Ãðóáî ãîâîðÿ, óñëîâíîå ñðåäíåå ëèíåéíî ïî ïàðàìåòðàì ðàì

γ1

è íåëèíåéíî ïî ïàðàìåò-

γ2 . Êðîìå òîãî, ïðåäïîëàãàåòñÿ, ÷òî ÷èñëî ïàðàìåòðîâ γ2 íåâåëèêî, ÷òîáû ìîæíî

áûëî áûñòðî áåãàòü ïî èõ ñåòêå.

Ïðèìåð.  êà÷åñòâå ïðèìåðà ïðèâåäåì ñëåäóþùóþ ìîäåëü :

g(x, β) = β1 + β2 eβ3 x . Òîãäà ñîîòâåòñòâóþùåå ðàçäåëåíèå ïàðàìåòðîâ ñëåäóþùåå :

γ1 = (β1 , β2 )0 ,

γ2 = β3

⇒

x(γ2 ) = (1, eβ3 x )0 .

 ïîäîáíûõ ñëó÷àÿõ èñïîëüçóåòñÿ äâóõóðîâíåâàÿ ïðîöåäóðà îöåíèâàíèÿ ïàðàìåòðîâ :

# n X 1 βb = arg min min (yi − γ10 xi (γ2 ))2 . γ n 1 γ2 i=1 "

1. Ïðè ôèêñèðîâàííîì ïàðàìåòðå

γ2

ïàðàìåòð

γ b1 (γ2 ) = (X 0 (γ2 )X(γ2 ))−1 X 0 (γ2 )Y,

γ1

îöåíèâàåòñÿ ñ ïîìîùüþ ÌÍÊ :

X(γ2 ) = (x1 (γ2 ), . . . , x2 (γ2 ))0 .

2. ×èñëåííî ðåøàåòñÿ îïòèìèçàöèîííàÿ çàäà÷à

"

# n 1X (yi − γ b10 xi (γ2 ))2 . γ b2 = arg min γ2 n i=1 Ïîñêîëüêó ðàçìåðíîñòü

γ2

ìàëåíüêàÿ, òî îïòèìóì ëåãêî íàõîäèòñÿ íà ñåòêå.

Ïðèâåäåì àëãîðèòì ìåòîäà êîíöåíòðàöèè.

•

Äëÿ ïàðàìåòðà

•

Äëÿ êàæäîãî

γ2

γ2

íà íåêîòîðîì èíòåðâàëå

íà ýòîé ñåòêå îöåíèâàåòñÿ

1 åòñÿ öåëåâîå çíà÷åíèå n

•

Èç âñåõ çíà÷åíèé

γ2

Pn

i=1 (yi

0

[γ 2 , γ 2 ] γ b1 (γ2 ) 2

−γ b1 (γ2 ) xi (γ2 ))

ñòðîèòñÿ ñåòêà.

ñ ïîìîùüþ ÌÍÊ è âû÷èñëÿ-

.

íà ñåòêå âûáèðàåòñÿ òî, äëÿ êîòîðîãî öåëåâîå çíà÷åíèå

íàèìåíüøåå.

54

•

Åñëè íåîáõîäèìî, â îêðåñòíîñòè ïîëó÷åííîãî çíà÷åíèÿ

γ2 ñòðîèòñÿ áîëåå ìåëêàÿ

ñåòêà, è ïðîöåäóðà ïîâòîðÿåòñÿ.

Ïîëó÷åíèå ÍÌÍÊ-îöåíêè ìåòîäîì ëèíåàðèçàöèè. Äðóãèì ÷èñëåííûì ìåòîäîì ïîëó÷åíèÿ ÍÌÍÊ-îöåíêè ÿâëÿåòñÿ ëèíåàðèçàöèÿ óñëîâèÿ ïåðâîãî ïîðÿäêà. Äîïóñòèì, ÷òî

βb1

 íà÷àëüíîå ïðåäïîëîæåíèå î ÷èñëåííîì çíà÷åíèè îöåíèâàåìûõ

ïàðàìåòðîâ. Òîãäà ñ ïîìîùüþ ëèíåàðèçàöèè ïðåäëàãàåòñÿ èòåðàòèâíàÿ ïðîöåäóðà ïåðåõîäà ìàëîãî

βbj → βbj+1 .

Ýòà ïðîöåäóðà ïðîäîëæàåòñÿ äî òåõ ïîð, ïîêà äëÿ äîñòàòî÷íî

ε íå áóäåò âûïîëíåíî óñëîâèå |βbj+1 −βbj | < ε. Áîëåå äåòàëüíî : ëèíåàðèçîâàííîå

óñëîâèå ïåðâîãî ïîðÿäêà äëÿ ÍÌÍÊ-îöåíêè åñòü

n

1X (yi − g(xi , βbj ) − gβ (xi , βbj )(βbj+1 − βbj ))gβ (xi , βbj ) ≈ 0. n i=1 Ââîäÿ îáîçíà÷åíèå

dj =

n X i=1

gβ (xi , βbj )gβ (xi , βbj )0

!−1

n X i=1

gβ (xi , βbj )(yi − g(xi , βbj )),

èìååì èòåðàòèâíóþ ïðîöåäóðó â âèäå

Åñëè

dj

βbj+1 = βbj + dj . ñëèøêîì âåëèêî (ïðîöåäóðà íå ñõîäèòñÿ), òî âûáèðàåòñÿ íåêîòîðîå

λj ∈ [0, 1],

òàêîå, ÷òîáû öåëåâàÿ ôóíêöèÿ áûëà ìèíèìàëüíîé, à ïðîöåäóðà ìîäèôèöèðóåòñÿ êàê

βbj+1 = βbj + λj dj . 4

Àñèìïòîòè÷åñêèå ñâîéñòâà ÍÌÍÊ-îöåíêè

Îïðåäåëåíèå. Ãîâîðÿò, ÷òî çàäà÷à óäîâëåòâîðÿåò óñëîâèþ

b=β

òîãäà è òîëüêî òîãäà, êîãäà

g(x, β) = g(x, b)

èäåíòèôèêàöèè ,

åñëè

ñ âåðîÿòíîñòüþ 1.

Åñëè ýòî óñëîâèå âûïîëíåíî, òî ââèäó òîæåñòâà

E[(y − g(x, b))2 ] = E[(y − g(x, β))2 ] + E[(g(x, β) − g(x, b))2 ] ìèíèìèçàòîð ëåâîé ÷àñòè ðàâåí èñòèííîìó çíà÷åíèþ ïàðàìåòðà

β

è îïðåäåë¼í îä-

íîçíà÷íî.

Ïðèìåðû.

•

Ðàññìîòðèì ëèíåéíóþ ìîäåëü. Ïóñòü ìàòðèöà ãäà ïðè

β 6= b

Qxx = E[xx0 ]

âûïîëíÿåòñÿ ñîîòíîøåíèå :

E[(x0 β − x0 b)2 ] = (β − b)0 Qxx (β − b) > 0. Ñëåäîâàòåëüíî,

x0 β 6= x0 b

ñ âåðîÿòíîñòüþ 1.

55

íåâûðîæäåíà. Òî-

•

Ðàññìîòðèì òåïåðü ïðèìåð, ãäå íåò èäåíòèôèêàöèè :

g(x, β) = β1 + β2 eβ4 +β3 x = β1 + elog β2 +β4 +β3 x . Èäåíòèôèöèðîâàòü ïàðàìåòðû

β2

è

β4

îäíîâðåìåííî íåâîçìîæíî.

Îïðåäåëåíèå. Ïîñëåäîâàòåëüíîñòü ñëó÷àéíûõ ôóíêöèé

{zi (θ)}ni=1

óäîâëåòâîðÿåò

ðàâíîìåðíîìó çàêîíó áîëüøèõ ÷èñåë (ÐÇÁ×), åñëè

n

n

1X 1X p supk zi (θ) − p lim zi (θ)k → 0. n i=1 n i=1 θ Ëåììà. Åñëè ïîñëåäîâàòåëüíîñòü

{zi (θ)}ni=1

óäîâëåòâîðÿåò ÐÇÁ× è

n

n

1X b p 1X zi (θn ) → p lim zi (θ). n i=1 n i=1

p θbn → θ,

òî

Äîêàçàòåëüñòâî. Çàïèøåì ïîñëåäîâàòåëüíîñòü íåðàâåíñòâ, âîñïîëüçîâàâøèñü ÐÇÁ× è òåîðåìîé Ìàííà-Âàëüäà :

n

n

1 X

X 1

zi (θbn ) − p lim zi (θ) ≤

n

n i=1

i=1

n n n n

1 X

X X X 1 1 1



≤ zi (θbn ) − p lim zi (θ) + p lim zi (θ) − p lim zi (θ) ≤

n b b

n n n i=1 i=1 i=1 i=1 θn

θn

n n n n

1 X



1X 1X 1X



≤ sup zi (θ) − p lim zi (θ) + p lim zi (θ) − p lim zi (θ)

b

n n n θ n i=1

i=1

i=1

i=1

θn

p

→ 0.

Êàê ñëåäñòâèå, ïðè âûïîëíåíèè ÐÇÁ× äëÿ ñîîòâåòñòâóþùèõ ñëàãàåìûõ èìååì ñîñòîÿòåëüíîñòü ñëåäóþùèõ îöåíîê :

n

X p be2 xx = 1 xi x0i eb2i → Qe2 xx , Q n i=1 ãäå

n

X p b β (xi , β) b0→ bgg = 1 Q gβ (xi , β)g Qgg , n i=1

Qgg = E[gβ (x, β)gβ (x, β)0 ].

Òåîðåìà. Ïóñòü âûïîëíåíû ñëåäóþùèå òðåáîâàíèÿ : 1. Âûïîëíåíî óñëîâèå èäåíòèôèêàöèè ; 2. Ôóíêöèÿ

g(x, β)

äâàæäû íåïðåðûâíî äèôôåðåíöèðóåìà ïî

b;

3. Äëÿ ñëåäóþùèõ ïîñëåäîâàòåëüíîñòåé âûïîëíÿåòñÿ ÐÇÁ× :

(yi − g(xi , β))2 ,

gβ (xi , β)gβ (xi , β)0 ,

56

(yi − g(xi , β))

∂gβ (xi , β) ; ∂β 0

4. Ìàòðèöà

Qgg = E[gβ (x, β)gβ (x, β)0 ]

5. Ìàòðèöà

Qe2 gg = E[gβ (x, β)gβ (x, β)0 e2 ]

íåâûðîæäåíà ; ñóùåñòâóåò.

Òîãäà ÍÌÍÊ-îöåíêà ñîñòîÿòåëüíà è àñèìïòîòè÷åñêè íîðìàëüíà :

p βb → β,

√

d

−1 n(βb − β) → N (0, Q−1 gg Qe2 gg Qgg ).

Äîêàçàòåëüñòâî. 1.

Ñîñòîÿòåëüíîñòü : Äëÿ ëþáîãî

n → ∞,

ε > 0

ñ âåðîÿòíîñòüþ, ñòðåìÿùåéñÿ ê 1 ïðè

èìååì :

n

n

X 1X ε b 2< 1 (yi − g(xi , β)) (yi − g(xi , β))2 + , n i=1 n i=1 3 1 Pn 2 βb ìèíèìèçèðóåò i=1 (yi −g(xi , b)) . Ïîñêîëüêó ÐÇÁ× âûïîëíÿåòñÿ n (yi − g(xi , β))2 ,

ò.ê. îöåíêà äëÿ

n

X b 2] < 1 b 2 + ε. E[(yi − g(xi , β)) (yi − g(xi , β)) n i=1 3 Àíàëîãè÷íî,

n

1X ε (yi − g(xi , β))2 < E[(yi − g(xi , β))2 ] + . n i=1 3 Ñóììèðóÿ ýòè òðè íåðàâåíñòâà, ïîëó÷àåì :

b 2 ] < E[(y − g(xi , β))2 ] + ε. E[(y − g(xi , β)) Òåïåðü îïðåäåëèì ñêîëüêó

β

ε.

Äëÿ ýòîãî âûáåðåì îòêðûòóþ îêðåñòíîñòü

β , N (β).

Ïî-

ðåøàåò çàäà÷ó íà ìèíèìóì, äîëæíî áûòü âûïîëíåíî ñëåäóþùåå ñî-

îòíîøåíèå :

inf E[(y − g(x, b))2 ] > E[(y − g(x, β))].

b∈N (β)c Âûáåðåì ñëåäóþùåå

ε=

ε: inf E[(y − g(x, b))2 ] − E[(y − g(x, β))],

b∈N (β)c

òîãäà âûïîëíåíî ñëåäóþùåå ñîîòíîøåíèå :

b 2] < E[(y − g(x, β)) ÷òî îçíà÷àåò, ÷òî

βb ∈ N (β).

inf E[(y − g(x, b))2 ],

b∈N (β)c

Ñëåäîâàòåëüíî,

57

p βb → β .

2.

Àñèìïòîòè÷åñêàÿ íîðìàëüíîñòü : Ðàçëîæèì óñëîâèå ïåðâîãî ïîðÿäêà â ðÿä Òýéëîðà âîêðóã

β:

n

1X (yi − g(xi , β))gβ (xi , β) + n i=1 " # n b ∂g (x , β) 1X β i b e β (xi , β) e 0 (βb − β) = 0, + (yi − g(xi , β)) − gβ (xi , β)g n i=1 ∂β 0 βe ïîêîìïîíåíòíî. Ñëåäîâàòåëüíî, #)−1 ( n " X b √ ∂g (x , β) 1 β i b e β (xi , β) e0 n(βb − β) = (yi − g(xi , β)) − gβ (xi , β)g × n i=1 ∂β 0 ãäå

β

ëåæèò ìåæäó

β

è

n

1 X d × √ (yi − g(xi , β))gβ (xi , β) → n i=1   −1 ∂gβ (x, β) d 0 → − E (yi − g(xi , β)) − gβ (x, β)gβ (x, β) N (0, Qe2 gg ) ∂β 0
−1 2 qq Q = N Q−1 Q e gg gg . Òåîðåìà äîêàçàíà. Ðàññìîòðèì ñïåöèàëüíûé ñëó÷àé óñëîâíîé ãîìîñêåäàñòè÷íîñòè :

E[e2 |x] = σ 2 = const. Êàê è äëÿ ëèíåéíîé ìîäåëè, èìååò ìåñòî óïðîùåíèå :

Qe2 gg = σ 2 Qgg 5

⇒

√

d

n(βb − β) → N (0, σ 2 Q−1 gg ).

Àñèìïòîòè÷åñêàÿ ýôôåêòèâíîñòü è ÂÍÌÍÊ-îöåíêà

ÍÌÍÊ-îöåíêó ìîæíî ðàññìàòðèâàòü êàê àíàëîãîâóþ îöåíêó, ïîëó÷åííóþ èç óñëîâèÿ

E[egβ (x, β)] = 0.

Ìîæíî ïîñòðîèòü äðóãóþ àíàëîãîâóþ îöåíêó, íåñêîëüêî èçìåíèâ

óñëîâèå íåñêîððåëèðîâàííîñòè :

  gβ (x, β) = 0. E e 2 σ (x) Ýòî óñëîâèå ñëåäóåò èõ ðåãðåññèîííîãî ïðåäïîëîæåíèÿ. Ñîãëàñíî ïðèíöèïó àíàëîãèé,

n e 1X e gβ (xi , β) = 0. (yi − g(xi , β)) n i=1 σ 2 (xi )

58

Ðåøåíèå

βe,

ïîëó÷åííîå èç ýòîãî óðàâíåíèÿ, ÿâëÿåòñÿ îöåíêîé âçâåøåííîãî íåëèíåé-

íîãî ìåòîäà íàèìåíüøèõ êâàäðàòîâ (ÂÍÌÍÊ-îöåíêîé). Îíà ðåøàåò ìèíèìèçàöèîííóþ çàäà÷ó

1 βe = arg min b n

n X (yi − g(xi , b))

σ 2 (xi )

i=1

,

ñîñòîÿòåëüíà è àñèìïòîòè÷åñêè íîðìàëüíà :

√

p βe → β,

Q

d

n(βe − β) → N (0, Q−1 gg ), σ2

 gβ (x, β)gβ (x, β)0 =E . σ 2 (x) 

gg σ2

 óñëîâèÿõ óñëîâíîé ãåòåðîñêåäàñòè÷íîñòè ÂÍÌÍÊ-îöåíêà áîëåå àñèìïòîòè÷åñêè ýôôåêòèâíà ïî ñðàâíåíèþ ñ ÍÌÍÊ, òî÷íî òàê æå êàê ÎÌÍÊ ïî ñðàâíåíèþ ñ ÌÍÊ äëÿ ëèíåéíîé ðåãðåññèè. Ìîæíî åù¼ óòâåðæäàòü, ÷òî ÂÍÌÍÊ-îöåíêà

βe

ÿâëÿåòñÿ

àñèìïòîòè÷åñêè ýôôåêòèâíîé â êëàññå îöåíîê, óäîâëåòâîðÿþùèõ óñëîâèþ

n

1X (yi − g(xi , βbIV ))zi = 0, n i=1 ãäå

6

zi

 ïðîèçâîëüíàÿ ôóíêöèÿ îò

xi ,

èìåþùàÿ òó æå ðàçìåðíîñòü

k × 1.

Ïðèëîæåíèå : ìîäåëü áèíàðíîãî âûáîðà

Ðàññìîòðèì ñëåäóþùóþ íåëèíåéíóþ ìîäåëü :

yi =

(

1

x0i β + ei ≥ 0,

0

èíà÷å,

ei |xi ∼ N (0, 1).

Íàéä¼ì ôîðìó ðåãðåññèè :

E[y|x] = P {x0 β + e ≥ 0|x} = P {e ≥ −x0 β|x} = Φ(x0 β). Âèäíî, ÷òî ðåãðåññèÿ íåëèíåéíàÿ. ÍÌÍÊ-îöåíêà â ýòîì ñëó÷àå åñòü

1 βb = arg min b n

n X

(yi − Φ(x0i b))2

i=1

ñ àñèìïòîòè÷åñêèìè ñâîéñòâàìè

p βb → β,

√

d

−1 n(βb − β) → N (0, Q−1 gg Qe2 gg Qgg ),

ãäå

gβ (x, β) = f (x0 β)x,

Qgg = E[f (x0 β)2 xx0 ],

59

Qe2 gg = E[f (x0 β)2 (y − Φ(x0 β))2 xx0 ].

Àñèìïòîòè÷åñêè ýôôåêòèâíàÿ ÂÍÌÍÊ-îöåíêà åñòü

1 βe = arg min b n

n X i=1

èáî

(yi − Φ(x0i b))2 , b − Φ(x0 β)) b Φ(x0 β)(1 i

i

σ 2 (x) = V ar[y|x] = Φ(x0 β)(1 − Φ(x0 β)) 6= const. Âûâåäåì å¼ àñèìïòîòè÷åñêèå ñâîéñòâà :

p βe → β,

7

√

  0, E

d

n(βe − β) → N

0

2

0

f (x β) xx − Φ(x0 β))

Φ(x0 β)(1

−1 !

.

Èíôåðåíöèÿ ïðè íåèäåíòèôèöèðîâàííîñòè íåêîòîðûõ ïàðàìåòðîâ ïðè íóëåâîé ãèïîòåçå

 íåëèíåéíûõ ìîäåëÿõ ìîæåò ñëîæèòüñÿ îñîáàÿ ñèòóàöèÿ, êîãäà òåñòèðîâàíèå ñòàòèñòè÷åñêèõ ãèïîòåç íåñòàíäàðòíî. Ðàññìîòðèì äâà ïðèìåðà.

Ïðèìåð 1. Ðåãðåññèÿ ñ ãëàäêèìè ïîðîãàìè :

1 + e, 1 + ex−β5 ÷òî β3 = β4 = 0

y = (β1 + β2 x) + (β3 + β4 x) Åñëè íóëåâàÿ ãèïîòåçà ñîñòîèò â òîì,

ìîäåëè), òî ïðè ýòîé íóëåâîé ãèïîòåçå ïàðàìåòð

β5

E[e|x] = 0. (ò.å. òåñòèðóåòñÿ ëèíåéíîñü

íåèäåíòèôèöèðóåì.

Ïðèìåð 2. Ðàññìîòðèì ñëåäóþùóþ ðàçíîâèäíîñòü ARCHM ìîäåëè :

yt = β0 + x0t β1 + γσt2 + et ,

E[et |It−1 ] = 0,

E[e2t |It−1 ] = σt2 = α0 + α1 e2t−1 .

Åñëè íóëåâàÿ ãèïîòåçà ñîñòîèò â îòñóòñòâèè ARCH ýôôåêòà, ò.å. íóëåâîé ãèïîòåçå ïàðàìåòð

γ

H0 : α1 = 0,

òî ïðè

íåèäåíòèôèöèðóåì, ò.ê. óñëîâíàÿ äèñïåðñèÿ ïîñòîÿííà

è å¼ âëèÿíèå ïîãëîùàåòñÿ ñâîáîäíûì ÷ëåíîì

β0 .

 òàêèõ ñèòóàöèÿõ ñòàíäàðòíàÿ òåñòîâàÿ ñòàòèñòèêà (íàïðèìåð, t èëè Âàëüäîâñêàÿ) àñèìïòîòè÷åñêè ðàñïðåäåëåíà íå òàê, êàê ìû ïðèâûêëè, ò.å. íå êàê ñòàíäàðòíî íîðìàëüíàÿ èëè õè-êâàäðàò ñëó÷àéíàÿ âåëè÷èíà. Âîò êàê îáû÷íî ðåøàåòñÿ ïîäîáíàÿ ïðîáëåìà. Ïóñòü

β = (β10 , β20 )0 ,

ãäå

β1

èäåíòèôèöèðóåòñÿ ïðè íóëåâîé ãèïîòåçå, à

 íåò. Ïîñòðîèì Âàëüäîâñêóþ ñòàòèñòèêó

W (β2 )

äëÿ âñåõ âîçìîæíûõ çíà÷åíèé

β2 β2 .

Òîãäà ñóï-Âàëüäîâñêàÿ ñòàòèñòèêà

sup W = supW (β2 ) β2 ñõîäèòñÿ ê íåêîòîðîìó íåñòàíäàðòíîìó ðàñïðåäåëåíèþ, êîòîðîå ïîëó÷àþò ñ ïîìîùüþ ñèìóëÿöèé. Ïîìèìî ïðèâåä¼ííûõ âûøå, ïðèìåðàìè ÿâëÿþòñÿ òåñòèðîâàíèå íà ëèíåéíîñòü ñàìîâîçáóæäàþùèõñÿ ïîðîãîâûõ àâòîðåãðåññèé è òåñòèðîâàíèå íà îòñóòñòâèÿ ñòðóêòóðíûõ ñäâèãîâ.

60