Эконометрика для продолжающих

ÝÊÎÍÎÌÅÒÐÈÊÀ ÄËß ÏÐÎÄÎËÆÀÞÙÈÕ Êóðñ ëåêöèé Ñòàíèñëàâ Àíàòîëüåâ Ðîññèéñêàÿ Ýêîíîìè÷åñêàÿ Øêîëà ÊË/2002/004 Ìîñêâà 200220...

Author: Анатольев С.А.

171 downloads 174 Views 457KB Size Report

This content was uploaded by our users and we assume good faith they have the permission to share this book. If you own the copyright to this book and it is wrongfully on our website, we offer a simple DMCA procedure to remove your content from our site. Start by pressing the button below!

Report copyright / DMCA form

DOWNLOAD PDF

ÝÊÎÍÎÌÅÒÐÈÊÀ ÄËß ÏÐÎÄÎËÆÀÞÙÈÕ Êóðñ ëåêöèé Ñòàíèñëàâ Àíàòîëüåâ Ðîññèéñêàÿ Ýêîíîìè÷åñêàÿ Øêîëà ÊË/2002/004

Ìîñêâà 20022003

c

Àíàòîëüåâ Ñòàíèñëàâ Àíàòîëüåâè÷, 2002 ã.

c

Ðîññèéñêàÿ Ýêîíîìè÷åñêàÿ Øêîëà, 2002 ã.

Ñîäåðæàíèå

I

1

Îïèñàíèå êóðñà

. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

5

2

Ðåêîìåíäóåìàÿ ëèòåðàòóðà . . . . . . . . . . . . . . . . . . . . . . . . . .

5

Ïðèáëèæåííûé ïîäõîä ê èíôåðåíöèè

6

1

Ñðàâíåíèå òî÷íîãî è ïðèáëèæåííîãî ïîäõîäîâ

. . . . . . . . . . . . . .

6

2

Êîíöåïöèè àñèìïòîòè÷åñêîé òåîðèè . . . . . . . . . . . . . . . . . . . . .

7

3

Î ïîñëåäîâàòåëüíîñòÿõ ñëó÷àéíûõ âåëè÷èí

. . . . . . . . . . . . . . . .

8

4

Î ïîñëåäîâàòåëüíîñòÿõ ôóíêöèé ñëó÷àéíûõ âåëè÷èí . . . . . . . . . . .

9

5

Ïðåäåëüíûå òåîðåìû äëÿ íåçàâèñèìûõ íàáëþäåíèé . . . . . . . . . . . .

11

6

Àñèìïòîòè÷åñêèå ñòàòèñòè÷åñêèå âûâîäû

12

7

Àñèìïòîòèêà äëÿ ñòàöèîíàðíûõ âðåìåííûõ ðÿäîâ

. . . . . . . . . . . .

13

8

Ââåäåíèå â àñèìïòîòèêó äëÿ íåñòàöèîíàðíûõ ïðîöåññîâ . . . . . . . . .

18

. . . . . . . . . . . . . . . . .

II Áóòñòðàïîâñêèé ïîäõîä

19

1

Ïðèáëèæåíèå èñòèííîãî ðàñïðåäåëåíèÿ áóòñòðàïîâñêèì . . . . . . . . .

19

2

Ïðèáëèæåíèå ñ ïîìîùüþ ñèìóëÿöèé

. . . . . . . . . . . . . . . . . . . .

20

3

Êàêèå ñòàòèñòèêè áóòñòðàïèòü ? . . . . . . . . . . . . . . . . . . . . . . .

21

4

Êîððåêòèðîâêà ñìåùåíèÿ . . . . . . . . . . . . . . . . . . . . . . . . . . .

22

5

Òåñòèðîâàíèå ãèïîòåç ïðè ïîìîùè áóòñòðàïà

. . . . . . . . . . . . . . .

23

6

Àñèìïòîòè÷åñêîå ðàôèíèðîâàíèå

. . . . . . . . . . . . . . . . . . . . . .

24

7

Ïîñòðîåíèå ïñåâäîâûáîðîê ïðè áóòñòðàïå êðîññ-ñåêöèé

. . . . . . . . .

26

8

Ïîñòðîåíèå ïñåâäîâûáîðîê ïðè áóòñòðàïå âðåìåííûõ ðÿäîâ . . . . . . .

27

III Îñíîâíûå ýêîíîìåòðè÷åñêèå ïîíÿòèÿ

28

1

Óñëîâíîå ìàòåìàòè÷åñêîå îæèäàíèå . . . . . . . . . . . . . . . . . . . . .

28

2

Ïðåäñêàçûâàíèå

29

3

Ñâîéñòâà äâóìåðíîãî íîðìàëüíîãî ðàñïðåäåëåíèÿ

4

Ñâîéñòâà ìíîãîìåðíîãî íîðìàëüíîãî ðàñïðåäåëåíèÿ

. . . . . . . . . . .

32

5

Ïðèíöèï àíàëîãèé . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

32

6

Îñíîâíûå ïîíÿòèÿ, ñâÿçàííûå ñ ðåãðåññèåé

33

. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

. . . . . . . . . . . . . . . .

IV Ëèíåéíàÿ ðåãðåññèÿ ñðåäíåãî

31

35

1

Ìåòîä íàèìåíüøèõ êâàäðàòîâ

. . . . . . . . . . . . . . . . . . . . . . . .

2

Àñèìïòîòè÷åñêèå ñâîéñòâà ÌÍÊ-îöåíêè

3

Ñâîéñòâà ÌÍÊ-îöåíêè â êîíå÷íûõ âûáîðêàõ

4

Îáîáùåííûé ìåòîä íàèìåíüøèõ êâàäðàòîâ

3

. . . . . . . . . . . . . . . . . .

35 35

. . . . . . . . . . . . . . .

37

. . . . . . . . . . . . . . . .

38

5

Àñèìïòîòè÷åñêèå ñâîéñòâà ÎÌÍÊ-îöåíîê

. . . . . . . . . . . . . . . . .

39

6

Äîñòóïíàÿ ÎÌÍÊ-îöåíêà . . . . . . . . . . . . . . . . . . . . . . . . . . .

41

7

Ðåãðåññèÿ ñ íåñëó÷àéíîé âûáîðêîé

. . . . . . . . . . . . . . . . . . . . .

43

8

ÌÍÊ è ÎÌÍÊ â ðåãðåññèÿõ íà âðåìåííûõ ðÿäàõ . . . . . . . . . . . . .

43

V Ëèíåéíûå ìîäåëè ñ èíñòðóìåíòàëüíûìè ïåðåìåííûìè

46

1

Ýíäîãåííûå ïåðåìåííûå

. . . . . . . . . . . . . . . . . . . . . . . . . . .

46

2

Òî÷íàÿ èäåíòèôèêàöèÿ . . . . . . . . . . . . . . . . . . . . . . . . . . . .

47

3

Ñâåðõèäåíòèôèêàöèÿ

. . . . . . . . . . . . . . . . . . . . . . . . . . . . .

48

4

Íåïîëíàÿ èäåíòèôèêàöèÿ . . . . . . . . . . . . . . . . . . . . . . . . . . .

49

5

Áóòñòðàïèðîâàíèå èíñòðóìåíòàëüíûõ îöåíîê

50

6

Èíñòðóìåíòàëüíûå ïåðåìåííûå âî âðåìåííûõ ðÿäàõ

. . . . . . . . . . . . . . . . . . . . . . . . . .

VI Îöåíèâàíèå íåëèíåéíîé ðåãðåññèè ñðåäíåãî

51

51

1

Íåëèíåéíîñòü ïî îòíîøåíèþ ê ðåãðåññîðàì

. . . . . . . . . . . . . . . .

51

2

Íåëèíåéíûå ðåãðåññèîííûå ìîäåëè

. . . . . . . . . . . . . . . . . . . . .

53

3

Îöåíèâàíèå íåëèíåéíûì ìåòîäîì íàèìåíüøèõ êâàäðàòîâ

4

Àñèìïòîòè÷åñêèå ñâîéñòâà ÍÌÍÊ-îöåíêè

5

Àñèìïòîòè÷åñêàÿ ýôôåêòèâíîñòü è ÂÍÌÍÊ-îöåíêà

. . . . . . . . . . .

58

6

Ïðèëîæåíèå : ìîäåëü áèíàðíîãî âûáîðà . . . . . . . . . . . . . . . . . . .

59

7

Èíôåðåíöèÿ ïðè íåèäåíòèôèöèðîâàííîñòè íåêîòîðûõ ïàðàìåòðîâ ïðè

. . . . . . . .

53

. . . . . . . . . . . . . . . . .

55

íóëåâîé ãèïîòåçå . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

4

60

Ââåäåíèå 1

Îïèñàíèå êóðñà

Êóðñ ñëóæèò ââåäåíèåì â ïðèíöèïû ñîâðåìåííîãî èñêóññòâà ýêîíîìåòðè÷åñêîãî îöåíèâàíèÿ è ïîñòðîåíèÿ ñòàòèñòè÷åñêèõ âûâîäîâ (èíôåðåíöèè) êàê äëÿ êðîññ-äàííûõ, òàê è äëÿ âðåìåííûõ ðÿäîâ. Íåóäîâëåòâîðåííîñòü òî÷íûì ïîäõîäîì çàñòàâëÿåò íàñ ðàññìîòðåòü äâå àëüòåðíàòèâû : àñèìïòîòè÷åñêèé è áóòñòðàïîâñêèé ïîäõîäû. Ïîñëå èçó÷åíèÿ âàæíûõ ýêîíîìåòðè÷åñêèõ òîíêîñòåé îáîèõ ïîäõîäîâ êóðñ êîíöåíòðèðóåòñÿ íà ïîñòðîåíèè îöåíîê â ëèíåéíûõ ìîäåëÿõ è èçó÷åíèè èõ ñâîéñòâ. Òåì íå ìåíåå, çàêëþ÷èòåëüíàÿ ÷àñòü êóðñà ïîñâÿùåíà ïðîñòûì íåëèíåéíûì ìîäåëÿì è ìåòîäàì. Àêöåíò äåëàåòñÿ íà êîíöåïòóàëüíóþ ñîñòàâëÿþùóþ, íåæåëè íà ìàòåìàòè÷åñêóþ ñëîæíîñòü, õîòÿ ïîñëåäíÿÿ èíîãäà íåèçáåæíà. Äîìàøíèå çàäàíèÿ ïî êóðñó ñîäåðæàò êàê òåîðåòè÷åñêèå çàäà÷è, òàê è ïðàêòè÷åñêèå çàäàíèÿ, ïîäðàçóìåâàþùèå èñïîëüçîâàíèå ïàêåòà GAUSS. Çàäàíèÿ ñëóæàò âàæíûì èíãðåäèåíòîì îáó÷àþùåãî ïðîöåññà, â êîòîðîì ÷àñòî áóäóò âñòðå÷àòüñÿ òåîðåòè÷åñêèå è ýìïèðè÷åñêèå ïðèìåðû. Âûðàæàþ áëàãîäàðíîñòü Ñåì¼íó Ïîëáåííèêîâó çà ïîäãîòîâêó ÷åðíîâîé âåðñèè êîíñïåêòîâ, Ëþäìèëå Ñîëíöåâîé çà òåõíè÷åñêóþ ïîìîùü, è ñòóäåíòàì Ðîññèéñêîé Ýêîíîìè÷åñêîé Øêîëû çà çàìå÷àíèÿ è íàéäåííûå íåäî÷¼òû. Ìàòåðèàë ïîäãîòîâëåí â ðàìêàõ ïðîåêòà Ñîâåðøåíñòâîâàíèå ïðåïîäàâàíèÿ ñîöèàëüíî-ýêîíîìè÷åñêîãî îáðàçîâàíèÿ â ÂÓÇàõ, ôèíàíñèðóåìîãî Âñåìèðíûì Áàíêîì è ðåàëèçóåìîãî Íàöèîíàëüíûì Ôîíäîì Ïîäãîòîâêè Êàäðîâ (ÍÔÏÊ).

2

Ðåêîìåíäóåìàÿ ëèòåðàòóðà 1. Anatolyev, Stanislav

lutions ,

Intermediate and Advanced Econometrics : Problems and So-

Lecture Notes series, New Economic School, 2002

2. Hayashi, Fumio

Econometrics ,

3. Goldberger, Arthur 4. Greene, William

Princeton University Press, 2000

A Course in Econometrics ,

Econometric Analysis ,

5. Potcher, Benedikt and Prucha, Ingmar

Harvard University Press, 1991

Prentice Hall, 4th edition, 2000

Basic elements of asymptotic theory ,

in :

A

Companion to Theoretical Econometrics , edited by Baltagi, B., Blackwell Publishers, 2001 6. Horowitz, Joel

The bootstrap , in : Handbook of Econometrics , vol. 5, Elsevier Science,

North-Holland, 2001

5

I

Ïðèáëèæåííûé ïîäõîä ê èíôåðåíöèè

1

Ñðàâíåíèå òî÷íîãî è ïðèáëèæåííîãî ïîäõîäîâ

Ïðè ýìïèðè÷åñêîì àíàëèçå äàííûõ âîçíèêàåò ñèòóàöèÿ, êîãäà ýêîíîìåòðèñò, èìåÿ òî÷å÷íóþ îöåíêó íåêîòîðîãî ïàðàìåòðà, õî÷åò èçó÷èòü åå ñòàòèñòè÷åñêèå ñâîéñòâà. Äëÿ ýòîãî åìó íåîáõîäèìî çíàòü ðàñïðåäåëåíèå ïîëó÷åííîé îöåíêè. Çíàòü ðàñïðåäåëåíèå âñåãäà íåîáõîäèìî äëÿ ïîñòðîåíèÿ äîâåðèòåëüíûõ èíòåðâàëîâ è òåñòèðîâàíèÿ ñòàòèñòè÷åñêèõ ãèïîòåç. Ñóùåñòâóþò äâà ïîäõîäà ê âîïðîñó î ðàñïðåäåëåíèè îöåíèâàåìîãî ïàðàìåòðà :

Òî÷íûé ïîäõîä

òî÷íûé

è

ïðèáëèæåííûé .

îñíîâàí íà ïðåäïîëîæåíèè îá èçâåñòíîñòè âèäà ðàñïðåäåëåíèÿ

äàííûõ. Îñòà¼òñÿ ëèøü òðàíñôîðìèðîâàòü åãî â ðàñïðåäåëåíèå ïîñòðîåííîé ñòàòèñòèêè.

Ïðèìåð. Ïóñòü óñëîâíîå íà ìàëüíûì ñî ñðåäíèì

Xβ

X

ðàñïðåäåëåíèå âåêòîðà

è äèñïåðñèåé

2

σ In ,

Y

áóäåò ìíîãîìåðíûì íîð-

ò.å.

Y |X ∼ N (Xβ, σ 2 In ). Òîãäà ÌÍÊ-îöåíêà òîæå èìååò íîðìàëüíîå óñëîâíîå ðàñïðåäåëåíèå :

βbOLS = (X 0 X)−1 X 0 Y |X ∼ N (β, σ 2 (X 0 X)−1 ). Íåäîñòàòêè òî÷íîãî ïîäõîäà äîñòàòî÷íî î÷åâèäíû.

Âî-ïåðâûõ ,

÷òîáû èñïîëüçî-

âàòü òî÷íûé ïîäõîä, íåîáõîäèìî ñäåëàòü ïðåäïîëîæåíèå î âèäå ðàñïðåäåëåíèÿ äàííûõ.

Âî-âòîðûõ , òî÷íûé ïîäõîä îáû÷íî îãðàíè÷èâàåòñÿ èñïîëüçîâàíèåì íîðìàëüíî-

ãî ðàñïðåäåëåíèÿ, ëèíåéíûõ ìîäåëåé è ïðîñòûõ ñòàòèñòèê, èáî â ïðîòèâíîì ñëó÷àå àíàëèòè÷åñêèé âûâîä ðàñïðåäåëåíèÿ èíòåðåñóþùåé íàñ ñòàòèñòèêè îáû÷íî ñòàíîâèòñÿ î÷åíü òðóäîåìêîé èëè âîîáùå íåïîñèëüíîé çàäà÷åé.

Ïðèáëèæåííûé ïîäõîä

îñíîâàí íà àïïðîêñèìàöèè èñòèííîãî ðàñïðåäåëåíèÿ

èññëåäóåìîé ñòàòèñòèêè. Â íàñòîÿùåå âðåìÿ ñóùåñòâóþò äâà ìåòîäà â ïðèáëèæåííîì ïîäõîäå : Èäåÿ

àñèìïòîòè÷åñêèé

è

áóòñòðàïîâñêèé .

àñèìïòîòè÷åñêîãî ìåòîäà

â òîì, ÷òîáû äëÿ ïîñòðîåíèÿ ïðèáëèæåííîãî ðàñ-

ïðåäåëåíèÿ ñòàòèñòèêè èñïîëüçîâàòü ïðåäåëüíîå (ïðè ñòðåìëåíèè ðàçìåðà âûáîðêè ê áåñêîíå÷íîñòè) ðàñïðåäåëåíèå âûáîðî÷íûõ ñðåäíèõ. Íåñîìíåííûì äîñòîèíñòâîì òàêîãî ïîäõîäà ÿâëÿåòñÿ òîò ôàêò, ÷òî èñïîëüçóåìûå ïðåäåëüíûå ðàñïðåäåëåíèÿ îáû÷íî ÿâëÿþòñÿ ñòàíäàðòíûìè è çàòàáóëèðîâàííûìè. Ñ äðóãîé ñòîðîíû, àñèìïòîòè÷åñêàÿ àïïðîêñèìàöèÿ ðàñïðåäåëåíèÿ îöåíêè ìîæåò áûòü ïëîõîé, è, áîëåå òîãî, àïðèîðè ìû íå ìîæåì çíàòü, íàñêîëüêî îíà õîðîøà èëè ïëîõà. Äëÿ îòâåòà íà ýòîò âîïðîñ

6

ïðèõîäèòñÿ èñïîëüçîâàòü äîïîëíèòåëüíûå ñèìóëÿöèîííûå èññëåäîâàíèÿ. Êðîìå òîãî, àñèìïòîòè÷åñêèé ìåòîä â ñëîæíûõ ñèòóàöèÿõ ìîæåò ïîòðåáîâàòü çíà÷èòåëüíûõ àíàëèòè÷åñêèõ âûêëàäîê.

Áóòñòðàïîâñêèé ìåòîä

â êà÷åñòâå íåèçâåñòíîãî èñòèííîãî ðàñïðåäåëåíèÿ äàííûõ

èñïîëüçóåò ýìïèðè÷åñêîå ðàñïðåäåëåíèå äàííûõ, ò.å. êàê äàííûå ëåãëè â âûáîðêå. Â äàëüíåéøåì ìû ïîäðîáíåå îáñóäèì áóòñòðàïîâñêèé ìåòîä. Â íàñòîÿùåå âðåìÿ ýêîíîìåòðèñòû ïðåäïî÷èòàþò èñïîëüçîâàòü ïðèáëèæåííûé ïîäõîä, ïîñêîëüêó òî÷íûé òðåáóåò ðÿäà î÷åíü ñèëüíûõ ïðåäïîëîæåíèé î ìîäåëè è âèäå ðàñïðåäåëåíèÿ äàííûõ. Âðÿä ëè ðàçóìíî ñ÷èòàòü, ÷òî âèä ýòîãî ðàñïðåäåëåíèÿ èçâåñòåí èññëåäîâàòåëþ.

2

Êîíöåïöèè àñèìïòîòè÷åñêîé òåîðèè

×àñòî èñïîëüçóåìûìè ïîíÿòèÿìè àñèìïòîòè÷åñêîé òåîðèè ÿâëÿþòñÿ

íîñòü, àñèìïòîòè÷åñêàÿ íîðìàëüíîñòü

àñèìïòîòè÷åñêàÿ ýôôåêòèâíîñòü . bn , ïîëó÷åííîé èç âûáîðñâîéñòâà îöåíêè β

è

Ïóñòü íàñ èíòåðåñóþò àñèìïòîòè÷åñêèå êè ðàçìåðà

n.

ñîñòîÿòåëü-

Ïîñêîëüêó ìû ïðåäïîëàãàåì ñëó÷àéíóþ ïðèðîäó èñõîäíûõ äàííûõ,

ïîñòðîåííàÿ îöåíêà áóäåò ñëó÷àéíîé âåëè÷èíîé. Òàêèì îáðàçîì, ìû èìååì ïîñëåäî-

n

âàòåëüíîñòü ñëó÷àéíûõ âåëè÷èí äëÿ êàæäîãî

p • ñîñòîÿòåëüíîé , åñëè βbn → β , ãäå β

ñâîÿ

βbn .

Îöåíêà

βbn

ÿâëÿåòñÿ

èñòèííîå çíà÷åíèå îöåíèâàåìîãî ïàðàìåò-

ðà,

• àñèìïòîòè÷åñêè íîðìàëüíîé ,

åñëè

1 ). Ñîîòâåòñòâåííî, 2

n

àñèìïòîòè÷åñêèì ñìåùåíèåì , Σ

(îáû÷íî

δ =

d nδ (βbn − β) → N (µ, Σ)

δ

íàçûâàåòñÿ

äëÿ êàêîãî-òî

δ>0

ñêîðîñòüþ ñõîäèìîñòè , µ

àñèìïòîòè÷åñêîé äèñïåðñèîííîé ìàòðè-

öåé,

•

áóäó÷è àñèìïòîòè÷åñêè íîðìàëüíîé è àñèìïòîòè÷åñêè íåñìåù¼ííîé íàðÿäó ñ äðóãîé îöåíêîé

βen , àñèìïòîòè÷åñêè áîëåå ýôôåêòèâíîé ,

÷åì

d

βen ,

åñëè ïðè

nδ (βbn − β) → N (0, Σ), d e nδ (βen − β) → N (0, Σ), ìàòðèöà

e −Σ Σ

ÿâëÿåòñÿ íåîòðèöàòåëüíî îïðåäåëåííîé.

Ñîñòîÿòåëüíîñòü îöåíêè íåîáõîäèìàÿ íîðìà, ãîâîðÿùàÿ, ÷òî ÷åì áîëüøå äàííûõ, òåì áëèæå íàøà îöåíêà ê èñòèííîìó ïàðàìåòðó. Ìîæíî, êîíå÷íî, ïðåäñòàâèòü ñåáå íåñîñòîÿòåëüíóþ îöåíêó, îáëàäàþùóþ æåëàåìûìè ñâîéñòâàìè â ìàëåíüêèõ âûáîðêàõ, íî òàêàÿ ñèòóàöèÿ îòíîñèòñÿ ê ðàçðÿäó ðåäêèõ èñêëþ÷åíèé.

7

Àñèìïòîòè÷åñêàÿ íîðìàëüíîñòü âàæíà ïî òîé ïðè÷èíå, ÷òî ïðîâåðêà ñòàòèñòè÷åñêèõ ãèïîòåç è ïîñòðîåíèå äîâåðèòåëüíûõ èíòåðâàëîâ òðåáóþò çíàíèÿ ðàñïðåäåëåíèÿ îöåíêè, à òàê êàê òî÷íîãî ðàñïðåäåëåíèÿ ìû íå çíàåì, ïîëüçóåìñÿ àñèìïòîòè÷åñêèì, íîðìàëüíûì, ðàñïðåäåëåíèåì. Çäåñü ôèãóðèðóåò èìåííî íîðìàëüíîå ðàñïðåäåëåíèå, ïîñêîëüêó ïðåäåëüíûå òåîðåìû, ÿâëÿþùèåñÿ ñåðäöåì àñèìïòîòèòåñêîé òåîðèè, ãîâîðÿò èìåííî î íîðìàëüíîñòè ýìïèðè÷åñêèõ ñðåäíèõ â áåñêîíå÷íûõ âûáîðêàõ. Ýôôåêòèâíîñòü îöåíêè æåëàòåëüíà, ïîñêîëüêó ÷åì áîëåå ýôôåêòèâíà îöåíêà, òåì òî÷íåå îíà ïðåäñêàçûâàåò èñòèííûé ïàðàìåòð. Ðàñøèðÿÿ îïðåäåëåíèå, ìîæíî ñêàçàòü, ÷òî äèñïåðñèÿ ýôôåêòèâíîé îöåíêè ìèìíèìàëüíà ñðåäè äèñïåðñèé îöåíîê èç íåêîòîðîãî êëàññà.

3

Î ïîñëåäîâàòåëüíîñòÿõ ñëó÷àéíûõ âåëè÷èí

Ïðè ïðåäïîëîæåíèè î ñëó÷àéíîé ïðèðîäå èñõîäíûõ äàííûõ ïîñòðîåííûå îöåíêè ÿâëÿþòñÿ, êàê ïðàâèëî, ñëó÷àéíûìè âåëè÷èíàìè. Äëÿ äàëüíåéøåãî èññëåäîâàíèÿ ñòàòèñòè÷åñêèõ ñâîéñòâ îöåíîê äàäèì íåñêîëüêî îïðåäåëåíèé è ðåçóëüòàòîâ, îòíîñÿùèõñÿ ê òèïàì ñõîäèìîñòè ïîñëåäîâàòåëüíîñòåé ñëó÷àéíûõ âåëè÷èí.

Îïðåäåëåíèå 1 (ñõîäèìîñòü ïî÷òè íàâåðíîå). Ìàòðè÷íàÿ ïîñëåäîâàòåëüíîñòü

Zn

ñëó÷àéíûõ âåëè÷èí ñõîäèòñÿ ê ñëó÷àéíîé ìàòðèöå as ðîÿòíîñòüþ åäèíèöà ), ò.å. Zn → Z , åñëè

P

n

lim Zn = Z

n→∞

o

Z ïî÷òè íàâåðíîå

(èëè

ñ âå-

= 1,

Z.

ò.å. ïî÷òè êàæäàÿ òðàåêòîðèÿ ñõîäèòñÿ ê

Îïðåäåëåíèå 2 (ñõîäèìîñòü ïî âåðîÿòíîñòè). Ìàòðè÷íàÿ ïîñëåäîâàòåëüíîñòü p

Zn ñëó÷àéíûõ âåëè÷èí ñõîäèòñÿ ê ñëó÷àéíîé ìàòðèöå Z ïî âåðîÿòíîñòè , ò.å. Zn → Z èëè

p lim Zn = Z ,

åñëè

∀ε > 0

lim P {kZn − Zk > ε} = 0,

n→∞

ò.å. âåðîÿòíîñòü áîëüøèõ îòêëîíåíèé îò

Z

ñòðåìèòñÿ ê 0.

Îïðåäåëåíèå 3 (ñõîäèìîñòü â ñðåäíåêâàäðàòè÷åñêèõ îòêëîíåíèÿõ). Ìàòðè÷íàÿ ïîñëåäîâàòåëüíîñòü

â ñðåäíåêâàäðàòè÷åñêèõ

Zn

ñëó÷àéíûõ âåëè÷èí ñõîäèòñÿ ê ñëó÷àéíîé ìàòðèöå ms îòêëîíåíèÿõ , ò.å. Zn → Z , åñëè

lim E kZn − Zk2 = 0,

n→∞

ò.å. ñðåäíåêâàäðàòè÷åñêàÿ îøèáêà ñòðåìèòñÿ ê 0.

8

Z

Îïðåäåëåíèå 4 (ñõîäèìîñòü ïî ðàñïðåäåëåíèþ). Ìàòðè÷íàÿ ïîñëåäîâàòåëüíîñòü d Zn →

Zn Z

ñëó÷àéíûõ âåëè÷èí ñõîäèòñÿ ê ñëó÷àéíîé ìàòðèöå d èëè Zn → DZ , ãäå DZ ðàñïðåäåëåíèå Z , åñëè

Z ïî ðàñïðåäåëåíèþ , ò.å.

lim P {Zn ≤ z} = P {Z ≤ z}

n→∞ äëÿ âñåõ òî÷åê íåïðåðûâíîñòè

z

ðàñïðåäåëåíèÿ

DZ .

Ìîæíî ïîêàçàòü, ÷òî ñõîäèìîñòü ïî âåðîÿòíîñòè ñëåäóåò èç ñõîäèìîñòè ïî÷òè íàâåðíîå èëè ñõîäèìîñòè â ñðåäíåêâàäðàòè÷åñêèõ îòêëîíåíèÿõ. Ñõîäèìîñòü ïî ðàñïðåäåëåíèþ, â ñâîþ î÷åðåäü, âûòåêàåò èç ñõîäèìîñòè ïî âåðîÿòíîñòè.

as

p

ms

Ðåçóëüòàò 1.

{Zn → Z

Ðåçóëüòàò 2.

Zn → Z ⇒ Zn → Z .

p

èëè

Zn → Z} ⇒ Zn → Z . d

Ðåçóëüòàò 3. Åñëè

Z

êîíñòàíòà, òî

p

d

Zn → Z ⇔ Zn → Z

Ïðèìåð. Ðàññìîòðèì ïîñëåäîâàòåëüíîñòü ñëó÷àéíûõ âåëè÷èí

Z Z Z Z Z , , , ,..., ,..., 1 2 3 4 n

{Zn } : ãäå

Z èìååò ñòàíäàðòíîå íîðìàëüíîå ðàñïðåäåëåíèå. Òîãäà E(Zn ) = 0 è V ar(Zn ) =

Òàêèì îáðàçîì

4

ms

Zn → 0,

à, ñëåäîâàòåëüíî, è

p

1 . n2

Zn → 0.

Î ïîñëåäîâàòåëüíîñòÿõ ôóíêöèé ñëó÷àéíûõ âåëè÷èí

Ñóùåñòâóåò íåñêîëüêî ïîëåçíûõ òåîðåì, êîòîðûå íàì ïîíàäîáÿòñÿ âïîñëåäñòâèè. Çäåñü îíè ïðèâåäåíû áåç äîêàçàòåëüñòâà.

Òåîðåìà (ÌàííàÂàëüäà). Ïóñòü ôóíêöèÿ

g : Rk1 ×k2 → Rl1 ×l2

íåïðåðûâíà, à

Zn

ïîñëåäîâàòåëüíîñòü ñëó÷àéíûõ âåëè÷èí. Òîãäà

as

•

åñëè

Zn → Z ,

•

åñëè

Zn → Z ,

•

åñëè

Zn → Z

•

åñëè

Zn → Z ,

p

ms

d

Çàìå÷àíèå : Åñëè

as

òî

g(Zn ) → g(Z),

òî

g(Zn ) → g(Z),

è

p

g

òî

Z

ëèíåéíà, òî

ms

g(Zn ) → g(Z),

d

g(Zn ) → g(Z). êîíñòàíòà, òî äëÿ âûïîëíåíèÿ òåîðåìû äîñòàòî÷íà òîëüêî ëî-

êàëüíàÿ íåïðåðûâíîñòü ôóíêöèè

g

â òî÷êå

Z.

Òåîðåìà (Ñëóöêîãî). Åñëè ïîñëåäîâàòåëüíîñòü ñëó÷àéíûõ âåëè÷èí âåðîÿòíîñòè ê íåêîòîðîé êîíñòàíòå

U,

Un

ñõîäèòñÿ ïî

à ïîñëåäîâàòåëüíîñòü ñëó÷àéíûõ âåëè÷èí p d ñõîäèòñÿ ïî ðàñïðåäåëåíèþ ê ñëó÷àéíîé âåëè÷èíå V , ò.å. Un → U è Vn → V , òî

9

Vn

d

• Un + Vn → U + V, d

• Un Vn → U V, d

• Un−1 Vn → U −1 V ,

åñëè

P r{det(Un ) = 0} = 0.

Åù¼ ðàç îáðàòèì âíèìàíèå íà òîò ôàêò, ÷òî â òåîðåìå Ñëóöêîãî îäíà ïîñëåäîâàòåëüíîñòü äîëæíà ñõîäèòüñÿ

ïî âåðîÿòíîñòè ê êîíñòàíòå .

Åñëè ýòî íå òàê, òî

òåîðåìà, âîîáùå ãîâîðÿ, íå âåðíà. Ñëåäóþùèé ïðèìåð äåìîíñòðèðóåò ýòî.

Ïðèìåð. Ïóñòü ñëó÷àéíàÿ âåëè÷èíà ëåíèå, ò.å.

Îäíàêî,

èìååò ñòàíäàðòíîå íîðìàëüíîå ðàñïðåäå-

Z ∼ N (0, 1).

Ðàññìîòðèì äâå ïîñëåäîâàòåëüíîñòè ñëó÷àéíûõ âåëè÷èí : p d è {Xn } = {Z, −Z, Z, −Z, . . . }. ßñíî, ÷òî {Zn } → Z è {Xn } →

{Zn } = {Z, Z, Z, Z, . . .} Z.

Z

{Zn + Xn } = {2Z, 0, 2Z, 0, 2Z, . . . }.

Òàêèì îáðàçîì, ïîñëåäîâàòåëüíîñòü

ñóììû ñëó÷àéíûõ âåëè÷èí íå ñõîäèòñÿ âîîáùå íèêóäà, ò.å. òåîðåìà Ñëóöêîãî íåïðèìåíèìà.

Òåîðåìà (Äåëüòà Ìåòîä). Ïóñòü ïîñëåäîâàòåëüíîñòü ñëó÷àéíûõ âåêòîðîâ ìåðíîñòè

k×1

óäîâëåòâîðÿåò óñëîâèþ

êîíñòàíòà, à ôóíêöèÿ

k

g: R → R √

ãäå

G=

l

√

d

n(Zn − Z) → N (0, Σ),

ãäå

Z

ðàç-

Z = p lim Zn

íåïðåðûâíî äèôôåðåíöèðóåìà â òî÷êå

Z.

Òîãäà

d

n(g(Zn ) − g(Z)) → N (0, GΣG0 ),

∂g(z) | . ∂z 0 z=Z

Ïðèìåðû 1 è 2 äåìîíñòðèðóþò ïðèìåíåíèå òåîðåìû ÌàííàÂàëüäà è Äåëüòà Ìåòîäà íà ïðàêòèêå.

Ïðèìåð 1. Ïóñòü

p

x→µ

ðåíöèðóåìóþ ôóíêöèþ

è

√

d

n(x − µ) → N (0, Σ).

g(x) = x0 x.

Ðàññìîòðèì íåïðåðûâíî äèôôå-

Ïî òåîðåìå ÌàííàÂàëüäà

√ d Σ−1/2 n(x − µ) → N (0, Ik ), ãäå

(Σ−1/2 )0 Σ−1/2 = Σ−1 .

Òàêèì îáðàçîì, ïîëó÷àåì ñëåäóþùèé ðåçóëüòàò :

√

d

n(x − µ)0 Σ−1 (x − µ) → χ2 (k).

Èñïîëüçóÿ Äåëüòà Ìåòîä è ó÷èòûâàÿ, ÷òî

√ Ïðèìåð 2. Ïóñòü

√

G=

∂(x0 x) | ∂x0 µ

= 2x0 |µ = 2µ0 ,

d

n(x0 x − µ0 µ) → N (0, 4µ0 Σµ).

x1 µ1 d n − → N (0, I2 ). x2 µ2

10

ïîëó÷èì :

Ðàññìîòðèì íåïðåðûâíî äèôôåðåíöèðóåìóþ ôóíêöèþ

g

x1 x2

Âàëüäà,

=

x1 . Ïî òåîðåìå Ìàííà x2

x1 − µ1 d N (0, 1) → , x 2 − µ2 N (0, 1) ò.å. èíòåðåñóþùàÿ íàñ âåëè÷èíà èìååò ðàñïðåäåëåíèå Êîøè. Ïðèìåíÿÿ æå Äåëüòà Ìåòîä, èìååì :

x1 x2 G= ∂(x1 , x2 ) ∂

òàê ÷òî

√

5

= (µµ12 )

1 µ1 ,− µ2 µ2



2  µ1

x 1 µ1 d  1 + µ2 n − → N 0, x 2 µ2 µ22

,

 .

Ïðåäåëüíûå òåîðåìû äëÿ íåçàâèñèìûõ íàáëþäåíèé

Îñíîâíûìè èíñòðóìåíòàìè ïîñòðîåíèÿ ñòàòèñòè÷åñêèõ âûâîäîâ â àñèìïòîòè÷åñêîì ïîäõîäå ÿâëÿþòñÿ

ìû

Çàêîíû Áîëüøèõ ×èñåë

(ÇÁ×) è

Öåíòðàëüíûå Ïðåäåëüíûå Òåîðå-

(ÖÏÒ). ÇÁ× ïðåäñòàâëÿåò ñîáîé ðåçóëüòàò î ñõîäèìîñòè âûáîðî÷íîãî ñðåäíåãî

ê ïîïóëÿöèîííîìó ñðåäíåìó, ÖÏÒ äàåò ïðåäñòàâëåíèå î ïðåäåëüíîì ðàñïðåäåëåíèè îïðåäåëåííûì îáðàçîì íîðìèðîâàííîãî öåíòðèðîâàííîãî âûáîðî÷íîãî ñðåäíåãî. Ñóùåñòâóåò äîâîëüíî áîëüøîå êîëè÷åñòâî ôîðìóëèðîâîê ÇÁ× è ÖÏÒ. Íàñ áóäóò èíòåðåñîâàòü ïðåäåëüíûå òåîðåìû äëÿ äâóõ îñíîâíûõ ñëó÷àåâ : ñëó÷àé

áëþäåíèé

è ñëó÷àé

ñòàöèîíàðíûõ ýðãîäè÷íûõ âðåìåííûõ ðÿäîâ .

íåçàâèñèìûõ íàÄàëåå ïðèâîäÿòñÿ

ÇÁ× è ÖÏÒ äëÿ íåçàâèñèìûõ èëè ñåðèéíî íåñêîððåëèðîâàííûõ ñêàëÿðíûõ ñëó÷àéíûõ âåëè÷èí.

Òåîðåìà Êîëìîãîðîâà (íåçàâèñèìûå îäèíàêîâî ðàñïðåäåëåííûå íàáëþäåíèÿ). Ïóñòü ñëó÷àéíûå âåëè÷èíû

{Zn }∞ i=1

íåçàâèñèìû è îäèíàêîâî ðàñïðåäåëåíû.

Êðîìå òîãî, ïóñòü ñóùåñòâóåò ìàòåìàòè÷åñêîå îæèäàíèå

E|Zi |.

Òîãäà

n

1X as Zi → E[Zi ]. n i=1 Òåîðåìà Êîëìîãîðîâà (íåçàâèñèìûå íåîäíîðîäíûå íàáëþäåíèÿ). Ïóñòü ñëó÷àéíûå âåëè÷èíû

∞,

2 {Zn }∞ i=1 íåçàâèñèìû è èìåþò êîíå÷íûå äèñïåðñèè σi . Åñëè

òî

σi2 i=1 i2

P∞

<

" n # n 1X 1X as Zi − E Zi → 0. n i=1 n i=1

Òåîðåìà ×åáûøåâà (íåñêîððåëèðîâàííûå íàáëþäåíèÿ). Ïóñòü ñëó÷àéíûå âåëè÷èíû

{Zn }∞ i=1 íåñêîððåëèðîâàíû, ò.å. Cov(Zi , Zj ) = 0 äëÿ i 6= j . Åñëè

11

1 n2

Pn

i=1

σi2 →

n→∞

0,

òî

" n # n 1X 1X p Zi − E Zi → 0. n i=1 n i=1 Òåîðåìà Ëèíäáåðãà-Ëåâè (íåçàâèñèìûå îäèíàêîâî ðàñïðåäåëåííûå íàáëþäåíèÿ). Ïóñòü ñëó÷àéíûå âåëè÷èíû ñ ìàòåìàòè÷åñêèì îæèäàíèåì

√

{Zn }∞ i=1

E[Zi ] = µ

è äèñïåðñèåé

n

n

íåçàâèñèìû è îäèíàêîâî ðàñïðåäåëåíû

1X Zi − µ n i=1

!

V ar[Zi ] = σ 2 .

Òîãäà :

d

→ N (0, σ 2 ).

Òåîðåìà Ëÿïóíîâà (íåçàâèñèìûå íåîäíîðîäíûå íàáëþäåíèÿ). Ïóñòü ñëó÷àéíûå âåëè÷èíû ïåðñèåé

{Zn }∞ i=1

V ar[Zi ] =

íåçàâèñèìû ñ ìàòåìàòè÷åñêèì îæèäàíèåì

σi2 è òðåòüèì öåíòðàëüíûì ìîìåíòîì

åñëè

E[|Zi − µi |3 ] = νi .

Òîãäà,

P 1/3 ( ni=1 νi ) → 0, P 1/2 ( ni=1 σi2 ) n→∞

òî

6

E[Zi ] = µi , äèñ-

Pn

i=1 (Zi − µi ) d → N (0, 1). Pn 1/2 ( i=1 σi2 )

Àñèìïòîòè÷åñêèå ñòàòèñòè÷åñêèå âûâîäû

Èäåÿ ïîñòðîåíèÿ ñòàòèñòè÷åñêèõ âûâîäîâ ïðè ïîìîùè àñèìïòîòè÷åñêîãî ìåòîäà äîâîëüíî î÷åâèäíà. Âìåñòî òî÷íîãî ðàñïðåäåëåíèÿ îöåíêè áåðåòñÿ àñèìïòîòè÷åñêîå, íà îñíîâàíèè êîòîðîãî ñòðîÿòñÿ ðàñïðåäåëåíèÿ òåñòîâûõ ñòàòèñòèê.

Ïðèìåð. Ïóñòü

√

d

n(Z n − µ) → N (0, σ 2 ).

Â äàííîì ñëó÷àå ìû èìååì äåëî ñ âûáîðî÷íûì ñðåäíèì

Z n,

êîòîðîå ñîãëàñíî ÖÏÒ

èìååò àñèìïòîòè÷åñêè íîðìàëüíîå ðàñïðåäåëåíèå. Çàìåòèì, ÷òî â äàííîì ñëó÷àå ðàñïðåäåëåíèå çàâèñèò îò íåèçâåñòíîãî ïàðàìåòðà

σ2,

ïîýòîìó ñòàòèñòèêà

Zn

ÿâëÿåòñÿ

àñèìïòîòè÷åñêè íåïèâîòàëüíîé ñòàòèñòèêîé . Îïðåäåëåíèå. Ñòàòèñòèêà íàçûâàåòñÿ (àñèìïòîòè÷åñêè)

ïèâîòàëüíîé , åñëè åå (àñèì-

ïòîòè÷åñêîå) ðàñïðåäåëåíèå íå çàâèñèò îò íåèçâåñòíûõ ïàðàìåòðîâ. Âîçâðàùàÿñü ê íàøåìó ïðèìåðó, ìû ìîæåì ïîëó÷èòü ïèâîòàëüíóþ ñòàòèñòèêó, ïîñòðîèâ ñîñòîÿòåëüíóþ îöåíêó äèñïåðñèè

√

n(Z n − µ) = σ b

√

σ b2 :

n(Z n − µ) σ d → N (0, 1), σ σ b

12

√ d òàê êàê ñîãëàñíî ÖÏÒ n(Z n − µ)/σ → N (0, 1), à â ñèëó ñîñòîÿòåëüíîñòè îöåíêè p σ b2 , σ/b σ → 1. Òåïåðü, çíàÿ àñèìïòîòè÷åñêîå ðàñïðåäåëåíèå ïîñòðîåííîé ñòàòèñòèêè ìîæíî ïîñòðîèòü äîâåðèòåëüíûé èíòåðâàë. Òàê àñèìïòîòè÷åñêèé äîâåðèòåëüíûé èíòåðâàë äëÿ

µ

áóäåò

σ b N (0,1) σ b N (0,1) Z n − √ q1− α , Z n + √ q1− α . 2 2 n n Ïðåäïîëîæèì òåïåðü, ÷òî íàì íóæíî ïðîòåñòèðîâàòü ãèïîòåçó ãëàñíî ïîñòðîåííîìó íàìè îòâåðãàòüñÿ, åñëè

√

H 0 : µ = µ0 .

Ñî-

α-ïðîöåíòíîìó äîâåðèòåëüíîìó èíòåðâàëó ãèïîòåçà áóäåò N (0,1)

n|Z n − µ0 |/b σ > q1− α 2

. Â ïðîòèâíîì ñëó÷àå ãèïîòåçà ïðèíèìàåò-

ñÿ. Îñòàëîñü ïîñòðîèòü ñîñòîÿòåëüíóþ îöåíêó äèñïåðñèè. Îêàçûâàåòñÿ, âûáîðî÷íàÿ äèñïåðñèÿ áóäåò ñîñòîÿòåëüíîé îöåíêîé äëÿ äèñïåðñèè :

v v u n u n X u1 X u1 p 2 t (Zi − Z n ) = t (Zi − µ)2 − (Z n − µ)2 → σ, σ b= n i=1 n i=1 ïîñêîëüêó èç ÇÁ× ñëåäóåò, ÷òî

7

1 n

Pn

i=1 (Zi

p

− µ)2 → E[(Zi − µ)2 ] = σ 2

è

p

(Z n − µ)2 → 0.

Àñèìïòîòèêà äëÿ ñòàöèîíàðíûõ âðåìåííûõ ðÿäîâ

Äî ñèõ ïîð ìû ðàññìàòðèâàëè àñèìïòîòè÷åñêèå ñâîéñòâà îöåíîê â ñëó÷àå íåçàâèñèìûõ íàáëþäåíèé, è åñëè ó íàñ åñòü ïîñëåäîâàòåëüíîñòü ìîãëè ñêàçàòü, ÷òî ó íàñ èìååòñÿ

n

Z 1 , Z2 , Z3 , . . . , Zn ,

ìû

íàáëþäåíèé. Â ñëó÷àå âðåìåííûõ ðÿäîâ (íàáëþ-

äåíèé âî âðåìåíè) ýòî, âîîáùå ãîâîðÿ, íå òàê. Êàæäàÿ òðàåêòîðèÿ

îäíî íàáëþäåíèå ,

ïðåäñòàâëÿåò ñîáîé â îáùåì ñëó÷àå

Z1 , Z2 , Z3 , . . . , ZT

à èç îäíîãî íàáëþäåíèÿ äå-

ëàòü ñòàòèñòè÷åñêèå âûâîäû ïðîáëåìàòè÷íî. Ïîýòîìó íà ïðèðîäó èñõîäíûõ äàííûõ ïðèõîäèòñÿ íàêëàäûâàòü êàêóþ-òî ñòðóêòóðó. ×àñòî äëÿ ýòîãî èñïîëüçóþòñÿ ïðåäïîëîæåíèÿ î

ñòàöèîíàðíîñòè è ýðãîäè÷íîñòè

ýòî ñòàáèëüíîñòü ðàñïðåäåëåíèÿ

Zt

ðÿäà. Ãðóáî ãîâîðÿ,

âî âðåìåíè, à

ñòàöèîíàðíîñòü

ýðãîäè÷íîñòü

ýòî ïîòåðÿ

ïàìÿòè, èëè àñèìïòîòè÷åñêàÿ íåçàâèñèìîñòü îò íà÷àëüíûõ äàííûõ. Äàäèì áîëåå ÷åòêèå îïðåäåëåíèÿ :

Îïðåäåëåíèå. Âðåìåííîé ðÿä íàçûâàåòñÿ ðàñïðåäåëåíèå

Zt , Zt−1 , . . . , Zt−k

ñòðîãî ñòàöèîíàðíûì ,

íå çàâèñèò îò

t

äëÿ ëþáûõ

åñëè ñîâìåñòíîå

k.

Ïîñêîëüêó òî÷íîå îïðåäåëåíèå ýðãîäè÷íîñòè èñïîëüçóåò ïîíÿòèÿ òåîðèè ìåðû, äàäèì èíòóèòèâíîå îïðåäåëåíèå :

Îïðåäåëåíèå. Âðåìåííîé ðÿä òè÷åñêè íåçàâèñèìû ïðè

Zt

íàçûâàåòñÿ

k → ∞.

13

ýðãîäè÷íûì , åñëè Zt

è

Zt+k

àñèìïòî-

Ïðèâåäåì ïðèìåðû ðàçëè÷íûõ ñòàöèîíàðíûõ èëè íåñòàöèîíàðíûõ è ýðãîäè÷íûõ èëè íåýðãîäè÷íûõ âðåìåííûõ ðÿäîâ.

Ïðèìåð 1 (ñòàöèîíàðíûå ýðãîäè÷íûå ðÿäû).

• Zt ∼ iid,

íåçàâèñèìûå îäèíàêîâî ðàñïðåäåëåííûå íàáëþäåíèÿ,

• εt ∼ iid(0, σ 2 ),

ñèëüíûé áåëûé øóì,

• AR(1) : zt = ρzt−1 + εt , |ρ| < 1, • M A(1) : zt = εt + θεt−1 . Ïðèìåð 2 (íåñòàöèîíàðíûå íåýðãîäè÷íûå ðÿäû).

• zt = zt−1 + εt ,

ñëó÷àéíîå áëóæäàíèå. Çäåñü äèñïåðñèÿ íàáëþäåíèé ðàñòåò ñî

V ar(zt ) = V ar(zt−1 ) + σε2 , ò.å. ðÿä íå ìîæåò áûòü ñòàöèîíàðåí. Êðîìå Pt íà÷àëüíûå äàííûå íå çàáûâàþòñÿ ñî âðåìåíåì : zt = z0 + i=1 εi , è ðÿä

âðåìåíåì : òîãî,

íåýðãîäè÷åí.

Ïðèìåð 3 (ñòàöèîíàðíûå íåýðãîäè÷íûå ðÿäû).

•

Ïóñòü

z ∼ N (0, 1)

è

zt = z + εt ,

ãäå

εt

è

z

íåçàâèñèìû. Î÷åâèäíî, ÷òî ðÿä

zt

ñòàöèîíàðåí, íî íåýðãîäè÷åí.

Ïðèìåð 4 (íåñòàöèîíàðíûå ýðãîäè÷íûå ðÿäû).

•

Ñåçîííûé ðÿä :

zt = s(τ, t) + εt ,

ãäå

s(τ, t) = s(τ, t + τ ).

Ðåçóëüòàò. Åñëè ñëó÷àéíûé ïðîöåññ zt ÿâëÿåòñÿ ñòàöèîíàðíûì è ýðãîäè÷íûì, è åñëè

Yt = f (zt , zt−1 . . .)

åñòü ñëó÷àéíàÿ âåëè÷èíà, òî

Yt

òàêæå ÿâëÿåòñÿ ñòàöèîíàðíûì è

t

íàçûâàþòñÿ âñå ðåàëèçîâàâøèåñÿ

ýðãîäè÷íûì ðÿäîì.

Îïðåäåëåíèå. çíà÷åíèÿ

zk

Èíôîðìàöèåé

âïëîòü äî

Îïðåäåëåíèå. Ðÿä

íèé

zt

zt ,

ò.å.

â ìîìåíò âðåìåíè

It = {zt , zt−1 , . . .}.

íàçûâàåòñÿ

ïîñëåäîâàòåëüíîñòüþ ìàðòèíãàëüíûõ ïðèðàùå-

(ÏÌÏ) ïî îòíîøåíèþ ê ñâîåìó ïðîøëîìó, åñëè

E[zt |It−1 ] = 0.

Ñôîðìóëèðóåì ÇÁ× è ÖÏÒ äëÿ âðåìåííûõ ðÿäîâ.

Òåîðåìà ÁèðêîôôàÕèí÷èíà (çàâèñèìûå íàáëþäåíèÿ). Ïóñòü ðÿä ñòàöèîíàðåí è ýðãîäè÷åí. Êðîìå òîãî, ïóñòü

E[|Zt |] < ∞,

T 1X as Zt → E[Zt ] T t=1

14

òîãäà

{Zt }+∞ t=−∞

ïðè

T → ∞.

Òåîðåìà Áèëëèíãñëåÿ (ïîñëåäîâàòåëüíîñòü ìàðòèíãàëüíûõ ïðèðàùåíèé). Ïóñòü ðÿä

{Zt }+∞ t=−∞ ñòàöèîíàðåí, ýðãîäè÷åí è ÿâëÿåòñÿ ÏÌÏ ïî îòíîøåíèþ ê ñâîåìó σ 2 = E[Zt2 ] < ∞,

ïðîøëîìó. Êðîìå òîãî, ïóñòü

òîãäà

T 1 X d √ Zt → N (0, σ 2 ) T t=1 ïðè

T → ∞.

Òåîðåìà (çàâèñèìûå íàáëþäåíèÿ). Ïóñòü ðÿä

{Zt }+∞ t=−∞

ñòàöèîíàðåí è ýðãîäè-

÷åí. Êðîìå òîãî, ïóñòü

2

σ =

+∞ X

Cov[Zt , Zt−j ] < ∞.

j=−∞ Òîãäà ïðè îïðåäåëåííûõ óñëîâèÿõ,

√

ïðè

T

T 1X Zt − E[Zt ] T t=1

!

d

→ N (0, σ 2 )

T → ∞.

Ïðèâåäåì ïðèìåðû èñïîëüçîâàíèÿ èçëîæåíûõ âûøå òåîðåì äëÿ èññëåäîâàíèÿ àñèìïòîòè÷åñêèõ ñâîéñòâ îöåíîê íà âðåìåííûõ ðÿäàõ.

Ïðèìåð. Ðàññìîòðèì àâòîðåãðåññèîííûé ïðîöåññ ïåðâîãî ïîðÿäêà

AR(1) :

xt = ρxt−1 + εt , |ρ| < 1, εt ∼ iid(0, σ 2 ). Íàñ èíòåðåñóþò àñèìïòîòè÷åñêèå ñâîéñòâà ÌÍÊ-îöåíêè

ρb =

PT

xt−1 xt Pt=2 T 2 t=2 xt−1

PT

= ρ + Pt=2 T

xt−1 εt

t=2

x2t−1

.

Ïî òåîðåìå ÁèðêîôôàÕèí÷èíà,

T

1 X p xt−1 εt → E[xt−1 εt ] = 0, T − 1 t=2 T

1 X 2 p xt−1 → E[x2t−1 ]. T − 1 t=2 Ñëåäîâàòåëüíî, ïî òåîðåìå Ñëóöêîãî îöåíêà p ρb → ρ.

ρb ÿâëÿåòñÿ

ñîñòîÿòåëüíîé îöåíêîé, ò.å.

Òåïåðü íàéäåì àñèìïòîòè÷åñêîå ðàñïðåäåëåíèå ÌÍÊ-îöåíêè :

√

T (b ρ − ρ) =

√1 T −1 1 T −1

PT

t=2 xt−1 εt PT 2 t−2 xt−1

15

r

T . T −1

q

PT p T 1 2 2 → 1, à T −1 t−2 xt−1 → E[xt−1 ]. Ïîêàæåì, ÷òî ïîñëåäîâàòåëüT −1 n→∞ íîñòü xt−1 εt ÿâëÿåòñÿ ïîñëåäîâàòåëüíîñòüþ ìàðòèíãàëüíûõ ïðèðàùåíèé ïî îòíîøåÎ÷åâèäíî, ÷òî

íèþ ê ñâîåìó ïðîøëîìó, ò.å. èíôîðìàöèîííîìó ìíîæåñòâó

It−1 = {xt−2 εt−1 , xt−3 εt−2 . . .} :

E[xt−1 εt |It−1 ] = E[E[xt−1 εt |xt−1 , xt−2 εt−1 . . .]|It−1 ] = 0, ò.å. ïîñëåäîâàòåëüíîñòü

xt−1 εt

ÿâëÿåòñÿ ÏÌÏ. Òàêèì îáðàçîì, ìû ìîæåì ïðèìåíèòü

ÖÏÒ Áèëëèíãñëåÿ :

T

X 1 d √ xt−1 εt → N (0, E[x2t−1 ε2t ]). T − 1 t=2 Çàìåòèâ, ÷òî

E[x2t ] = V ar[xt ] = ρ2 V ar[xt−1 ] + σ 2 =

ðåçóëüòàò :

√

σ2 , ïîëó÷èì îêîí÷àòåëüíûé 1−ρ2

d

T (b ρ − ρ) → N (0, 1 − ρ2 ).

Ñîîòâåòñòâóþùàÿ ïèâîòàëüíàÿ ñòàòèñòèêà áóäåò

√ T (b ρ − ρ) d p → N (0, 1). 1 − ρb2

ρ åñòü " # r r 1 − ρb2 1 − ρb2 CIρ = ρb − 1.96 ; ρb + 1.96 . T T

Â ðåçóëüòàòå, 95%-íûé äîâåðèòåëüíûé èíòåðâàë äëÿ

Îáðàòèìñÿ åùå ðàç ê ÖÏÒ äëÿ çàâèñèìûõ íàáëþäåíèé. Âèä âàðèàöèîííîé ìàòðèöû â àñèìïòîòè÷åñêîì ðàñïðåäåëåíèè îöåíêè òðåáóåò íåêîòîðîãî ïîÿñíåíèÿ. Êîãäà ìû èìååì äåëî ñ ïîñëåäîâàòåëüíîñòüþ ìàðòèíãàëüíûõ ïðèðàùåíèé

0

äëÿ

j > 0,

σ 2 = E[Zt2 ].

Zt , ó íàñ E[Zt Zt−j ] =

ïîýòîìó àñèìïòîòè÷åñêàÿ äèñïåðñèÿ äëÿ ÏÌÏ èìååò ïðîñòîé âèä :

Îäíàêî, âñ¼ ñëîæíåå äëÿ áîëåå çàâèñèìûõ íàáëþäåíèé :

# " T # T X 1 1 X Zt = V ar Zt = V ar √ T T t=1 t=1 1 = [T V ar(Zt ) + (T − 1)Cov(Zt , Zt+1 ) + (T − 1)Cov(Zt , Zt−1 ) + T + (T − 2)Cov(Zt , Zt+2 ) + (T − 2)Cov(Zt , Zt−2 ) + . . . + +∞ X + Cov(Z1 , ZT ) + Cov(ZT , Z1 )] → Cov(Zt , Zt−j ). "

T →∞

j=−∞

Ðàññìîòðèì ïðèìåð ñ çàâèñèìûìè íàáëþäåíèÿìè, êîãäà àñèìïòîòè÷åñêóþ äèñïåðñèîííóþ ìàòðèöó ïðèõîäèòñÿ ñ÷èòàòü ïî óêàçàííîé âûøå ôîðìóëå. ßñíî, ÷òî â ýòîì ñëó÷àå îøèáêè äîëæíû áûòü ñêîððåëèðîâàíûìè.

16

Ïðèìåð. Ðàññìîòðèì ïðîöåññ ñêîëüçÿùåãî ñðåäíåãî ïåðâîãî ïîðÿäêà

M A(1) :

zt = εt + θεt−1 , εt ∼ iid(0, σ 2 ). Çàìåòèì, ÷òî

V ar(zt ) = (1 + θ2 )σ 2 , Cov(zt , zt−1 ) = θσ 2 , Cov(zt , zt−j ) = 0, j > 1. Â ýòîì ñëó÷àå,

+∞ X

Cov(zt , zt−j ) = (1 + θ2 )σ 2 + 2θσ 2 = (1 + θ)2 σ 2 .

j=−∞ Òîãäà, ñîãëàñíî ÖÏÒ äëÿ çàâèñèìûõ íàáëþäåíèé,

T 1 X d √ zt → N (0, (1 + θ)2 σ 2 ). T t=1 Îáðàòèì âíèìàíèå íà òî, ÷òî â ýòîì ñëó÷àå

{zt−1 , zt−2 , zt−3 . . .},

ò.ê.

zt

íå ÿâëÿåòñÿ ÏÌÏ îòíîñèòåëüíî

It =

E[zt |zt−1 , zt−2 , . . .] = θεt−1 6= 0.

Äëÿ ïîëó÷åíèÿ ïèâîòàëüíîé ñòàòèñòèêè âîçíèêàåò íåîáõîäèìîñòü ñîñòîÿòåëüíîãî îöåíèâàíèÿ àñèìïòîòè÷åñêîé äèñïåðñèîííîé ìàòðèöû. Âèä èñêîìîé îöåíêè ìîæåò áûòü

T T −1 T X 1 X 1X 0 b Ω= (Zt − Z)(Zt − Z) + {(Zt − Z)(Zt−j − Z)0 + (Zt − Z)(Zt+j − Z)0 }. T t=1 T j=1 t=j+1 Óâû, òàêàÿ îöåíêà íå áóäåò ñîñòîÿòåëüíîé, ò.å.

p b9 Ω Ω. Äåëî â òîì, ÷òî èç-çà êîíå÷íî-

ñòè âûáîðêè íåâîçìîæíî ñîñòîÿòåëüíî îöåíèòü êðàéíèå ÷ëåíû ðÿäà. Òàêèì îáðàçîì, èñïîëüçóÿ ýðãîäè÷íîñòü, íåîáõîäèìî îáðåçàòü ðÿä íà ñëàãàåìîì íîìåð òàêîì, ÷òîáû ïðè

T →∞

ìû èìåëè

m→∞

è

m/T → 0.

m << T ,

Íüþè è Óýñò ïðåäëîæè-

ëè ñîñòîÿòåëüíóþ îöåíêó âàðèàöèîííîé ìàòðèöû, êîòîðàÿ ïî ïîñòðîåíèþ ÿâëÿåòñÿ

ïîëîæèòåëüíî îïðåäåëåííîé :

bNW = Ω

m X

j=−m

|j| 1− m+1

1 T

min(T,T +j)

X

(Zt − Z)(Zt−j − Z)0 .

t=max(1,1+j)

Äëÿ ïðàêòè÷åñêîãî èñïîëüçîâàíèÿ áûëà ïðåäëîæåíà ñëåäóþùàÿ ôîðìóëà âûáîðà

m:

" 1/3 # T m= 4 . 100 Òàêîé âûáîð

m äàåò õîðîøèå ðåçóëüòàòû â ñìûñëå òî÷íîñòè îöåíîê, çà èñêëþ÷åíèåì

òåõ ñëó÷àåâ, êîãäà çàòóõàíèå âîçìóùåíèé â ïðîöåññå ïðîèñõîäèò ìåäëåííî, ò.å. êîðíè ñîîòâåòñòâóþùèõ ïîëèíîìîâ ëåæàò áëèçêî ê åäèíè÷íîìó êðóãó.

17

Âåðíåìñÿ ê óæå ðàññìîòðåííîìó ïðèìåðó MA(1) :

zt = εt + θεt−1 .

Âîò ðåçóëüòàò,

êîòîðûé ìû ïîëó÷èëè :

T 1 X d √ zt → N (0, (1 + θ)2 σ 2 ). T t=1 Äîïóñòèì òåïåðü, ÷òî ìû õîòèì ïîëó÷èòü ñîñòîÿòåëüíóþ îöåíêó äëÿ àñèìïòîòè÷åñêîé äèñïåðñèè. Íà ïðàêòèêå ó íàñ åñòü òðè âîçìîæíûõ ñïîñîáà :

•

èðîâàòü ñîñòîÿòåëüíóþ îöåíêó

•

p p θb → θ è σ b2 → σ 2 , à çàòåì ñêîíñòðób 2σ àñèìïòîòè÷åñêîé äèñïåðñèè : σ b2 = (1 + θ) b2 .

Ìû ìîæåì ïîñòðîèòü ñîñòîÿòåëüíûå îöåíêè

z

σz2 = V ar(zt ) + 2Cov(zt , zt−1 ), ìû \ ìîæåì ñêîíñòðóèðîâàòü ñîñòîÿòåëüíóþ îöåíêó â âèäå σ b2 = V\ ar(zt )+2Cov(z t , zt−1 ),

Çíàÿ, ÷òî èñêîìàÿ äèñïåðñèÿ âûðàæàåòñÿ êàê

z

ãäå

T T 1X 1X 2 \ \ V ar(zt ) = z , Cov(zt , zt−1 ) = zt zt−1 . T t=1 t T t=2

•

Ìû ìîæåì èñïîëüçîâàòü ïðèâåäåííóþ âûøå îöåíêó ÍüþèÓýñòà :

σ bz2 8

=

m X

j=−m

|j| 1− m+1

1 T

min(T,T +j)

X

zt zt−j .

t=max(1,1+j)

Ââåäåíèå â àñèìïòîòèêó äëÿ íåñòàöèîíàðíûõ ïðîöåññîâ

Åñëè âðåìåííîé ðÿä íå ñòàöèîíàðåí, à èìååò ñòîõàñòè÷åñêèå òðåíäû, ïîñòðîåíèå ñòàòèñòè÷åñêèõ âûâîäîâ çíà÷èòåëüíî óñëîæíÿåòñÿ. Çäåñü ìû ðàññìîòðèì ïðîñòåéøèé ïðèìåð âàæíîãî êëàññà íåñòàöèîíàðíûõ ïðîöåññîâ. Ïóñòü

Xt

îïèñûâàåòñÿ óðàâíåíè-

åì ñëó÷àéíîãî áëóæäàíèÿ, ò.å. :

Xt = Xt−1 + εt , X0 = 0, εt ∼ iid(0, σ 2 ). Òîãäà âûáîðî÷íîå ñðåäíåå âûðàæàåòñÿ ñëåäóþùèì îáðàçîì :

T 1X εT 2 T −t+1 Xt = + εT −1 + · · · + εt + · · · + ε1 . T t=1 T T T Ñëåäîâàòåëüíî,

V ar

T 1X Xt T t=1

ò.å.

V ar

!

= σ2

T 1X Xt T t=1

1+

!

T −1 T

= σ2

2

2 2 ! 2 1 + ··· + + , T T

(T + 1)(2T + 1) = O(T ). 6T

18

Ðàññóæäàÿ àíàëîãè÷íî, â ðåçóëüòàòå ìû ïîëó÷èì :

T 1 X

T 3/2 ãäå

V1 , V2 , V3

t=1

T T 1X 1 X 2 p p Xt → V1 , Xt−1 εt → V2 , 2 X → V3 , T t=1 T t=1 t−1 p

íåêîòîðûå ñëó÷àéíûå âåëè÷èíû.

Åñëè ìû òåïåðü èñïîëüçóåì ÌÍÊ-îöåíêó äëÿ

ρ,

êîòîðîå ðàâíî åäèíèöå, òî àñèì-

ïòîòè÷åñêèå ñâîéñòâà ýòîé îöåíêè áóäóò ñëåäóþùèå :

p

T (b ρ − 1) →

V2 . V3

ñóïåðñîñòîÿòåëüíà , ò.å. ñêîðîñòü ñõîäèìî√ ñòè ê àñèìïòîòè÷åñêîìó ðàñïðåäåëåíèþ ïðåâûøàåò T . Âî-âòîðûõ, àñèìïòîòè÷åñêîå

Âî-ïåðâûõ, ÌÍÊ-îöåíêà â äàííîì ñëó÷àå

ðàñïðåäåëåíèå íåñòàíäàðòíî : îíî íå ÿâëÿåòñÿ íîðìàëüíûì, çàòî îáëàäàåò íåíóëåâûìè ñìåùåíèåì è ñêîøåííîñòüþ. Îíî íîñèò íàçâàíèå

II 1

ðàñïðåäåëåíèÿ ÄèêèÔóëëåðà .

Áóòñòðàïîâñêèé ïîäõîä Ïðèáëèæåíèå èñòèííîãî ðàñïðåäåëåíèÿ áóòñòðàïîâñêèì

Â îñíîâå áóòñòðàïîâñêîãî ïîäõîäà ëåæèò èäåÿ, ÷òî èñòèííîå ðàñïðåäåëåíèå äàííûõ ìîæíî õîðîùî ïðèáëèçèòü ýìïèðè÷åñêèì. Òàêèì îáðàçîì ìîæåò áûòü ïîëó÷åíî ïðèáëèæåííîå ðàñïðåäåëåíèå èíòåðåñóþùåé íàñ ñòàòèñòèêè. Ïóñòü èç èñõîäíîé ïîïóëÿöèè ñ ðàñïðåäåëåíèåì

F (x)

ôóíêöèÿ ðàñïðåäåëåíèÿ ìèòñÿ ê

F (x)

ïðè

áûëà ïîëó÷åíà âûáîðêà ðàçìåðà

Fn (x) =

n → ∞.

1 n

PT

i=1

I(Xi 6 x)

n.

Òîãäà ýìïèðè÷åñêàÿ

ðàâíîìåðíî ïî÷òè íàâåðíîå ñòðå-

Ýòî ñâîéñòâî ìîòèâèðóåò èñïîëüçîâàíèå áóòñòðàïà.

×òîáû áîëåå íàãëÿäíî ïîÿñíèòü áóòñòðàïîâñêèé ìåòîä, ðàññìîòðèì ïðîñòåéøèé ïðèìåð. Ïóñòü ó íàñ åñòü âñåãî äâà íàáëþäåíèÿ :

x1 1 x2 2 = , = . y1 2 y2 1 Äîïóñòèì, íàñ èíòåðåñóåò êîýôôèöèåíò ðåãðåññèè ñëó÷àå ÌÍÊ-îöåíêà

θ

y

íà

x,

ò.å.

ðàâíà

x1 y1 + x2 y2 1×2+2×1 4 = = . θb = 2 2 2 2 x1 + x2 1 +2 5 Ýìïèðè÷åñêàÿ ôóíêöèÿ ðàñïðåäåëåíèÿ äàííûõ åñòü

(x, y)0 =

(

(1, 2)0

ñ âåðîÿòíîñòüþ

1/2

0

ñ âåðîÿòíîñòüþ

1/2

(2, 1)

19

yi = θxi + εi .

Â ýòîì

Ïî îòíîøåíèþ ê ýòîìó ðàñïðåäåëåíèþ äàííûå èç äâóõ íàáëþäåíèé ðàñïðåäåëåíû ñëåäóþùèì îáðàçîì :

  (1, 2)0 , (1, 2)0     (2, 1)0 , (2, 1)0 0 0 (x1 , y1 ) , (x2 , y2 ) =  (1, 2)0 , (2, 1)0     (2, 1)0 , (1, 2)0

ñ âåðîÿòíîñòüþ

1/4

ñ âåðîÿòíîñòüþ

1/4

ñ âåðîÿòíîñòüþ

1/4

ñ âåðîÿòíîñòüþ

1/4

Ýòî ðàñïðåäåëåíèå è ÿâëÿåòñÿ áóòñòðàïîâñêèì. Ñîîòâåòñòâåííî, ÌÍÊ-îöåíêà ðàñïðåäåëåíà ñîãëàñíî åå áóòñòðàïîâñêîìó ðàñïðåäåëåíèþ

   1/2 ∗ b θ2 = 4/5   2

ñ âåðîÿòíîñòüþ

1/4

ñ âåðîÿòíîñòüþ

1/2

ñ âåðîÿòíîñòüþ

1/4

Èñïîëüçóÿ ýòî áóòñòðàïîâñêîå ðàñïðåäåëåíèå, ìîæíî ñòðîèòü äîâåðèòåëüíûå èíòåðâàëû èëè òåñòèðîâàòü ãèïîòåçû îáû÷íûì îáðàçîì. Ïðèìåð, ðàññìîòðåííûé íàìè, áûë ÷ðåçâû÷àéíî ïðîñò : ðàçìåð èñõîäíîé âûáîðêè áûë ðàâåí 2. Â îáùåì ñëó÷àå, êîãäà ìû èìååì

n

íàáëþäåíèé, êîëè÷åñòâî âàðèàíòîâ

äëÿ áóòñòðàïîâñêèõ ñòàòèñòèê èìååò ïîðÿäîê

n

. Òàêèì îáðàçîì, â âû÷èñëèòåëüíîì

n

ïëàíå çàäà÷à ñèëüíî óñëîæíÿåòñÿ ïî ìåðå ðîñòà

2

n.

Ïðèáëèæåíèå ñ ïîìîùüþ ñèìóëÿöèé

Êàê óïîìèíàëîñü, ïðè óâåëè÷åíèè ðàçìåðà âûáîðêè îáúåì âû÷èñëåíèé äëÿ ïîëó÷åíèÿ áóòñòðàïîâñêîãî ðàñïðåäåëåíèÿ áûñòðî âîçðàñòàåò. Ïîýòîìó, êàê ïðàâèëî, ïðîöåäóðà áóòñòðàïèðîâàíèÿ îñóùåñòâëÿåòñÿ ñ ïîìîùüþ ñèìóëÿöèé. Çäåñü ìû ïðèâåäåì îïèñàòåëüíûé àëãîðèòì ïîñòðîåíèÿ áóòñòðàïîâñêèõ äîâåðèòåëüíûõ èíòåðâàëîâ.

Áóòñòðàïîâñêèé àëãîðèòì.

B (îáû÷íî õâàòàåò 1000). Äëÿ b = 1, 2, . . . , B

1. Âûáðàòü êîëè÷åñòâî ïñåâäîâûáîðîê

∗ ∗ ∗ ïîñòðîèòü ïñåâäîâûáîðêè (z1 ; z2 ; . . . ; zn )b , âûòÿãèâàÿ ýëåìåíòû ïñåâäîâûáîðîê ñëó÷àéíûì îáðàçîì

ñ âîçâðàùåíèåì

èç èñõîäíîé âûáîðêè

b∗ äîé ïñåâäîâûáîðêè âû÷èñëèòü ïñåâäîñòàòèñòèêó θ b 2. Ïîëó÷åííûå ïñåâäîñòàòèñòèêè Â êà÷åñòâå êâàíòèëåé

∗ θb1∗ , . . . , θbB

∗ qα∗ 1 , q1−α 2

b ∗ ; . . . ; z ∗ )b ). = θ((z n 1

îòñîðòèðîâàòü â ïîðÿäêå âîçðàñòàíèÿ.

âçÿòü çíà÷åíèÿ

êîòîðûõ ïîñòðîèòü äîâåðèòåëüíûé èíòåðâàë.

20

(z1 ; . . . ; zn ). Äëÿ êàæ-

∗ ∗ θb[Bα , θb[B(1−α , 1] 2 )+1]

íà îñíîâå

3

Êàêèå ñòàòèñòèêè áóòñòðàïèòü ?

Îòâåò íà âîïðîñ, êàêèå ñòàòèñòèêè ëó÷øå èñïîëüçîâàòü ïðè ïîñòðîåíèè äîâåðèòåëüíûõ èíòåðâàëîâ ñ ïîìîùüþ áóòñòðàïà, êðîåòñÿ â äâóõ ïðîñòûõ ñîîáðàæåíèÿõ. Âîïåðâûõ, áóòñòðàïîâñêîå ðàñïðåäåëåíèå öåíòðèðîâàíî íå îêîëî èñòèííîãî çíà÷åíèÿ ñòàòèñòèêè, à îêîëî åãî âûáîðî÷íîãî àíàëîãà. Âî-âòîðûõ, ïîëàãàåòñÿ áóòñòðàïèðîâòü àñèìïòîòè÷åñêè ïèâîòàëüíûå ñòàòèñòèêè. Ðàññìîòðèì íåñêîëüêî âàðèàíòîâ áóòñòðàïîâñêèõ ñòàòèñòèê, èñïîëüçóåìûõ äëÿ ïîñòðîåíèÿ äîâåðèòåëüíûõ èíòåðâàëîâ è ïîä÷åðêíåì èõ ïîëîæèòåëüíûå è îòðèöàòåëüíûå êà÷åñòâà. Ïóñòü íàñ èíòåðåñóåò ïîñòðîåíèå ñòàòèñòè÷åñêèõ âûâîäîâ îòíîñèòåëüíî ïàðàìåòðà

•

β

èç åå îöåíêè

βb.

Ýôðîíîâñêèé äîâåðèòåëüíûé èíòåðâàë. Â äàííîì ñëó÷àå áóòñòðàïèðóåìîé ñòàòèñòèêîé ÿâëÿåòñÿ ñàìà îöåíêà, ò.å. ÷àåì áóòñòðàïîâñêîå ðàñïðåäåëåíèå ðàñïðåäåëåíèÿ

∗ ∗ qα/2 , q1−α/2 ,

θb = βb.

{θbb∗ = βbb∗ }B b=1 .

Òàêèì îáðàçîì, ìû ïîëó-

Ñîîòâåòñòâóþùèå êâàíòèëè

à äîâåðèòåëüíûé èíòåðâàë

∗ ∗ CIE = [qα/2 , q1−α/2 ]. Ýôðîíîâñêèé äîâåðèòåëüíûé èíòåðâàë áûë ïîïóëÿðåí, êîãäà áóòñòðàïîâñêèé ïîäõîä òîëüêî íà÷èíàë èñïîëüçîâàòüñÿ. Íà ñàìîì äåëå, ýòîò äîâåðèòåëüíûé èíòåðâàë äàåò ïëîõóþ àïïðîêñèìàöèþ äëÿ èñòèííûõ óðîâíåé çíà÷èìîñòè, ïîñêîëüêó ñîõðàíÿåò ñìåùåíèå èñõîäíîé âûáîðêè.

•

Õîëëîâñêèé äîâåðèòåëüíûé èíòåðâàë. Õîëë ïðåäëîæèë èñïîëüçîâàòü äëÿ ïîñòðîåíèÿ äîâåðèòåëüíîãî èíòåðâàëà ðåöåíòðèðîâàííóþ ñòàòèñòèêó

θb = βb −β ,

÷òî ñíèìàåò ïðîáëåìó ñìåùåíèÿ, ñâÿçàííîãî ñ êîíå÷íîñòüþ âûáîðêè. Òàêèì îáðàçîì, ïîëó÷àåòñÿ áóòñòðàïîâñêîå ðàñïðåäåëåíèå ñòâóþùèå êâàíòèëè

∗ ∗ , qα/2 , q1−α/2

b B . {θbb∗ = βbb∗ − β} b=1

Ñîîòâåò-

à äîâåðèòåëüíûé èíòåðâàë

∗ ∗ CIH = [βb − q1−α/2 , βb − qα/2 ]. Õîëëîâñêèé äîâåðèòåëüíûé èíòåðâàë äàåò ëó÷øóþ, ÷åì Ýôðîíîâñêèé, àïïðîêñèìàöèþ óðîâíåé çíà÷èìîñòè. Ïëþñîì èñïîëüçîâàíèÿ Õîëëîâñêîãî äîâåðèòåëüíîãî èíòåðâàëà ÿâëÿåòñÿ îòñóòñòâèå íåîáõîäèìîñòè îöåíèâàíèÿ ñòàíäàðòíûõ îøèáîê, õîòÿ, êàê óâèäèì âïîñëåäñòâèè, òàêàÿ ñòðàòåãèÿ îáîðà÷èâàåòñÿ ñåðüåçíûì ìèíóñîì.

•

t-ïðîöåíòíûé äîâåðèòåëüíûé èíòåðâàë. Òàêîé èíòåðâàë èñïîëüçóåò â êà÷åñòâå áóòñòðàïèðóåìîé ñòàòèñòèêè t-ñòàòèñòèêó, ò.å.

21

βb − β . b se(β)

Òàêèì îáðàçîì,

íàõîäÿò áóòñòðàïîâñêîå ðàñïðåäåëåíèå ñòàòèñòèêè

(

βbb∗ − βb se(βb∗ ) b

þùèå êâàíòèëè

)B

è ñîîòâåòñòâó-

b=1

∗ ∗ qα/2 , q1−α/2 , à ñàì t-ïðîöåíòíûé äîâåðèòåëüíûé èíòåðâàë ñòðî-

ÿò êàê

b ∗ b b ∗ CIt = [βb − se(β)q 1−α/2 , β − se(β)qα/2 ].

t-ïðîöåíòíûé äîâåðèòåëüíûé èíòåðâàë åùå ëó÷øå àïïðîêñèìèðóåò èñòèííûå óðîâíè çíà÷èìîñòè, ÷åì Õîëëîâñêèé äîâåðèòåëüíûé èíòåðâàë. Íî èñïîëüçîâàòü åãî ðåêîìåíäóåòñÿ òîëüêî åñëè ñòàíäàðòíûå îøèáêè ìîæíî ïîñòðîèòü êà÷åñòâåííî.

•

Ñèììåòðè÷íûé t-ïðîöåíòíûé äîâåðèòåëüíûé èíòåðâàë. Òàêîé èíòåðâàë èñïîëüçóåò â êà÷åñòâå áóòñòðàïèðóåìîé ñèììåòðèçîâàííóþ t-ñòàòèñòèêó ( )B b |βb − β| |βbb∗ − β| . Ðàñïðåäåëåíèå áóòñòðàïîâñêîé ñòàòèñòèêè åñòü , à ïðàb se(β) se(βbb∗ ) b=1 ∗ âûé êâàíòèëü qα . Ñèììåòðè÷íûé t-ïðîöåíòíûé äîâåðèòåëüíûé èíòåðâàë åñòü

b ∗ , βb + se(β)q b ∗ ]. CI|t| = [βb − se(β)q 1−α 1−α Ñèììåòðè÷íûé t-ïðîöåíòíûé äîâåðèòåëüíûé èíòåðâàë èìååò â îïðåäåëåííûõ ñëó÷àÿõ ïðåèìóùåñòâî ïåðåä t-ïðîöåíòíûì äîâåðèòåëüíûì èíòåðâàëîì. À èìåííî, åñëè àñèìïòîòè÷åñêîå ðàñïðåäåëåíèå ñòàòèñòèêè êàê â ñëó÷àå àñèìïòîòè÷åñêîé íîðìàëüíîñòè), òî

b β−β ñèììåòðè÷íî (êàê ðàç

CI|t|

äàåò ëó÷øóþ àïïðîêñè-

ìàöèþ óðîâíåé çíà÷èìîñòè.

4

Êîððåêòèðîâêà ñìåùåíèÿ

Áóòñòðàï ïîçâîëÿåò ñêîððåêòèðîâàòü ñìåùåíèå, ñâÿçàííîå ñ êîíå÷íîñòüþ âûáîðêè. Ïóñòü ó íàñ åñòü ñìåù¼ííàÿ, íî ñîñòîÿòåëüíàÿ ñòàòèñòèêà

βb :

b 6= β. E[β] Òîãäà ìû ìîæåì âûðàçèòü ñìåùåíèå ñëåäóþùèì îáðàçîì :

b − β. Bias = E[β] Åñëè ó íàñ åñòü âîçìîæíîñòü êà÷åñòâåííî îöåíèòü ñìåùåíèå, òî ìû ìîæåì ñêîððåêòèðîâàòü èñõîäíóþ ñòàòèñòèêó :

[ βe = βb − Bias.

22

Ñìåùåíèå æå ìîæíî îöåíèòü ñ ïîìîùüþ áóòñòðàïà :

B 1 X b∗ b ∗ b b Bias = E [βb ] − β = β − β. B b=1 b ∗

∗

Òàêèì îáðàçîì, ñêîððåêòèðîâàííàÿ ñòàòèñòèêà åñòü

! B 1 X b∗ b β − β = 2βb − βb∗ . B b=1 b

βe = βb − 5

Òåñòèðîâàíèå ãèïîòåç ïðè ïîìîùè áóòñòðàïà

Îäíîé èç îñíîâíûõ öåëåé áóòñòðàïà ÿâëÿåòñÿ òåñòèðîâàíèå ãèïîòåç. Ðàññìîòðèì, êàê ñ ïîìîùüþ áóòñòðàïà òåñòèðóþòñÿ ïðîñòåéøèå ñòàòèñòè÷åñêèå ãèïîòåçû. Ïóñòü íóëåâàÿ ãèïîòåçà èìååò âèä

•

H0 : β = β 0 ,

ãäå

β

ñêàëÿð.

Àëüòåðíàòèâíàÿ ãèïîòåçà îäíîñòîðîííÿÿ :

Ha : β > β 0 .

Áóòñòðàïèì t-

ïðîöåíòíóþ ñòàòèñòèêó

βb − β θb = b se(β)

è ïîëó÷àåì áóòñòðàïîâñêîå ðàñïðåäåëåíèå ýòîé ñòàòèñòèêè è ñîîòâåòñòâóþùèé êâàíòèëü :

(

βb∗ − βb θbb∗ = b se(βb∗ )

)B

b

Ãèïîòåçà

•

H0

îòâåðãàåòñÿ, åñëè

∗ ⇒ q1−α .

b=1

βb − β 0 ∗ > q1−α . b se(β)

Àëüòåðíàòèâíàÿ ãèïîòåçà äâóñòîðîííÿÿ :

Ha : β 6= β 0 .

áóòñòðàïèì ñèììåòðè÷íóþ t-ïðîöåíòíóþ ñòàòèñòèêó

|βb − β| . θb = b se(β)

Ïîëó÷àåì áóòñòðàïîâñêîå ðàñïðåäåëåíèå è êâàíòèëü :

(

b |βb∗ − β| θbb∗ = b se(βb∗ ) b

Ãèïîòåçà

H0

îòâåðãàåòñÿ, åñëè

)B

∗ ⇒ q1−α .

b=1

|βb − β 0 | ∗ > q1−α . b se(β)

23

Â ýòîì ñëó÷àå ìû

Ïóñòü íóëåâàÿ ãèïîòåçà èìååò âèä

H0 : β = β 0 ,

ãäå

β

âåêòîð. Â ýòîì ñëó÷àå

ìû áóòñòðàïèì Âàëüäîâñêóþ ñòàòèñòèêó (ñ òî÷íîñòüþ äî êîýôôèöèåíòà ïðîïîðöèîíàëüíîñòè)

θb = (βb − β)0 Vbβ−1 (βb − β).

Ñîîòâåòñòâåííî, ïîëó÷àåì áóòñòðàïîâñêîå ðàñïðåäåëåíèå è êâàíòèëü :

oB n b 0 Vb ∗−1 (βb∗ − β) b θbb∗ = (βbb∗ − β) b β

b=1

Ãèïîòåçà

H0

îòâåðãàåòñÿ, åñëè

∗ . ⇒ q1−α

∗ . θb0 = (βb − β 0 )0 Vbβ−1 (βb − β 0 ) > q1−α

Ïóñòü òåïåðü íóëåâàÿ ãèïîòåçà èìååò âèä ëèíåéíûõ îãðàíè÷åíèé íà êîýôôèöèåíòû

H0 : Rβ = r,

ãäå

R

ìàòðèöà îãðàíè÷åíèé. Â ýòîì ñëó÷àå ìû ñíîâà áóòñòðàïèì

Âàëüäîâñêóþ ñòàòèñòèêó (ñ òî÷íîñòüþ äî êîýôôèöèåíòà ïðîïîðöèîíàëüíîñòè)

θb = (Rβb − r)0 (RVbβ R0 )−1 (Rβb − r). Ïîëó÷àåì áóòñòðàïîâñêîå ðàñïðåäåëåíèå, èç êîòîðîãî íàõîäèì ñîîòâåòñòâóþùèé êâàíòèëü :

n oB b 0 R0 (RVb ∗ R0 )−1 R(βb∗ − β) b θbb∗ = (βbb∗ − β) β b

b=1

∗ ⇒ q1−α .

Çàìåòèì, ÷òî ìû ðåöåíòðèðóåì áóòñòðàïîâñêóþ ñòàòèñòèêó. Áåç ýòîãî áóòñòðàïîâñêîå ðàñïðåäåëåíèå óíàñëåäîâàëî áû ñìåùåíèå, ñâîéñòâåííîå ïåðâîíà÷àëüíîé ñòàòèñòèêå. Ãèïîòåçà

6

H0

îòâåðãàåòñÿ, åñëè

∗ θb = (Rβb − r)0 (RVbβ R0 )−1 (Rβb − r) > q1−α .

Àñèìïòîòè÷åñêîå ðàôèíèðîâàíèå

Èíîãäà ãîâîðÿò, ÷òî ñ ïîìîùüþ áóòñòðàïà äîñòèãàåòñÿ àñèìïòîòè÷åñêîå ðàôèíèðîâàíèå. Â ýòîé ãëàâå ìû îáñóäèì, ÷òî òàêîå àñèìïòîòè÷åñêîå ðàôèíèðîâàíèå è â êàêèõ ñëó÷àÿõ îíî èìååò ìåñòî.

Fθb(x). ∗ Îáîçíà÷èì áóòñòðàïîâñêîå ðàñïðåäåëåíèå ýòîé ñòàòèñòèêè ÷åðåç F b (x). Ãîâîðÿò, ÷òî θ Ïóñòü ó íàñ åñòü íåêîòîðàÿ ñòàòèñòèêà

θb,

èñòèííîå ðàñïðåäåëåíèå êîòîðîé

ñ ïîìîùüþ áóòñòðàïà äîñòèãàåòñÿ àñèìïòîòè÷åñêîå ðàôèíèðîâàíèå, åñëè îøèáêà àïïðîêñèìàöèè èñòèííîãî ðàñïðåäåëåíèÿ

Fθb(x)

áóòñòðàïîâñêèì

Fθb∗ (x)

áîëüøåãî ïî-

ðÿäêà ìàëîñòè, ÷åì îøèáêà àïïðîêñèìàöèè àñèìïòîòè÷åñêèì ðàñïðåäåëåíèåì ïðè ñòðåìëåíèè îáúåìà âûáîðêè ê áåñêîíå÷íîñòè. Ïðèâåäåì ïðèìåðû, èñïîëüçóþùèå ðàçëîæåíèå Ýäæâîðòà ôóíêöèè ðàñïðåäåëåíèÿ ñòàòèñòèêè âîêðóã ïðåäåëüíîãî ðàñïðåäåëåíèÿ.

Ïðèìåð 1 : àñèìïòîòè÷åñêè ïèâîòàëüíàÿ t-ñòàòèñòèêà. Ïóñòü áóòñòðàïèðóåìàÿ íàìè ñòàòèñòèêà åñòü

βb − β . θb = b se(β) 24

Åå àñèìïòîòè÷åñêîå ðàñïðåäåëåíèå, êàê ìû óæå âèäåëè, ÿâëÿåòñÿ ñòàíäàðòíûì íîðd b→ ìàëüíûì : θ N (0, 1) (ò.å. ñòàòèñòèêà àñèìïòîòè÷åñêè ïèâîòàëüíàÿ). Îáîçíà÷èì òî÷íîå ðàñïðåäåëåíèå ñòàòèñòèêè ÷åðåç

Fθb(x),

à áóòñòðàïîâñêîå ÷åðåç

Fθb∗ (x).

Äëÿ

êóìóëÿòèâíîé ôóíêöèè ñòàíäàðòíîãî íîðìàëüíîãî ðàñïðåäåëåíèÿ èñïîëüçóåì îáû÷íîå îáîçíà÷åíèå

Φ(x).

Èòàê, ðàçëîæèì èñòèííîå è áóòñòðàïîâñêîå ðàñïðåäåëåíèÿ âîêðóã àñèìïòîòè÷åñêîãî :

Çäåñü

h1 (x, F )

íåïðåðûâíàÿ ïî

1 h1 (x, F ) h2 (x, F ) + +O , Fθb(x) = Φ(x) + √ n n3/2 n h1 (x, Fb) h2 (x, Fb) 1 ∗ Fθb (x) = Φ(x) + √ + +O . n n3/2 n ÷åòíàÿ ïî x, íåïðåðûâíàÿ ïî F ôóíêöèÿ, h2 (x, F ) F

íå÷åòíàÿ ïî

x,

ôóíêöèÿ. Îøèáêè àïïðîêñèìàöèè òî÷íîãî ðàñïðåäåëåíèÿ àñèì-

ïòîòè÷åñêèì è áóòñòðàïîâñêèì, ñîîòâåòñòâåííî, ðàâíû

h1 (x, F ) Φ(x) − Fθb(x) = √ +O n

1 √ n

=O

1 √ n

,

1 h1 (x, Fb) − h1 (x, F ) 1 √ +O =O . − Fθb(x) = n n n b) − h1 (x, F ) âîñïîëüçîâàëèñü òåì ôàêòîì, ÷òî ðàçíîñòü h1 (x, F Fθb∗ (x)

Çäåñü ìû

èìååò àñèì-

1 ïòîòèêó √ , ïîñêîëüêó n

√ √ n Fb(x) − F (x) = n

n

1X 1[xi ≤ x] − E [1[xi ≤ x]] n i=1

!

d

→ N (0, P {xi ≤ x}P {xi > x}). Òàêèì îáðàçîì, â äàííîì ïðèìåðå èñïîëüçîâàíèå áóòñòðàïà ïðèâîäèò ê àñèìïòîòè÷åñêîìó ðàôèíèðîâàíèþ.

Ïðèìåð 2 : àñèìïòîòè÷åñêè íåïèâîòàëüíàÿ ñòàòèñòèêà. Ðàññìîòðèì ñòàòèñòèêó

θb =

√

d

n(βb − β) → N (0, Vβ ).

Ñîõðàíèâ îáîçíà÷åíèå êóìóëÿòèâíûõ ôóíêöèé ðàñïðåäåëåíèÿ äëÿ òî÷íîãî ðàñïðåäåëåíèÿ è áóòñòðàïîâñêîãî èç ïðåäûäóùåãî ïðèìåðà, îáîçíà÷èì àñèìïòîòè÷åñêîå ðàñïðåäåëåíèå ÷åðåç

Φ(x, Vβ ).

Çàìåòèì, ÷òî òåïåðü íàøà ñòàòèñòèêà àñèìïòîòè÷å-

ñêè íåïèâîòàëüíàÿ, ò.å. åå àñèìïòîòè÷åñêîå ðàñïðåäåëåíèå çàâèñèò îò íåèçâåñòíîãî ïàðàìåòðà, â äàííîì ñëó÷àå

Vβ .

Êàê â ïðåäûäóùåì ïðèìåðå, ðàçëîæèì òî÷íîå è

áóòñòðàïîâñêîå ðàñïðåäåëåíèÿ âîêðóã àñèìïòîòè÷åñêîãî :

h1 (x, F ) +O Fθb(x) = Φ(x, Vβ ) + √ n 25

1 , n

Fθb∗ (x)

=

Φ(x, Vβ∗ )

h1 (x, Fb) + √ +O n

1 . n

Îøèáêè àïïðîêñèìàöèè äëÿ àñèìïòîòè÷åñêîãî è áóòñòðàïîâñêîãî ðàñïðåäåëåíèé ñ÷èòàþòñÿ àíàëîãè÷íî ïðåäûäóùåìó ïðèìåðó :

1 1 , =O √ n n 1 1 ∗ ∗ . Fθb (x) − Fθb(x) = Φ(x, Vβb ) − Φ(x, Vβb) + O =O √ n n h1 (z, F ) Φ(x, Vβ ) − Fθb(x) = − √ +O n

Êàê âèäíî, â äàííîì ñëó÷àå èñïîëüçîâàíèå áóòñòðàïà íå ïðèâîäèò ê àñèìïòîòè÷åñêîìó ðàôèíèðîâàíèþ. Âîîáùå, êàê ïðàâèëî, áóòñòðàïèðîâàíèå

íåïèâîòàëüíûõ

àñèìïòîòè÷åñêè

ñòàòèñòèê íå äàåò àñèìïòîòè÷åñêîãî ðàôèíèðîâàíèÿ.

Ïðèìåð 3 : àñèìïòîòè÷åñêè ïèâîòàëüíàÿ ñèììåòðè÷íàÿ t-ñòàòèñòèêà. Òåïåðü ðàññìîòðèì â êà÷åñòâå ïðèìåðà ñèììåòðè÷íóþ t-ñòàòèñòèêó

|βb − β| d → |N (0, 1)|. θb = b se(β)

Ñîõðàíÿÿ îáîçíà÷åíèÿ ïðåäûäóùèõ ïðèìåðîâ, ðàçëîæèì òî÷íîå è áóòñòðàïîâñêîå ðàñïðåäåëåíèÿ :

1 βb − β 2h2 (x, F ) ≤ x} = 2Φ(x) − 1 + +O , Fθb(x) = P r{−x ≤ b n n3/2 se(β) 2h2 (x, Fb) 1 ∗ Fθb (x) = 2Φ(x) − 1 + +O . n n3/2 Òàêèì îáðàçîì, îøèáêè àïïðîêñèìàöèè äëÿ àñèìïòîòèêè è áóòñòðàïà èìåþò ïîðÿäêè

1 , 2Φ(x) − 1 − Fθb(x) = O n 2 1 1 ∗ Fθb (x) − Fθb(x) = h2 (x, Fb) − h2 (x, F ) + O =O . n n3/2 n3/2

Òàêèì îáðàçîì, ìû ïîëó÷àåì àñèìïòîòè÷åñêîå ðàôèíèðîâàíèå. Çàìåòèì, ÷òî áóòñòðàïèðîâàíèå ñèììåòðè÷íîãî äâóñòîðîííåãî òåñòà èìååò îøèáêó áîëåå âûñîêîãî ïîðÿäêà, ÷åì áóòñòðàïèðîâàíèå îäíîñòîðîííåãî òåñòà.

7

Ïîñòðîåíèå ïñåâäîâûáîðîê ïðè áóòñòðàïå êðîññ-ñåêöèé

Ðàññìîòðèì ñëó÷àé ïðîñòåéøåé ìíîæåñòâåííîé ðåãðåññèè ñ íåçàâèñèìûìè íàáëþäåíèÿìè :

y = x0 β + e, E[e|x] = 0, {(xi , yi )} ∼ iid. Ñóùåñòâóåò íåñêîëüêî àëüòåðíàòèâíûõ ñïîñîáîâ ïîñòðîåíèÿ ïñåâäîâûáîðêè äëÿ ýòîé ðåãðåññèè :

26

1.

Íåïàðàìåòðè÷åñêîå ïîñòðîåíèå ïñåâäîâûáîðêè. Èç èñõîäíûõ íàáëþäåíèé

2.

{(xi , yi )}ni=1

n

ñëó÷àéíî ñ âîçâðàùåíèåì èçâëåêàþòñÿ

íàáëþäåíèé

(x∗i , yi∗ ).

Ïîñòðîåíèå ïñåâäîâûáîðêè ïî îñòàòêàì. Ñíà÷àëà îöåíèâàåòñÿ ìîäåëü è íàõîäèòñÿ ñîñòîÿòåëüíàÿ îöåíêà Èç ìíîæåñòâà ïàð

n

þòñÿ

yi∗

=

íàáëþäåíèé

{(xi , ebi )}ni=1 (x∗i , eb∗i ).

βb.

Çàòåì âû÷èñëÿþòñÿ îñòàòêè :

ebi = yi − x0i βb.

ñëó÷àéíûì îáðàçîì ñ âîçâðàùåíèåì èçâëåêà-

Çàòåì âîññòàíàâëèâàåòñÿ ïåðåìåííàÿ ëåâîé ÷àñòè

b b∗ . Çàìåòèì, ÷òî â äàííîì êîíòåêñòå ýòîò ìåòîä ïîñòðîåíèÿ ïñåâäîx0∗ i β +e i

âûáîðêè èäåíòè÷åí íåïàðàìåòðè÷åñêîìó ìåòîäó, íî èäåíòè÷íîñòü ïðîïàäàåò â áîëåå ñëîæíûõ ñëó÷àÿõ. 3.

Ïîñòðîåíèå ïñåâäîâûáîðêè ïî îñòàòêàì (ñïåöèàëüíûé ñëó÷àé). Åñëè èññëåäîâàòåëþ çàðàíåå èçâåñòíî, ÷òî îøèáêè è ðåãðåññîðû íåçàâèñèìû, òî ýôôåêòèâíîñòü áóòñòðàïà ìîæíî óâåëè÷èòü, èçâëåêàÿ ñëó÷àéíî ñ âîçâðàùåíèåì

x∗i 4.

èç

{xi }ni=1

è

eb∗i

èç

{b ei }ni=1

ïî îòäåëüíîñòè.

Ïîñòðîåíèå ïñåâäîâûáîðêè ïî îñòàòêàì (ñïåöèàëüíûé ñëó÷àé). Åñëè èññëåäîâàòåëü çíàåò, ÷òî îøèáêè è ðåãðåññîðû íåçàâèñèìû, è, êðîìå òîãî, îøèáêè ðàñïðåäåëåíû íîðìàëüíî, ò.å.

ei ∼ N (0, σ 2 ),

òî ýôôåêòèâíîñòü áóò-

ñòðàïà ìîæíî óâåëè÷èòü (ïî ñðàâíåíèþ ñ ïðåäûäóùèì ñëó÷àåì), âûáèðàÿ ðåãðåññîðû è îñòàòêè äëÿ ïñåâäîâûáîðêè ïî îòäåëüíîñòè, è, êðîìå òîãî, îñòàòêè ñòîèò èçâëåêàòü èç íîðìàëüíîãî ðàñïðåäåëåíèÿ, ò.å. ñ âîçâðàùåíèåì èç

8

x∗i

èçâëåêàþòñÿ ñëó÷àéíî

N (0, σ b2 ).

Ïîñòðîåíèå ïñåâäîâûáîðîê ïðè áóòñòðàïå âðåìåííûõ ðÿäîâ

Âðåìåííîé ðÿä îòëè÷àåòñÿ îò êðîññ-ñåêöèîííîé âûáîðêè òåì, ÷òî íàáëþäåíèÿ çäåñü çàâèñèìû, ïîýòîìó ñëó÷àéíîå ïåðåìåøèâàíèå ïðè íåïàðàìåòðè÷åñêîì áóòñòðàïå ðàçðóøàåò ýòó çàâèñèìîñòü, òàê ÷òî âåðîÿòíîñòíàÿ ñòðóêòóðà ïñåâäîäàííûõ óæå íå èìèòèðóåò âåðîÿòíîñòíóþ ñòðóêòóðó äàííûõ. ×òîáû èçáåæàòü ýòîãî, èñïîëüçóåòñÿ áëî÷íûé áóòñòðàï, â êîòîðîì ïñåâäîâûáîðêà ñòðîèòñÿ èç áëîêîâ èñõîäíîé âûáîðêè. Àíàëîãè÷íî ñëó÷àþ íåçàâèñèìûõ íàáëþäåíèé, âî âðåìåíûõ ðÿäàõ âîçìîæíî ïîñòðîåíèå ïñåâäîâûáîðêè ïî îñòàòêàì, îäíàêî òàêîé ñïîñîá ïðèìåíèì òîëüêî â òåõ ðåäêèõ ñëó÷àÿõ, êîãäà îøèáêè èëè èííîâàöèè ñåðèéíî íåçàâèñèìû. Ðàññìîòðèì íåñêîëüêî àëüòåðíàòèâíûõ ñïîñîáîâ ïîñòðîåíèÿ áëî÷íîé ïñåâäîâûáîðêè.

1.

Ïîñòðîåíèå ïñåâäîâûáîðêè èç ïåðåêðûâàþùèõñÿ áëîêîâ. Èñõîäíàÿ âûáîðêà äåëèòñÿ íà íåêîòîðîå êîëè÷åñòâî ïåðåêðûâàþùèõñÿ áëîêîâ. Äëèíà áëîêà âûáèðàåòñÿ èññëåäîâàòåëåì èñõîäÿ èç âðåìåííîé ñòðóêòóðû ðÿäà. Ïóñòü

27

{yt }Tt=1

èñõîäíàÿ âûáîðêà, à

l äëèíà áëîêà. Òîãäà â ïåðâûé áëîê âîéäóò íàáëþäåíèÿ

y1 , . . . , yl , âî âòîðîé y2 , . . . , yl+1 , â òðåòèé y3 , . . . , yl+2 , è íàêîíåö â T −l+1-ûé íàáëþäåíèÿ

yT −l+1 , . . . , yT .

Ïðè ïîñòðîåíèè ïñåâäîâûáîðêè áëîêè èçâëåêàþòñÿ

ñëó÷àéíî ñ âîçâðàùåíèåì. 2.

Ïîñòðîåíèå ïñåâäîâûáîðêè èç íåïåðåêðûâàþùèõñÿ áëîêîâ. Â äàííîì ñëó÷àå èñõîäíàÿ âûáîðêà äåëèòñÿ íà íåêîòîðîå êîëè÷åñòâî íåïåðåêðûâàþùèõñÿ áëîêîâ. Äëèíà áëîêà, òàê æå êàê è â ïðåäûäóùåì ñëó÷àå, âûáèðàåòñÿ èññëåäîâàòåëåì. Ïóñòü èñõîäíàÿ âûáîðêà ñîñòîèò èç íàáëþäåíèé

y1 , . . . , y l ,

â ïåðâûé áëîê âîéäóò íàáëþäåíèÿ íåö, â ïîñëåäíèé

T l

-ûé áëîê íàáëþäåíèÿ

âî âòîðîé

{yt }Tt=1 .

yl+1 , . . . , y2l ,

Òîãäà

è íàêî-

yl[ T ]−l+1 , . . . , yl[ T ] . Ïðè ïîñòðîåíèè l

l

ïñåâäîâûáîðêè áëîêè èçâëåêàþòñÿ ñëó÷àéíûì îáðàçîì ñ âîçâðàùåíèåì. 3.

Ïîñòðîåíèå ñòàöèîíàðíîé ïñåâäîâûáîðêè. Ïðåäûäóùèå äâà âàðèàíòà ïîñòðîåíèÿ ïñåâäîâûáîðêè, êàê ïðàâèëî, íàðóøàþò ñòàöèîíàðíîñòü ðÿäà, ò.å. èç ñòàöèîíàðíîé èñõîäíîé âûáîðêè ïîëó÷àþòñÿ íåñòàöèîíàðíûå ïñåâäîâûáîðêè. ×òîáû ïîëó÷èòü ñòàöèîíàðíóþ ïñåâäîâûáîðêó, áûë ïðåäëîæåí ñïîñîá, îñíîâàííûé íà íåôèêñèðîâàííîé äëèíå áëîêîâ. À èìåííî, çàäàåòñÿ âåðîÿòíîñòü îêîí÷àíèÿ áëîêà

p.

òåì ñ âåðîÿòíîñòüþ

Ïåðâûé ýëåìåíò ïñåâäîâûáîðêè âûáèðàåòñÿ ñëó÷àéíî. Çà-

(1 − p)

â òåêóùèé áëîê âêëþ÷àåòñÿ ñëåäóþùèé ýëåìåíò

èñõîäíîé âûáîðêè, à ñ âåðîÿòíîñòüþ

p íà÷èíàåòñÿ íîâûé áëîê, ïåðâûé ýëåìåíò

êîòîðîãî ñíîâà âûáèðàåòñÿ ñëó÷àéíî èç èñõîäíîé âûáîðêè. Òàê ïðîäîëæàåòñÿ, ïîêà â ïñåâäîâûáîðêó íå áóäåò íàáðàíî íóæíîå êîëè÷åñòâî ýëåìåíòîâ.

III

Îñíîâíûå ýêîíîìåòðè÷åñêèå ïîíÿòèÿ

Äàííûé ðàçäåë êðàòêî ïîâòîðÿåò îñíîâíûå ïîíÿòèÿ, èçó÷åííûå â êóðñå ñòàòèñòèêè è òåîðèè âåðîÿòíîñòåé.

1

Óñëîâíîå ìàòåìàòè÷åñêîå îæèäàíèå

Ïóñòü

(X, Y )

ïàðà ñëó÷àéíûõ âåëè÷èí. Ôóíêöèÿ ñîâìåñòíîé ïëîòíîñòè ðàñïðåäå-

ëåíèÿ

f(X,Y ) (x, y) ≥ 0 îáëàäàåò ñâîéñòâîì íîðìèðîâêè

Z

+∞

−∞

Z

+∞

f(X,Y ) (x, y)dxdy = 1.

−∞

28

Âåðîÿòíîñòü äëÿ

(X, Y )

[a, b] × [c, d]

ïîïàñòü â ïðÿìîóãîëüíèê

P r{a ≤ X ≤ b, c ≤ Y ≤ d} =

d

Z

b

Z

c

f(X,Y ) (x, y)dxdy.

a

X

Ìàðãèíàëüíàÿ ôóíêöèÿ ïëîòíîñòè ðàñïðåäåëåíèÿ ñòüþ

(X, Y )

îïðåäåëÿåòñÿ êàê

ñâÿçàíà ñ ñîâìåñòíîé ïëîòíî-

êàê

fX (x) =

+∞

Z

f(X,Y ) (x, y)dy.

−∞ Óñëîâíàÿ ïëîòíîñòü ðàñïðåäåëåíèÿ

Y

ïðè

X=x

fY |X=x (x, y) =

f(X,Y ) (x, y) . fX (x)

[c, d] îïðåäåëÿþòñÿ Z d P r{c ≤ Y ≤ d | X = x} = fY |X=x (x, y)dy,

Óñëîâíûå âåðîÿòíîñòè ïîïàäàíèÿ

Y

åñòü

â îòðåçîê

âûðàæåíèÿìè

c

P r{c ≤ Y ≤ d | a ≤ X ≤ b} = Óñëîâíîå ìàòåìàòè÷åñêîå îæèäàíèå

Y

RdRb c

fX,Y (x, y)dxdy . Rb f (x)dx X a

a

ïðè óñëîâèè

E[Y | X = x] =

X=x

åñòü

+∞

Z

yfY |X=x (x, y)dy.

−∞ Çàìåòèì, ÷òî ôóíêöèÿ óñëîâíîãî ìàòåìàòè÷åñêîãî îæèäàíèÿ ÷àéíîé âåëè÷èíîé (òàê êàê

X

ñëó÷àåí). Èìååò ìåñòî

E[Y | X] ÿâëÿåòñÿ ñëó-

çàêîí ïîñëåäîâàòåëüíûõ ìàòå-

ìàòè÷åñêèõ îæèäàíèé :

E[h(X, Y )] = E[E[h(X, Y ) | X]], ãäå

h(X, Y ) ïðîèçâîëüíàÿ ôóíêöèÿ îò (X, Y ). Â ñëó÷àå íåïðåðûâíûõ ðàñïðåäåëåíèé

ñïðàâåäëèâîñòü ýòîãî çàêîíà ëåãêî ïîêàçàòü :

Z

+∞

−∞

2

Z

+∞

h(x, y)f(X,Y ) (x, y)dxdy =

Z

−∞

+∞

Z

−∞

+∞

h(x, y)fY |X (x, y)dy fX (x)dx.

−∞

Ïðåäñêàçûâàíèå

×àñòî â ýêîíîìåòðèêå âñòðå÷àåòñÿ ñèòóàöèÿ, êîãäà èññëåäîâàòåëü õî÷åò ïî ïåðåìåííûì

X

(íàçûâàåìûõ

ðåãðåññîðàìè )

ïðåäñêàçàòü çíà÷åíèå

Y

(íàçûâàåìîé

çàâèñèìîé

ïåðåìåííîé ). Ñóùåñòâóåò íåñêîëüêî ïîëåçíûõ ðåçóëüòàòîâ, ñâÿçàííûõ ñ òàêîé ïîñòàíîâêîé çàäà÷è.

Òåîðåìà. Îïòèìàëüíûì ïðåäèêòîðîì

Y

èç

X

â ñìûñëå ìèíèìèçàöèè ñðåäíåêâàäðà-

òè÷íîé îøèáêè ïðåäñêàçàíèÿ ÿâëÿåòñÿ óñëîâíîå ìàòåìàòè÷åñêîå îæèäàíèå

29

E[Y | X].

Äîêàçàòåëüñòâî. Ïóñòü

g(X)

ïðîèçâîëüíûé ïðåäèêòîð. Òîãäà ñðåäíåêâàäðàòè÷-

íàÿ îøèáêà ïðåäñêàçàíèÿ áóäåò âûðàæàòüñÿ ñëåäóþùèì îáðàçîì :

M SP E = E[(Y − g(X))2 ] = E[(Y − E[Y |X] + E[Y |X] − g(X))2 ] = = E[(Y − E[Y |X])2 ] + E[(E[Y |X] − g(X))2 ] ≥ E[(Y − E[Y |X])2 ]. Çàìåòèì, ÷òî ðàâåíñòâî äîñòèãàåòñÿ ïðè

g(X) = E[Y |X],

ò.å. óñëîâíîå ìàòåìàòè÷å-

ñêîå îæèäàíèå äåéñòâèòåëüíî ìèíèìèçèðóåò ñðåäíåêâàäðàòè÷íóþ îøèáêó ïðåäñêàçàíèÿ.

Îïðåäåëåíèå.

Îøèáêîé îïòèìàëüíîãî ïðåäñêàçàíèÿ

íàçûâàåòñÿ âåëè÷èíà

e=Y −

E[Y |X]. Îøèáêà îïòèìàëüíîãî ïðåäñêàçàíèÿ îáëàäàåò ñëåäóþùèìè ñâîéñòâàìè :

⇒ E[e] = 0

E[e|X] = 0

⇒ E[eh(X)] = 0.

Îòñþäà â ÷àñòíîñòè ñëåäóåò, ÷òî óñëîâíîå ìàòåìàòè÷åñêîå îæèäàíèå ÿâëÿåòñÿ íåñìåù¼ííûì ïðåäèêòîðîì.

Îïðåäåëåíèå. öèÿ îò

Ëèíåéíûì ïðåäèêòîðîì Y ïî X

íàçûâàåòñÿ ëþáàÿ ëèíåéíàÿ ôóíê-

X : g(X) = a + bX.

Òåîðåìà. Îïòèìàëüíûì ëèíåéíûì ïðåäèêòîðîì

Y

ñðåäíåêâàäðàòè÷íîé îøèáêè ïðåäñêàçàíèÿ ÿâëÿåòñÿ

òîð

BLP (Y |X) = α + βX,

β=

Cov(X, Y ) , V ar(X)

ïî

X

â ñìûñëå ìèíèìèçàöèè

íàèëó÷øèé ëèíåéíûé ïðåäèê-

α = E[Y ] − βE[X].

Äîêàçàòåëüñòâî. Çàäà÷à ìèíèìèçàöèè

M SP E = E[(Y − a − bX)2 ] → min a,b

èìååò óñëîâèÿ ïåðâîãî ïîðÿäêà

−E[2(Y − a − bX)] = 0, Îòñþäà ìîæíî ïîëó÷èòü

α

è

β

−E[2(Y − a − bX)X] = 0.

èç ïîñòàíîâêè òåîðåìû.

Òåîðåìà. Íàèëó÷øåé ëèíåéíîé àïïðîêñèìàöèåé äëÿ óñëîâíîãî ñðåäíåãî

E[Y |X]

â

ñìûñëå ìèíèìèçàöèè ñðåäíåêâàäðàòè÷íîé îøèáêè àïïðîêñèìàöèè ÿâëÿåòñÿ íàèëó÷øèé ëèíåéíûé ïðåäèêòîð

BLP (Y |X).

Äîêàçàòåëüñòâî. Àíàëîãè÷íî äîêàçàòåëüñòâó ïðåäûäóùåé òåîðåìû íóæíî ðåøèòü îïòèìèçàöèîííóþ çàäà÷ó

M SAE = E[(E[Y |X] − a − bX)2 ] → min. a,b

30

Ïîëó÷èì

α

è

β

èç ïîñòàíîâêè ïðåäûäóùåé òåîðåìû.

Îïðåäåëåíèå. Îøèáêîé íàèëó÷øåãî ëèíåéíîãî ïðåäñêàçàíèÿ íàçûâàåòñÿ âåëè÷èíà

u = Y − BLP (Y |X). Îøèáêà íàèëó÷øåãî ëèíåéíîãî ïðåäñêàçàíèÿ îáëàäàåò ñâîéñòâàìè

E[u] = 0, Òåîðåìà. Åñëè óñëîâíîå ñðåäíåå

3

E[uX] = 0.

E[Y |X]

X,

ëèíåéíî ïî

òî

E[Y |X] = BLP (Y |X).

Ñâîéñòâà äâóìåðíîãî íîðìàëüíîãî ðàñïðåäåëåíèÿ

Ðàññìîòðèì äâóìåðíóþ ñëó÷àéíóþ âåëè÷èíó, ðàñïðåäåëåííóþ ñîãëàñíî íîðìàëüíîìó çàêîíó :

Y ∼N X

σY2 µY , µX ρσX σY

ρσX σY σY2

!!

.

Åå ïëîòíîñòü ðàñïðåäåëåíèÿ çàäàåòñÿ ñëåäóþùèì âûðàæåíèåì :



 1  p exp − f(X,Y ) (x, y) = 2  2πσX σY 1 − ρ

x − µX σX

2

+

 2 y − µY (x − µX )(y − µY ) − 2ρ  σY σX σY  . 2 2(1 − ρ ) 

Íèæå ïåðå÷èñëåíû ñâîéñòâà òàêîãî ðàñïðåäåëåíèÿ. 1. Êàæäàÿ èç êîìïîíåíò äâóìåðíîé íîðìàëüíîé âåëè÷èíû ðàñïðåäåëåíà íîðìàëüíî :

2 X ∼ N (µX , σX ).

Y |X = x íîðìàëüíî : σY 2 2 Y |X = x ∼ N µY + ρ (x − µX ), σY (1 − ρ ) . σX

2. Óñëîâíîå ðàñïðåäåëåíèå

Èç ýòîãî ñâîéñòâà òàêæå âûòåêàåò óñëîâíàÿ ãîìîñêåäàñòè÷íîñòü è

E[Y |X] =

BLP [X|Y ]. 3. Åñëè

Y

è

X

íåñêîððåëèðîâàíû (ò.å.

ρ = 0),

òî

Y

è

X

íåçàâèñèìû.

4. Ëèíåéíàÿ ôóíêöèÿ îò íîðìàëüíîé ñëó÷àéíîé âåëè÷èíû ÿâëÿåòñÿ òàêæå íîðìàëüíîé ñëó÷àéíîé âåëè÷èíîé :

Y A ∼N X Çäåñü

A

2×2

σY2 µY A ,A µX ρσX σY

ρσX σY

ìàòðèöà ëèíåéíîãî ïðåîáðàçîâàíèÿ.

31

σY2

!

A0

!

.

4

Ñâîéñòâà ìíîãîìåðíîãî íîðìàëüíîãî ðàñïðåäåëåíèÿ

Ïóñòü

Y

ìíîãîìåðíàÿ âåëè÷èíà, ðàñïðåäåëåííàÿ ñîãëàñíî íîðìàëüíîìó çàêîíó, ò.å.

Y ∼ N (µ, Σ), ãäå

µ

k×1

äåëåíèÿ

Y

âåêòîð ñðåäíèõ,

k×k

äèñïåðñèîííàÿ ìàòðèöà. Ïëîòíîñòü ðàñïðå-

åñòü

fY (y) = Ðàçîáüåì

Σ

Y

1 (2π)k/2 |Σ|1/2

(y − µ)0 Σ−1 (y − µ) exp − . 2

íà äâå ÷àñòè :

Y1 Y = ∼N Y2

!! Σ11 Σ12 µ1 , = N (µ, Σ). µ2 Σ21 Σ22

Ìíîãîìåðíîå íîðìàëüíîå ðàñïðåäåëåíèå îáëàäàåò ñëåäóþùèìè ñâîéñòâàìè : 1.

Y1 ∼ N (µ1 , Σ11 ).

2.

Y2 |Y1 = y1 ∼ N (µ2 + B 0 (y1 − µ1 ), Σ22 − B 0 Σ11 B),

3. Åñëè 4.

Σ12 = 0,

òî

Y1

è

Y2

ãäå

B = Σ−1 11 Σ12 .

íåçàâèñèìû.

g + HY ∼ N (g + Hµ, HΣH 0 ),

ãäå

g

ôèêñèðîâàííûé âåêòîð, à

H

ìàòðèöà

ëèíåéíîãî ïðåîáðàçîâàíèÿ.

5

Ïðèíöèï àíàëîãèé

Ïðè ïîñòðîåíèè âñåâîçìîæíûõ îöåíîê èñïîëüçóþò

ïðèíöèï àíàëîãèé , îñíîâíàÿ èäåÿ

êîòîðîãî ñîñòîèò â çàìåíå íåèçâåñòíîé èñòèííîé ôóíêöèè ðàñïðåäåëåíèÿ èçâåñòíîé ýìïèðè÷åñêîé. Ýòó èäåþ ìû óæå âñòðå÷àëè ïðè èçó÷åíèè áóòñòðàïà. Ïóñòü èíòåðåñóþùèé íàñ ïàðàìåòð

X , FX (x).

θ

èçâåñòíûì îáðàçîì çàâèñèò îò ôóíêöèè ðàñïðåäåëåíèÿ

Òîãäà, ñîãëàñíî ïðèíöèïó àíàëîãèé, îöåíêó

èñòèííóþ ôóíêöèþ ðàñïðåäåëåíèÿ

FX (x)

θb ìîæíî

ïîñòðîèòü, çàìåíèâ

íà åå âûáîðî÷íûé àíàëîã

n

1X I[xi ≤ x]. Fn (x) = n i=1 Ïðèâåäåì ïðèìåðû.

Ïðèìåð 1. Ïóñòü èíòåðåñóþùèé íàñ ïàðàìåòð åñòü òåîðåòè÷åñêîå ñðåäíåå :

θ = E[X] =

Z

+∞

−∞

32

xdF (x).

Òîãäà, ïî ïðèíöèïó àíàëîãèé, åãî àíàëîãîâàÿ îöåíêà áóäåò ðàâíà

θb =

Z

+∞

−∞

n

1X xi . xdFn (x) = n i=1

Ïðèìåð 2 : ÌÍÊ-îöåíêà. Ïîêàæåì, ÷òî ÌÍÊ-îöåíêà òàêæå ÿâëÿåòñÿ àíàëîãîâîé îöåíêîé. Ïóñòü èñõîäíàÿ ìîäåëü áóäåò

y = x0 β + e, Òîãäà ïàðàìåòð

β

E[ex] = 0.

E[(y − x0 β)x] = 0.

íàõîäèòñÿ èç óñëîâèÿ :

Åãî âèä :

β = (E(xx0 ))−1 E(xy). Èñïîëüçóÿ ïðèíöèï àíàëîãèé, ïîëó÷èì ÌÍÊ-îöåíêó :

n

βb =

1X xi x0i n i=1

!−1

! n 1X xi yi . n i=1

Ïðèìåð 3 : åù¼ ðàç ÌÍÊ-îöåíêà. ÌÍÊ-îöåíêó ìîæíî ïîëó÷èòü êàê àíàëîãîâóþ è èç óñëîâèÿ ìèíèìèçàöèè ñðåäíåêâàäðàòè÷íîé îøèáêè ïðîãíîçà. Èñõîäíàÿ ðåãðåññèîííàÿ ìîäåëü â ýòîì ñëó÷àå åñòü

E[y|x] = x0 β. Ïàðàìåòð

β

íàõîäèòñÿ èç óñëîâèÿ ìèíèìèçàöèè ñðåäíåêâàäðàòè÷íîé îøèáêè :

β = arg minE[(y − x0 b)2 ]. b

Ñîîòâåòñòâóþùåå àíàëîãîâîå óñëîâèå çàïèñûâàåòñÿ â âèäå

1 βb = arg min b n

n X

(yi − x0i b)2 .

i=1

Î÷åâèäíî, ÷òî ðåçóëüòàòîì ðåøåíèÿ ýòîé çàäà÷è íà ýêñòðåìóì âíîâü ÿâëÿåòñÿ ÌÍÊîöåíêà.

6

Îñíîâíûå ïîíÿòèÿ, ñâÿçàííûå ñ ðåãðåññèåé

Ñåé÷àñ è â äàëüíåéøåì ìû íå áóäåì ðàçëè÷àòü ïðîïèñíûå è ñòðî÷íûå áóêâû äëÿ îáîçíà÷åíèÿ ñëó÷àéíûõ âåëè÷èí è èõ ðåàëèçàöèé, èíà÷å ìîæíî ñ óìà ñîéòè. Ïóñòü ó íàñ åñòü ïàðà

(y, x),

ãäå

y

ñêàëÿð, à

x

âåêòîð.

Îïðåäåëåíèå. Ðåãðåññèåé (â øèðîêîì ñìûñëå) íàçûâàåòñÿ êàêîå-ëèáî ñâîéñòâî óñëîâíîãî ðàñïðåäåëåíèÿ

y

ïðè çàäàííîì

x

êàê ôóíêöèÿ îò

33

x.

Ïðèâåäåì íåñêîëüêî ïðèìåðîâ ðåãðåññèé :

Ïðèìåð 1. Ðåãðåññèÿ ñðåäíåãî

E[y|x].

Ïðèìåð 2. Ìåäèàííàÿ ðåãðåññèÿ

M ed[y|x].

Ïðèìåð 3. Êâàíòèëüíàÿ ðåãðåññèÿ Ïðèìåð 4. Ìîäàëüíàÿ ðåãðåññèÿ Ðàññìîòðèì ïîäðîáíåå

qα [y|x].

M ode[y|x].

ðåãðåññèþ ñðåäíåãî ,

êîòîðàÿ íàèáîëåå ÷àñòî èñïîëüçóåòñÿ â

ýêîíîìåòðè÷åñêîì àíàëèçå. Îøèáêîé ðåãðåññèè ñðåäíåãî íàçûâàåòñÿ âåëè÷èíà

y − E[y|x].

Ýòà îøèáêà îáëàäàåò ñâîéñòâîì

E[e|x] = 0,

e =

è, êàê ñëåäñòâèå, ñâîéñòâîì

E[eh(x)] = 0 äëÿ ëþáîé ôóíêöèè h(x). Â ÷àñòíîñòè, E[e] = 0. Îäíàêî ðåãðåññîðû x è îøèáêà

e ìîãóò íå áûòü íåçàâèñèìûìè. Ðåãðåññèþ ñðåäíåãî ñðåäíåãî ìîæíî çàïèñàòü

â ïðèâû÷íîì âèäå êàê

y = E[y|x] + e,

E[e|x] = 0.

Ïîêà åùå íå ñäåëàíî íèêàêèõ ïðåäïîëîæåíèé, êðîìå ñóùåñòâîâàíèÿ ââåäåííûõ îáúåêòîâ. Îáû÷íî èññëåäîâàòåëü, îáëàäàÿ ñîâîêóïíîñòüþ íàáëþäåíèé íûì îáðàçîì âûáðàííûõ èç ïîïóëÿöèè ôóíêöèþ 1.

E[y|x].

ñëó÷àé-

õî÷åò îöåíèòü, èñïîëüçóÿ ýòè äàííûå,

Ñóùåñòâóåò íåñêîëüêî ðàçëè÷íûõ ïîäõîäîâ ê äàííîé çàäà÷å :

Íåïàðàìåòðè÷åñêîå îöåíèâàíèå : Ïðè òàêîì ïîäõîäå äåëàþòñÿ ñëàáûå ïðåäïîëîæåíèÿ î ãëàäêîñòè ôóíêöèè ïëîòíîñòè ðàñïðåäåëåíèÿ

2.

(y, x),

{(yi , xi )}ni=1 ,

E[y|x]

è, âîçìîæíî, åå ïðîèçâîäíîé ïî

x

è

x.

Ïàðàìåòðè÷åñêîå îöåíèâàíèå : Ïðè òàêîì ïîäõîäå ïðåäïîëàãàåòñÿ èçâåñòíûì âèä ôóíêöèè ðàìåòðîâ

β∈R

k

E[y|x] = g(x, β). Íåèçâåñòíûìè ÿâëÿþòñÿ êîíå÷íîå ÷èñëî ïà-

. Ýòè ïàðàìåòðû îöåíèâàþòñÿ, ÷òî äà¼ò îöåíêó è äëÿ

g(x, β).

Òàêèì îáðàçîì, ôóíêöèÿ óñëîâíîãî ñðåäíåãî ïàðàìåòðèçóåòñÿ, îòñþäà è íàçâàíèå ìåòîäà. Ïàðàìåòðè÷åñêèé ìåòîä îöåíèâàíèÿ ÿâëÿåòñÿ áîëåå ýôôåêòèâíûì, ÷åì íåïàðàìåòðè÷åñêèé, åñëè ñïåöèôèêàöèÿ ìîäåëè ïðàâèëüíàÿ. Îäíàêî, åñëè ôóíêöèÿ óñëîâíîãî ñðåäíåãî ïàðàìåòðèçîâàíà íåâåðíî, òî îöåíèâàíèå ïðèâîäèò ê íåñîñòîÿòåëüíûì îöåíêàì äëÿ 3.

E[y|x].

Ïîëóïàðàìåòðè÷åñêîå îöåíèâàíèå : Ïîëóïàðàìåòðè÷åñêîå îöåíèâàíèå ïðåäñòàâëÿåò ñîáîé íå÷òî ñðåäíåå ìåæäó ïàðàìåòðè÷åñêèì è íåïàðàìåòðè÷åñêèì ïîäõîäàìè. Ìîæíî ñêàçàòü, ÷òî

E[y|x]

ïàðàìåòðèçóåòñÿ, íî êîëè÷åñòâî ïàðà-

ìåòðîâ áåñêîíå÷íî. Ïðèìåðîì ÿâëÿþòñÿ òàê íàçûâàåìûå èíäåêñíûå ìîäåëè, ãäå âèä ôóíêöèè óñëîâíîãî ñðåäíåãî íàì íåèçâåñòåí, îäíàêî èçâåñòíî, ÷òî îíà çàâèñèò îò êîíå÷íîìåðíîé ëèíåéíîé êîìáèíàöèè ðåãðåññîðîâ.

34

IV 1

Ëèíåéíàÿ ðåãðåññèÿ ñðåäíåãî Ìåòîä íàèìåíüøèõ êâàäðàòîâ

Ïóñòü

E[y|x] = x0 β ,

òîãäà ðåãðåññèÿ ñðåäíåãî çàïèñûâàåòñÿ ïðèâû÷íûì îáðàçîì êàê

y = x0 β + e, Ïðåäïîëîæèì, ìàòðèöà

{(yi , xi )}ni=1 ∼ iid.

E[e|x] = 0,

E[xx0 ] íåâûðîæäåííàÿ. Òîãäà ïàðàìåòð β , ìèíèìèçèðóþùèé

ñðåäíåêâàäðàòè÷íóþ îøèáêó, áóäåò åäèíñòâåííûì ðåøåíèåì çàäà÷è

β = arg minE[(y − x0 b)2 ]. b

Ïîëüçóÿñü ïðèíöèïîì àíàëîãèé, ìîæíî ïîñòðîèòü îöåíêó äëÿ

n

n

1X (yi − x0i b)2 = βb = arg min b n i=1

1X xi x0i n i=1

!−1

β: n

1X xi yi . n i=1

Ýòî è åñòü îöåíêà ìåòîäà íàèìåíüøèõ êâàäðàòîâ, èëè ÌÍÊ-îöåíêà.

2

Àñèìïòîòè÷åñêèå ñâîéñòâà ÌÍÊ-îöåíêè

Äëÿ âûÿñíåíèÿ àñèìïòîòè÷åñêèõ ñâîéñòâ ÌÍÊ-îöåíêè ïåðåïèøåì åå â ñëåäóþùåì âèäå :

n

βb = β +

1X xi x0i n i=1

!−1

n

1X xi ei . n i=1

Êàê ìû óæå çíàåì, ÌÍÊ-îöåíêà ñîñòîÿòåëüíà, ò.å.

p βb → β .

Êðîìå òîãî, ÌÍÊ-îöåíêà

àñèìïòîòè÷åñêè ðàñïðåäåëåíà ïî íîðìàëüíîìó çàêîíó :

√

n

n(βb − β) =

1X xi x0i n i=1

!−1

n

1 X d −1 √ xi ei → N 0, Q−1 xx Qe2 xx Qxx , n i=1

ãäå ìû èñïîëüçîâàëè ñëåäóþùèå îáîçíà÷åíèÿ :

Qxx = E[xx0 ],

Qe2 xx = E[e2 xx0 ] = V ar[xe].

Ïðèâåäåííûå àñèìïòîòè÷åñêèå ñâîéñòâà ñëåäóþò èç ÇÁ× è ÖÏÒ. Èç çàêîíà áîëüøèõ ÷èñåë ñëåäóåò, ÷òî

n

1X p xi x0i → E[xx0 ] = Qxx , n i=1 n

1X p xi ei → E[xe] = E[xE[e|x]] = 0, n i=1 35

÷òî âëå÷¼ò ñîñòîÿòåëüíîñòü ÌÍÊ-îöåíêè. Èç öåíòðàëüíîé ïðåäåëüíîé òåîðåìû äëÿ íåçàâèñèìûõ îäèíàêîâî ðàñïðåäåëåííûõ âåëè÷èí ñëåäóåò, ÷òî

n

1 X d √ xi ei → N (0, V ar[xe]) = N (0, Qe2 xx ) , n i=1 ÷òî âëå÷¼ò àñèìïòîòè÷åñêóþ íîðìàëüíîñòü ÌÍÊ-îöåíêè. Ðàññìîòðèì ñïåöèàëüíûé ñëó÷àé, êîãäà ðåãðåññèîííàÿ îøèáêà óñëîâíî ãîìîñêåäàñòè÷íà, ò.å.

E[e2 |x] = σ 2 = const.

Â ýòîì ñëó÷àå

Qe2 xx = σ 2 Qxx

è àñèìïòîòè÷åñêîå

ðàñïðåäåëåíèå ÌÍÊ-îöåíêè èìååò äèñïåðñèîííóþ ìàòðèöó â óïðîùåííîì âèäå :

√

d n(βb − β) → N 0, σ 2 Q−1 xx .

Êðîìå òîãî, ëåãêî ïîñòðîèòü ñîñòîÿòåëüíóþ îöåíêó ýòîé äèñïåðñèîííîé ìàòðèöû :

n

1X p b2→ σ b = (yi − x0i β) σ2, n i=1 2

n

X p bxx = 1 Q xi x0i → Qxx . n i=1

Ñîñòîÿòåëüíîñòü ïåðâîé îöåíêè ñëåäóåò èç ÇÁ×. Ñîñòîÿòåëüíîñòü ïîñëåäíåé äîâîëüíî ëåãêî ïîêàçàòü :

n

1X b2= (yi − x0i β) n i=1 n

n

n

X 1X 0 1X b2+ 2 b = (yi − x0i β)2 + (xi β − x0i β) (yi − x0i β)(x0i β − x0i β) n i=1 n i=1 n i=1 ! n n n X X 1X 1 b0 b +2 b = (yi − x0i β)2 + (β − β) xi x0i (β − β) (yi − x0i β)x0i (β − β). n i=1 n i=1 n i=1 =

Äàëåå, ïðèìåíÿÿ ÇÁ× è òåîðåìó Ñëóöêîãî, ïîëó÷èì :

n

1X p (yi − x0i β)2 → σ 2 , n i=1 b0 (β − β)

! n 1X p b → xi x0i (β − β) 0, n i=1

n

2X p b → (yi − x0i β)x0i (β − β) 0. n i=1 Âñ¼ âìåñòå âëå÷¼ò ñîñòîÿòåëüíîñòü îöåíêè óñëîâíîé äèñïåðñèè ðåãðåññèîííîé îøèáêè :

n

1X p b2→ (yi − x0i β) σ2. n i=1

36

Òåïåðü ðàññìîòðèì îáùèé ñëó÷àé óñëîâíîé ãåòåðîñêåäàñòè÷íîñòè. Â ýòîì ñëó÷àå íàì íóæíî ñîñòîÿòåëüíî îöåíèòü ìàòðèöó

Qe2 xx . Ìîæíî ïîêàçàòü, ÷òî ñîñòîÿòåëüíîé

îöåíêîé ýòîé ìàòðèöû áóäåò ñëåäóþùàÿ :

n

X p b2→ be2 xx = 1 Q xi x0i (yi − x0i β) Qe2 xx . n i=1 Èòàê, ñîñòîÿòåëüíàÿ îöåíêà äèñïåðñèîííîé ìàòðèöû ÌÍÊ-îöåíêè â ñëó÷àå óñëîâíîé ãåòåðîñêåäàñòè÷íîñòè çàïèøåòñÿ êàê

b−1 b b−1 Vbβ = Q xx Qe2 xx Qxx .

Áóäåì íàçûâàòü

ñòàíäàðòíîé îøèáêîé îöåíêè βbj r h i 1 b se(βbj ) = Vβ . n jj

Òîãäà ñîîòâåòñòâóþùàÿ

t-ñòàòèñòèêà

âåëè÷èíó

áóäåò àñèìïòîòè÷åñêè ïèâîòàëüíîé îöåíêîé,

àñèìïòîòè÷åñêîå ðàñïðåäåëåíèå êîòîðîé ÿâëÿåòñÿ ñòàíäàðòíûì íîðìàëüíûì :

tj =

βbj − βj d → N (0, 1). se(βbj )

Âàëüäîâñêàÿ ñòàòèñòèêà äëÿ îãðàíè÷åíèé îáùåãî âèäà ÷åíèé

l ≤ k,

h(β) = 0,

ãäå ÷èñëî îãðàíè-

èìååò àñèìïòîòè÷åñêîå ðàñïðåäåëåíèå õè-êâàäðàò :

h i−1 d b0 H b → b Vbβ H b0 W = h(β) h(β) χ2 (l), ãäå èñïîëüçîâàíû îáîçíà÷åíèÿ

H= 3

∂h(β) , ∂β 0

b b = ∂h(β) . H ∂β 0

Ñâîéñòâà ÌÍÊ-îöåíêè â êîíå÷íûõ âûáîðêàõ

Ââåäåì ñëåäóþùèå îáîçíà÷åíèÿ :

X = (x1 , x2 , . . . , xn )0 ,

y = (y1 , y2 , . . . , yn )0 ,

ε = (e1 , e2 , . . . , en )0 .

Òîãäà óæå çíàêîìóþ íàì ðåãðåññèîííóþ ìîäåëü ëèíåéíîãî óñëîâíîãî ñðåäíåãî ìîæíî ïåðåïèñàòü â ìàòðè÷íîì âèäå

y = Xβ + ε,

E[ε|X] = 0.

ÌÍÊ-îöåíêà â òàêîì ñëó÷àå çàïèøåòñÿ êàê

βb = (X 0 X)−1 X 0 y = β + (X 0 X)−1 X 0 ε. Ýòà îöåíêà îáëàäàåò ñëåäóþùèìè ñâîéñòâàìè â êîíå÷íûõ âûáîðêàõ :

37

•

Óñëîâíàÿ íåñìåù¼ííîñòü :

b E[β|X] = β + (X 0 X)−1 X 0 E[ε|X] = β. •

Áåçóñëîâíàÿ íåñìåù¼ííîñòü ñëåäóåò èç óñëîâíîé íåñìåù¼ííîñòè.

•

Óñëîâíàÿ äèñïåðñèÿ îöåíêè åñòü

b V ar[β|X] = (X 0 X)−1 X 0 ΩX(X 0 X)−1 , ãäå

4

Ω = V ar[y|X] = E[εε0 |X].

Îáîáùåííûé ìåòîä íàèìåíüøèõ êâàäðàòîâ

Îïðåäåëåíèå. Ïóñòü

E[y|X] = Xβ .

ñîäåðæàùèé îöåíêè âèäà îò

A(X)y ,

Êëàññîì

ãäå

A(X)

ëèíåéíûõ îöåíîê β

ìàòðèöà

k × n,

íàçûâàåòñÿ êëàññ,

êîòîðàÿ çàâèñèò òîëüêî

X.

Ïðèìåð. Äëÿ ÌÍÊ-îöåíêè Îïðåäåëåíèå. Ïóñòü

A(X) = (X 0 X)−1 X 0 .

E[y|X] = Xβ .

Êëàññîì

çûâàåòñÿ êëàññ, ñîäåðæàùèé îöåíêè âèäà òîëüêî îò

X

Çàìåòèì, ÷òî

íà-

A(X)y , ãäå A(X) ìàòðèöà k×n, çàâèñÿùàÿ

è óäîâëåòâîðÿþùàÿ óñëîâèþ

Ïðèìåð. Äëÿ ÌÍÊ-îöåíêè

ëèíåéíûõ íåñìåù¼ííûõ îöåíîê β

A(X)X = Ik .

A(X)X = (X 0 X)−1 X 0 X = Ik .

V ar[A(X)y|X] = A(X)ΩA(X)0 . Ìû õîòèì íàéòè ëèíåéíóþ íåñìåù¼í-

íóþ îöåíêó, êîòîðàÿ ìèíèìèçèðóåò

V ar[A(X)y|X].

Òåîðåìà (Ãàóññà-Ìàðêîâà). Íàèëó÷øåé ëèíåéíîé íåñìåù¼ííîé îöåíêîé ëèíåéíîé ðåãðåññèè ñðåäíåãî ÿâëÿåòñÿ îöåíêà

βe = A∗ (X)y,

ãäå

A∗ (X) = (X 0 Ω−1 X)−1 X 0 Ω−1 . Â ýòîì ñëó÷àå äèñïåðñèîííàÿ ìàòðèöà îöåíêè èìååò âèä

e V ar[β|X] = (X 0 Ω−1 X)−1 . Äîêàçàòåëüñòâî. Îöåíêà èáî

βe

ïðèíàäëåæèò êëàññó ëèíåéíûõ íåñìåù¼ííûõ îöåíîê,

A∗ (X)X = Ik . Âîçüìåì ïðîèçâîëüíóþ ìàòðèöó A(X), òàêóþ, ÷òî A(X)X = Ik . Â

ýòîì ñëó÷àå èìåþò ìåñòî ñëåäóþùèå ðàâåíñòâà :

(A(X) − A∗ (X))X = 0, (A(X) − A∗ (X))ΩA∗ (X)0 = (A(X) − A∗ (X))ΩΩ−1 X(X 0 Ω−1 X)−1 = 0.

38

Òîãäà

V ar[A(X)Y |X] = A(X)ΩA(X)0 = = (A(X) − A∗ (X) + A∗ (X))Ω(A(X) − A∗ (X) + A∗ (X))0 = e = (A(X) − A∗ (X))Ω(A(X) − A∗ (X))0 + V ar[A∗ (X)Y |X] ≥ V ar[β|X]. íîê.

βe ÿâëÿåòñÿ

Îïðåäåëåíèå. Ïóñòü

E[y|X] = Xβ .

Ñëåäîâàòåëüíî, îöåíêà

îöåíêîé

íàèëó÷øåé â êëàññå ëèíåéíûõ íåñìåù¼ííûõ îöå-

Îöåíêà

βe = (X 0 Ω−1 X)−1 X 0 Ω−1 y

îáîáù¼ííîãî ìåòîäà íàèìåíüøèõ êâàäðàòîâ

Ñëåäñòâèå 1. ÎÌÍÊ-îöåíêà

íàçûâàåòñÿ

(ÎÌÍÊ).

βe ÿâëÿåòñÿ ýôôåêòèâíîé â êëàññå ëèíåéíûõ íåñìåù¼í-

íûõ îöåíîê.

Ñëåäñòâèå 2. Åñëè îøèáêà ëèíåéíîé ðåãðåññèè ñðåäíåãî îáëàäàåò ñâîéñòâîì óñëîâíîé ãîìîñêåäàñòè÷íîñòè, òî

βe = βb,

ò.å. ÌÍÊ- è ÎÌÍÊ-îöåíêè ñîâïàäàþò.

Íèæå ïðèâåäåíà òàáëèöà, ñîäåðæàùàÿ óñëîâíûå äèñïåðñèîííûå ìàòðèöû ÌÍÊ- è ÎÌÍÊ-îöåíîê â êîíå÷íûõ âûáîðêàõ äëÿ ñëó÷àåâ óñëîâíîé ãåòåðî- è ãîìîñêåäàñòè÷íîñòè.

OLS

GLS

Ãîìîñêåäàñòè÷íîñòü

σ 2 (X 0 X)−1

σ 2 (X 0 X)−1

Ãåòåðîñêåäàñòè÷íîñòü

(X 0 X)−1 X 0 ΩX(X 0 X)−1

(X 0 Ω−1 X)−1

βe ÿâëÿåòñÿ íåäîñòóïíîé ,

Çàìå÷àíèå 1. ÎÌÍÊ-îöåíêà âåñòíà.

Çàìå÷àíèå 2. ÎÌÍÊ-îöåíêà

òîäà íàèìåíüøèõ êâàäðàòîâ

βe ÿâëÿåòñÿ

ïîñêîëüêó ìàòðèöà

÷àñòíûì ñëó÷àåì îöåíêè

Ω

íåèç-

âçâåøåííîãî ìå-

(ÂÌÍÊ)

βbW LS = (X 0 W X)−1 X 0 W Y, ãäå

5

W

ïîëîæèòåëüíî îïðåäåëåííàÿ ìàòðèöà.

Àñèìïòîòè÷åñêèå ñâîéñòâà ÎÌÍÊ-îöåíîê

Ðàññìîòðèì àñèìïòîòè÷åñêèå ñâîéñòâà ÎÌÍÊ-îöåíêè. Äëÿ ýòîãî ïðåäñòàâèì åå â ñëåäóþùåì âèäå :

n

βe = β +

1 X xi x0i n i=1 σ 2 (xi )

39

!−1

n

1 X xi ei . n i=1 σ 2 (xi )

Ïîëüçóÿñü çàêîíîì áîëüøèõ ÷èñåë è öåíòðàëüíîé ïðåäåëüíîé òåîðåìîé, ïîëó÷èì :

n xx0 1 X xi x0i p → Qxx/σ2 = E 2 , n i=1 σ 2 (xi ) σ (x) n 1 X xi ei p xe →E 2 = 0, n i=1 σ 2 (xi ) σ (x) n

1 X xi ei d √ 2 . → N 0, Q xx/σ n i=1 σ 2 (xi ) Ïîñëåäíåå âûðàæåíèå ñëåäóåò èç

E

"

xe σ 2 (x)

2 #

xx0 2 = E 2 E[e |x] = Qxx/σ2 . σ (x)

Òàêèì îáðàçîì, ÎÌÍÊ-îöåíêà ÿâëÿåòñÿ ñîñòîÿòåëüíîé è àñèìïòîòè÷åñêè íîðìàëüíîé. Íèæå ïðèâåäåíà òàáëèöà, ñîäåðæàùàÿ àñèìïòîòè÷åñêèå äèñïåðñèîííûå ìàòðèöû ÌÍÊ- è ÎÌÍÊ-îöåíîê äëÿ ñëó÷àåâ óñëîâíîé ãåòåðî- è ãîìîñêåäàñòè÷íîñòè :

OLS

σ

Ãîìîñêåäàñòè÷íîñòü

ãäå

zi = f (xi )

GLS

Q−1 xx/σ 2

Q−1 xx

βe àñèìïòîòè÷åñêè ýôôåêòèâíà â !−1 n n X 1 1X 0 b βIV = zi xi zi yi , n i=1 n i=1

äëÿ ëþáîé ôóíêöèè

= σ 2 Q−1 xx

Q−1 xx/σ 2

−1 Q−1 xx Qe2 xx Qxx

Ãåòåðîñêåäàñòè÷íîñòü

Òåîðåìà. ÎÌÍÊ-îöåíêà

2

êëàññå îöåíîê âèäà

f : Rk → Rk .

Äîêàçàòåëüñòâî. Çàìåòèì, ÷òî ÌÍÊ- è ÎÌÍÊ-îöåíêè ïðèíàäëåæàò óêàçàííîìó êëàññó, ò.ê. äëÿ ÌÍÊ

zi = xi ,

à äëÿ ÎÌÍÊ

n

βbIV =

1X 0 zi xi n i=1

zi = xi /σ 2 (xi ). !−1

Ðàññìîòðèì îöåíêó

n

1X zi yi . n i=1

Ëåãêî ïîêàçàòü, ÷òî îíà ñîñòîÿòåëüíà è àñèìïòîòè÷åñêè íîðìàëüíà ñ àñèìïòîòè÷åñêîé äèñïåðñèîííîé ìàòðèöåé

−1 Vzz = Q−1 zx Qe2 zz Qxz ,

40

ãäå

Qzx = E[zx0 ],

à

Qe2 zz = E[zz 0 e2 ] = E[zz 0 σ 2 (x)].

Çíàÿ, ÷òî àñèìïòîòè÷åñêàÿ äèñ-

−1 ïåðñèÿ ÎÌÍÊ-îöåíêè ðàâíà Q xx/σ 2 , ðàññìîòðèì ðàçíîñòü

Vzz −

Q−1 xx/σ 2

−1

0

0 2

= (E[zx ])

−1

E[zz σ (x)] (E[xz ])

−1

= (E[vu0 ])

−1

0

−1 xx0 − E 2 = σ (x)

−1

E[vv 0 ] (E[uv 0 ]) − (E[uu0 ]) = h i −1 0 −1 0 0 0 −1 0 = (E[vu ]) E[vv ] − E[vu ] (E[uu ]) E[uv ] (E[uv 0 ]) = −1

= (E[vu0 ]) Çäåñü

−1

E[ww0 ] (E[uv 0 ])

≥ 0.

v = zσ(x), u = x/σ(x) è w = v−E[vu0 ](E[uu0 ])−1 u. Òàêèì îáðàçîì, ìû ïîêàçàëè,

÷òî ÎÌÍÊ-îöåíêà àñèìïòîòè÷åñêè ýôôåêòèâíà â óêàçàííîì êëàññå.

Ðåçóëüòàò. ÎÌÍÊ-îöåíêà ÿâëÿåòñÿ àíàëîãîâîé îöåíêîé, ò.å. ìîæåò áûòü ïîëó÷åíà èç ïðèíöèïà àíàëîãèé. À èìåííî, ÎÌÍÊ-îöåíêà ïîëó÷àåòñÿ èç óñëîâèÿ

n

x =0 E e σ(x) 6

1X e xi = 0. (yi − x0i β) n i=1 σ(xi )

⇒

Äîñòóïíàÿ ÎÌÍÊ-îöåíêà

Êàê óæå áûëî çàìå÷åíî, ÷òîáû ïîëó÷èòü ÎÌÍÊ-îöåíêó, íàì íåîáõîäèìî çíàòü äèñïåðñèîííóþ ìàòðèöó îøèáîê

σ 2 (xi ),

Ω,

ãëàâíàÿ äèàãîíàëü êîòîðîé íàïè÷êàíà âåëè÷èíàìè

à íà îñòàëüíûõ ìåñòàõ ñòîÿò íóëè. Åñòåñòâåííî ïîëàãàòü, ÷òî ýòè ïàðàìåòðû

ÿâëÿþòñÿ íåèçâåñòíûìè àïðèîðè, ïîýòîìó îíè äîëæíû áûòü îöåíåíû. Ïëîõî òî, ÷òî äëÿ ýòîãî íåîáõîäèìà ìîäåëü äëÿ

σ 2 (x).

Ýòó ôóíêöèþ ìîæíî (è íóæíî !) îöåíèâàòü

íåïàðàìåòðè÷åñêè, íî ìû ïîêà ê ýòîìó íå ãîòîâû. Îáû÷íî ïðåäïîëàãàþò, ÷òî äèñïåðñèÿ îøèáîê åñòü ëèíåéíàÿ ôóíêöèÿ îò íåêîòîðîé òðàíñôîðìàöèè

x: σ 2 (x) = E[e2 |x] = z 0 γ,

ãäå

z

x,

åñòü íåêîòîðàÿ òðàíñôîðìàöèÿ

íàïðèìåð

z = x2 .

Åñëè ïðåäïîëîæåíèå ïðà-

ñêåäàñòè÷íóþ ðåãðåññèþ

âèëüíîå, òî ìîæíî îöåíèòü

e2 = z 0 γ + ε,

E[ε|z] = 0.

Îöåíèâ èñõîäíóþ ðåãðåññèþ ñ ïîìîùüþ ÌÍÊ è ñêåäàñòè÷íóþ ðåãðåññèþ, èñïîëüçóÿ êâàäðàòû ÌÍÊ-îñòàòêîâ âìåñòî êâàäðàòîâ îøèáîê, òàêæå ñ ïîìîùüþ ÌÍÊ, èìååì :

γ b=

X i

zi zi0

!−1

b ebi = yi − x0i βb = ei + x0i (β − β), X i

zi e2i + 2

X i

b i+ zi x0i (β − β)e 41

X i

b 2 zi (x0i (β − β))

!

p

→ γ.

Òàêèì îáðàçîì, ìû ïîëó÷àåì ñîñòîÿòåëüíûå îöåíêè äèñïåðñèé îøèáîê :

σ b2 (xi ) = zi0 γ b, ïîñëå ÷åãî, ìû ìîæåì ïîñòðîèòü äîñòóïíóþ îöåíêó îáîáùåííîãî ìåòîäà íàèìåíüøèõ êâàäðàòîâ (ÄÎÌÍÊ) :

βeF =

n X xi x0i σ b2 (xi ) i=1

!−1

n X xi yi b −1 X)−1 X 0 Ω b −1 y. = (X 0 Ω 2 σ b (xi ) i=1

Ïðèâåäåì àëãîðèòì ïîñòðîåíèÿ ÄÎÌÍÊ-îöåíêè :

1. Èñïîëüçóÿ ÌÍÊ, îöåíèòü èñõîäíóþ ðåãðåññèþ è ïîëó÷èòü îñòàòêè

1, . . . , n.

Ïðîãíàòü ñêåäàñòè÷íóþ ðåãðåññèþ, ïîëó÷èòü îöåíêè

îöåíêè äèñïåðñèé îøèáîê

2

σ b (xi )

(èëè

b ). Ω

γ b

ebi

äëÿ

i=

è ïîñòðîèòü

2. Ïîñòðîèòü ÄÎÌÍÊ-îöåíêó

βeF =

n X xi x0i σ b2 (xi ) i=1

!−1

n X xi yi b −1 X)−1 X 0 Ω b −1 y. = (X 0 Ω 2 (x ) σ b i i=1

Âîîáùå ãîâîðÿ, òàêîé àëãîðèòì ïîñòðîåíèÿ îöåíîê äèñïåðñèè îøèáîê íå ãàðàíòèðóåò èõ ïîëîæèòåëüíîñòü. Íèæå ïðèâåäåíû ñïîñîáû èçáåæàòü 1. Âûáðàòü íåêîòîðîå ìàëîå

δ > 0.

Ïîëîæèòü

2. Âûáðîñèòü òå íàáëþäåíèÿ, äëÿ êîòîðûõ 3. Ïîëîæèòü

σ b2 (xi ) =

1 n

Pn

σ b2 (xi ) < 0.

σ b2 (xi ) = max(zi0 γ b, δ).

σ b2 (xi ) < 0.

0 b äëÿ òåõ íàáëþäåíèé, äëÿ êîòîðûõ j=1 zj γ

σ b2 (xi ) < 0.

Ðåçóëüòàò. Åñëè ñêåäàñòè÷íàÿ ôóíêöèÿ ïðàâèëüíî ñïåöèôèöèðîâàíà, òî ÄÎÌÍÊîöåíêà

βeF

àñèìïòîòè÷åñêè ýêâèâàëåíòíà ÎÌÍÊ-îöåíêå

√

d

βe,

ò.å.

n(βeF − β) → N (0, Q−1 xx/σ 2 ).

Ñîñòîÿòåëüíàÿ îöåíêà àñèìïòîòè÷åñêîé äèñïåðñèè â ýòîì ñëó÷àå åñòü

n X xi x0i b Vβ = n σ b2 (xi ) i=1

!−1

.

Åñëè ñêåäàñòè÷íàÿ ôóíêöèÿ ñïåöèôèöèðîâàíà íåïðàâèëüíî, òî îöåíêà ìåíåå, îñòàåòñÿ ñîñòîÿòåëüíîé è àñèìïòîòè÷åñêè íîðìàëüíîé :

√

d −1 −1 e n(βF − β) → N 0, Qxx/σ2 Qxx/σ4 e2 Qxx/σ2 , 42

βeF ,

òåì íå

ãäå èñïîëüçîâàíû ñëåäóþùèå îáîçíà÷åíèÿ :

Qxx/σ2

xx0 =E 0 , zγ

Qxx/σ4 e2

xx0 2 =E e . (z 0 γ)2

Ñîñòîÿòåëüíàÿ îöåíêà àñèìïòîòè÷åñêîé äèñïåðñèè â ýòîì ñëó÷àå ðàâíà

X xi x0

i

Vbβ = n 7

i

zi0 γ b

!−1

X xi x0 i 2 eb 0 2 i (z γ b ) i i

X xi x0

i

i

zi0 γ b

!−1

.

Ðåãðåññèÿ ñ íåñëó÷àéíîé âûáîðêîé

Â ñëó÷àå, êîãäà íàáëþäåíèÿ ïðåäñòàâëÿþò ñîáîé íåñëó÷àéíóþ âûáîðêó, äèñïåðñèîííàÿ ìàòðèöà îøèáîê îöåíêè

βb = (X 0 X)−1 X 0 y

Ω = V ar[y|X]

íå ÿâëÿåòñÿ äèàãîíàëüíîé. Äèñïåðñèÿ ÌÍÊ-

â ýòîì ñëó÷àå åñòü

b V ar[β|X] = (X 0 X)−1 X 0 ΩX(X 0 X)−1 , à äèñïåðñèÿ ÎÌÍÊ-îöåíêè

βe = (X 0 Ω−1 X)−1 X 0 Ω−1 y

åñòü

e V ar[β|X] = (X 0 Ω−1 X)−1 . ×òîáû ïîñòðîèòü ïèâîòàëüíóþ ñòàòèñòèêó â ñëó÷àå íåñëó÷àéíûõ íàáëþäåíèé, íåîáõîäèìî ïàðàìåòðèçîâàòü äèñïåðñèîííóþ ìàòðèöó îøèáîê

Ω

íåáîëüøèì ÷èñëîì ïà-

ðàìåòðîâ.

8

ÌÍÊ è ÎÌÍÊ â ðåãðåññèÿõ íà âðåìåííûõ ðÿäàõ

Ðàññìîòðèì ñëåäóþùóþ ðåãðåññèîííóþ ìîäåëü :

yt = x0t β + et , ãäå

{(xt , yt )}Tt=1

E[e2t |It−1 ] = σ 2 (It−1 ),

E[et |It−1 ] = 0,

ñòàöèîíàðíûé è ýðãîäè÷íûé ïðîöåññ, à

It−1 = {yt−1 , yt−2 , . . . ; xt , xt−1 , . . .}. Ïðèìåðàìè òàêèõ ìîäåëåé ìîãóò ñëóæèòü :

xt = (yt−1 , yt−2 , . . . , yt−p )0 .

•

Ìîäåëü

•

Ëèíåéíîå ïðåäñêàçàíèå îáìåííîãî êóðñà :

AR(p),

ãäå

st+1 − st = α + β(ft − st ) + et , ãäå

ft

öåíà ôîðâàðäíîãî êîíòðàêòà, à

43

st

E[et |It−1 ] = 0,

òåêóùèé îáìåííûé êóðñ.

•

Ëèíåéíîå ïðåäñêàçàíèå èíôëÿöèè :

E[et |It−1 ] = 0,

πt+1 = α + βit + et , ãäå

πt+1

èíôëÿöèÿ, à

it

ïðîöåíòíàÿ ñòàâêà.

Çàìåòèì, ÷òî óñëîâíîå ìàòåìàòè÷åñêîå îæèäàíèå

E[Y |X]

íå åñòü

Xβ ,

ïîýòîìó íå

ñëåäóåò îæèäàòü õîðîøèõ ñâîéñòâ â êîíå÷íûõ âûáîðêàõ. Ðàññìîòðèì àñèìïòîòè÷åñêèå ñâîéñòâà ÌÍÊ- è ÎÌÍÊ-îöåíîê.

ÌÍÊ-îöåíêà. ßñíî, ÷òî ÌÍÊ-îöåíêà ñîñòîÿòåëüíà : T X

βb =

xt x0t

!−1

T X

p

xt yt → β.

t=1

t=1

Ýòî ñëåäóåò èç òîãî, ÷òî :

E[xt et ] = E[E[xt et |It−1 ]] = E[xt E[et |It−1 ]] = 0. Êðîìå òîãî, èç öåíòðàëüíîé ïðåäåëüíîé òåîðåìû äëÿ ïîñëåäîâàòåëüíîñòåé ìàðòèíãàëüíûõ ïðèðàùåíèé ñëåäóåò àñèìïòîòè÷åñêàÿ íîðìàëüíîñòü ÌÍÊ-îöåíêè :

√ ãäå

d T (βb − β) → N (0, Vβ ),

−1 Vβ = Q−1 xx Qe2 xx Qxx ,

Qxx = E[xt x0t ], Qe2 xx = E[xt x0t e2t ]. Íåäèàãîíàëüíûå ýëåìåíòû ìàòðèöû Qe2 xx

ðàâíû

0, ïîñêîëüêó

E[xt et x0t−j et−j ] = E[E[xt et x0t−j et−j |It−1 ]] = E[xt E[et |It−1 ]x0t−j et−j ] = 0. ÎÌÍÊ-îöåíêà. ÎÌÍÊ-îöåíêà â ìîäåëÿõ áåç ñåðèéíîé êîððåëÿöèèè â îøèáêàõ, î÷åâèäíî, òîæå áóäåò ñîñòîÿòåëüíà è àñèìïòîòè÷åñêè íîðìàëüíà. Âûãëÿäèò ÎÌÍÊîöåíêà ñëåäóþùèì îáðàçîì :

βe =

T X t=1

xt x0t 2 σ (It−1 )

!−1

T X

xt yt . 2 σ (It−1 ) t=1

Íà ïðàêòèêå ÎÌÍÊ-îöåíêà ðåäêî èñïîëüçóåòñÿ âî âðåìåííûõ ðÿäàõ, ïîñêîëüêó òðåáóåò çíàíèÿ èëè ñîñòîÿòåëüíîãî îöåíèâàíèÿ ñêåäàñòè÷íîé ôóíêöèè â ïðèíöèïå ìîæåò çàâèñåòü îò áåñêîíå÷íîé ïðåäûñòîðèè

σ 2 (It−1 ), êîòîðàÿ

It−1 .

Òåïåðü ðàññìîòðèì ðåãðåññèîííóþ ìîäåëü íà âðåìåííûõ ðÿäàõ áîëåå îáùåãî âèäà, ñ âîçìîæíîñòüþ ñåðèéíîé êîððåëÿöèè â îøèáêàõ :

yt = x0t β + et , ãäå

E[et |It−q ] = 0,

It−q = {yt−q , yt−q−1 , . . . ; xt , xt−1 , . . .}.

Ïðèìåðàìè òàêèõ ìîäåëåé ìîãóò ñëóæèòü :

44

E[e2t |It−q ] = σ 2 (It−q ),

xt = (yt−q , yt−q−1 , . . . , yt−q−p+1 )0 .

•

Ìîäåëü

•

Ëèíåéíîå ïðåäñêàçàíèå îáìåííîãî êóðñà :

ARM A(p, q),

ãäå

st+q − st = α + β(ft,q − st ) + et , ãäå

ft,q

öåíà ôîðâàðäíîãî êîíòðàêòà íà

q

E[et |It−q ] = 0,

ïåðèîäîâ âïåðåä, à

st

òåêóùèé

îáìåííûé êóðñ.

•

Ëèíåéíîå ïðåäñêàçàíèå èíôëÿöèè :

πt+q = α + βit,q + et , ãäå

πt+q

èíôëÿöèÿ, à

it,q

E[et |It−q ] = 0,

ïðîöåíòíàÿ ñòàâêà íà

ÌÍÊ-îöåíêà. T X

βb =

xt x0t

!−1

t=1

T X

q

ïåðèîäîâ âïåðåä.

xt yt .

t=1

Îöåíêà îñòàåòñÿ ñîñòîÿòåëüíîé è àñèìïòîòè÷åñêè íîðìàëüíîé, ò.å.

√ íî ìàòðèöà

Qe2 xx

d T (βb − β) → N (0, Vβ ),

−1 Vβ = Q−1 xx Qe2 xx Qxx ,

ñ÷èòàåòñÿ ïî ôîðìóëå

Qe2 xx =

E[xt x0t e2t ]

+

q−1 X

(E[xt x0t−j et et−j ] + E[xt x0t+j et et+j ]).

j=1

Ñóììà ñîäåðæèò êîíå÷íîå ÷èñëî êîìïîíåíò

2q − 1,

èáî äëÿ

j >q−1

0 E[xt x0t−j et et−j ] = E[E[xt Xt−j et et−j |It−q ]] = E[xt x0t−j E[et |It−q ]et−j ] = 0. ×òîáû ñîñòîÿòåëüíî îöåíèòü àñèìïòîòè÷åñêóþ äèñïåðñèþ ÌÍÊ-îöåíêè

Vβ

â ñëó÷àå

ñåðèéíîé êîððåëÿöèè îøèáîê, ìîæíî âîñïîëüçîâàòüñÿ, íàïðèìåð, ôîðìóëîé ÍüþèÓýñòà.

ÎÌÍÊ-îöåíêà. ÎÌÍÊ-îöåíêà íå èñïîëüçóåòñÿ â ìîäåëÿõ ñ ñåðèéíîé êîððåëÿöèåé îøèáîê. Çàìåòèì,÷òî â ýòîì ñëó÷àå

βe 6=

T X t=1

xt x0t 2 σ (It−1 )

!−1

45

T X

xt yt . 2 σ (It−1 ) t=1

V

Ëèíåéíûå ìîäåëè ñ èíñòðóìåíòàëüíûìè ïåðåìåííûìè

1

Ýíäîãåííûå ïåðåìåííûå

E[y|x]

Áûâàþò ñëó÷àè, êîãäà óñëîâíîå ñðåäíåå

íå ÿâëÿåòñÿ èíòåðåñóþùèì íàñ îáú-

åêòîì. Ïðèâåäåì íåñêîëüêî ïðèìåðîâ.

Ïðèìåð 1. Ïóñòü

E[y|x∗ ] = (x∗ )0 β ,

îäíàêî ïåðåìåííûå

ìè. Âìåñòî íèõ èññëåäîâàòåëü íàáëþäàåò ïåðåìåííûå îò

x

∗

è

y.

x∗

ÿâëÿþòñÿ íåíàáëþäàåìû-

x = x ∗ + u,

ãäå

u

íåçàâèñèìà

Â ýòîì ñëó÷àå ÌÍÊ-îöåíêà áóäåò íåñîñòîÿòåëüíîé :

y = (x∗ )0 β + e = (x − u)0 β + e = x0 β + v,

v = e − u0 β,

E[xv] = E[(x∗ + u)(e − u0 β)] = −E[uu0 ] 6= 0

⇒

p βb 9 β.

Â òàêîé ñèòóàöèè àñèìïòîòè÷åñêîå ñìåùåíèå îöåíêè ñâÿçàíî ñ îøèáêîé èçìåðåíèÿ.

Ïðèìåð 2. Ïóñòü ó íàñ åñòü ñèñòåìà ëèíåéíûõ óðàâíåíèé Cïðîñ

Q = −β1 P + e1

:

: Q = β2 P + e2 e1 ∼ iid(0, I2 ). e2

Ïðåäëîæåíèå

ãäå

Î÷åâèäíî, ÷òî â ýòîì ñëó÷àå öåíû êîððåëèðóþò ñ îøèáêàìè :

E[e1 P ] 6= 0,

E[e2 P ] 6= 0.

Ïîýòîìó, èñïîëüçóÿ ÌÍÊ-îöåíêó â ðåãðåññèè

Q

íà

P,

ìû ïîëó÷èì

p E[QP ] βb → . E[P 2 ] Èñõîäíóþ ñèñòåìó ëåãêî ðàçðåøèòü îòíîñèòåëüíî âûïóñêà è öåí :

1 Q = P β1 + β2

β2 1

! e1 , e2 −1 β1

îòêóäà ñðàçó æå ñëåäóåò, ÷òî

E[QP ] =

β2 − β1 , β1 + β2

E[P 2 ] =

2 . β1 + β2

Òàêèì îáðàçîì, ÌÍÊ-îöåíêà íå ñîñòîÿòåëüíà íè äëÿ äëÿ ÷åãî-òî ñðåäíåãî ìåæäó íèìè :

β2 − β1 p E[QP ] = βb → . 2 E[P ] 2 46

β1 ,

íè äëÿ

β2 ,

à ñîñòîÿòåëüíà

Â îáîèõ ïðèìåðàõ ïåðåìåííûå, êîððåëèðóþùèå ñ îøèáêàìè, ÿâëÿþòñÿ ýíäîãåíûìè, è ÌÍÊ-îöåíèâàíèå íåñîñòîÿòåëüíî.

Îïðåäåëåíèå. Ïåðåìåííàÿ íàçûâàåòñÿ

ýíäîãåííîé ,

åñëè

Îïðåäåëåíèå. Ïåðåìåííàÿ

x

â ïðàâîé ÷àñòè ñòðóêòóðíîãî óðàâíåíèÿ

y = x0 β + e

E[e|x] 6= 0. z

y = x0 β + e, åñëè E[e|z] = 0. Â

íàçûâàåòñÿ ýêçîãåííîé äëÿ ñòðóêòóðíîãî óðàâíåíèÿ

ýòîì ñëó÷àå

z

ìîæåò èñïîëüçîâàòüñÿ êàê

èíñòðóìåíò

äëÿ îöåíèâàíèÿ ïàðàìåòðîâ óðàâíåíèÿ. Çàìåòèì, ÷òî â îáû÷íîé ðåãðåññèè óñëîâíîãî ñðåäíåãî ðåãðåññîðû ÿâëÿþòñÿ ýêçîãåííûìè ïåðåìåííûìè, ò.å. äëÿ ìîäåëè

y = x0 β + e,

E[e|x] = 0

z = x ÿâëÿåòñÿ ýêçîãåííîé ïåðåìåííîé. ÌÍÊ êàê ðàç è èñïîëüçóåò å¼ êàê èíñòðóìåíò. 2

Òî÷íàÿ èäåíòèôèêàöèÿ

Ðàññìîòðèì ñëó÷àé, êîãäà êîëè÷åñòâî èíñòðóìåíòîâ ãðåññîðîâ

k

òî÷íîé èäåíòèôèêàöèè ).

(ñëó÷àé

ñîâïàäàåò ñ êîëè÷åñòâîì ðå-

Ïóñòü ìàòðèöà

æäåíà. Èç îïðåäåëåíèÿ èíñòðóìåíòîâ ñëåäóåò, ÷òî

óñëîâèåì âàëèäíîñòè

l

Qzz = E[zz 0 ]

íåâûðî-

E[ze] = 0. Ýòî óñëîâèå íàçûâàåòñÿ

èíñòðóìåíòîâ. Ïðèìåíÿÿ ê íåìó ïðèíöèï àíàëîãèé, ïîëó÷èì

n

1X zi (yi − x0i βbIV ) = 0, n i=1 îòêóäà ïîëó÷àåì

èíñòðóìåíòàëüíóþ îöåíêó

βbIV =

n X

zi x0i

!−1

i=1

n X

zi yi .

i=1

Â ìàòðè÷íîì âèäå èíñòðóìåíòàëüíàÿ îöåíêà âûãëÿäèò ñëåäóþùèì îáðàçîì :

βbIV = (Z 0 X)−1 Z 0 Y,

Z = (z10 , z20 , . . . , zn0 )0 .

Â êîíå÷íûõ âûáîðêàõ èíñòðóìåíòàëüíàÿ îöåíêà ñìåùåíà, îäíàêî ÿâëÿåòñÿ ñîñòîÿòåëüíîé è àñèìïòîòè÷åñêè íîðìàëüíîé :

√ ãäå

E[βbIV |Z, X] = (Z 0 X)−1 Z 0 E[Y |Z, X] 6= β, d

n(βbIV − β) → N (0, Vβ ),

−1 Vβ = Q−1 zx Qe2 zz Qxz ,

Qzx = E[zx0 ], Qe2 zz = E[e2 zz 0 ]. Çàìåòèì, ÷òî âûøåïðèâåä¼ííàÿ àñèìïòîòèêà ñïðà-

âåäëèâà òîëüêî ïðè âûïîëíåíèè

óñëîâèÿ ðåëåâàíòíîñòè : ìàòðèöà Qzx

47

äîëæíà áûòü

íåâûðîæäåííîé. Ñîñòîÿòåëüíûå îöåíêè ìàòðèö çîì :

n

X bzx = 1 Q zi x0i , n i=1

Qzx , Qe2 zz

ñòðîÿòñÿ î÷åâèäíûì îáðà-

n

X be2 zz = 1 Q zi zi0 eb2i , n i=1

ebi = yi − x0i βbIV .

Çàìåòèì, ÷òî äîìíîæåíèå èíñòðóìåíòîâ ñëåâà íà ëþáóþ ñîðàçìåðíóþ íåâûðîæäåííóþ ìàòðèöó êîíñòàíò

C

íå ìåíÿåò âèäà èíñòðóìåíòàëüíîé îöåíêè

ñòâåííî, å¼ ñòàòèñòè÷åñêèõ ñâîéñòâ.

3

βbIV , è, åñòå-

Ñâåðõèäåíòèôèêàöèÿ

Ðàññìîòðèì ñëó÷àé, êîãäà

l>k

ñâåðõèäåíòèôèêàöèè ).

(ñëó÷àé

Ïóñòü ìàòðèöà

Qzz

íåâûðîæäåíà. Èäåÿ ïîñòðîåíèÿ èíñòðóìåíòàëüíîé îöåíêè â ýòîì ñëó÷àå ñîñòîèò â ñëåäóþùåì. Ñíà÷àëà íàéä¼ì ëèíåéíûé ïî

z

x:

E[zu0 ] = 0.

x = Γz + u, Èç ïîñëåäíåãî óñëîâèÿ íàõîäèì

ïðåäèêòîð

Γ:

E[z(x − Γz)0 ] = 0

⇒

Γ0 = (E[zz 0 ])−1 E[zx0 ] = Q−1 zz Qzx .

Òåïåðü, âîçâðàùàÿñü ê èñõîäíîé ñòðóêòóðíîé ôîðìå, ìû ìîæåì íàïèñàòü :

y = (Γz + u)0 β + e = (Γz)0 β + v,

v = e + u0 β.

Î÷åâèäíî, âûïîëíÿåòñÿ ñîîòíîøåíèå

E[Γzv] = ΓE[z(e + u0 β)] = 0, ïîýòîìó ïàðàìåòð ñòðóêòóðíîãî óðàâíåíèÿ ìîæíî çàïèñàòü êàê

−1 β = (E[Γz(Γz)0 ])−1 E[Γzy] = (Qxz Qzz Qzx )−1 Qxz Q−1 zz Qzy . Ïðèìåíÿÿ ïðèíöèï àíàëîãèé, ïîëó÷èì èíñòðóìåíòàëüíóþ îöåíêó (íàçûâàåìóþ îöåíêîé

äâóõøàãîâîãî ìåòîäà íàèìåíüøèõ êâàäðàòîâ ) äëÿ ñëó÷àÿ ñâåðõèäåíòèôèêàöèè :



βb2SLS = 

n X

xi zi0

i=1

n X i=1

zi zi0

!−1

n X i=1

−1

zi x0i 

n X i=1

xi zi0

n X

zi zi0

i=1

èëè â ìàòðè÷íîé ôîðìå,

βb2SLS = (X 0 Z(Z 0 Z)−1 Z 0 X)−1 X 0 Z(Z 0 Z)−1 Z 0 Y.

48

!−1

n X i=1

zi yi ,

Èíñòðóìåíòàëüíàÿ îöåíêà ñîñòîÿòåëüíà è àñèìïòîòè÷åñêè íîðìàëüíà, îäíàêî â îáùåì ñëó÷àå íå ÿâëÿåòñÿ àñèìïòîòè÷åñêè ýôôåêòèâíîé :

p βb2SLS → β,

√

d

n(βb2SLS − β) → N (0, V2SLS ),

ãäå

−1 −1 −1 −1 −1 V2SLS = (Qxz Q−1 zz Qzx ) Qxz Qzz Qe2 zz Qzz Qzx (Qxz Qzz Qxz ) . Îñîáûì ñëó÷àåì ÿâëÿåòñÿ ñëó÷àé óñëîâíîé ãîìîñêåäàñòè÷íîñòè, êîãäà

σ 2 = const. ïîñêîëüêó

E[e2 |z] =

Â ýòîì ñëó÷àå àñèìïòîòè÷åñêàÿ äèñïåðñèîííàÿ ìàòðèöà óïðîùàåòñÿ,

Qe2 zz = σ 2 Qzz : −1 V2SLS = σ 2 (Qxz Q−1 zz Qzx ) .

Çàìåòèì, ÷òî íåñìîòðÿ íà ïðèñóòñòâèå äâóõ øàãîâ â íàçâàíèè, îöåíêó ìîæíî ïîäñ÷èòàòü ñðàçó ïî îäíîé ôîðìóëå. Â òî æå âðåìÿ ïîíèìàíèå å¼ äâóõøàãîâîé ïðèðîäû ïîìîãàåò â íåêîòîðûõ ñëó÷àÿõ ëó÷øå îðèåíòèðîâàòüñÿ â ñâîéñòâàõ îöåíêè. Àíàëîãè÷íî ñëó÷àþ òî÷íîé èäåíòèôèêàöèè ïðè ñâåðõèäåíòèôèêàöèè íåîáõîäèìî, ÷òîáû ðàíã ìàòðèöû

Qxz

áûë ðàâåí êîëè÷åñòâó ðåãðåññîðîâ

k:

rank(Qxz ) = k. Çàìå÷àíèå. Îöåíêó èäåíòèôèêàöèåé :

βb2SLS

βb2SLS = Çäåñü

ξi

n X

ìîæíî âûðàçèòü êàê èíñòðóìåíòàëüíóþ îöåíêó ñ òî÷íîé

ξi x0i

i=1

!−1

n X

ξi yi ,

ξi =

i=1

n X

xj zj0

j=1

n X

zj zj0

!−1

zi .

j=1

òðàíñôîðìèðîâàííûå èíñòðóìåíòû. Íî ñ òî÷êè çðåíèÿ àñèìïòîòè÷åñêîé

ýôôåêòèâíîñòè òàêàÿ òðàíñôîðìàöèÿ íåîïòèìàëüíà.

4

Íåïîëíàÿ èäåíòèôèêàöèÿ

Åñëè ìàòðèöà

Qzx

èìååò ðàíã ìåíüøå

k,

òî óñëîâèå èäåíòèôèêàöèè íå âûïîëíåíî.

Â èíñòðóìåíòàõ íå õâàòàåò èíôîðìàöèè, ñïîñîáíîé îäíîçíà÷íî èäåíòèôèöèðîâàòü ïàðàìåòð. Â ýòîì ñëó÷àå èíñòðóìåíòàëüíûå îöåíêè áóäóò èìåòü íåïðèÿòíûå àñèìïòîòè÷åñêèå ñâîéñòâà.

Ïðèìåð. Ðàññìîòðèì ñëåäóþùóþ ìîäåëü :

l = k = 1,

y = βx + e,

E[e|z] = 0,

49

E[xz] = 0.

Ïîñëåäíåå ðàâåíñòâî îçíà÷àåò, ÷òî ðàíã

Qxz

ðàâåí 0, ò.å. íå âûïîëíåíî óñëîâèå ðå-

ëåâàíòíîñòè èíñòðóìåíòîâ. Ñîãëàñíî öåíòðàëüíîé ïðåäåëüíîé òåîðåìå èìååò ìåñòî ñîâìåñòíàÿ ñõîäèìîñòü :

n

n

1 X d √ zi xi → N (0, Qz2 x2 ). n i=1

1 X d √ zi ei → N (0, Qz2 e2 ), n i=1

Òàêèì îáðàçîì, èíñòðóìåíòàëüíàÿ îöåíêà óæå íå áóäåò àñèìïòîòè÷åñêè íîðìàëüíîé :

βbIV ãäå

D

P zi yi =P =β+ zi xi

√1 n √1 n

P

i zi ei

P

i zi xi

d

→ β + D,

íåêîå íåãàóññîâñêîå ðàñïðåäåëåíèå ñ òÿæ¼ëûìè õâîñòàìè. Òàêèì îáðàçîì,

àñèìïòîòè÷åñêîå ðàñïðåäåëåíèå îöåíêè íå ÿâëÿåòñÿ àñèìïòîòè÷åñêè íîðìàëüíûì è äàæå íå èìååò êîíå÷íîãî ñðåäíåãî. Åñëè ó íàñ åñòü ïîäîçðåíèå, ÷òî èíñòðóìåíòû íåðåëåâàíòíûå, ñòîèò âíà÷àëå ïðîòåñòèðîâàòü ãèïîòåçó :

H0 : E[xz] = 0,

è åñëè ýòà ãèïîòåçà îòâåðãàåòñÿ, òî èíñòðóìåíò

íàä¼æíûé. Íà ïðàêòèêå ÷àùå âñåãî ðóêîâîäñòâóþòñÿ çíà÷åíèåì F-ñòàòèñòèêè ïðè ëèíåéíîé ðåãðåññèè

5

x

íà

z.

Áóòñòðàïèðîâàíèå èíñòðóìåíòàëüíûõ îöåíîê

Ïðîöåäóðà áóòñòðàïà äëÿ èíñòðóìåíòàëüíûõ îöåíîê ïðàêòè÷åñêè íè÷åì íå îòëè÷àåòñÿ îò ïîñòðîåíèÿ áóòñòðàïîâñêîãî ðàñïðåäåëåíèÿ äëÿ îáû÷íîé ñòàòèñòèêè îò íåçàâèñèìûõ íàáëþäåíèé. Åñòü, ïðàâäà, òîíêèé ìîìåíò â ñëó÷àå ñâåðõèäåíòèôèêàöèè.

Ñëó÷àé

l = k. βbIV =

X

zi x0i

−1 X

zi yi ,

∗ βbIV =

X

zi∗ x∗0 i

−1 X

zi∗ yi∗ .

Åñëè îöåíêà àñèìïòîòè÷åñêîé äèñïåðñèîííîé ìàòðèöà âûãëÿäèò êàê

VbIV = n

X

zi x0i

−1 X

zi zi0 eb2i

X

xi zi0

−1

,

òî å¼ áóòñòðàïîâñêèé àíàëîã

∗ VbIV =n

Ñëó÷àé

l > k.

X

zi∗ x∗0 i

−1 X

zi∗ zi∗0 eb∗2 i

X

x∗i zi∗0

−1

.

Çàìåòèì, ÷òî õîòÿ â ïîïóëÿöèè âûïîëíåíî óñëîâèå

âûáîðêå îíî íàðóøàåòñÿ, èáî

n

1X zi ebi 6= 0. n i=1

50

E[ze] = 0,

â

Ïîýòîìó ïðè áóòñòðàïå íóæíî ïîìíèòü ïðî ðåöåíòðèðîâàíèå. Èòàê, èíñòðóìåíòàëüíàÿ îöåíêà åñòü

βb2SLS = (. . .)−1

X

xi zi0

X

zi zi0

−1 X

zi yi ,

à å¼ áóòñòðàïîâñêèé àíàëîã

∗ βb2SLS = (. . .∗ )−1

X

x∗i zi∗0

X

zi∗ zi∗0

−1 X

zi∗ yi∗ −

X

Ñîîòâåòñòâåííî,

Vb2SLS = n(. . .)−1

X

xi zi0

X

zi zi0

−1 X

zi zi0 eb2i

X

zi zi0

zi ebi .

−1 X

zi x0i (. . .)−1 ,

−1 X X −1 X X X ∗ −1 ∗ ∗0 ∗ zi∗ x∗0 z z u∗i u∗0 zi∗ zi∗0 = n(. . .∗ )−1 x∗i zi∗0 Vb2SLS i (. . . ) . i i i P ∗ ∗ ∗ Çäåñü ui = zi e bi − n1 nj=1 zj ebj . 6

Èíñòðóìåíòàëüíûå ïåðåìåííûå âî âðåìåííûõ ðÿäàõ

Ðàññìîòðèì ñëåäóþùóþ ìîäåëü âðåìåííîãî ðÿäà :

yt = x0t β + et ,

E[et |It−1 ] = 0,

It−1 = {yt−1 , yt−2 . . . ; xt , xt−1 , . . .}.

Âîçüì¼ì âåêòîð èíñòðóìåíòîâ

zt = (yt−1 , yt−2 , . . . , yt−ly , x0t , x0t−1 , . . . , x0t−lx )0 . Îí âàëèäíûé, òàê êàê âñå ýëåìåíòû ïðèíàäëåæàò

It−1 ,

è

E[et |zt ] = E[E[et |It−1 ]|zt ] = 0. Ïðè òàêèì îáðàçîì âûáðàííîì èíñòðóìåíòå èíñòðóìåíòàëüíàÿ îöåíêà

βb2SLS

ñîâ-

ïàäàåò ñ ÌÍÊ-îöåíêîé (óïðàæíåíèå : ïî÷åìó ?), è, ñîîòâåòñòâåííî, îáëàäàåò òåìè æå ñâîéñòâàìè. Ïîýòîìó â äàííîé çàäà÷å îáû÷íî èñïîëüçóþò ðàñøèðåíèå èíñòðóìåíòàëüíûõ îöåíîê îöåíêè îáîáùåííîãî ìåòîäà ìîìåíòîâ. Òî æå ñàìîå ñïðàâåäëèâî è â áîëåå îáùåé ìîäåëè, äîïóñêàþùåé àâòîêîððåëÿöèþ îøèáîê :

yt = x0t β + et ,

VI 1

E[et |It−q ] = 0,

zt = {yt−q , . . . , yt−ly , x0t , . . . , x0t−lx }0 .

Îöåíèâàíèå íåëèíåéíîé ðåãðåññèè ñðåäíåãî Íåëèíåéíîñòü ïî îòíîøåíèþ ê ðåãðåññîðàì

Ïóñòü óñëîâíîå ñðåäíåå

E[y|x] = g(x, β) äëÿ íåêîòîðîé íåëèíåéíîé ôóíêöèè g(·, ·). Â

ýòîì ñëó÷àå ìû èìååì äåëî ñ íåëèíåéíîé ìîäåëüþ. Òåì íå ìåíåå, ñóùåñòâóþò ñëó÷àè íåëèíåéíîñòåé, ñâîäÿùèåñÿ ê ëèíåéíîìó ñëó÷àþ ñ ïîìîùüþ òðàíñôîðìàöèé.

51

Ïóñòü

g(x, β) íåëèíåéíà ïî ðåãðåññîðàì x è ëèíåéíà ïî ïàðàìåòðàì β , òîãäà ìîæíî

âûïîëíèòü òàêóþ òðàíñôîðìàöèþ

x → z,

÷òî

E[y|z] = z 0 β .

Ïðèìåð 1. Ïóñòü óñëîâíîå ñðåäíåå âûðàæàåòñÿ íåëèíåéíîé ôóíêöèåé îò ðåãðåññîðîâ ñëåäóþùåãî âèäà :

g(x, β) = β0 + β1 x1 + β2 x2 + β3 x1 x2 + β4 x21 + β5 x22 . Òîãäà ïîäõîäÿùåé òðàíñôîðìàöèåé áóäåò :

z = (1, x1 , x2 , x1 x2 , x21 , x22 )0 . Ïðèìåð 2. Óñëîâíîå ñðåäíåå âûðàæàåòñÿ íåëèíåéíîé ôóíêöèåé ðåãðåññîðîâ ñëåäóþùåãî âèäà :

g(x, β) = β0 + β1 x + β2 x2 + · · · + βp xp . Ñîîòâåòñòâóþùàÿ òðàíñôîðìàöèÿ ðåãðåññîðîâ :

z = (1, x, . . . , xp ). Íåîáõîäèìî îòìåòèòü î ñëîæíîñòè â èíòåðïðåòàöèè êîýôôèöèåíòîâ. Ìàðæèíàëüíîå âëèÿíèå ðåãðåññîðà

x

åñòü

∂g(x, β) = β1 + 2β2 x + · · · + pβp xp−1 . ∂x Íåÿñíî, êàêîå

x ïîäñòàâëÿòü â äàííóþ ôîðìóëó, ÷òîáû ïîëó÷èòü ÷èñëåííîå çíà÷åíèå.

Ìîæíî îöåíèòü â êàêîì-òî êîíêðåòíîì èëè èñïîëüçîâàòü ñðåäíåå çíà÷åíèå ìèðîâàííûõ ðåãðåññîðîâ

x, êîòîðîå îïðåäåëÿåòñÿ èç êîíòåêñòà çàäà÷è,

x, èëè æå îöåíèòü â ñðåäíèõ çíà÷åíèÿ òðàíñôîð-

x, x2 , . . . , xp−1 . Â ëþáîì ñëó÷àå êîýôôèöèåíòû β1 , β2 , . . . , βp

ñàìè ïî ñåáå íå èìåþò ýêîíîìè÷åñêîãî ñìûñëà. Èìååò ñìûñë òîëüêî èõ îïðåäåë¼ííûå êîìáèíàöèè. Ëèíåéíûìè ïî-ñóùåñòâó ìîäåëÿìè íàçûâàþòñÿ òàêèå, êîòîðûå, íåñìîòðÿ íà îáìàí÷èâóþ íåëèíåéíîñòü, ìîæíî ïðåîáðàçîâàòü ê ëèíåéíîìó âèäó. Ðàññìîòðèì òàêîé ïðèìåð :

y = AK α L1−α exp(e),

E[e|A, K, L] = 0.

Çäåñü ëîãàðèôìè÷åñêàÿ òðàíñôîðìàöèÿ ìîäåëè ñâîäèò åå ê ëèíåéíîìó ñëó÷àþ :

E[log Y | log A, log K, log L] = log A + α log K + (1 − α) log L.

52

2

Íåëèíåéíûå ðåãðåññèîííûå ìîäåëè

Â äàííîé ãëàâå ìû ðàññìîòðèì íåëèíåéíûå ìîäåëè, êîòîðûå íå ïðèâîäÿòñÿ ê ëèíåéíûì, ò.å.

E[y|x] = g(x0 β) 6= z 0 β äëÿ ëþáîé ôóíêöèè

z(x).

Ïðèìåðû.

• g(x, β) = β1 + β2

x 1 + β3 x

• g(x, β) = β1 + β2 eβ3 x • g(x, β) = (β1 + β2 x1 )1[x2 ≤ β3 ] + (β4 + β5 x1 )1[x2 > β3 ] Ïóñòü ôóíêöèÿ

g(x, β)

äèôôåðåíöèðóåìà ïî îáîèì àðãóìåíòàì.

Îïðåäåëåíèå. Âåëè÷èíà

∂g(x, β) = gβ (x, β) ∂β 0

íàçûâàåòñÿ

êâàçèðåãðåññîðîì .

Â îáû÷íîé ëèíåéíîé ðåãðåññèè

g(x, β) = x0 β

⇒

ò.å. êâàçèðåãðåññîð íå çàâèñèò îò ïàðàìåòðà

gβ (x) = x, β.

Îäíàêî â îáùåì ñëó÷àå êâàçèðå-

ãðåññîðû çàâèñÿò îò ïàðàìåòðîâ ìîäåëè. Ýòîò ôàêò óñëîæíÿåò îïðåäåë¼ííûå ýòàïû îöåíèâàíèÿ è èíôåðåíöèè.

3

Îöåíèâàíèå íåëèíåéíûì ìåòîäîì íàèìåíüøèõ êâàäðàòîâ

Íàì èçâåñòíî, ÷òî ïàðàìåòð

β

åñòü ðåøåíèå ìèíèìèçàöèîííîé çàäà÷è

β = arg minE[(y − g(x, b))2 ]. b

Èñïîëüçóÿ ïðèíöèï àíàëîãèé, ïîëó÷èì îöåíêó

äðàòîâ (ÍÌÍÊ) :

íåëèíåéíîãî ìåòîäà íàèìåíüøèõ êâà-

n

1X β = arg min (yi − g(xi , b))2 . b n i=1 Óñëîâèå ïåðâîãî ïîðÿäêà åñòü

n

1X b β (xi , β) b = 0. (yi − g(xi , β))g n i=1 ßñíî, ÷òî ÿâíîå àíàëèòè÷åñêîå âûðàæåíèå äëÿ

βb

ïîëó÷èòü â îáùåì ñëó÷àå íåâîç-

ìîæíî, ïîýòîìó äëÿ íàõîæäåíèÿ ÍÌÍÊ-îöåíîê ïîëüçóþòñÿ ÷èñëåííûìè ìåòîäàìè.

53

Ïîëó÷åíèå ÍÌÍÊ-îöåíêè ìåòîäîì êîíöåíòðàöèè. Îäíèì èç ÷èñëåííûõ ìåòîäîâ ïîëó÷åíèÿ ÍÌÍÊ-îöåíêè ÿâëÿåòñÿ ìåòîä êîíöåíòðàöèè. Ðàçäåëèì ïàðàìåòðû çàäà÷è íà äâå ãðóïïû, óäîâëåòâîðÿþùèå óñëîâèÿì

β = (γ10 , γ20 )0 ,

g(x, β) = γ10 x(γ2 ).

Ãðóáî ãîâîðÿ, óñëîâíîå ñðåäíåå ëèíåéíî ïî ïàðàìåòðàì ðàì

γ1

è íåëèíåéíî ïî ïàðàìåò-

γ2 . Êðîìå òîãî, ïðåäïîëàãàåòñÿ, ÷òî ÷èñëî ïàðàìåòðîâ γ2 íåâåëèêî, ÷òîáû ìîæíî

áûëî áûñòðî áåãàòü ïî èõ ñåòêå.

Ïðèìåð. Â êà÷åñòâå ïðèìåðà ïðèâåäåì ñëåäóþùóþ ìîäåëü :

g(x, β) = β1 + β2 eβ3 x . Òîãäà ñîîòâåòñòâóþùåå ðàçäåëåíèå ïàðàìåòðîâ ñëåäóþùåå :

γ1 = (β1 , β2 )0 ,

γ2 = β3

⇒

x(γ2 ) = (1, eβ3 x )0 .

Â ïîäîáíûõ ñëó÷àÿõ èñïîëüçóåòñÿ äâóõóðîâíåâàÿ ïðîöåäóðà îöåíèâàíèÿ ïàðàìåòðîâ :

# n X 1 βb = arg min min (yi − γ10 xi (γ2 ))2 . γ n 1 γ2 i=1 "

1. Ïðè ôèêñèðîâàííîì ïàðàìåòðå

γ2

ïàðàìåòð

γ b1 (γ2 ) = (X 0 (γ2 )X(γ2 ))−1 X 0 (γ2 )Y,

γ1

îöåíèâàåòñÿ ñ ïîìîùüþ ÌÍÊ :

X(γ2 ) = (x1 (γ2 ), . . . , x2 (γ2 ))0 .

2. ×èñëåííî ðåøàåòñÿ îïòèìèçàöèîííàÿ çàäà÷à

"

# n 1X (yi − γ b10 xi (γ2 ))2 . γ b2 = arg min γ2 n i=1 Ïîñêîëüêó ðàçìåðíîñòü

γ2

ìàëåíüêàÿ, òî îïòèìóì ëåãêî íàõîäèòñÿ íà ñåòêå.

Ïðèâåäåì àëãîðèòì ìåòîäà êîíöåíòðàöèè.

•

Äëÿ ïàðàìåòðà

•

Äëÿ êàæäîãî

γ2

γ2

íà íåêîòîðîì èíòåðâàëå

íà ýòîé ñåòêå îöåíèâàåòñÿ

1 åòñÿ öåëåâîå çíà÷åíèå n

•

Èç âñåõ çíà÷åíèé

γ2

Pn

i=1 (yi

0

[γ 2 , γ 2 ] γ b1 (γ2 ) 2

−γ b1 (γ2 ) xi (γ2 ))

ñòðîèòñÿ ñåòêà.

ñ ïîìîùüþ ÌÍÊ è âû÷èñëÿ-

.

íà ñåòêå âûáèðàåòñÿ òî, äëÿ êîòîðîãî öåëåâîå çíà÷åíèå

íàèìåíüøåå.

54

•

Åñëè íåîáõîäèìî, â îêðåñòíîñòè ïîëó÷åííîãî çíà÷åíèÿ

γ2 ñòðîèòñÿ áîëåå ìåëêàÿ

ñåòêà, è ïðîöåäóðà ïîâòîðÿåòñÿ.

Ïîëó÷åíèå ÍÌÍÊ-îöåíêè ìåòîäîì ëèíåàðèçàöèè. Äðóãèì ÷èñëåííûì ìåòîäîì ïîëó÷åíèÿ ÍÌÍÊ-îöåíêè ÿâëÿåòñÿ ëèíåàðèçàöèÿ óñëîâèÿ ïåðâîãî ïîðÿäêà. Äîïóñòèì, ÷òî

βb1

íà÷àëüíîå ïðåäïîëîæåíèå î ÷èñëåííîì çíà÷åíèè îöåíèâàåìûõ

ïàðàìåòðîâ. Òîãäà ñ ïîìîùüþ ëèíåàðèçàöèè ïðåäëàãàåòñÿ èòåðàòèâíàÿ ïðîöåäóðà ïåðåõîäà ìàëîãî

βbj → βbj+1 .

Ýòà ïðîöåäóðà ïðîäîëæàåòñÿ äî òåõ ïîð, ïîêà äëÿ äîñòàòî÷íî

ε íå áóäåò âûïîëíåíî óñëîâèå |βbj+1 −βbj | < ε. Áîëåå äåòàëüíî : ëèíåàðèçîâàííîå

óñëîâèå ïåðâîãî ïîðÿäêà äëÿ ÍÌÍÊ-îöåíêè åñòü

n

1X (yi − g(xi , βbj ) − gβ (xi , βbj )(βbj+1 − βbj ))gβ (xi , βbj ) ≈ 0. n i=1 Ââîäÿ îáîçíà÷åíèå

dj =

n X i=1

gβ (xi , βbj )gβ (xi , βbj )0

!−1

n X i=1

gβ (xi , βbj )(yi − g(xi , βbj )),

èìååì èòåðàòèâíóþ ïðîöåäóðó â âèäå

Åñëè

dj

βbj+1 = βbj + dj . ñëèøêîì âåëèêî (ïðîöåäóðà íå ñõîäèòñÿ), òî âûáèðàåòñÿ íåêîòîðîå

λj ∈ [0, 1],

òàêîå, ÷òîáû öåëåâàÿ ôóíêöèÿ áûëà ìèíèìàëüíîé, à ïðîöåäóðà ìîäèôèöèðóåòñÿ êàê

βbj+1 = βbj + λj dj . 4

Àñèìïòîòè÷åñêèå ñâîéñòâà ÍÌÍÊ-îöåíêè

Îïðåäåëåíèå. Ãîâîðÿò, ÷òî çàäà÷à óäîâëåòâîðÿåò óñëîâèþ

b=β

òîãäà è òîëüêî òîãäà, êîãäà

g(x, β) = g(x, b)

èäåíòèôèêàöèè ,

åñëè

ñ âåðîÿòíîñòüþ 1.

Åñëè ýòî óñëîâèå âûïîëíåíî, òî ââèäó òîæåñòâà

E[(y − g(x, b))2 ] = E[(y − g(x, β))2 ] + E[(g(x, β) − g(x, b))2 ] ìèíèìèçàòîð ëåâîé ÷àñòè ðàâåí èñòèííîìó çíà÷åíèþ ïàðàìåòðà

β

è îïðåäåë¼í îä-

íîçíà÷íî.

Ïðèìåðû.

•

Ðàññìîòðèì ëèíåéíóþ ìîäåëü. Ïóñòü ìàòðèöà ãäà ïðè

β 6= b

Qxx = E[xx0 ]

âûïîëíÿåòñÿ ñîîòíîøåíèå :

E[(x0 β − x0 b)2 ] = (β − b)0 Qxx (β − b) > 0. Ñëåäîâàòåëüíî,

x0 β 6= x0 b

ñ âåðîÿòíîñòüþ 1.

55

íåâûðîæäåíà. Òî-

•

Ðàññìîòðèì òåïåðü ïðèìåð, ãäå íåò èäåíòèôèêàöèè :

g(x, β) = β1 + β2 eβ4 +β3 x = β1 + elog β2 +β4 +β3 x . Èäåíòèôèöèðîâàòü ïàðàìåòðû

β2

è

β4

îäíîâðåìåííî íåâîçìîæíî.

Îïðåäåëåíèå. Ïîñëåäîâàòåëüíîñòü ñëó÷àéíûõ ôóíêöèé

{zi (θ)}ni=1

óäîâëåòâîðÿåò

ðàâíîìåðíîìó çàêîíó áîëüøèõ ÷èñåë (ÐÇÁ×), åñëè

n

n

1X 1X p supk zi (θ) − p lim zi (θ)k → 0. n i=1 n i=1 θ Ëåììà. Åñëè ïîñëåäîâàòåëüíîñòü

{zi (θ)}ni=1

óäîâëåòâîðÿåò ÐÇÁ× è

n

n

1X b p 1X zi (θn ) → p lim zi (θ). n i=1 n i=1

p θbn → θ,

òî

Äîêàçàòåëüñòâî. Çàïèøåì ïîñëåäîâàòåëüíîñòü íåðàâåíñòâ, âîñïîëüçîâàâøèñü ÐÇÁ× è òåîðåìîé Ìàííà-Âàëüäà :

n

n

1 X

X 1

zi (θbn ) − p lim zi (θ) ≤

n

n i=1

i=1

n n n n

1 X

X X X 1 1 1

≤ zi (θbn ) − p lim zi (θ) + p lim zi (θ) − p lim zi (θ) ≤

n b b

n n n i=1 i=1 i=1 i=1 θn

θn

n n n n

1 X

1X 1X 1X

≤ sup zi (θ) − p lim zi (θ) + p lim zi (θ) − p lim zi (θ)

b

n n n θ n i=1

i=1

i=1

i=1

θn

p

→ 0.

Êàê ñëåäñòâèå, ïðè âûïîëíåíèè ÐÇÁ× äëÿ ñîîòâåòñòâóþùèõ ñëàãàåìûõ èìååì ñîñòîÿòåëüíîñòü ñëåäóþùèõ îöåíîê :

n

X p be2 xx = 1 xi x0i eb2i → Qe2 xx , Q n i=1 ãäå

n

X p b β (xi , β) b0→ bgg = 1 Q gβ (xi , β)g Qgg , n i=1

Qgg = E[gβ (x, β)gβ (x, β)0 ].

Òåîðåìà. Ïóñòü âûïîëíåíû ñëåäóþùèå òðåáîâàíèÿ : 1. Âûïîëíåíî óñëîâèå èäåíòèôèêàöèè ; 2. Ôóíêöèÿ

g(x, β)

äâàæäû íåïðåðûâíî äèôôåðåíöèðóåìà ïî

b;

3. Äëÿ ñëåäóþùèõ ïîñëåäîâàòåëüíîñòåé âûïîëíÿåòñÿ ÐÇÁ× :

(yi − g(xi , β))2 ,

gβ (xi , β)gβ (xi , β)0 ,

56

(yi − g(xi , β))

∂gβ (xi , β) ; ∂β 0

4. Ìàòðèöà

Qgg = E[gβ (x, β)gβ (x, β)0 ]

5. Ìàòðèöà

Qe2 gg = E[gβ (x, β)gβ (x, β)0 e2 ]

íåâûðîæäåíà ; ñóùåñòâóåò.

Òîãäà ÍÌÍÊ-îöåíêà ñîñòîÿòåëüíà è àñèìïòîòè÷åñêè íîðìàëüíà :

p βb → β,

√

d

−1 n(βb − β) → N (0, Q−1 gg Qe2 gg Qgg ).

Äîêàçàòåëüñòâî. 1.

Ñîñòîÿòåëüíîñòü : Äëÿ ëþáîãî

n → ∞,

ε > 0

ñ âåðîÿòíîñòüþ, ñòðåìÿùåéñÿ ê 1 ïðè

èìååì :

n

n

X 1X ε b 2< 1 (yi − g(xi , β)) (yi − g(xi , β))2 + , n i=1 n i=1 3 1 Pn 2 βb ìèíèìèçèðóåò i=1 (yi − g(xi , b)) . Ïîñêîëüêó ÐÇÁ× âûïîën (yi − g(xi , β))2 ,

òàê êàê îöåíêà íÿåòñÿ äëÿ

n

X b 2] < 1 b 2 + ε. E[(yi − g(xi , β)) (yi − g(xi , β)) n i=1 3 Àíàëîãè÷íî,

n

1X ε (yi − g(xi , β))2 < E[(yi − g(xi , β))2 ] + . n i=1 3 Ñóììèðóÿ ýòè òðè íåðàâåíñòâà, ïîëó÷àåì :

b 2 ] < E[(y − g(xi , β))2 ] + ε. E[(y − g(xi , β)) Òåïåðü îïðåäåëèì ñêîëüêó

β

ε.

Äëÿ ýòîãî âûáåðåì îòêðûòóþ îêðåñòíîñòü

β , N (β).

Ïî-

ðåøàåò çàäà÷ó íà ìèíèìóì, äîëæíî áûòü âûïîëíåíî ñëåäóþùåå ñî-

îòíîøåíèå :

inf E[(y − g(x, b))2 ] > E[(y − g(x, β))].

b∈N (β)c Âûáåðåì ñëåäóþùåå

ε=

ε: inf E[(y − g(x, b))2 ] − E[(y − g(x, β))],

b∈N (β)c

òîãäà âûïîëíåíî ñëåäóþùåå ñîîòíîøåíèå :

b 2] < E[(y − g(x, β)) ÷òî îçíà÷àåò, ÷òî

βb ∈ N (β).

inf E[(y − g(x, b))2 ],

b∈N (β)c

Ñëåäîâàòåëüíî,

57

p βb → β .

2.

Àñèìïòîòè÷åñêàÿ íîðìàëüíîñòü : Ðàçëîæèì óñëîâèå ïåðâîãî ïîðÿäêà â ðÿä Òýéëîðà âîêðóã

β:

n

1X (yi − g(xi , β))gβ (xi , β) + n i=1 " # n b ∂g (x , β) 1X β i b e β (xi , β) e 0 (βb − β) = 0, + (yi − g(xi , β)) − gβ (xi , β)g n i=1 ∂β 0 βe ïîêîìïîíåíòíî. Ñëåäîâàòåëüíî, #)−1 ( n " X b √ ∂g (x , β) 1 β i b e β (xi , β) e0 n(βb − β) = (yi − g(xi , β)) − gβ (xi , β)g × n i=1 ∂β 0 ãäå

β

ëåæèò ìåæäó

β

è

n

1 X d × √ (yi − g(xi , β))gβ (xi , β) → n i=1 −1 ∂gβ (x, β) d 0 → − E (yi − g(xi , β)) − gβ (x, β)gβ (x, β) N (0, Qe2 gg ) ∂β 0 −1 2 qq Q = N Q−1 Q e gg gg . Òåîðåìà äîêàçàíà. Ðàññìîòðèì ñïåöèàëüíûé ñëó÷àé óñëîâíîé ãîìîñêåäàñòè÷íîñòè :

E[e2 |x] = σ 2 = const. Êàê è äëÿ ëèíåéíîé ìîäåëè, èìååò ìåñòî óïðîùåíèå :

Qe2 gg = σ 2 Qgg 5

⇒

√

d

n(βb − β) → N (0, σ 2 Q−1 gg ).

Àñèìïòîòè÷åñêàÿ ýôôåêòèâíîñòü è ÂÍÌÍÊ-îöåíêà

ÍÌÍÊ-îöåíêó ìîæíî ðàññìàòðèâàòü êàê àíàëîãîâóþ îöåíêó, ïîëó÷åííóþ èç óñëîâèÿ

E[egβ (x, β)] = 0.

Ìîæíî ïîñòðîèòü äðóãóþ àíàëîãîâóþ îöåíêó, íåñêîëüêî èçìåíèâ

óñëîâèå íåñêîððåëèðîâàííîñòè :

gβ (x, β) = 0. E e 2 σ (x) Ýòî óñëîâèå ñëåäóåò èç ðåãðåññèîííîãî ïðåäïîëîæåíèÿ. Ñîãëàñíî ïðèíöèïó àíàëîãèé

n e 1X e gβ (xi , β) = 0. (yi − g(xi , β)) n i=1 σ 2 (xi )

58

Ðåøåíèå

βe,

ïîëó÷åííîå èç ýòîãî óðàâíåíèÿ, ÿâëÿåòñÿ îöåíêîé âçâåøåííîãî íåëèíåé-

íîãî ìåòîäà íàèìåíüøèõ êâàäðàòîâ (ÂÍÌÍÊ-îöåíêîé). Îíà ðåøàåò ìèíèìèçàöèîííóþ çàäà÷ó

1 βe = arg min b n

n X (yi − g(xi , b))

σ 2 (xi )

i=1

,

ñîñòîÿòåëüíà è àñèìïòîòè÷åñêè íîðìàëüíà :

√

p βe → β,

Q

d

n(βe − β) → N (0, Q−1 gg ), σ2

gβ (x, β)gβ (x, β)0 =E . σ 2 (x)

gg σ2

Â óñëîâèÿõ óñëîâíîé ãåòåðîñêåäàñòè÷íîñòè ÂÍÌÍÊ-îöåíêà áîëåå àñèìïòîòè÷åñêè ýôôåêòèâíà ïî ñðàâíåíèþ ñ ÍÌÍÊ, òî÷íî òàê æå êàê ÎÌÍÊ ïî ñðàâíåíèþ ñ ÌÍÊ äëÿ ëèíåéíîé ðåãðåññèè. Ìîæíî åù¼ óòâåðæäàòü, ÷òî ÂÍÌÍÊ-îöåíêà

βe

ÿâëÿåòñÿ

àñèìïòîòè÷åñêè ýôôåêòèâíîé â êëàññå îöåíîê, óäîâëåòâîðÿþùèõ óñëîâèþ

n

1X (yi − g(xi , βbIV ))zi = 0, n i=1 ãäå

6

zi

ïðîèçâîëüíàÿ ôóíêöèÿ îò

xi ,

èìåþùàÿ òó æå ðàçìåðíîñòü

k × 1.

Ïðèëîæåíèå : ìîäåëü áèíàðíîãî âûáîðà

Ðàññìîòðèì ñëåäóþùóþ íåëèíåéíóþ ìîäåëü :

yi =

(

1

x0i β + ei ≥ 0,

0

èíà÷å,

ei |xi ∼ N (0, 1).

Íàéä¼ì ôîðìó ðåãðåññèè :

E[y|x] = P {x0 β + e ≥ 0|x} = P {e ≥ −x0 β|x} = Φ(x0 β). Âèäíî, ÷òî ðåãðåññèÿ íåëèíåéíàÿ. ÍÌÍÊ-îöåíêà â ýòîì ñëó÷àå åñòü

1 βb = arg min b n

n X

(yi − Φ(x0i b))2

i=1

ñ àñèìïòîòè÷åñêèìè ñâîéñòâàìè

p βb → β,

√

d

−1 n(βb − β) → N (0, Q−1 gg Qe2 gg Qgg ),

ãäå

gβ (x, β) = f (x0 β)x,

Qgg = E[f (x0 β)2 xx0 ],

59

Qe2 gg = E[f (x0 β)2 (y − Φ(x0 β))2 xx0 ].

Àñèìïòîòè÷åñêè ýôôåêòèâíàÿ ÂÍÌÍÊ-îöåíêà åñòü

1 βe = arg min b n

n X i=1

èáî

(yi − Φ(x0i b))2 , b − Φ(x0 β)) b Φ(x0 β)(1 i

i

σ 2 (x) = V ar[y|x] = Φ(x0 β)(1 − Φ(x0 β)) 6= const. Âûâåäåì å¼ àñèìïòîòè÷åñêèå ñâîéñòâà :

p βe → β,

7

√

d

n(βe − β) → N

0, E

0

2

0

f (x β) xx − Φ(x0 β))

Φ(x0 β)(1

−1 !

.

Èíôåðåíöèÿ ïðè íåèäåíòèôèöèðîâàííîñòè íåêîòîðûõ ïàðàìåòðîâ ïðè íóëåâîé ãèïîòåçå

Â íåëèíåéíûõ ìîäåëÿõ ìîæåò ñëîæèòüñÿ îñîáàÿ ñèòóàöèÿ, êîãäà òåñòèðîâàíèå ñòàòèñòè÷åñêèõ ãèïîòåç íåñòàíäàðòíî. Ðàññìîòðèì äâà ïðèìåðà.

Ïðèìåð 1. Ðåãðåññèÿ ñ ãëàäêèìè ïîðîãàìè :

1 + e, E[e|x] = 0. 1 + ex−β5 ÷òî β3 = β4 = 0 (ò.å. òåñòèðóåòñÿ

y = (β1 + β2 x) + (β3 + β4 x) Åñëè íóëåâàÿ ãèïîòåçà ñîñòîèò â òîì,

ìîäåëè), òî ïðè ýòîé íóëåâîé ãèïîòåçå ïàðàìåòð

β5

ëèíåéíîñòü

íåèäåíòèôèöèðóåì.

Ïðèìåð 2. Ðàññìîòðèì ñëåäóþùóþ ðàçíîâèäíîñòü ARCH-M ìîäåëè :

yt = β0 + x0t β1 + γσt2 + et ,

E[et |It−1 ] = 0,

E[e2t |It−1 ] = σt2 = α0 + α1 e2t−1 .

Åñëè íóëåâàÿ ãèïîòåçà ñîñòîèò â îòñóòñòâèè ARCH ýôôåêòà, ò.å. ïðè íóëåâîé ãèïîòåçå ïàðàìåòð

γ

H0 : α1 = 0,

òî

íåèäåíòèôèöèðóåì, òàê êàê óñëîâíàÿ äèñïåðñèÿ

ïîñòîÿííà è å¼ âëèÿíèå ïîãëîùàåòñÿ ñâîáîäíûì ÷ëåíîì

β0 .

Â òàêèõ ñèòóàöèÿõ ñòàíäàðòíàÿ òåñòîâàÿ ñòàòèñòèêà (íàïðèìåð, t èëè Âàëüäîâñêàÿ) àñèìïòîòè÷åñêè ðàñïðåäåëåíà íå òàê, êàê ìû ïðèâûêëè, ò.å. íå êàê ñòàíäàðòíî íîðìàëüíàÿ èëè õè-êâàäðàò ñëó÷àéíàÿ âåëè÷èíà. Âîò êàê îáû÷íî ðåøàåòñÿ ïîäîáíàÿ ïðîáëåìà. Ïóñòü

β = (β10 , β20 )0 ,

ãäå

β1

èäåíòèôèöèðóåòñÿ ïðè íóëåâîé ãèïîòåçå, à

íåò. Ïîñòðîèì Âàëüäîâñêóþ ñòàòèñòèêó

W (β2 )

äëÿ âñåõ âîçìîæíûõ çíà÷åíèé

β2 β2 .

Òîãäà ñóï-Âàëüäîâñêàÿ ñòàòèñòèêà

sup W = supW (β2 ) β2 ñõîäèòñÿ ê íåêîòîðîìó íåñòàíäàðòíîìó ðàñïðåäåëåíèþ, êîòîðîå ïîëó÷àþò ñ ïîìîùüþ ñèìóëÿöèé. Ïîìèìî ïðèâåä¼ííûõ âûøå, ïðèìåðàìè ÿâëÿþòñÿ òåñòèðîâàíèå íà ëèíåéíîñòü ñàìîâîçáóæäàþùèõñÿ ïîðîãîâûõ àâòîðåãðåññèé è òåñòèðîâàíèå íà îòñóòñòâèÿ ñòðóêòóðíûõ ñäâèãîâ.

60

Эконометрика для продолжающих

Recommend Documents