Регрессионный анализ: Учебно-методическое пособие

ÌÈÍÈÑÒÅÐÑÒÂÎ ÎÁÐÀÇÎÂÀÍÈß ÐÎÑÑÈÉÑÊÎÉ ÔÅÄÅÐÀÖÈÈ

Ñàíêò-Ïåòåðáóðãñêèé ãîñóäàðñòâåííûé óíèâåðñèòåò àýðîêîñìè÷åñêîãî ïðèáîðîñòðîåíèÿ

Ñ. Í. Âîðîáüåâ, Ë. À. Îñèïîâ

ÐÅÃÐÅÑÑÈÎÍÍÛÉ ÀÍÀËÈÇ Ó÷åáíî-ìåòîäè÷åñêîå ïîñîáèå

Ñàíêò-Ïåòåðáóðã 2000

ÓÄÊ 519.2(075) ÁÁÊ 22.172 Â75

Âîðîáüåâ Ñ. Í., Îñèïîâ Ë. À.

Â75 Ðåãðåññèîííûé àíàëèç: Ó÷åá.-ìåòîä. ïîñîáèå / ÑÏáÃÓÀÏ. ÑÏá., 2000. 66 ñ.

Ìåòîäû ïðèêëàäíîé ñòàòèñòèêè, èçó÷àþùèåñÿ â äèñöèïëèíàõ ''Ñòàòè-

ñòè÷åñêàÿ îáðàáîòêà ñèãíàëîâ", "Ñèñòåìíûé àíàëèç", – ìåòîä íàèìåíüøèõ êâàäðàòîâ, êðèòåðèè ïðîâåðêè ëèíåéíûõ ãèïîòåç, äèñïåðñèîííûé àíàëèç, ñòàòèñòè÷åñêàÿ ðåãðåññèÿ, ëèíåéíîå ïðîãíîçèðîâàíèå – èçëàãàþòñÿ ñ åäèíûõ íàó÷íî-ìåòîäè÷åñêèõ ïîçèöèé ëèíåéíîãî ðåãðåññèîííîãî àíàëèçà. Ïðåäíàçíà÷åíî äëÿ ñòóäåíòîâ ñïåöèàëüíîñòè "Âû÷èñëèòåëüíûå ìàøèíû, êîìïëåêñû, ñèñòåìû è ñåòè".

Ðåöåíçåíòû: êàôåäðà àâòîìàòèêè è ïðîöåññîâ óïðàâëåíèÿ Ñàíêò-Ïåòåðáóðãñêîãî ãîñóäàðñòâåííîãî ýëåêòðîòåõíè÷åñêîãî óíèâåðñèòåòà "ËÝÒÈ èì. Â. È. Óëüÿíîâà-Ëåíèíà"; êàíäèäàò òåõíè÷åñêèõ íàóê äîöåíò Í. À. Ìóñòàôèí

Óòâåðæäåíî ðåäàêöèîííî-èçäàòåëüñêèì ñîâåòîì óíèâåðñèòåòà â êà÷åñòâå ó÷åáíî-ìåòîäè÷åñêîãî ïîñîáèÿ

© ÑÏáÃÓÀÏ, 2000 © Ñ. Í. Âîðîáüåâ, 2000

2

Ë. À. Îñèïîâ,

ÂÂÅÄÅÍÈÅ Ñîâðåìåííîå ñîñòîÿíèå âû÷èñëèòåëüíîé òåõíèêè è åå ïðîãðàììíîãî îáåñïå÷åíèÿ ïîçâîëÿåò èíæåíåðó ñàìîñòîÿòåëüíî ðåøàòü çàäà÷è, äîñòóïíûå â íåäàëåêîì ïðîøëîì ëèøü öåëûì êîëëåêòèâàì, – îáðàáàòûâàòü áîëüøèå ìàññèâû äàííûõ. Ïîäîáíûå çàäà÷è èìåþò ïðàêòè÷åñêîå çíà÷åíèå â ðàçëè÷íûõ îáëàñòÿõ è õîðîøî îáîñíîâàíû òåîðåòè÷åñêè â ìíîãîìåðíîé ìàòåìàòè÷åñêîé ñòàòèñòèêå. Ïîäãîòîâêà ïî ñïåöèàëüíîñòè "Âû÷èñëèòåëüíûå ìàøèíû, êîìïëåêñû, ñèñòåìû è ñåòè" ïðåäóñìàòðèâàåò çíàíèå ìåòîäîâ ñòàòèñòè÷åñêîé îáðàáîòêè ìàññèâîâ è óìåíèå èõ ïðèìåíÿòü â ëþáîé ñôåðå – îò áèçíåñà è ýêîíîìèêè äî íàó÷íîïðèêëàäíûõ èññëåäîâàíèé. Èçó÷åíèå ðàçäåëà ''Ðåãðåññèîííûé àíàëèç'' äèñöèïëèí ''Ñòàòèñòè÷åñêàÿ îáðàáîòêà ñèãíàëîâ'' è ''Ñèñòåìíûé àíàëèç'' áàçèðóåòñÿ íà çíàíèè òåîðèè âåðîÿòíîñòåé, ñëó÷àéíûõ ïðîöåññîâ, ïðîâåðêè ñòàòèñòè÷åñêèõ ãèïîòåç è îöåíèâàíèÿ.  ïîñîáèè ðàññìàòðèâàåòñÿ ëèíåéíûé ðåãðåññèîííûé àíàëèç, îáúåäèíÿþùèé øèðîêî ðàñïðîñòðàíåííûå ñòàòèñòè÷åñêèå ìåòîäû: ìåòîä íàèìåíüøèõ êâàäðàòîâ, ëèíåéíûå ìîäåëè è êðèòåðèè ïðîâåðêè ëèíåéíûõ ãèïîòåç, äèñïåðñèîííûé àíàëèç, ëèíåéíîå ïðîãíîçèðîâàíèå. Íà ïðàêòèêå ýòè ìåòîäû ìîãóò ïðèìåíÿòüñÿ äëÿ àïïðîêñèìàöèè íàáëþäåíèé, ïîñòðîåíèÿ ìîäåëåé äèñêðåòíûõ ñèñòåì, èññëåäîâàíèÿ çàâèñèìîñòåé ìåæäó íàáëþäåíèÿìè, ïðåäñêàçàíèÿ çíà÷åíèé äèíàìè÷åñêèõ ïðîöåññîâ.

3

1. ÌÅÒÎÄ ÍÀÈÌÅÍÜØÈÕ ÊÂÀÄÐÀÒΠ1.1. Ìîäåëü ðåãðåññèîííîãî àíàëèçà Îäíà èç êëàññè÷åñêèõ ìîäåëåé ñëó÷àéíîãî ïðîöåññà [1] – âûáîðêà

(

)

XT=[x1, x2, ..., xn], â êîòîðîé îòñ÷åòû xi ∈ f x; mi , σ 2 ðàñïðåäåëåíû ïî

îäíîìó è òîìó æå çàêîíó ñ ïëîòíîñòüþ ðàñïðåäåëåíèÿ f(x) ñ ïîñòîÿííîé äèñïåðñèåé σ2 è ñ èçìåíÿþùèìèñÿ â îáùåì ñëó÷àå ñðåäíèìè mi – îòñ÷åòàìè ìàòåìàòè÷åñêîãî îæèäàíèÿ ïðîöåññà . Íà ïðàêòèêå òàêàÿ ìîäåëü èñïîëüçóåòñÿ: ïðè ïðîâåðêå ãèïîòåçû H0: m = const ïðîòèâ àëüòåðíàòèâû H1: m = var; ïðè èçìåðåíèè äàëüíîñòè R, êîãäà ; R = ψ (t ) = m ; ïðè àíàëèçå âëèÿíèÿ óñëîâèé ïðîèçâîäñòâà (êâàëèôèêàöèÿ ïåðñîíàëà, êà÷åñòâî ñûðüÿ, ñîáëþäåíèå òåõíîëîãèè è ò. ï.) íà êà÷åñòâî èçäåëèÿ, íàïðèìåð íà ïîêàçàòåëü íàäåæíîñòè – íàðàáîòêó íà îòêàç è ò. ä. Ôîðìàëèçàöèÿ ìîäåëè:

ââîäèòñÿ âåêòîð ïàðàìåòðîâ βT = [β1, β2 , ..., βk ], îò êîòîðûõ çàâè-

ñÿò ñðåäíèå çíà÷åíèÿ íàáëþäåíèé mi = ϕi (β1 , β2 , ..., βk ) , i = 1, ..., n; ôóíêöèè ϕi îãðàíè÷èâàþòñÿ êëàññîì ëèíåéíûõ ôóíêöèé, äëÿ ÷åãî ââîäèòñÿ ìàòðèöà ïëàíà  z11 z12 z1n  z z z2 n  Z =  21 22  ... ... ...     zk1 zk 2 zkn  òàêàÿ, ÷òî âåêòîð ñðåäíèõ çíà÷åíèé çàäàåòñÿ ïðîèçâåäåíèåì M X = ZT β; 4

(1.1)

ìàòðèöà ïëàíà çàäàåòñÿ ëèáî èññëåäîâàòåëåì, êîãäà îí ïëàíèðóåò íàáëþäåíèÿ, ëèáî ïðèðîäîé; íàáëþäåíèÿ X ñîïðîâîæäàþòñÿ îøèáêîé ε : X = ZT β + ε , εT = [ε1 , ε 2 , ..., ε n ] M ε = 0, K ε = σ2 I

(1.2)

– îøèáêà ñòàöèîíàðíàÿ, åå çíà÷åíèÿ εi íåêîððåëèðîâàíû, çàêîí ðàñïðåäåëåíèÿ íå îãîâàðèâàåòñÿ. Ïðè âûïîëíåíèè ïîñëåäíåãî îãðàíè÷åíèÿ ãîâîðÿò, ÷òî èìååò ìåñòî ìîäåëü ëèíåéíîé ðåãðåññèè; ïàðàìåòðû β íàçûâàþòñÿ êîýôôèöèåíòàìè ðåãðåññèè, σ2 – îñòàòî÷íîé äèñïåðñèåé. Ïåðåìåííûå zi èç ìàòðèöû ïëàíà ìîãóò áûòü ôóíêöèîíàëüíî çàâèñèìûìè. Íàïðèìåð, âñå îíè – ôóíêöèè îäíîé ïåðåìåííîé t z j = a j (t ) ,

ãäå a j (t ) – ïîëèíîì ñòåïåíè j > 1; â ýòîì ñëó÷àå ðåãðåññèÿ íàçûâàåòñÿ ïàðàáîëè÷åñêîé.  îáùåì ñëó÷àå çíà÷åíèÿ îøèáêè ìîãóò áûòü êîððåëèðîâàííûìè: K ε = σ2 R , R ≠ I . Åñëè â ýòîì ñëó÷àå ïåðåéòè ê íàáëþäåíèÿì Y = R −1/ 2 X , òî MY = R −1/ 2 M X , K Y = R −1/ 2 K X R −1/ 2 = σ 2 I . Ïðèìåð 1.1. Ïóñòü íàáëþäåíèÿ ïðîâîäÿòñÿ áåç ïîãðåøíîñòåé (îøèáêà ε = 0):

X = ZT β . Åñëè âåêòîð ïàðàìåòðîâ íåèçâåñòåí, åãî ìîæíî îöåíèòü, èñïîëüçóÿ ñîîòíîøåíèå (1.1) −1 βˆ = ZT (1.3) X.

( )

Ïðåäïîëîæèì, ÷òî èçìåðÿåìàÿ ôóíêöèÿ îïèñûâàåòñÿ ïîëèíîìîì òðåòüåé ñòåïåíè

M X = β0 + β1t + β2t 2 + β3t 3

5

è íàáëþäàåòñÿ â ìîìåíòû âðåìåíè t1 = 1, t2 = 2, t3 = 3, t4 = 4. Òîãäà ìàòðèöà ïëàíà äëÿ çíà÷åíèé t0, t1, t2, t3 1 1 Z= 1  1

1 2 3 4  ; ZT 4 9 16   8 27 64  1

1

( )

–1

−6 −1  4  4  −13 / 3 19 / 2 −7 11/ 6  . =  3/ 2 −4 −1  7/2    −1/ 6 1/ 2 −1/ 2 1/ 6 

Êîýôôèöèåíòû ëþáîãî ïîëèíîìà ñòåïåíè íå âûøå òðåòüåé îöåíèâàþòñÿ ïî ôîðìóëå (1.3) áåç îøèáîê. Íàïðèìåð, åñëè íàáëþäàëèñü çíà÷åíèÿ ôóíêöèè x(t) = 2t + t2, ò. å. ïîëó÷åí âåêòîð XT = [3; 8; 15; 24], òî âåêòîð îöåíîê êîýôôèöèåíòîâ ðåãðåññèè 0 2 −1 X =  . 1     0 

( )

βˆ = Z T

1.2. Îöåíèâàíèå êîýôôèöèåíòîâ ðåãðåññèè Ìåòîä îöåíèâàíèÿ êîýôôèöèåíòîâ ðåãðåññèè ïðè íàëè÷èè îøèáêè, ðàçðàáîòàííûé Ê. Ãàóññîì (1809) è À. Ìàðêîâûì (1900), ïîëó÷èë íàçâàíèå ìåòîäà íàèìåíüøèõ êâàäðàòîâ [1,2]. Íàáëþäåíèÿ (1.2)

X = ZT β + ε , M [X] = ZT β ; âåêòîð ðàçíîñòåé ìåæäó íàáëþäåíèÿìè è ìîäåëüþ (1.1) ε = X − ZT β

åñòü âåêòîð îøèáîê. Ïðîèçâåäåíèå

(

S (β ) = εT ε = X − ZT β

) ( X − ZT β) T

(1.4)

åñòü ñóììà êâàäðàòîâ ðàçíîñòåé. Ìåòîä íàèìåíüøèõ êâàäðàòîâ ïðåäïèñûâàåò ìèíèìèçèðîâàòü ñóììó S (β). Ýòî ýêñòðåìàëüíàÿ çàäà÷à áåç îãðàíè÷åíèé [4]. Óðàâíåíèå 6

(

)

∂ S (β ) = −2Z X − ZT β = 0, ∂β

(1.5)

ZZT β = ZX

èìååò ðåøåíèå

(

βˆ = AX = ZZT

)

−1

(1.6)

ZX .

Óðàâíåíèå (1.5) íàçûâàåòñÿ íîðìàëüíûì. Åãî ðåøåíèå (1.6) ïîëíîñòüþ îïðåäåëÿåòñÿ îïåðàòîðîì A (ìàòðèöåé ïëàíà) è íàáëþäåíèÿìè X. Ôîðìàëüíî îíî ïîëó÷åíî áåç îãðàíè÷åíèé, îäíàêî ôàêòè÷åñêèì îãðàíè÷åíèåì ÿâëÿåòñÿ ìàòðèöà ïëàíà. Ïðèìåð 1.2.  óñëîâèÿõ ïðèìåðà 1.1 ïðè îòñóòñòâèè îøèáêè îöåíêà

(

(1.6) βˆ = ZZT

)

−1

ZZTβ = β òî÷íàÿ. Âîîáùå äëÿ êâàäðàòíûõ ìàòðèö

(

A = ZZT

)

−1

( )

Z = ZT

−1

( )

Z −1Z = ZT

−1

,

ò. å. âû÷èñëåíèÿ ìîãóò óïðîñòèòüñÿ. Îäíàêî ìåòîä íàèìåíüøèõ êâàäðàòîâ ïðèìåíÿåòñÿ ïðè n > k , òàê êàê ïðè n = k ñëèøêîì âåëèêà ïîãðåøíîñòü îöåíêè (1.6).  ñëó÷àå n = 4, k = 2 (íàïðèìåð, äëÿ ïîëèíîìà ïåðâîé ñòåïåíè x(t) = a0 + a1t ) ìàòðèöà ïëàíà è îïåðàòîð A −1 1 1 1 1   4 10   3 / 2 −1/ 2  = Z= ; ZZT =  ; ZZT   , 1 2 3 4  10 30   −1/ 2 1/ 5  −1 −1/ 2  1/ 2 0  1 A = ZZT Z= .  −3 /10 −1/10 1/10 3 /10 

(

(

)

)

Ïðè x (t ) = 2 + 5t XT = [7;12;17; 22] βˆ T = XT AT = [2;5]

 îáùåì ñëó÷àå èíòåðåñ ïðåäñòàâëÿåò íå ñàì âåêòîð êîýôôèöèåíòîâ ðåãðåññèè, à íåêîòîðàÿ ëèíåéíàÿ ôóíêöèÿ îò íåãî t = Tβ (1.7) ãäå T – m × k-ìàòðèöà, m ≤ k. Îöåíêà âåêòîðà (1.7)

(

tˆ = Tβˆ = At X = T ZZT

)

−1

ZX

(1.8)

íåñìåùåííàÿ, êîððåëÿöèîííàÿ ìàòðèöà îöåíêè 7

(

Btˆ = σ 2 T ZZT

)

−1 T

(1.9)

T ,

åå äèñïåðñèÿ ìèíèìàëüíà â êëàññå ëèíåéíûõ îöåíîê. Äåéñòâèòåëüíî: 1) â ñîîòâåòñòâèè ñ (1.7)

(

)

(

−1

)

−1

ZM [X] = T ZZT ZZT β = Tβ = t M tˆ  = TM βˆ  = T ZZT 2) òàê êàê êîððåëÿöèîííàÿ ìàòðèöà âåêòîðà íàáëþäåíèé B X = σ2I , êîððåëÿöèîííàÿ ìàòðèöà (1.9) åñòü

(

) ZM XXT  ZT (ZZT ) −1 = σ2 T ( ZZT ) TT ;

ˆˆT  = T ZZT Btˆ = M tt  

−1

−1

TT =

3) ïóñòü èìååòñÿ ïðîèçâîëüíàÿ ëèíåéíàÿ íåñìåùåííàÿ îöåíêà äëÿ t â âèäå (1.10)

tˆ L = LX ;

M  tˆ L  = LZT β = Tβ , îòêóäà ñëåäóåò LZT = T ; îöåíêà (1.10) áóäåò íàèáîëåå òî÷íîé, åñëè äèàãîíàëüíûå ýëåìåíòû êîâàðèàöèîííîé ìàòðèöû B

tˆL = σ

2

LLT

(1.11)

ìèíèìàëüíû; ïðîèçâåäåíèå ðàçíîñòåé îïåðàòîðîâ L è At èç (1.8) èìèòèðóåò êîâàðèàöèîííóþ ìàòðèöó ( ZZT – ñèììåòðè÷íàÿ ìàòðèöà):

(

 T  L − T ZZ 

(

− T ZZT

)

)

−1

−1

(

 Z   L − T ZZT 

(

 ZLT +  T ZZT 

(

= LLT − T ZZT

îòêóäà ñëåäóåò 8

)

−1

)

)

−1

−1

(

T

 Z  = LLT − LZT ZZT 

(

 Z   T ZZT 

(

TT − T ZZT

)

−1

)

−1

)

−1

T

TT −

 Z  = T = LZT = 

(

TT + T ZZT

)

−1

TT ,

(

)

(

)

T

(

)

−1   −1  −1 T  LLT =  L − T ZZT Z   L − T ZZT Z  + T ZZT T ;    îò L çàâèñèò òîëüêî ïåðâîå ñëàãàåìîå, ò. å. (1.11) äîñòèãàåò ìèíèìóìà ïðè óñëîâèè

(

L = T ZZT

)

−1

Z,

à ýòî è åñòü îïåðàòîð At ìåòîäà íàèìåíüøèõ êâàäðàòîâ. 1.3. Îñòàòî÷íàÿ äèñïåðñèÿ Äèñïåðñèÿ îøèáêè σ2 ñ÷èòàåòñÿ ïîñòîÿííîé, íî íåèçâåñòíîé. Åå îöåíêà åñòü ïàðàìåòð òî÷íîñòè ìåòîäà íàèìåíüøèõ êâàäðàòîâ. Ìàòåìàòè÷åñêîå îæèäàíèå ñóììû êâàäðàòîâ ðàçíîñòåé (1.4) ðàâíî  n  M  S (β ) = M εT ε  = M  ∑ εi2  = nσ2 .    i =1  ∗ Ñóììó (1.4) ìîæíî çàïèñàòü ÷åðåç íåêîòîðûé âåêòîð ïàðàìåòðîâ β

{

)} {X − Z β + Z (β − β)} = = S (β ) + ( X − Z β ) Z (β − β ) + (β − β ) Z ( X − Z β ) + + (β − β ) ZZ (β − β ) ; (

S (β ) = X − ZT β∗ + ZT β∗ − β T ∗ T

∗

T

∗

(

T

T ∗

∗

∗

T

T

T

T

∗

T ∗

∗

) ZX , òî −1 Z ( X − ZT βˆ ) = ZX − ( ZZT )( ZZT ) ZX = 0 , T −1 (X − ZT βˆ ) ZT = XT ZT − XT ZT (ZZT ) (ZZT ) = 0;

T ∗ åñëè β = βˆ = ZZ

−1

() (

S (β ) = S βˆ + βˆ − β

) C (βˆ − β ),

(1.12)

T

ãäå C = ZZT. Ìàòåìàòè÷åñêîå îæèäàíèå âòîðîãî ñëàãàåìîãî 9

(

 M  βˆ − β 

) C (βˆ − β ) = βˆ = A−1ZX = A−1Z (ZT β + ε ) = β + A−1Zε = T

= M εT ZT A −1 AA −1Zε  = M εT ZT A −1ε  =     1 −   = M  εT ZT ZZT Zε  ;  

(

(

ìàòðèöà D = ZT ZZT

)

−1

)

Z – âûðîæäåííàÿ n × n-ìàòðèöà (åå îïðåäåëè-

òåëü ðàâåí íóëþ), spurD = k, k – ðàíã ìàòðèöû, ñëåäîâàòåëüíî,

(

 M  βˆ − β  è, êàê ñëåäóåò èç (1.12),

) C (βˆ − β ) = k σ2 T

()

M  S βˆ  = ( n − k ) σ 2 ,  

ò. å. íåñìåùåííàÿ îöåíêà îñòàòî÷íîé äèñïåðñèè – ñòàòèñòèêà

σˆ 2 =

(

()

1 1 X − ZT βˆ S βˆ = n−k n−k

) (X − ZT βˆ ). T

(1.13)

×åì áîëüøå èçáûòî÷íîñòü íàáëþäåíèé n – k, òåì òî÷íåå îöåíèâàíèå êîýôôèöèåíòîâ ðåãðåññèè; êâàäðàòíàÿ ìàòðèöà ïëàíà (n = k), êàê âèäíî èç (1.13), íå äîïóñêàåòñÿ. Ìåòîäîì íàèìåíüøèõ êâàäðàòîâ ìîãóò ðåøàòüñÿ ðàçëè÷íûå çàäà÷è. Ïðèìåð 1.3. Àïïðîêñèìàöèÿ ôóíêöèè îäíîãî ïåðåìåííîãî ïîëèíîìîì ñòåïåíè k. Íà ïðàêòèêå òàêàÿ çàäà÷à ìîæåò áûòü ñâÿçàíà ñ èíòåãðèðîâàíèåì, êîãäà òî÷íîå ðåøåíèå íåèçâåñòíî. Íàïðèìåð, íåîáõîäèìî âçÿòü èíòåãðàë

J=

1 ∫

2π

(

)

exp − x 2 / 2 dx

Äëÿ êîíêðåòíûõ âû÷èñëåíèé ìîæíî âîñïîëüçîâàòüñÿ òàáëèöàìè èíòåãðàëîâ âåðîÿòíîñòè Φ (t ) èëè erf (t ) [3], íî ÷àñòî áûâàåò íåîáõîäèìî îáùåå ðåøåíèå. Íåèçâåñòíîå òî÷íîå ðåøåíèå èíîãäà ìîæíî çàìåíèòü ïðèáëèæåííûì, åñëè àïïðîêñèìèðîâàòü ïîäûíòåãðàëüíîå âûðàæåíèå ïîëèíîìîì, òàê êàê èíòåãðèðîâàíèå ïîëèíîìà ýëåìåíòàðíî.

10

Äëÿ àïïðîêñèìàöèè ìîæíî âîñïîëüçîâàòüñÿ ñòàíäàðòíîé ïðîöåäóðîé POLYFIT ñèñòåìû MATLAB [4,5] ñ ñèíòàêñèñîì

p = polyfit ( x, y, k ) (äàëåå áóäóò èñïîëüçîâàíû è äðóãèå ïðîöåäóðû ñèñòåìû MATLAB áåç ññûëîê íà èñòî÷íèêè). Ôóíêöèÿ y (t) àïïðîêñèìèðóåòñÿ ïîëèíîìîì ñòåïåíè k , âûõîäîì ÿâëÿåòñÿ ñòðîêà p äëèíû k + 1, ñîäåðæàùàÿ êîýôôèöèåíòû àïïðîêñèìèðóþùåãî ïîëèíîìà, íà÷èíàÿ ñ êîýôôèöèåíòà ïðè xk. Ïðîãðàììà ìîæåò áûòü, íàïðèìåð, ñëåäóþùåé: x = (0:0.1:3)'; y = exp(–x.^ 2/2)/sqrt (2*pi) ; p = polyfit (x, y.5) pause f = polyval (p, x) ; table = [x y f y f ] plot (x, y,' ob', x, f.'g'), axis ( [0 4 0 0.5]) j = trapz (x, y) jp = trapz (x, f ) jv = erf (3/sqrt (1.2)) Îïåðàòîð p âûäàåò ñòðîêó êîýôôöèåíòîâ 0.0003 –0.0207 0.1457 –0.3123 0.0311 0.3974, ïîçâîëÿþùèõ çàïèñàòü àïïðîêñèìèðóþùåå âûðàæåíèå

 x2  exp  −  ≈ 0,3974 + 0, 0311x − 0,3123x 2 + 0,1457 x3 + 2π  2 

1

+ 0, 0207 x 4 + 0, 0003x5 = f ( x ). Ïîãðåøíîñòü àïïðîêñèìàöèè δ = y − f óäîâëåòâîðèòåëüíà (òàáë. 1.1, òî÷íîñòü äî òðåòüåãî çíàêà). Òàáëèöà 1.1

x

0,3

0,7

1,1

y

0,3814

0,3123

0,2179

f

0,3825

0,3113

0,2179

1,5

1,9

2,3

2,7

0,1295

0,0656

0,0283

0,0104

0,1304

0,0653

0,0276

0,0113

Èíòåãðèðîâàíèå íà èíòåðâàëå (0,0 – 3,0) ( ïðîöåäóðà TRAPZ): j = 0,4986 – ìåòîäîì òðàïåöèé íà ñåòêå X ôóíêöèè Y; jp = 0,4988 – ìåòîäîì òðàïåöèé íà X àïïðîêñèìèðóþùåé ôóíêöèè P; jv = Φ (3 ) − 0, 5 = 0, 4987 – òî÷íîå çíà÷åíèå èíòåãðàëà âåðîÿòíîñòè.

11

Òàêèì îáðàçîì, ê ìíîæåñòâó ïðèáëèæåííûõ âûðàæåíèé èíòåãðàëà âåðîÿòíîñòè [6] ìîæíî äîáàâèòü ñëåäóþùåå:

Φ (x) =

1 2π

x

 t2 

∫ exp  − 2  dt ≈ 0, 5000 + 0, 3974 x + 0, 0156 x

−∞





2

+

+ 0,1074 x3 + 0, 0364 x 4 − 0, 0041x5 + 0, 00006 x 6 . Èçìåíÿÿ ïîðÿäîê k àïïðîêñèìèðóþùåãî ïîëèíîìà, ìîæíî îïòèìèçèðîâàòü àïïðîêñèìàöèþ: ïîäîáðàòü ìèíèìàëüíîå çíà÷åíèå k , ïðè êîòîðîì äîñòèãàåòñÿ çàäàííàÿ òî÷íîñòü. Ïðèìåð 1.4. Àïïðîêñèìàöèÿ íàáëþäåíèé ïîëèíîìîì. Çàäàåòñÿ ñðåäíåå n

i çíà÷åíèå íàáëþäàåìîé ôóíêöèè y = ∑ βi z íà ñåòêå çíà÷åíèé z0 ≤ z ≤ z1 . i =0

Âåêòîð ñðåäíèõ çíà÷åíèé Y ñóììèðóåòñÿ ñ âåêòîðîì N , èìèòèðóþùèì ïîãðåøíîñòè íàáëþäåíèé, N ∈ Ν (0, σ ) ; íàáëþäàåòñÿ âåêòîð X = Y + N. Ìàòðèöà ïëàíà Z çàïèñûâàåòñÿ â ñîîòâåòñòâèè ñ ñåòêîé z è ïîðÿäêîì k. Âû÷èñëÿþòñÿ îöåíêè êîýôôèöèåíòîâ (1.6) è îñòàòî÷íîé äèñïåðñèè (1.13). Îöåíêè (1.6) ñðàâíèâàþòñÿ ñî çíà÷åíèÿìè p, ïîëó÷åííûìè ïðîöåäóðîé POLYFIT. Äëÿ òîãî ÷òîáû ìàòðèöà ïëàíà íå ñòàëà ñëèøêîì ãðîìîçäêîé, ðåêîìåíäóåòñÿ îãðàíè÷èòü ñåòêó äåñÿòüþ òî÷êàìè, à ñòåïåíü ïîëèíîìà çàäàâàòü íå âûøå ïÿòè.

1.4. Îïòèìàëüíàÿ ìàòðèöà ïëàíà Êîâàðèàöèîííàÿ ìàòðèöà îöåíîê ïàðàìåòðîâ, ïîëó÷åííûõ ìåòîäîì íàèìåíüøèõ êâàäðàòîâ (1.6): ˆ ˆ T  = M C−1ZXXT ZT C−1  = C−1ZM  XXT  ZT C−1 ; M ββ       åñëè â íåé çàìåíèòü íàáëþäåíèÿ X íà îøèáêè ε, ïîëó÷èòñÿ êîððåëÿöèîííàÿ ìàòðèöà

(

&ˆ &ˆ T  M ββ = σ2 C−1ZZT C−1 = σ2 C−1 = σ2 ZZT  

)

−1

.

(1.14)

Åå äèàãîíàëüíûå ýëåìåíòû – äèñïåðñèè îöåíîê êîýôôèöèåíòîâ îïðåäåëÿþòñÿ ìàòðèöåé ïëàíà è ôîðìàëüíî ìîãóò áûòü ñêîëü óãîäíî ìàëûìè: åñëè çàìåíèòü Z íà αZ òî â (1.14) C–1 çàìåíèòñÿ íà α–2C–1, è ïðè α → ∞ äèñïåðñèè óñòðåìÿòñÿ ê íóëþ. Íà ïðàêòèêå ýòîò ñëó÷àé òåðÿåò 12

ñìûñë èç-çà òðóäíîñòåé îáðàùåíèÿ ìàòðèöû, íî, ÷òîáû èñêëþ÷èòü åãî â ïðèíöèïå, íà ñòðîêè ìàòðèöû ïëàíà íàêëàäûâàþòñÿ îãðàíè÷åíèÿ âèäà [1] n

Z j ZTj = ∑ zij2 = a 2j > 0,

j = 1, ..., k .

i =1

Ïðè ýòîì äèñïåðñèè îöåíîê êîýôôèöèåíòîâ σ2ˆ ≥ βj

σ2 a 2j

, j = 1, ..., k

(1.15)

è ìèíèìóì äîñòèãàåòñÿ òîãäà è òîëüêî òîãäà, êîãäà ñòðîêè ìàòðèöû Z îðòîãîíàëüíû. Äëÿ òàêîé (îïòèìàëüíîé) ìàòðèöû ïëàíà ìàòðèöà C = ZZT ñòàíîâèòñÿ äèàãîíàëüíîé ìàòðèöåé D ñ ýëåìåíòàìè a 2j = Z j ZTj è (1.6) ïðèíèìàåò âèä

(

βˆ = AX = ZZT

)

−1

ZX = D−1ZX .

(1.16)

Îöåíêè êîýôôèöèåíòîâ (1.16) è äèñïåðñèè (1.15) ôîðìàëüíî ìîæíî çàïèñàòü áåç îáðàùåíèÿ ìàòðèöû C â âèäå îòíîøåíèé βˆ j = Z j X / a 2j , σ 2ˆ = σ 2 / a 2j . βj

Îöåíêè (1.16) êîýôôèöèåíòîâ íåêîððåëèðîâàíû:

M βˆ j βˆ i  = 0. Íà ïðàêòèêå îïòèìàëüíóþ ìàòðèöó ïëàíà óäîáíî ñòðîèòü íà áàçå ìíîãî÷ëåíîâ ×åáûøåâà [1,2]. Îáùåå óñëîâèå îðòîãîíàëüíîñòè ôóíêöèé n

Z j ZTr = ∑ b j (ti ) br (ti ) = 0,

j ≠ r.

i =1

(1.17)

Ïåðâûå äâà ìíîãî÷ëåíà ×åáûøåâà b0 (t ) = 1, b1 (t ) = t + c .

Íàïðèìåð, ïðè =1; 2; 3; 4; 5 óñëîâèå (1.17) çàäàåò c = –3. Ñëåäóþùèå ìíîãî÷ëåíû âû÷èñëÿþòñÿ ðåêóððåíòíî: bk (t ) = (t + α ) bk −1 (t ) + γbk −2 (t ) ,

(1.18) 13

n

∑ bk (ti )bk −1 (ti ) = 0, i =1 n

∑ bk (ti )bk −2 (ti ) = 0. i =1

Äâà ïîñëåäíèõ óñëîâèÿ îðòîãîíàëüíîñòè (âèäà (1.17)) îïðåäåëÿþò íåèçâåñòíûå êîýôôèöèåíòû α, γ . Âñåãî ïðè n çàäàííûõ çíà÷åíèÿõ t ìîæíî ïîëó÷èòü n ìíîãî÷ëåíîâ (íóæíî k < n ìíîãî÷ëåíîâ). Ïðèìåð 1.5. Òðåòèé ìíîãî÷ëåí âèäà (1.18)

b2 (t ) = (t + α )(t − 3) + γ ðàññ÷èòûâàåòñÿ èç óñëîâèé 5

5

i =1

i =1

{

∑ b2 (ti ) b1 (ti ) = ∑ ti (ti − 3) + α (ti − 3) + γ (ti − 3)} = 0 , 2

5

5

i =1

i =1

2

∑ b2 (ti ) b1 (ti ) = ∑ {ti (ti − 3) + α (ti − 3) + γ} = 0 è çàïèñûâàåòñÿ b2 (t ) = (t − 3) − 2 . 2

Ñëåäóþùèå ìíîãî÷ëåíû ïîëó÷åíû òàêæå:

{

}

b3 (t ) = (t − 3) (t − 3) − 17 / 5 , b4 (t ) = (t − 3)

2

2

{(t − 3)

2

}

− 31/ 7 + 72 / 35.

Ïðèìåð 1.6. Ïóñòü â óñëîâèÿõ ïðèìåðà 1.5 íàáëþäàþòñÿ çíà÷åíèÿ ôóíêöèè

x (t ) = t + 0,1 t 2 + ε (t )

(1.19)

(ïðè îòñóòñòâèè îøèáîê – òàáë. 1.2). Ìàòðèöû ïëàíà äëÿ îöåíèâàíèÿ êîýôôèöèåíòîâ β0 , β1 ; β0 , β1 , β2 ; β0 , β1 , β2 , β3 çàïèñûâàþòñÿ ñîîòâåòñòâåííî

14

1 1 1 1 1 1   1 1 1 1 1  1 2 3 4 5  , z = 1 Z= , z =    1 1 2 3 4 5 1 4 9 16 25  1

1  2 3 4 5  . 4 9 16 25   8 27 64 125 1

1

1

Òàáëèöà 1.2 t

1

2

3

4

5

x

1,1

2,4

3,9

5,6

7,5

(

)

−1

Îöåíèâàíèå βˆ = AX = ZZT ZX ìåòîäîì íàèìåíüøèõ êâàäðàòîâ êîýôôèöèåíòîâ β0 è β1 (îøèáî÷íîå, òàê êàê ìíîãî÷ëåí (1.19) èìååò âòîðîé, à íå ïåðâûé ïîðÿäîê, è îöåíèâàòüñÿ äîëæíû òðè ïåðâûõ êîýôôèöèåíòà) äàæå ïðè îòñóòñòâèè îøèáîê ε äàåò ôóíêöèþ, îòëè÷íóþ îò çàäàííîé: xˆ (t ) = −0, 7 + 1, 6 t ≠ x (t ).

(

A = ZZT

)

−1

 8 5 2 −1 −4  Z=  × 0,1.  −2 −1 0 1 2 

Îïåðàòîðû 126 0 −56 −42 42  1  A= −74 23 60 37 −46  , 70   10 −5 −10 −5 10  11/ 5 −14 / 5 −4 / 5 −4 / 5   16 / 5  −381 / 126 537 / 126 108 / 126 429 / 126 165 / 126   A=  25 / 28 −44 / 28 −4 / 28 −17 / 28  2   −2 / 12 2 / 12 0 1 / 12   −1 / 12

ïðè îöåíèâàíèè êîýôôèöèåíòîâ β0 , β1, β2 è β0 , β1, β2, β3 ïðè îòñóòñòâèè

îøèáîê ε äàþò âåêòîðû îöåíîê βˆ T = [0; 1; 0,1] è βˆ T = [0; 1; 0,1; 0]. Óâå-

ëè÷åíèå èçáûòî÷íîñòè ìîäåëè (ïðåâûøåíèÿ ïîðÿäêà ìîäåëè íàä ïîðÿäêîì íàáëþäåíèé) ïðè îòñóòñòâèè îøèáîê ε äîáàâëÿåò êîëè÷å15

ñòâî íóëåâûõ êîýôôèöèåíòîâ, íåäîñòàòîê ïîðÿäêà ìîäåëè ïðèâîäèò ê îøèáêàì îöåíèâàíèÿ. 1.5. Âû÷èñëåíèå îïòèìàëüíîé ìàòðèöû ïëàíà  îáùåì ñëó÷àå íà áàçå ôóíêöèé b0 (t ) = 1, b1 (t ) = t − c , n

ãäå c = ∑ ti / n – ñðåäíÿÿ òî÷êà ìîìåíòîâ íàáëþäåíèÿ, ìîæíî ïîñòðîi =1

èòü ìíîæåñòâî îðòîãîíàëüíûõ ìíîãî÷ëåíîâ, èñïîëüçóÿ ïîñëåäîâàòåëüíóþ ïðîöåäóðó Ãðàìà-Øìèäòà [7]: ôóíêöèè bi (t ) , i ≥ 2 çàäàþòñÿ ïîëèíîìàìè ñòåïåíè i ; êîýôôèöèåíòû âû÷èñëÿþòñÿ èç óñëîâèÿ îðòîãîíàëüíîñòè âñåì ïðåäûäóùèì ïîëèíîìàì. Ðåêóððåíòíîñòü (1.18) ïîëèíîìîâ ×åáûøåâà ïîçâîëÿåò óïðîñòèòü ïðîöåäóðó îðòîãîíàëèçàöèè ñòîëáöîâ ìàòðèöû ïëàíà äëÿ ïðîèçâîëüíîé ïîñëåäîâàòåëüíîñòè òî÷åê íàáëþäåíèÿ ti , i = 1, 2, ..., n [2]. Åñëè k ïîëèíîìîâ ×åáûøåâà b j (t ) , j = 0, ..., k − 1 ïîñòðîåíû (ñòàðøàÿ ñòåïåíü k – 1), òî ìíîãî÷ëåí k −1

ψ (t ) = ∑ ηs bs (t ) , s =0

ÿâëÿþùèéñÿ ëèíåéíîé êîìáèíàöèåé k ïîëèíîìîâ ×åáûøåâà, îáëàäàåò ñëåäóþùèì ñâîéñòâîì: n

n k −1

n

i =1

i =1 s =0

i =1

∑ ψ (ti )b j (ti ) = ∑ ∑ ηsb j (ti )bs (ti ) = η j ∑ b2j (ti ); â ÷àñòíîñòè, åñëè îãðàíè÷èòü ïîðÿäîê ìíîãî÷ëåíà ψ ÷èñëîì k – 3, n

∑ ψ (ti )bk −1 (ti ) = 0. i =1

Åñëè çàäàòü ìíîãî÷ëåí (1.19) êàê ïîëèíîì (1.17) ñòåïåíè k bk (t ) = (t + α ) bk −1 (t ) + γbk −2 (t ) ,

16

(1.20)

òî â ñèëó ðàâåíñòâà (1.20) n

n

n

i =1

i =1

i =1

∑ bk (ti ) b j (ti ) = ∑ (ti + α ) b j (ti ) bk −1 (ti ) + γ ∑ b j (ti ) bk −2 (ti ) = 0 , ÷òî îçíà÷àåò îðòîãîíàëüíîñòü ïîëèíîìà ×åáûøåâà k-ãî ïîðÿäêà âñåì ïðåäûäóùèì ïîëèíîìàì ïîðÿäêà äî k – 2 âêëþ÷èòåëüíî íåçàâèñèìî îò êîýôôèöèåíòîâ α, γ . Îñòàåòñÿ âûáðàòü êîýôôèöèåíòû òàêèìè, ÷òîáû îáåñïå÷èâàëàñü îðòîãîíàëüíîñòü ïîëèíîìàì ïîðÿäêà k – 1 è k – 2: n

∑ i =1

n

=

n

∑ (ti + α ) bk −1 (ti ) bk −1 (ti ) + γ∑ b j (ti ) bk −2 (ti ) =

bk −1 (ti ) bk (ti ) =

i =1

i =1

n

n

∑ ti bk2−1 (ti ) + α∑ bk2−1 (ti ) = 0 , i =1

n

i =1

n

n

∑ bk −2 (ti )bk (ti ) = ∑ (ti + α )bk −2 (ti )bk −1 (ti ) + γ ∑ bk −2 (ti )bk −2 (ti ) = i =1

i =1

=

i =1

n

n

i =1

i =1

∑ tibk −2 (ti )bk −1 (ti ) + γ ∑ bk2−2 (ti ) = 0.

Òàêèì îáðàçîì, êîýôôèöèåíòû ïîëèíîìà ×åáûøåâà k-ãî ïîðÿäêà îïðåäåëÿþòñÿ ðåêóððåíòíî ïî äâóì ïðåäûäóùèì: n

α=−

n

∑ ti bk2−1 (ti ) i =1 n

∑ bk2−1 (ti ) i =1

,

γ=−

∑ ti bk −2 (ti ) bk −1 (ti ) i =1

n

.

(1.21)

∑ bk2−2 (ti ) i =1

Ïðèìåð 1.7. Èñïîëüçîâàíèå ìíîãî÷ëåíîâ ×åáûøåâà â óñëîâèÿõ ïðåäûäóùåãî ïðèìåðà. Ìàòðèöà ïëàíà äëÿ ïÿòè ïåðâûõ ìíîãî÷ëåíîâ

1 1 1 1   1  −2 0 1 2  −1  Z= 2 2  −1 −2 −1   12 / 5 0 6/5  −12 / 5  −6 / 5 12 / 35 −48 / 35 72 / 35 −48 / 35 12 / 35

17

Äëÿ ëþáîãî ïîðÿäêà ìîäåëè ìàòðèöû C = ZZT äèàãîíàëüíûå: 0  5 0 0 5 0 0   0 10 0 5 0 0    0 10 0  , C =  = C= , C ,     0 0 14 0   0 10   0 0 14     0 0 0 72 / 5 0 0  5 0 0  0 10 0 0 0   C =  0 0 14 0 0 .   0   0 0 0 72 / 5  0 0 0 0 288 / 35

Óâåëè÷åíèå ïîðÿäêà äîïîëíÿåò ïðåäûäóùèé îïåðàòîð. Äèàãîíàëüíûé ýëåìåíò ìàòðèöû і1 ðàâåí (çäåñü èíäåêñ åñòü íîìåð ñòðîêè èëè ïîëèíîìà, à íå åãî ïîðÿäîê) n

( )

cii = 1/ ∑ bi2 t j . j =1

(

Ìàòðèöà A = ZZT

)

−1

Z èìååò ñòðîêè ATi ñ ýëåìåíòàìè aij = bii bi (t j ) ,

îöåíêè βˆ i = ATi X . Âòîðîé ñòîëáåö ìàòðèöû ZT îïðåäåëÿåò ìîìåíòû âðåìåíè, êîãäà ñëåäóåò ïðîèçâîäèòü èçìåðåíèÿ.  ýòîì ñìûñëå îïòèìèçàöèþ ìàòðèöû ïëàíà ÷àñòî íàçûâàþò ïëàíèðîâàíèåì ýêñïåðèìåíòà. Çäåñü (òàáë. 1.3): t1 = –2, t2 = –1, t3 = 0, t4 = –1, t5 = 2. Òàáëèöà 1.3 t

–2

–1

0

1

2

x

–1,6

–0,9

0

1,1

2,4

Ìîäåëè ðàçíûõ ïîðÿäêîâ äàþò:

( ) = b2 (t j ) / 10 = [−2; − 1;

A1T = b1 t j / 5 = [1; 1; 1; 1; 1] / 5 , AT2

18

0; 1; 2] / 10 ,

( ) = b4 (t j ) / 14, 4 = [−1, 2; 2, 4; 0; − 2, 4; 1, 2] / 14, 4 , AT5 = b5 (t j ) / 288 = [1; − 4; 6; − 4; 1] / 840 , AT3 = b3 t j / 14 = [2; − 1; − 2; − 1; 2] / 14 ,

AT4

βˆ T = [0, 2; 1] , βˆ T = [0, 2; 1; 0,1] , βˆ T = [0, 2; 1; 0,1; 0] , βˆ T = [0, 2;1; 0,1; 0; 0]. Îöåíêè òàêæå òîëüêî äîáàâëÿþòñÿ. Ñëåäóåò îòìåòèòü, ÷òî îöåíêà βˆ 0 ñìåùåíà íà âåëè÷èíó 0,2.

Îðòîãîíàëüíîñòü ñòðîê ìàòðèöû ïëàíà, ÿâëÿþùèõñÿ ïîëèíîìàìè j-ãî ïîðÿäêà, j = 0, 1, 2, ... ïîçâîëÿåò ïîëó÷èòü ïðèáëèæåííîå ðàçëîæåíèå ôóíêöèè x(t) â ðÿä Òåéëîðà. Ïðèìåð 1.8. Íà ñåòêå çíà÷åíèé −5, 0 ≤ t ≤ 5, 0 ñ øàãîì ∆t = 0,5 çàäàíû çíà÷åíèÿ ôóíêöèè

 t2  exp  −  . (1.22) 2π  2 Äâàäöàòü îäíà òî÷êà ñåòêè ïîçâîëÿåò ïî ôîðìóëàì (5) è (1.21) ïîñòðîèòü ìàòðèöó ïëàíà èç äâàäöàòè îäíîãî ïîëèíîìà ×åáûøåâà. Îöåíêè êîýôôèöèf (t ) =

1

åíòîâ ðåãðåññèè βˆ j åñòü îöåíêè êîýôôèöèåíòîâ fj ðÿäà Òåéëîðà ∞

f (t ) = ∑ f 2 j t = j

j =0

1 2π

∞

( −1) j

j =0

2 j j!

∑

t2 j

(1.23)

äëÿ ôóíêöèè (1.22).  òàáë. 1.4 ïðèâåäåíû íåêîòîðûå èõ çíà÷åíèÿ, ðàññ÷èòàííûå ïðîöåäóðîé POLYFIT è ïî ôîðìóëå (1.23). Âîñïðîèçâåäåíèå ôóíêöèè ïî îöåíêàì βˆ ( POLYVAL) è åå ðàñ÷åò (ïðîöåäóðà EXP) íà çàäàííîé ñåòêå j

äàþò îäèíàêîâûå çíà÷åíèÿ (òàáë. 1.5). Òàáëèöà 1.4

j

0

2

4

8

10

fj

3,9894e–1

–1,9947e–1

4,9868e–2

1,0389e–3

–1,0389e–4

βˆ j

3,9894e–1

–1,9947e–1

4,9856e–2

1,0227e–3

–9,7289e–4

19

Òàáëèöà 1.5 t

0,0

0,5

1,0

1,5

2,0

3,0

f

0,39894

0,35207

0,24197

0,12952

0,05399

0,00443

Ïðèìåð 1.9. Ïóñòü çàäàíà ôóíêöèÿ

f (t ) = 2 − 0,5t − 0, 02t 3

(1.24)

íà ðàâíîìåðíîé ñåòêå t1 = –5; t2 = –4; t3 = –3; t4 = –2; t5 = –1; t6 = 2; t7 = 3; t8 = 4; t9 = 5; t10 = 6; t11 = 7 ñ äâóìÿ ïðîïóùåííûìè çíà÷åíèÿìè, òàê ÷òî ñåòêà ñòàíîâèòñÿ íåðàâíîìåðíîé. Ïóñòü íàáëþäåíèÿ ñîïðîâîæäàþòñÿ îøèáêàìè

(

)

xi = f (ti ) + εi , εi ∈ Ν 0, σ 2 , σ2 = 4.

(1.25)

Íàáëþäàòåëþ èçâåñòíû òîëüêî îäèííàäöàòü çíà÷åíèé ti è ãðàôèê íàáëþäåíèé. Îí âûäâèãàåò ãèïîòåçó î òîì, ÷òî íàáëþäåíèÿ îïèñûâàþòñÿ ìíîãî÷ëåíîì ÷åòâåðòîãî ïîðÿäêà (k = 4). Êëàññè÷åñêàÿ ïðîöåäóðà îöåíèâàíèÿ ïÿòè êîýôôèöèåíòîâ ìíîãî÷ëåíà è îñòàòî÷íîé äèñïåðñèè ïðè êîíêðåòíûõ îøèáêàõ (òàáë. 1.6) äàåò: βˆ 0 = 2,1572; βˆ = 0, 0017; βˆ = 0,1395; βˆ = −0, 0417; βˆ = −0, 0023; σˆ 2 = 2,1594. 1

2

3

4

 òàáë. 1.6 ïðèâåäåíû òàêæå çíà÷åíèÿ ôóíêöèè (1.25) è ñãëàæèâàþùåé åå ôóíêöèè

(1.26) xˆ4 = βˆ 0 + βˆ 1t + βˆ 2 t 2 + βˆ 3 t 3 + βˆ 4 t 4 . ×åì áîëüøå ïîãðåøíîñòè íàáëþäåíèé, òåì ñèëüíåå ìîãóò îòëè÷àòüñÿ ôóíêöèè (1.25) è (1.26). Îñòàòî÷íàÿ äèñïåðñèÿ îäíîãî ïîðÿäêà ñ íàáëþäåíèÿìè, ÷òî ñâèäåòåëüñòâóåò î çíà÷èòåëüíûõ ïîãðåøíîñòÿõ ýêñïåðèìåíòà. Ïðîöåäóðû POLYFIT è POLYVAL äàþò òàêèå æå ðåçóëüòàòû. Îòíîñèòåëüíî íåáîëüøèå çíà÷åíèÿ êîýôôèöèåíòîâ βˆ , βˆ , βˆ , βˆ ïðèâîäÿò ê âîçìîæíîñòè âûä1

2

3

4

âèæåíèÿ íîâûõ ãèïîòåç:

1) k = 3 : βˆ 0 = 2, 5782; βˆ 1 = 0,1564; βˆ 2 = 0, 0625; βˆ 3 = −0, 0505; σˆ 2 = 1, 9916; 2) k = 2 : βˆ 0 = 4, 0950; βˆ 1 = −0, 9389; βˆ 2 = −1,1001; σˆ 2 = 7, 4009; 3) k = 1: βˆ 0 = 2, 5394; βˆ 1 = −1,1305; βˆ 2 = −1,1001; σˆ 2 = 8, 2319. Ñîîòâåòñòâóþùèå ôóíêöèè xˆ3 , xˆ2 , xˆ1 ïîêàçàíû â òàáë. 1.6. Çíà÷åíèÿ îñòàòî÷íîé äèñïåðñèè ïîêàçûâàþò, ÷òî íàèáîëåå áëèçêîé ê íàáëþäåíèÿì îêàçûâàåòñÿ ñãëàæèâàþùàÿ ôóíêöèÿ òðåòüåãî ïîðÿäêà. Ïåðâûå ïîëèíîìû ×åáû-

20

øåâà íà ýòîé ñåòêå ïîêàçàíû â òàáë. 1. 6: íåðàâíîìåðíîñòü ñåòêè ïðèâîäèò ê àñèììåòðèè ïîëèíîìîâ. Çíà÷åíèÿ ôóíêöèè (1.24) ñ òåìè æå ïîãðåøíîñòÿìè íàáëþäåíèé ε, ÷òî â òàáë. 1.6, è çíà÷åíèÿ ñãëàæèâàþùåé ôóíêöèè xˆ3 , âîñïðîèçâåäåííîé ïðîöåäóðîé POLYVAL ñ èñïîëüçîâàíèåì ïåðâûõ ïÿòè ïîëèíîìîâ, òàêæå ïðèâåäåíû â òàáë. 1.7. Îöåíêè êîýôôèöèåíòîâ ðåãðåññèè (ïðîöåäóðà POLYFIT) ðàâíû

βˆ 3 = −0, 0518,

βˆ 0 = 2,8391,

βˆ 1 = 0, 2166,

βˆ 2 = 0, 0520,

βˆ 4 = −0, 0023. Òàáëèöà 1.6

t

–5

–4

–3

–2

–1

2

4

5

6

7

f

7,00

5,28

4,04

3,16

2,52

0,84

–1,28

–3,00

–5,32

–8,36

ε

2,33

1,25

0,15

0,70

–1,4

3,39

3,59

0,53

1,74

–2,89

x

9,33

6,53

4,19

3,86

1,13

4,23

2.31

–2,47

–3,58

–11,3

xˆ4

9,38

6,45

4,34

3,01

2,33

2,35

1,13

–1,01

–4,83

–10,9

xˆ3

9,69

6,20

4,04

2,92

2,54

2,74

0,99

–1,37

–5,11

–10,5

xˆ2

6,29

6,25

6,01

5,57

4,93

1,82

–1,26

–3,10

–5,14

–7,38

xˆ1

8,19

7,06

5,93

4,80

3,67

0,28

–1,98

–3,11

–4,24

–5,37

Òàáëèöà 1.7 i

1

2

3

4

6

8

9

10

11

b0

1,00

1,00

1,00

1,00

1,00

1,00

1,00

1,00

1,00

b1

–6,09

–5,09

–4,09

–3,09

0,909

2,909

3,909

4,909

5,909

b2

19,03

8,111

–0,80

–7,72

–15,4

–7,21

–0,12

8,965

20,05

b3

–67,5

0,990

38,97

52,46

–18,3

–44,5

–34,4

–0,66

62,56

f

9,565

7,184

5,415

4,136

1,530

0,053

–1,15

–2,82

–5,08

xˆ3

11,95

8,354

5,718

3,984

3,038

2,466

0,838

–2,33

–7,61

21

2. ÍÎÐÌÀËÜÍÀß ÐÅÃÐÅÑÑÈß Â ìîäåëè ëèíåéíîé ðåãðåññèè íàêëàäûâàëèñü îãðàíè÷åíèÿ òîëüêî íà äâà ïåðâûõ ìîìåíòà íàáëþäåíèé: M X = ZT β – ëèíåéíîñòü ñðåäíèõ çíà÷åíèé; K ε = σ 2 I – íåêîððåëèðîâàííîñòü (íåçàâèñèìîñòü) îøèáîê. Åñëè â îáùóþ ìîäåëü ëèíåéíîé ðåãðåññèè X = ZT β + ε ââåñòè íîâîå îãðàíè÷åíèå [1,2]

(

)

X ∈ Ν ZT β, σ 2 I ,

(2.1)

ñìûñë êîòîðîãî â òîì, ÷òî îøèáêè íàáëþäåíèé – îòñ÷åòû äèñêðåòíîãî áåëîãî øóìà ñ äèñïåðñèåé σ2 , òî ìîæíî ðåøàòü íîâûå çàäà÷è, íàïðèìåð, îöåíèâàòü âåðîÿòíîñòè çàäàííûõ îòêëîíåíèé îöåíîê îò èñòèííûõ èõ çíà÷åíèé. Ìîäåëü íîðìàëüíîé ðåãðåññèè (2.1) óæå èñïîëüçîâàëàñü ïðè ìîäåëèðîâàíèè îöåíèâàíèÿ êîýôôèöèåíòîâ ðåãðåññèè. 2.1. Îöåíêè ìàêñèìàëüíîãî ïðàâäîïîäîáèÿ ïàðàìåòðîâ íîðìàëüíîé ðåãðåññèè Íîðìàëüíàÿ ìîäåëü (2.1) îïðåäåëÿåòñÿ (k + 1)-ìåðíûì ïàðàìåòðîì [1]

(

)

è = β1 , ..., βk , σ 2 ,

(2.2)

−∞ < β j < ∞, j = 1, ..., k ; σ2 ≥ 0. Ôóíêöèÿ ïðàâäîïîäîáèÿ âåêòîðà íàáëþäåíèé L ( X; è ) =

22

1

(2πσ )

2 n/2

 1  exp  − 2 S ( X; β ) ,  2σ 

(2.3)

(

S ( X; β ) = X − ZT β

) (X − ZT β). T

(2.4)

Ôîðìóëà (2.4) çàäàåòñÿ ôîðìóëîé (1.4). Îöåíèâàíèå ìàêñèìàëüíîãî ïðàâäîïîäîáèÿ (ÌÏ-îöåíèâàíèå) âåêòîðà (2.2) ïðåäóñìàòðèâàåò ìàêñèìèçàöèþ îòíîøåíèÿ (2.3) ïî âåêòîðó β, ò. å. ìèíèìèçàöèþ ïî âåêòîðó β êâàäðàòè÷íîé ôîðìû (2.4). Òàêèì îáðàçîì, äëÿ íîðìàëüíîé ìîäåëè îöåíêè íàèìåíüøèõ êâàäðàòîâ êîýôôèöèåíòîâ ðåãðåññèè β ñîâïàäàþò ñ îöåíêàìè ìàêñèìàëüíîãî ïðàâäîïîäîáèÿ. Åñëè â (2.3) âìåñòî âåêòîðà β ïîäñòàâèòü îöåíêó βˆ è ïðîëîãàðèôìèðîâàòü, òî ìîæíî óâèäåòü, ÷òî îöåíêà äèñïåðñèè σˆ 2 – ýòî òî çíà÷åíèå σˆ 2 , êîòîðîå ìèíèìèçèðóåò âûðàæåíèå

S (β ) / σ2 + n ln σ2 . Îòñþäà ñëåäóåò îöåíêà äèñïåðñèè

()

σˆ 2 = S βˆ / n . Íåñìåùåííàÿ îöåíêà íàèìåíüøèõ êâàäðàòîâ îñòàòî÷íîé äèñïåðñèè èìååò âèä σˆ 2 = S βˆ / ( n − k ) ,

()

ñëåäîâàòåëüíî, ÌÏ-îöåíêà äèñïåðñèè îêàçûâàåòñÿ ñìåùåííîé íà âåëè÷èíó

k n − k 2  n−k  M σˆ 2  − σ2 = M  σˆ  − σ2 =  − 1 σ 2 = − σ 2 ,   n  n   n  êîòîðàÿ óáûâàåò ñ óâåëè÷åíèåì ÷èñëà íàáëþäåíèé: ÌÏ-îöåíêè àñèìïòîòè÷åñêè íåñìåùåííûå [1]. 2.2. Èíòåðâàëüíûå îöåíêè ïàðàìåòðîâ íîðìàëüíîé ðåãðåññèè Ñëó÷àéíûå âåëè÷èíû βˆ è S( βˆ ), S( βˆ ), è Q = S(β) − S( βˆ ) íåçàâèñèìû [1,2].

(

)

βˆ ∈ Ν β, σ 2 A −1 ,

(2.5) 23

( ) ∈ χ2 ( n − k ) ,

S βˆ σ2

Q σ

2

∈ χ2 ( k ) ;

(

A = ZZT ,

(2.6)

Q = βˆ − β

) A (βˆ − β ). T

(2.7)

Ýòè ñîîòíîøåíèÿ ìîæíî çàïèñàòü èíà÷å [1]:

βˆ j − β j σ aj j

tj =

n−k

()

a j j S βˆ

F=

∈ Ν (0,1) ,

(2.8)

(βˆ j − β j )∈ S (n − k ) ,

(2.9)

n−k Q ∈ F (k , n − k ) , k S βˆ

(2.10)

()

ãäå S (n – k) – ïëîòíîñòü ðàñïðåäåëåíèÿ Ñòúþäåíòà ñ n – k ñòåïåíÿìè ñâîáîäû Sn−k ( x ) =

1

Γ (( n − k + 1) / 2 )

π ( n − k ) Γ (( n − k ) / 2 )

1 n − k +1  2

,

 x2 1 +   n − k   F ( k, n – k) – ïëîòíîñòü ðàñïðåäåëåíèÿ Ôèøåðà ñ k è n – k ñòåïåíÿìè

χ2 χ2 2 ñâîáîäû: îòíîøåíèå äâóõ χ -âåëè÷èí x = 1 : 2 èìååò ïëîòíîñòü k n−k ðàñïðåäåëåíèÿ k n k −1 Γ  2 k x 2  2  F (k , n − k ) =  ;  n  n − k  Γ k  Γ  n − k  k 2     x  2   2  1 + − n k   24

Γ ( n + 1) = n!, a jj , – äèàãîíàëüíûé ýëåìåíò ìàòðèöû A–1.

Èç ñîîòíîøåíèÿ (2.8) ñëåäóåò, ÷òî ýëåìåíòû βˆ j ñòàòèñòèêè (ôîðìóëà 1.6)

(

βˆ = AX = ZZT

(

)

)

−1

ZX

èìåþò ðàñïðåäåëåíèå Ν β j , σ 2 a jj . Ñëåäîâàòåëüíî, âîçíèêàåò çàäà÷à îöåíèâàíèÿ íåèçâåñòíîãî ñðåäíåãî íîðìàëüíîãî ðàñïðåäåëåíèÿ ïðè íåèçâåñòíîé äèñïåðñèè σ2 : îòíîøåíèå Ñòúþäåíòà (2.9) tj ÿâëÿåòñÿ öåíòðàëüíîé ñòàòèñòèêîé äëÿ îöåíèâàíèÿ β j ; ñèììåòðè÷íûé îòíîñèòåëüíî

βˆ j α -äîâåðèòåëüíûé èíòåðâàë äëÿ β j èìååò âèä   a jj  βˆ j ± t1+α S βˆ    , n−k n − k   2

()

(2.11)

è äëèíó 2t1+α 2

t1+α 2

, n−k

a jj , n−k

n−k

()

S βˆ ;

– α – êâàíòèëü ðàñïðåäåëåíèÿ Ñòúþäåíòà ñ n – k ñòåïåíÿìè

ñâîáîäû. 2 Äîâåðèòåëüíûé èíòåðâàë äëÿ îñòàòî÷íîé äèñïåðñèè σ ñòðîèòñÿ íà îñíîâàíèè ñîîòíîøåíèÿ (2.7), èç êîòîðîãî ñëåäóåò, ÷òî öåíòðàëüíàÿ ñòàòèñòèêà åñòü îòíîøåíèå

( );

S βˆ σ2

α-äîâåðèòåëüíûé èíòåðâàë äëÿ σ2 èìååò âèä

(2.12) 25

()

S βˆ

χ12+α , n−k 2

<σ <

()

S βˆ

2

χ12−α , n−k 2

.

Îòíîøåíèå Ôèøåðà (2.10) ïîçâîëÿåò ïîñòðîèòü äîâåðèòåëüíóþ îáëàñòü Gα â åâêëèäîâîì ïðîñòðàíñòâå Rk, íàêðûâàþùóþ íåèçâåñòíóþ òî÷êó β = (β1 , ..., βk ) ñ âåðîÿòíîñòüþ P = α : åñëè Fα, k , n −k åñòü

α-êâàíòèëü ðàñïðåäåëåíèÿ Ôèøåðà F ( k , n − k ) , òî èç (2.7) è (2.10) ñëåäóåò, ÷òî âåðîÿòíîñòü

(

)

α = P F < Fα, k , n − k = P (β ∈ Gα ( X ))

(2.13)

åñòü âåðîÿòíîñòü ïîïàäàíèÿ òî÷êè β = (β1 , ..., βk ) â îáëàñòü

(

) (

)

()

T k   Gα ( X ) = β : βˆ − β A βˆ − β < S βˆ Fα , k , n − k  . (2.14) n−k   Òàêèì îáðàçîì, (2.14) åñòü èñêîìàÿ α-äîâåðèòåëüíàÿ îáëàñòü äëÿ òî÷êè β, ÿâëÿþùàÿñÿ ýëëèïñîèäîì ñ öåíòðîì â òî÷êå βˆ è óðàâíåíèåì

(βˆ − β ) A (βˆ − β ) = n −k k S (βˆ ) Fα, k , n−k . T

(2.15)

Ïðèìåð 2.1. Ïóñòü ìåòîäîì íàèìåíüøèõ êâàäðàòîâ îöåíèâàþòñÿ êîýôôèöèåíòû ôóíêöèè f (t) = 2 – 0,5t – 0,02t 3 (ïðèìåð 1.9) êàê ìíîãî÷ëåíà òðåòüåãî ïîðÿäêà

xˆ3 = βˆ 0 + βˆ 1t + βˆ 2 t 2 + βˆ 3 t 3 . Çäåñü âåëè÷èíà k = 4 îïðåäåëÿåò íå ïîðÿäîê ïîëèíîìà, à êîëè÷åñòâî ñîñòàâëÿþùèõ âåêòîðà îöåíîê βˆ . Íàëè÷èå îøèáîê ïðèâîäèò ê íàáëþäåíèþ ñëó÷àéíûõ âåëè÷èí

(

)

xi = f (ti ) + εi , εi ∈ Ν 0, σ2 , σ2 = 4 â îäèííàäöàòè òî÷êàõ ti (òàáë. 2.1), ò. å. n = 11. Òî÷å÷íûå îöåíêè êîýôôèöèåíòîâ ðàâíû βˆ = 2, 5782 , βˆ = 0,1564 , βˆ = 0, 0625 , βˆ = −0, 0505; 0

1

2

îöåíêà îñòàòî÷íîé äèñïåðñèè σˆ = 1, 9916. 2

26

3

Òàáëèöà 2.1 t

–5

–4

–3

–2

–1

2

4

5

6

7

f

7,00

5,28

4,04

3,16

2,52

0,84

–1,28

–3,00

–5,32

–8,36

ε

2,33

1,25

0,15

0,70

–1,4

3,39

3,59

0,53

1,74

–2,89

x

9,33

6,53

4,19

3,86

1,13

4,23

2,31

–2,47

–3,58

–11,3

xˆ3

9,69

6,20

4,04

2,92

2,54

2,74

0,99

–1,37

–5,11

–10,5

Ïóñòü äëÿ ðàñ÷åòà äîâåðèòåëüíîãî èíòåðâàëà (2.11) çàäàåòñÿ âåðîÿòíîñòü α = 0,95 . Ýòîìó çíà÷åíèþ ñîîòâåòñòâóåò êâàíòèëü ðàñïðåäåëåíèÿ Ñòúþäåíòà [1, ïðèë. 5, 3; òàáë. XIII] ñ n – k = 7 ñòåïåíÿìè ñâîáîäû t0,975; 7 = ±2, 4 . Äèàãîíàëüíûå ýëåìåíòû ìàòðèöû A–1 ðàâíû: a11 = 0, 2969; a22 = 0, 0315;

a33 = 0, 0012; a44 = 0, 0001. Çíà÷åíèå êâàäðàòè÷íîé ôîðìû âèäà (2.4)

() (

S βˆ = X − ZT βˆ

) ( X − Z βˆ ) = 15,9325. T

T

Äîâåðèòåëüíûå èíòåðâàëû (2.11) äëÿ êîýôôèöèåíòîâ 0, 6052 < β0 < 4,5511; − 0, 4866 < β1 < 0, 7994; −0, 0601 < β2 < 0,1870; − 0, 0762 < β3 < −0, 0248

äåéñòâèòåëüíî íàêðûâàþò èñòèííûå çíà÷åíèÿ êîýôôèöèåíòîâ çà èñêëþ÷åíèåì β1 = 0,5. 2 Êâàíòèëè χ -ðàñïðåäåëåíèÿ ñ n – k = 7 ñòåïåíÿìè ñâîáîäû ðàâíû [3, 2 2 òàáë. XII-a] χ0,025; 7 = 1, 69; χ 0,975; 7 = 16, 0. Èì ñîîòâåòñòâóåò äîâåðèòåëüíûé

èíòåðâàë (2.12)

1, 00 < σ2 < 9, 43.

(

Êâàäðàòè÷íàÿ ôîðìà (2.7) Q = βˆ − β

) A (βˆ − β ) = 29, 6485. T

Êâàíòèëü ðàñïðåäåëåíèÿ Ôèøåðà ñ k = 4 è n – k = 7 ñòåïåíÿìè ñâîáîäû [1, ïðèë. 6] ðàâíà F0,95; 4,7 ≈ 4,1. Óñëîâèå (2.14) äëÿ òî÷êè β

()

4 ˆ S β F0,95; 4,7 ≈ 37,3 7 âûïîëíÿåòñÿ; ñëåäîâàòåëüíî, ñ âåðîÿòíîñòüþ α = 0,95 òî÷êà β ïîïàäàåò â äîâåðèòåëüíûé èíòåðâàë – ýëëèïñîèä ñ ïîâåðõíîñòüþ (2.15). Q<

27

2.3. Ñîâìåñòíûå äîâåðèòåëüíûå èíòåðâàëû Îáùèé äîâåðèòåëüíûé èíòåðâàë – ýëëèïñîèä (2.14) ìîæíî ïðåäñòàâèòü â áîëåå êîíêðåòíîé ôîðìå: â âèäå ñèñòåìû äîâåðèòåëüíûõ èíòåðâàëîâ ñ çàäàííîé âåðîÿòíîñòüþ îäíîâðåìåííî íàêðûâàþùèõ òî÷êó β. Äëÿ êâàäðàòè÷íîé ôîðìû tT Bt, â êîòîðîé t – âåêòîð, B – ïîëîæèòåëüíî îïðåäåëåííàÿ ìàòðèöà, ñïðàâåäëèâî

(uT t )

2

(2.16) . uT B −1u Äåéñòâèòåëüíî, ìàòðèöó B ìîæíî ïðåäñòàâèòü ïðîèçâåäåíèåì tT Bt = max u

B = HHT ,

(

1/ 2 B = UΛUT – ðàçëîæåíèå Òàêàãè [8] ). Åñëè îáîâ êîòîðîì H = UΛ

çíà÷èòü òî

X = HT t , Y = H −1u ,

XT Y = tT HH −1u = tT u = uT t , XT X = tT HHT t = tT B t , YT Y = uT H −=1H −1u = uT B −1u .

Íåðàâåíñòâî Êîøè-Áóíÿêîâñêîãî [9]

(XT Y ) ≤ (XT X )(YT Y ) 2

â äàííîì ñëó÷àå çàïèñûâàåòñÿ

(uT t ) ≤ (tT Bt )(uT B−1u ) , 2 uT t ) ( , tT Bt ≥ 2

uT B −1u

÷òî ñîâïàäàåò ñ (2.16). Ïóñòü â (2.16) t = βˆ − β , B = A , à âåêòîð u èìååò ñìûñë ëèíåéíîãî ïðåîáðàçîâàíèÿ âåêòîðà ïàðàìåòðîâ, ò. å. èíòåðåñíà íåêîòîðàÿ âåëè÷èíà η = uT β . Òîãäà âåðîÿòíîñòü (2.13) íàêðûòèÿ òî÷êè β α-äîâå-

ðèòåëüíûì èíòåðâàëîì Gα ( X ) , îïðåäåëÿåìûì ñîîòíîøåíèåì (2.14),

α = P (β∈ Gα ( X )) ïðèîáðåòàåò ñëåäóþùèé ñìûñë: 28

(

)

 uT βˆ − β T  α = P max u < βˆ − β A βˆ − β  uT A −1u  = P | uT β ± uT βˆ |< Vα ( X; u ) , ∀u ,

(

) (

{

)

}

  =  

ãäå Vα ( X; u ) =

(βˆ − β ) A (βˆ − β ) T

uT A −1u .

(2.17)

Òàêèì îáðàçîì, äëÿ ëèíåéíîé ôóíêöèè ïàðàìåòðîâ uT β íàéäåí α-äîâåðèòåëüíûé èíòåðâàë

{

}

P uT βˆ − Vα ( X; u ) < uT β < uT βˆ + Vα ( X; u ) , ∀u = α .

(2.18)

Ñîîòíîøåíèÿ (2.17) è (2.18) ïîçâîëÿþò ïîñòðîèòü ñèñòåìó äîâåðèòåëüíûõ èíòåðâàëîâ äëÿ âñåõ ëèíåéíûõ ôóíêöèé ïàðàìåòðîâ β. Ïðèìåð 2.2. Ñîâìåñòíûå äîâåðèòåëüíûå èíòåðâàëû äëÿ êîýôôèöèåíòîâ T T ðåãðåññèè. Åñëè çàäàòü âåêòîð u = u j = [0; ...; 0; 1; 0; ...] ñ îäíîé åäèíèöåé â T T −1 j-é ïîçèöèè, òî u β = β j , u j A u j = a jj , è èç (2.18) ñëåäóåò, ÷òî ñèñòåìà

äîâåðèòåëüíûõ èíòåðâàëîâ äëÿ êîýôôèöèåíòîâ

{(βˆ

j

)

}

± a j ( X ) a jj , j = 1, ..., k ,

a j (X) =

(βˆ − β ) A (βˆ − β ) . T

Ðàñ÷åò â óñëîâèÿõ ïðåäûäóùåãî ïðèìåðà äàåò ñëåäóþùèå èíòåðâàëû ïðè

aα ( X ) = 5, 4450 : −0,3888 < β0 < 5,5452; − 0,8106 < β1 < 1,1234; −0,1224 < β2 < 0, 2493; − 0, 0891 < β3 < 0, 0119.

29

Êàê è ñëåäîâàëî îæèäàòü, èíòåðâàëû ïî ñðàâíåíèþ ñ ïðåäûäóùèì ïðèìåðîì óâåëè÷èëèñü, òàê êàê çäåñü α = 0,95 – äîâåðèòåëüíàÿ âåðîÿòíîñòü äëÿ âñåõ ÷åòûðåõ êîýôôèöèåíòîâ, à íå äëÿ êàæäîãî èõ íèõ ïî îòäåëüíîñòè.

2.4. .-êðèòåðèé ïðîâåðêè ëèíåéíîé ãèïîòåçû Íà ïðàêòèêå ÷àñòî âîçíèêàåò íåîáõîäèìîñòü ïðîâåðêè òîé èëè èíîé ãèïîòåçû î çíà÷åíèÿõ êîýôôèöèåíòîâ ðåãðåññèè. Îáùàÿ ôîðìóëèðîâêà çàäà÷è: ïî íàáëþäåíèÿì X ïðîâåðèòü ãèïîòåçó H0, ñîãëàñíî êîòîðîé êîýôôèöèåíòû ðåãðåññèè β óäîâëåòâîðÿþò çàäàííûì îãðàíè÷åíèÿì, ëîêàëèçóþùèì èõ äîïóñòèìûå çíà÷åíèÿ â íåêîòîðîì ïîäìíîæåñòâå Β0 ⊂ R k . Äëÿ ëèíåéíîé ãèïîòåçû (îãðàíè÷åíèÿ ëèíåéíûå) ïîäìíîæåñòâî B0 – ïîäïðîñòðàíñòâî âèäà Β0 = {β : Tβ = t 0 },

(2.19)

ãäå T – çàäàííàÿ ìàòðèöà êîýôôèöèåíòîâ îãðàíè÷åíèé, t0 – çàäàííûé âåêòîð. Ìàòðèöà T èìååò ðàíã rankT = m (ðàçìåðíîñòü ìàòðèöû m × k). Îáùàÿ çàïèñü ãèïîòåçû (ñëîæíîé, òàê êàê çíà÷åíèå äèñïåðñèè íåèçâåñòíî)

{

}

H 0 : θ ∈ Θ0 = θ : β ∈ Β0 , σ 2 ≥ 0 .

Åñëè ïîñòðîåíà ñèñòåìà α-äîâåðèòåëüíûõ èíòåðâàëîâ Gα(X) äëÿ

ôóíêöèè g = g (θ ) , òî ïîäìíîæåñòâî âûáîðî÷íîãî ïðîñòðàíñòâà, çàäà-

âàåìîå óñëîâèåì Χ0,1−α = {X : g0 ∈ Gα ( X )} îïðåäåëÿåò îáëàñòü ïðèíÿ-

òèÿ ãèïîòåçû H 0 : g = g 0 ñ óðîâíåì çíà÷èìîñòè γ = 1 − α . Îöåíêà íàèìåíüøèõ êâàäðàòîâ ôóíêöèè tˆ = Tβ â ñîîòâåòñòâèè ñ (2.5)

(

)

èìååò íîðìàëüíîå ðàñïðåäåëåíèå Ν t , σ 2 D , â êîòîðîì D = σ2TA −1TT . Äëÿ êâàäðàòè÷íîé ôîðìû

(

QT = QT ( X, t ) = tˆ − t

êàê ñëåäóåò èç (2.6), îòíîøåíèå

QT

)

T

(

)

D−1 tˆ − t ,

(2.20)

∈ χ 2 ( m ) . Îòíîøåíèå (2.10) èìååò âèä

σ n − k QT F= ∈ F ( m, n − k ). m S βˆ 2

()

Êàê è ïðè îöåíèâàíèè âåêòîðà β, α-äîâåðèòåëüíûé èíòåðâàë (2.14) äëÿ ôóíêöèè t åñòü ýëëèïñîèä âèäà (2.15) 30

(

)

(

)

()

T m   GT α ( X ) = t : Tβˆ − t D−1 Tβˆ − t < S βˆ Fα, m, n−k  . (2.21) n−k    ðàññìàòðèâàåìîì ñëó÷àå ñîãëàñíî (2.20) è (2.21) äîâåðèòåëüíàÿ îáëàñòü äëÿ t = Tβ çàïèñûâàåòñÿ

(

)

m   GT α ( X ) = t : QT ( X, t ) / S βˆ ( X ) < Fα, m, n−k  . n−k   ò. å. îáëàñòü ïðèíÿòèÿ ãèïîòåçû H 0 : t = t 0 ñ óðîâíåì çíà÷èìîñòè γ = 1 − α îïðåäåëÿåòñÿ óñëîâèåì

(

)

m   Χ0 γ =  X : QT ( X, t 0 ) / S βˆ ( X ) < Fα, m, n−k  . n−k   Ýòîò ðåçóëüòàò ôîðìóëèðóåòñÿ ñëåäóþùèì îáðàçîì: êðèòåðèé óðîâíÿ çíà÷èìîñòè γ äëÿ ïðîâåðêè ãèïîòåçû H 0 : β ∈ Β0 , ãäå B0 îïðåäåëÿåòñÿ â (2.19), çàäàåòñÿ êðèòè÷åñêîé îáëàñòüþ    n − k QT ( X, t 0 )  Χ1γ =  X : ≥ F1−γ , m, n−k  . m S βˆ ( X )  

(

)

Ñòàòèñòèêîé ýòîãî êðèòåðèÿ ÿâëÿåòñÿ âåëè÷èíà

(

)

(

)

T −1 ˆ ˆ n − k QT ( X, t 0 ) n − k Tβ − t 0 D Tβ − t 0 F= , = m m Tˆ T Tˆ S βˆ X−Z β X−Z β

()

(

)(

)

(2.22)

íàçûâàåìàÿ F-êðèòåðèåì. Ïðèìåð 2.3. Ôîðìóëèðóåòñÿ ãèïîòåçà H 0 : β j = 0, j = 1, ..., k . Åñëè àïðèîðè èçâåñòíî, ÷òî ïîðÿäîê ïîëèíîìà, îïèñûâàþùåãî íåñëó÷àéíóþ ñîñòàâëÿþùóþ ñèãíàëà, íå ïðåâûøàåò çíà÷åíèå k – 1 , òî ðåàëüíûé ñìûñë ãèïîòåçû – ïðîïóñê ñèãíàëà (îøèáêà âòîðîãî ðîäà). Èç (2.19) ñëåäóåò, ÷òî ìàòðèöà T åñòü âåêòîð-ñòðîêà T = [0...1...0] ñ åäèíñòâåííîé åäèíèöåé íà j-ì ìåñòå: Tβ = β j ; ðàíã ìàòðèöû m = 1. Ìàòðèöà D è âåêòîð t0 âûðîæäàþòñÿ â ÷èñëà: t 0 = β j , D = σ 2 a jj ; a jj – äèàãîíàëüíûé ýëåìåíò ìàòðèöû A–1 = (ZZT )–1. Ðàñ÷åò ñòàòèñòèêè (2.22) â óñëîâèÿõ ïðåäûäóùèõ ïðèìåðîâ ( n = 11, k = 4; íåñëó-

÷àéíàÿ ñîñòàâëÿþùàÿ îïèñûâàåòñÿ ôóíêöèåé f (t ) = 2 − 0,5t − 0, 02t 3 , ñëó31

Òàáëèöà 2.2

j

1

2

3

4

4,0

2,4589

0,0852

0,3797

5,5661

1,0

31,0142

1,6447

1,5187

43,3919

0,1

2588,9

874,79

15, 1874

2151,7

σ2

÷àéíàÿ ñîñòàâëÿþùàÿ â êàæäîì ýêñïåðèìåíòå îäíà è òà æå ñ êîýôôèöèåíòîì σ) äàåò ðåçóëüòàòû, ïðèâåäåííûå â òàáë. 2.2. Êâàíòèëü ðàñïðåäåëåíèÿ Ôèøåðà [1] F0,95; 1,7 ≈ 236 . Ñðàâíåíèå ñ íåé çíà÷åíèé ñòàòèñòèêè ïîêàçûâàåò, ÷òî â ðàññìàòðèâàåìîì ñëó÷àå ïðè äèñïåðñèè øóìà σ2 ≥ 1 âåðîÿòíîñòü îøèáêè âòîðîãî ðîäà íå ìåíåå 0,95.

32

3. ÏÐÎÂÅÐÊÀ ÎÄÍÎÐÎÄÍÎÑÒÈ 3.1. Îáîáùåííûå îöåíêè íàèìåíüøèõ êâàäðàòîâ  îáùåé ìîäåëè ëèíåéíîé ðåãðåññèè íà ïàðàìåòðû β íå íàêëàäûâàëèñü îãðàíè÷åíèÿ , ò. å. îáëàñòüþ èõ çíà÷åíèé áûëî âñå åâêëèäîâî ïðîñòðàíñòâî Rk. Íà ïðàêòèêå ÷àñòî íàêëàäûâàþòñÿ ëèíåéíûå îãðàíè÷åíèÿ (3.1) Tβ = t 0 , ãäå T = Tm×k è t0 – çàäàííûå ìàòðèöà è âåêòîð. Ìàòðèöà T èìååò ðàíã rankT = m ≤ k . Çàäà÷à îöåíèâàíèÿ âåêòîðà β ìåòîäîì íàèìåíüøèõ êâàäðàòîâ ñîñòîèò â íàõîæäåíèè òàêîãî βˆ T , êîòîðûé ìèíèìèçèðóåò êâàäðàòè÷íóþ ôîðìó

(

S (β ) = X − ZT β

) (X − ZT β) T

ïðè îãðàíè÷åíèè (3.1). Ïðîèçâîäíàÿ ôóíêöèè Ëàãðàíæà [10] T ∂F (β ) ∂S (β ) ∂ = + λ Tβ = −2 X − ZT β ZT + λT = 0 , ∂β ∂β ∂β îáùåå ðåøåíèå λ βˆ TT = − TA −1 + XT ZT A −1 , 2 λ λ βˆ = − A −1TT + A −1ZX = − A −1TT + βˆ 2 2 çàïèñûâàåòñÿ ÷åðåç îöåíêó íàèìåíüøèõ êâàäðàòîâ βˆ = A −1ZX , ïîëó÷åííóþ äëÿ îòñóòñòâèÿ îãðàíè÷åíèé (ôîðìóëà 1.6). Óñëîâèå (3.1) Tβˆ T = t 0 ïîçâîëÿåò íàéòè íåîïðåäåëåííûé ìíîæèòåëü λ = 2D−1 Tβˆ − t , D = TA −1TT ,

(

(

0

)

)

è îêîí÷àòåëüíûé ðåçóëüòàò [2] äëÿ óñëîâíîé îöåíêè

(

)

βˆ T = βˆ − A −1TT D−1 Tβˆ − t 0 .

(3.2) 33

 òîì, ÷òî βˆ T – òî÷êà óñëîâíîãî ìèíèìóìà êâàäðàòè÷íîé ôîðìû S(b), ìîæíî óáåäèòüñÿ íåïîñðåäñòâåííî. Êàê ñëåäóåò èç (3.2), äåéñòâèòåëüíî ïðîèçâåäåíèå Tβˆ = t , ò. å. îãðàíè÷åíèå (3.1) âûïîëíÿåòñÿ. T

Åñëè β = β

•,

0

êâàäðàòè÷íóþ ôîðìó ìîæíî çàïèñàòü

{

)} {X − ZT β• + ZT (β• − β)} = T T = S (β• ) + (β• − β ) A (β• − β ) + ( X − ZT β• ) ZT (β• − β ) + T + (β• − β ) Z ( X − ZT β• ) ; (

S (β ) = X − ZT β• + ZT β• − β

T

òðåòüå ñëàãàåìîå – òðàíñïîíèðîâàííîå ÷åòâåðòîå, à òàê êàê ýòî ÷èñëà, òî îíè ðàâíû; â ÷åòâåðòîì ñëàãàåìîì ZX = Y , ZZT = A , òàê ÷òî

( ) (

S (β ) = S β• + β• − β

) A (β• − β) + 2 (β• − β) (Y − Aβ• ). T

T

Åñëè ïîëîæèòü β• = βT , òî

( ) (

S (β ) = S βˆ T + βˆ T − β

) A (βˆ T − β ) + 2 (βˆ T − β ) (Y − Aβˆ T ). T

T

Òàê êàê Aβˆ = AA −1Y = Y èç (3.2) ñëåäóåò

(

)

Y − Aβˆ T = TT D−1 Tβˆ − t 0 .

(

)

Ñ ó÷åòîì òîãî, ÷òî T βˆ T − β = Tβˆ − Tβˆ + t 0 − Tβ = t 0 − Tβ , ïðîèçâåäåíèå

(βˆ T − β ) (Y − Aβˆ T ) = (βˆ T − β ) TT D−1 (Tβˆ − t0 ) = T = (t 0 − Tβ ) D−1 (Tβˆ − t 0 ) , T

T

à êâàäðàòè÷íàÿ ñóììà

( ) (

) A (βˆ T − β ) − T − 2 (Tβ − t 0 ) D−1 (Tβˆ − t 0 )

S (β ) = S βˆ T + βˆ T − β

34

T

(3.3)

ïðè âûïîëíåíèè óñëîâèÿ (3.1) ñòàíîâèòñÿ ðàâíîé

( ) (

S (β ) = S βˆ T + βˆ T − β

) A (βˆ T − β ) ≥ S (βˆ T ). T

Ðàâåíñòâî äîñòèãàåòñÿ òîëüêî ïðè β = βˆ T , ò. å. βˆ T – òî÷êà óñëîâíîãî ìèíèìóìà êâàäðàòè÷íîé ôîðìû S(β). Èç (3.2) ñëåäóåò

(βT − βˆ ) A (βT − βˆ ) = (Tβˆ − t0 ) T

T

(

)

D−1 Tβˆ − t 0 .

Ïóñòü â (3.3) β = βˆ , òîãäà

( ) () (

ST = S βˆ T = S βˆ + Tβˆ − t 0

)

T

(

) ()

D−1 Tβˆ − t 0 = S βˆ + QT

(3.4)

– âûðàæåíèå óñëîâíîãî ìèíèìóìà ÷åðåç àáñîëþòíûé. Ñðàâíåíèå (3.4) ñ ôîðìóëîé (2.22) äëÿ F-êðèòåðèÿ ˆ n − k ( Tβ − t 0 ) F=

T

m

(

D−1 Tβˆ − t 0

(X − ZT βˆ ) (X − ZT βˆ )

)

T

ïîêàçûâàåò, ÷òî F-êðèòåðèé âûðàæàåòñÿ ÷åðåç óñëîâíûé è àáñîëþòíûé ìèíèìóìû èñõîäíîé êâàäðàòè÷íîé ôîðìû S (β):

() ()

ˆ n − k QT ( X, t 0 ) n − k ST − S β F= . = m m S βˆ S βˆ

()

(3.5)

3.2. Êðèòåðèé îäíîðîäíîñòè íàáëþäåíèé Óñëîâíûé è àáñîëþòíûé ìèíèìóìû êâàäðàòè÷íîé ôîðìû ïðèìåíÿþòñÿ ïðè ðåøåíèè ïðàêòè÷åñêè âàæíîé çàäà÷è ïðîâåðêè îäíîðîäíîñòè íàáëþäåíèé ïðè ðàçëè÷íûõ îãðàíè÷åíèÿõ. Ïðîâåðÿþòñÿ âëèÿíèå ðàçëè÷íûõ òåõíîëîãè÷åñêèõ ôàêòîðîâ íà êà÷åñòâî èçäåëèÿ, ðîëü òåõ èëè èíûõ ñèìïòîìîâ â îáùåì äèàãíîçå è ò. ä. Ïóñòü èìåþòñÿ X n1 , X n2 , ..., X nk – íåçàâèñèìûå íàáëþäåíèÿ âåëè-

(

)

2 ÷èí Xi ∈ Ν mi , σ . Êàæäîå èç k íàáëþäåíèé (i-å íàáëþäåíèå, i-é

35

âåêòîð X ni ) ðàçìåðíîñòüþ ni , i = 1, 2, ..., k ïðîâåäåíî ïðè i-ì çíà÷åíèè íåêîòîðîãî ôàêòîðà R. Åñëè ôàêòîð R çíà÷èì, íàáëþäåíèÿ äîëæíû çàâèñåòü îò åãî çíà÷åíèé, ò. å. â öåëîì äëÿ ñîâîêóïíîñòè íàáëþäåíèé äîëæíî âûïîëíÿòüñÿ íåðàâåíñòâî mi ≠ m j . Ïðîâåðÿåòñÿ íóëü-ãèïîòåçà (îäíîðîäíîñòè) H 0 : m1 = ... = mi = ... = mk .

(

Íàáëþäàëàñü îäíà è òà æå âåëè÷èíà X ∈ Ν m, σ 2

) ñ ïîñòîÿííûìè

(íåèçâåñòíûìè) ìîìåíòàìè íîðìàëüíîãî ðàñïðåäåëåíèÿ. Íåîáõîäèìî ñèíòåçèðîâàòü êðèòåðèé (ïðàâèëî), ïî êîòîðîìó ìîæíî áûëî áû îòâåðãíóòü íóëü-ãèïîòåçó. Ýòà ñõåìà íàáëþäåíèé ñâîäèòñÿ ê ñõåìå íîðìàëüíîé ðåãðåññèè [2,3]. Âñå íàáëþäåíèÿ ìîæíî îáúåäèíèòü XT =  x1 ,..., xn1 , xn1 +1 ,..., xn  , n = n1 + n2 + ... + nk .

Åñëè ìàòðèöà ïëàíà Z çàïèñàíà â âèäå k ñòðîê 1... 0...  Z =  ...   ...  0

10 01 ... ... ...

... ... ... ... ...

... 1 ... ... ...

... ... ... ... 1..

0 0  ... ,  ... .1

â i- é ñòðîêå ni åäèíèö íà ñîîòâåòñòâóþùèõ ìåñòàõ, òî îïåðàòîð ZT åñòü îïåðàòîð âîñïðîèçâåäåíèÿ: ïðîèçâåäåíèå ZTX äàåò òå æå íàáëþ-

(

)

äåíèÿ Xi ∈ Ν mi , σ 2 , i = 1, 2, ..., k , ðàñïîëîæåííûå ïîñëåäîâàòåëüíî, êàê ñòðîêè âåêòîð-ñòîëáöà. Ïîëó÷àåòñÿ ÷àñòíûé ñëó÷àé íîðìàëüíîé ðåãðåññèè, òðåáóþùèé ïðîâåðêè ãèïîòåçû (3.6) H 0 : m2 − m1 = 0, m3 − m1 = 0,..., mk − m1 = 0 . Ãèïîòåçà H0 íåÿâíî çàäàåòñÿ (k – 1)-ì ëèíåéíî íåçàâèñèìûì ñîîòíîøåíèåì ìåæäó êîýôôèöèåíòàìè ðåãðåññèè. Òàêèì îáðàçîì, ïðèìåíèìà òåîðèÿ F-êðèòåðèÿ. Ìèíèìàëüíûå çíà÷åíèÿ ST è S1 êâàäðàòè÷íîé ôîðìû 36

(

S =∑ x i, j

(i ) − m

i

j

) , i = 1, 2, ..., k, 2

(3.7)

(ïðè ãèïîòåçå H0 (ïðè îãðàíè÷åíèÿõ (3.6)) è áåç îãðàíè÷åíèé) ïîäñòàâëÿþòñÿ â îòíîøåíèå (3.5); ïðè ãèïîòåçå H0 îíî ðàñïðåäåëåíî ïî çàêîíó Ôèøåðà, ÷òî ïîçâîëÿåò íàçíà÷èòü êðèòè÷åñêîå çíà÷åíèå F-ñòàòèñòèêè, ðàâíîå ñîîòâåòñòâóþùåé êâàíòèëè. Ïðåäâàðèòåëüíî ïîëåçíî ðàññìîòðåòü äëÿ íåçàâèñèìûõ íàáëþäåíèé

XT = [ x1 , ..., xn ] ñóììó

n

∑( j =1

)

x j − x , â êîòîðîé x =

1 n ∑ x j – âûáîðî÷n j =1

íîå ñðåäíåå. Îíà â ðÿäå çàäà÷ ìàòåìàòè÷åñêîé ñòàòèñòèêè ïðåîáðàçîâûâàåòñÿ ê âèäó [1]

∑ {( n

j =1

} ∑ ( x j − x )2 + n (m − x )2 ,

)

x j − x − (m − x )

2

=

n

(3.8)

j =1

òàê êàê ñëàãàåìîå n

(

a = −2∑ x j − x j =1



n

n





j =1

j =1



) (m − x ) = −2  m∑ x j − x ∑ x j − nmx + nx 2  =

= nmx − nx − nmx + nx = 0. 2

2

Ïðåäñòàâëåíèå (3.8) ñïðàâåäëèâî äëÿ âñåõ èíäåêñîâ i = 1, 2, ..., k, òàê ÷òî ñóììà (3.7) ðàâíà

( ( ) −m )

S =∑ x i, j

2

i

j

i

(

i (i ) = ∑ x j − x( ) i, j

)

2

(

+ ∑ ni x ( ) − mi i

i

), 2

(3.9)

ãäå 1 i x( ) = ni

ni

∑ x(j ) . i

j =1

(3.10)

– ñðåäíåå âûáîðî÷íîå i-ãî íàáëþäåíèÿ. Ñóììà (3.9) äîñòèãàåò ìèíèìóìà, êîãäà âòîðîå ñëàãàåìîå ðàâíî íóëþ, ò. å. ïðè x (i ) = mi : 37

S1 = min S =

∑ ( x(j ) − x (i ) ) =∑ si2 , k

2

i

i =1

i, j

si2 =

∑ ( x(j ) − x (i ) ) . ni

2

i

(3.11)

j =1

Òî÷íî òàê æå ïðè îãðàíè÷åíèè (3.6) ñóììà ST = min m

∑ ( x(j ) − m )

2

i

i, j

∑(

 (i ) = min m  xj − x  i , j

=

∑(

(i ) xj − x

i, j

)

2

),

 2 + n ( x − m)  = 

2

(3.12)

ãäå x=

1 k (i ) ∑x n j =1 j

(3.13)

– îáùåå ñðåäíåå âûáîðî÷íîå; ìèíèìóì (3.12) äîñòèãàåòñÿ ïðè x = m . Ñóììó (3.12) ìîæíî çàïèñàòü ÷åðåç ñóììó (3.11):

∑(

(i ) xj − x

i, j

=

∑(

)

2

=

∑ {(

)(

i i (i ) x j − x( ) − x − x( )

i, j

i (i ) x j − x( )

i, j

= S1 +

)

2

+

∑ ni ( x (i ) − x ) k

2

=

i =1

∑ ni ( x (i ) − x ) . k

)} = 2

2

(3.14)

i =1

Òàêèì îáðàçîì, ñòàòèñòèêà (3.5), â êîòîðîé ÷èñëî ñòåïåíåé ñâîáîäû m = k – 1 (÷èñëî ðàâåíñòâ â (3.6)), çàïèñûâàåòñÿ 38

() ()

ˆ n − k ST − S β n−k F= = m k −1 S βˆ

k

(

∑ ni x ( ) − x i =1

k

∑ i =1

i

)

2

(3.15) si2

è èìååò ðàñïðåäåëåíèå Ôèøåðà ñ k – 1 è n – k ñòåïåíÿìè ñâîáîäû. Ïðèìåð 3.1. Èìåþòñÿ k = 4 ñåðèè íàáëþäåíèé âåëè÷èíû x ∈ Ν (1;1) ðàçìåðíîñòè n1 = 45; n2 = 63; n3 = 38; n4 = 57. Ñóììàðíîå ÷èñëî íàáëþäåíèé n = 199. Ãåíåðàòîð RANDN âûäàåò òàêèå ïîãðåøíîñòè íàáëþäåíèé, ÷òî âû(1) (2) áîðî÷íûå ñðåäíèå (3.10) è (3.13) x = 1, 0883; x = 1, 0212; x (3) = 1, 0366 ; 4 x ( ) = 1, 0617 ; x = 1, 0503 . Ñóììà èç (3.14)

∑ ni ( x (i ) − x ) k

2

= 0,1330 , ñóì-

i =1

ìà

k

∑ si2 = 202, 8479 ; F-ñòàòèñòèêà (3.15) ðàâíà F = 0,0435. Êâàíòèëü ðàñïðåi =1

äåëåíèÿ Ôèøåðà ñ ÷èñëîì ñòåïåíåé ñâîáîäû 3 è 195 F0,95; 3,195 ≈ 2, 65. Òàê êàê F < F0,95; 3,195 , íóëü-ãèïîòåçó îòâåðãàòü íå ñëåäóåò. Åñëè çàäàòü ðàçëè÷íûå ñðåäíèå, íàïðèìåð m1 = 1,0; m2 = 1,2; m3 = 1,4; m4 = 1,6, òî ïðè òåõ æå

ïîãðåøíîñòÿõ íàáëþäåíèé F = 3, 2519 > F0,95; 3,195 , è ãèïîòåçà îäíîðîäíîñ-

òè îòâåðãàåòñÿ ñ âåðîÿòíîñòüþ 0,95. Åñëè æå óâåëè÷èòü äîâåðèòåëüíóþ âåðîÿòíîñòü äî âåëè÷èíû γ = 0,99 , òî F0,99; 3,195 ≈ 3,88, è òàêèõ îòëè÷èé ñðåäíèõ íåäîñòàòî÷íî äëÿ òîãî, ÷òîáû ãèïîòåçó îäíîðîäíîñòè îòâåðãíóòü.

39

4. ÄÈÑÏÅÐÑÈÎÍÍÛÉ ÀÍÀËÈÇ 4.1. Äèñïåðñèîííîå îòíîøåíèå F-êðèòåðèé (2.22)

(

)

(

)

T −1 ˆ ˆ n − k QT ( X, t 0 ) n − k Tβ − t 0 D Tβ − t 0 (4.1) F= = m m Tˆ T Tˆ S βˆ X−Z β X−Z β ìîæíî òðàêòîâàòü ñ èíûõ ïîçèöèé. Ïðîâåðÿåòñÿ ãèïîòåçà H0 î òîì, ÷òî êîýôôèöèåíòû ðåãðåññèè β óäîâëåòâîðÿþò m çàäàííûì îãðàíè÷åíèÿì Tβ = t, ëîêàëèçóþùèì èõ äîïóñòèìûå çíà÷åíèÿ â íåêîòîðîì ïîäìíîæåñòâå Β0 ⊂ R k . Ïóñòü äëÿ t ïîëó÷åíû îöåíêà íàèìåíüøèõ êâàäðàòîâ tˆ = Tβˆ è âåêòîð îòêëîíåíèé

()

(

)(

)

ýòîé îöåíêè îò ïðîâåðÿåìûõ çíà÷åíèé Tβˆ − t 0 . Åñëè ãèïîòåçà H0 íå âåðíà, îòêëîíåíèÿ äîëæíû áûòü âåëèêè.  îáùåì ñëó÷àå ìàòåìàòè÷åñêîå îæèäàíèå êâàäðàòè÷íîé ôîðìû ZT BZ ìîæíî çàïèñàòü ( z o – îáîçíà÷åíèå öåíòðèðîâàííîé âåëè÷èíû,

bij – ýëåìåíòû êîððåëÿöèîííîé ìàòðèöû)   M  ZT BZ  = M  ∑ bij zi z j  = ∑ bij M  zi z j  = M  zi z j   i , j  i , j = M  zio z oj  + M [ zi ] M  z j  = ∑ bij M  zio z oj  + ∑ bij M [ zi ]M  z j  = i, j

i, j

= ∑ bij M  zio z oj  + M T [Z ] BM [Z ].

(4.2)

i, j

Ïóñòü îòêëîíåíèÿ èçìåðÿþòñÿ âåëè÷èíîé (2.20)

(

QT = QT ( X, t 0 ) = tˆ − t 0

40

)

T

(

)

D−1 tˆ − t 0 ,

â êîòîðîé ñëó÷àéíûé âåêòîð tˆ èìååò ìàòðèöó âòîðûõ öåíòðàëüíûõ ìîìåíòîâ D tˆ = σ 2 TA −1TT = σ 2 D .

()

Òîãäà ïåðâîå ñëàãàåìîå â (4.2) ðàâíî spur (BD ( Z )) , à äëÿ îòêëîíåíèé ñïðàâåäëèâî

(

)

(

)

T   M  QT ( X, t 0 )  = M  Tβˆ − t 0 D−1 Tβˆ − t 0  =   −1 − 2 T  ˆ 1 = σ spur D D + M Tβ − t 0  D M Tβˆ − t 0  = = mσ2 + M T Tβˆ − t 0  D−1 M Tβˆ − t 0  ≥ mσ2 .

(

)

Ðàâåíñòâî èìååò ìåñòî ïðè Tβ = t 0 êîãäà ñïðàâåäëèâà ãèïîòåçà H0.

()

Ñ äðóãîé ñòîðîíû, S βˆ / ( n − k ) – íåñìåùåííàÿ îöåíêà îñòàòî÷íîé äèñïåðñèè (1.13), ñëåäîâàòåëüíî, â îòíîøåíèè (4.1) F=

()

ˆ QT ( X, t 0 ) S β / m n−k

(4.3)

÷èñëèòåëü â ñðåäíåì áîëüøå çíàìåíàòåëÿ, êîãäà ãèïîòåçà H0 íåâåðíà. Êðîìå òîãî, F-ñòàòèñòèêà (4.1), (4.3) åñòü îòíîøåíèå äâóõ íåçàâèñèìûõ è ïðè ãèïîòåçå H0 íåñìåùåííûõ îöåíîê îñòàòî÷íîé äèñïåðñèè, ïîýòîìó åå ÷àñòî íàçûâàþò äèñïåðñèîííûì îòíîøåíèåì. Òàêàÿ òðàêòîâêà ñîîòâåòñòâóåò îïðåäåëåíèþ ñëó÷àéíîé âåëè÷èíû, èìåþùåé ðàñïðåäåëåíèå Ôèøåðà (2.10). 4.2. Îäíîôàêòîðíûé äèñïåðñèîííûé àíàëèç Ñîîòíîøåíèå (3.14) k

(

ST = S1 + ∑ ni x ( ) − x i =1

i

)

2

ìîæíî òðàêòîâàòü êàê ðàçëîæåíèå ïîëíîé ñóììû êâàäðàòîâ îòêëîíåíèé íàáëþäåíèé îò îáùåãî ñðåäíåãî (''ïîëíîé èçìåí÷èâîñòè'' ST) íà ñóììó êâàäðàòîâ îòêëîíåíèé êàæäîé âåëè÷èíû îò ñîîòâåòñòâóþùåãî 41

ãðóïïîâîãî ñðåäíåãî çíà÷åíèÿ (''èçìåí÷èâîñòü âíóòðè ãðóïï'' S1) è ñóììó êâàäðàòîâ îòêëîíåíèé ãðóïïîâûõ ñðåäíèõ îò îáùåãî ñðåäíåãî (''èçìåí÷èâîñòü ìåæäó ãðóïïàìè''). Ïðè ãèïîòåçå H0, êàê ñëåäóåò èç (3.11), (3.12) è (3.14)

(

 (i ) M [ST ] = M  ∑ x j − x  i, j 

(

)  = (n − 1) σ , 2

2

)

k k  ni 2 i (i ) M [S1 ] = ∑ M  ∑ x j − x ( )  = ∑ ( ni − 1) σ2 = ( n − k ) σ2 ,  j =1  i =1 i =1   k   M  ∑ ni x 2 − x  = M [ST ] − M [S1 ] = ( k − 1) σ2 .  i =1 

(

)

Ñëåäîâàòåëüíî, êàæäàÿ èç âåëè÷èí

Q=

∑(

1 (i ) xj − x n − 1 i, j Q2 =

)

2

1 n−k

,

Q1 =

1 k −1

∑ ( x(j ) − x (i ) ) i

∑

2

i

(

ni x

(i )

−x

), 2

(4.4)

i, j

ïðè ãèïîòåçå H0 ÿâëÿåòñÿ íåñìåùåííîé îöåíêîé äèñïåðñèè σ2 , òàê ÷òî êðèòåðèé F = Q1 / Q2 ìîæíî ñ÷èòàòü êðèòåðèåì ñîâìåñòíîñòè íåçàâèñèìûõ îöåíîê Q1 è Q2 . Òàêîå ðàçëîæåíèå ''ïîëíîé èçìåí÷èâîñòè'' è åãî èíòåðïðåòàöèÿ ñîñòàâëÿþò ñóòü äèñïåðñèîííîãî àíàëèçà [1,2] – ðàçäåëà ìàòåìàòè÷åñêîé ñòàòèñòèêè. Ñóììû (4.4), â êîòîðûõ èíäåêñ i = 1, 2, ..., k îáîçíà÷àåò íîìåð ãðóïïû íàáëþäåíèé, âû÷èñëÿëèñü â ïðåäûäóùåì ðàçäåëå ïðè ïðîâåðêå ãèïîòåçû îäíîðîäíîñòè. Òîãäà èíäåêñ èìåë ñìûñë óðîâíÿ íåêîòîðîãî ôàêòîðà, çàâèñèìîñòü îò êîòîðîãî èìåþùèõñÿ íàáëþäåíèé è ïðîâåðÿëàñü. Òàê êàê ôàêòîð åäèíñòâåííûé, ñîîòâåòñòâóþùèé äèñïåðñèîííûé àíàëèç íàçûâàåòñÿ îäíîôàêòîðíûì. Ìîæíî îòìåòèòü, ÷òî ëîãè÷åñêàÿ îñíîâà äèñïåðñèîííîãî àíàëèçà âåñüìà ïðîñòà – íåðàâåíñòâî äèñïåðñèè âòîðîìó íà÷àëüíîìó ìîìåíòó 42

ïðè íåíóëåâîì ìàòåìàòè÷åñêîì îæèäàíèè. Óíèâåðñàëüíûé ñïîñîá âûÿâëåíèÿ íåðàâåíñòâà ìàòåìàòè÷åñêèõ îæèäàíèé – ñðàâíåíèå îöåíîê äèñïåðñèè èõ îòíîøåíèåì, èìåþùèì ïðè ãèïîòåçå H0 ðàñïðåäåëåíèå Ôèøåðà. 4.3. Äâîéíàÿ êëàññèôèêàöèÿ. Îöåíèâàíèå ôàêòîðîâ Ïóñòü èñõîä ýêñïåðèìåíòà çàâèñèò îò çíà÷åíèé äâóõ ôàêòîðîâ R è C, ïðè÷åì ôàêòîð R ìîæåò íàõîäèòüñÿ íà r óðîâíÿõ R1, ..., Rr à ôàêòîð C – íà s óðîâíÿõ C1, ..., Cs. Ïóñòü ïðè êàæäîé âîçìîæíîé êîìáèíàöèè óðîâíåé îáîèõ ôàêòîðîâ ïðîèçâîäèòñÿ îäíî íàáëþäåíèå. Ïðè çíà÷åíèÿõ ôàêòîðîâ R i è C j , i = 1, ..., r; j = 1, ..., s íàáëþäàåòñÿ çíà÷åíèå

(

)

xij ∈ Ν mij , σ 2 ,

mij = m + αi + β j .

(4.5)

Çíà÷åíèÿ xij íåçàâèñèìû. r

s

i =1

j =1

∑ αi = ∑ β j = 0.

(4.6)

Óñëîâèÿ (4.5) è (4.6) îçíà÷àþò àääèòèâíîñòü (íåçàâèñèìîñòü) ôàêòîðîâ. Ýòó ñõåìó ïðåäñòàâëÿþò ïðÿìîóãîëüíîé òàáëèöåé çíà÷åíèé xij èç r ñòðîê è s ñòîëáöîâ. Ñëó÷àéíóþ âåëè÷èíó xij íàçûâàþò ðåàãèðóþùåé [1] – îïèñûâàþùåé ðåàêöèþ íà êîìáèíàöèþ (Ri, Cj ). Ñîîòíîøåíèå (4.5) ïðè óñëîâèè (4.6) îçíà÷àåò, ÷òî mij = M  xij  ÿâëÿåòñÿ ëèíåéíîé ôóíêöèåé r + s – 1 íåèçâåñòíûõ êîýôôèöèåíòîâ m, αi , βj. Òàêèì îáðàçîì, ðàññìàòðèâàåìàÿ ñõåìà – ÷àñòíûé ñëó÷àé ñõåìû ëèíåéíîé ðåãðåññèè, áàçèðóþùåéñÿ íà àíàëèçå êâàäðàòè÷íîé ôîðìû r

s

(

S = ∑∑ xij − mij i =1 j =1

). 2

(4.7)

 äâóõôàêòîðíîì äèñïåðñèîííîì àíàëèçå èñïîëüçóþòñÿ ñëåäóþùèå ñðåäíèå âûáîðî÷íûå: 43

X •• =

1 ∑ xij , rs i , j

X i• =

1 s ∑ xij , s j =1

1 r ∑ xij . r i =1

X• j =

(4.8)

Ñ ó÷åòîì (4.8) ñóììà (4.7) çàïèñûâàåòñÿ

(

S = ∑ xij − m − αi − β j i, j

) = ∑ {( xij − X i• − X • j + X •• ) + 2

i, j

(

}

)

+ ( X i• − X •• − αi ) + X • j − X •• − β j + ( X •• − m )

(

= ∑ xij − X i• − X • j + X ••

)

2

i, j

(

+ r ∑ X • j − X •• − β j

2

=

+ s ∑ ( X i• − X •• − αi ) + 2

i

)

2

+ rs ( X •• − m ) ,

(4.9)

2

j

òàê êàê âñå ïîïàðíûå ïðîèçâåäåíèÿ ïîñëå ñóììèðîâàíèÿ èñ÷åçàþò. Îöåíêè íàèìåíüøèõ êâàäðàòîâ êîýôôèöèåíòîâ ðåãðåññèè ìèíèìèçèðóþò êâàäðàòè÷íóþ ôîðìó (4.7). Èç åå ðàçëîæåíèÿ (4.9) ñëåäóåò, ÷òî ìèíèìóì äîñòèãàåòñÿ ïðè

mˆ = X •• , αˆ i = X i• − X •• , βˆ j = X • j − X •• .

(4.10)

Ïîäñòàíîâêà (4.10) â (4.9) îïðåäåëÿåò ìèíèìàëüíîå çíà÷åíèå êâàäðàòè÷íîé ôîðìû (4.7)

(

S1 = ∑ xij − X i• − X • j + X ••

)

2

(4.11)

.

i, j

Ñðåäíèå (4.8) ìîæíî çàïèñàòü X •• =

1 r 1 X i• = r i =1 s

∑

s

∑ X• j ,

(4.12)

j =1

îòêóäà ñëåäóþò âûðàæåíèÿ äëÿ îöåíîê óðîâíåé ôàêòîðîâ (4.10) αˆ i =

44

r −1 1 r s −1 1 s X i• − X l • , βˆ j = X• j − X• j . r r l =1,l ≠i s s t =1,t ≠ j

∑

∑

(4.13)

Ìàòåìàòè÷åñêèå îæèäàíèÿ ñðåäíèõ (4.8) s

∑ ( m + αi + β j ) = m + αi ,

1 M  X i•  = s

j =1

M  X • j  = m + β j ,

M  X ••  = m

îïðåäåëÿþò íåñìåùåííîñòü îöåíîê. Âñëåäñòâèå íåçàâèñèìîñòè çíà÷åíèé X i• , à òàêæå X • j , i = 1, ..., r ; j = 1, ..., s äèñïåðñèè ñðåäíèõ (4.8) åñòü äèñïåðñèè ñðåäíèõ âûáîðî÷íûõ, ò. å. ðàâíû

σ2 σ2 , σ2 = . Xl• X •t s r Îòñþäà ñëåäóþò äèñïåðñèè îöåíîê (4.12) è (4.13) σ2

( r − 1)2 σ2 + r − 1 σ2 = r − 1 σ2 ,

σα2ˆ = i

=

rs r2s r2s 1 2 s −1 2 2 σ 2ˆ = σ , σm σ . ˆ = βj rs rs

(4.14)

Îöåíêè (4.9) åñòü îöåíêè íåèçâåñòíûõ ñðåäíèõ íîðìàëüíîãî ðàñïðåäåëåíèÿ ïðè íåèçâåñòíîé äèñïåðñèè σ2 . Îòíîøåíèå Ñòúþäåíòà (2.9) ÿâëÿåòñÿ öåíòðàëüíîé ñòàòèñòèêîé â ýòîé çàäà÷å. Ñèììåòðè÷íûå α-äîâåðèòåëüíûå èíòåðâàëû äëÿ ïàðàìåòðîâ m, α, β (çäåñü ïàðàìåòð n – k = rs – (r + s – 1) = (r –1)(s –1)) çàïèñûâàþòñÿ àíàëîãè÷íî (4.11).

(mˆ ± t( ) (αˆ ± t( (β ± t(

1+α / 2, ( r −1)( s −1)

)

S1 / ( rs ( r − 1)( s − 1)) ,

i

1+α ) / 2, ( r −1)( s −1)

j

1+α ) / 2, ( r −1)( s −1)

) S / ( rs ( r − 1)) ).

S1 / ( rs ( s − 1)) , 1

(4.15) (4.16) (4.17)

Îòíîøåíèå S1 / ( r − 1)( s − 1) – íåñìåùåííàÿ îöåíêà äèñïåðñèè. Ïðèìåð 4.1. Èìåþòñÿ r × s = 9 × 17 íàáëþäåíèé n – k = 128 , àääèòèâíàÿ

(

)

2 2 ïîãðåøíîñòü ε ∈ Ν 1, σ , σ = 1/ 4 . Ïóñòü ôàêòîð α = 0 (çàêëàäûâàåòñÿ íå-

45

çíà÷èìîñòü ýòîãî ôàêòîðà), ôàêòîð β èçìåíÿåòñÿ ëèíåéíî ñ èçìåíåíèåì íîìåðà j îò β(1) = –0,5 äî β(17) = –0,5 (çàêëàäûâàåòñÿ çíà÷èìîñòü ýòîãî ôàêòîðà). Ãåíåðàòîð RANDN èìèòèðóåò ïîãðåøíîñòü òàê, ÷òî ñðåäíèå âûáîðî÷íûå (4.8) îêàçûâàþòñÿ ðàâíûìè ÷èñëàì, ïðåäñòàâëåííûì â òàáë. 4.1 è 4.2, X •• = 1, 0246 .

Òàáëèöà 4.1 i

1

2

3

4

6

7

8

9

Xi•

1,167

0,936

0,948

1,129

1,143

0,834

1,219

0,981

Òàáëèöà 4.2 j

1

3

6

8

10

12

15

17

X• j

0,797

0,615

0,755

0,890

1,215

1,110

1,276

1,613

Îöåíêè (4.9) ïîêàçàíû â òàáë. 4.3 è 4.4, mˆ = X •• == 1, 0246.

Òàáëèöà 4.3 i

1

2

3

4

5

6

7

8

αˆ i

0,142

–0,089

–0,077

0,104

0,118

–0,191

0,194

–0,044

Òàáëèöà 4.4 j βˆ j

1

3

6

–0,228 –0,410 –0,270

8

10

12

15

17

–0,135

0,190

0,085

0,251

0,588

Äèñïåðñèè îöåíîê ðàâíû 2 2 σα2ˆ i = 0, 0523σ2 , σβ2ˆ = 0,1046σ2 , σm ˆ = 0, 0065σ ; j

îöåíêà äèñïåðñèè σˆ = 0, 2748 . Èíòåðâàëüíûå îöåíêè (4.16) è (4.17) äëÿ äîâåðèòåëüíîé âåðîÿòíîñòè α = 0,95 ïîêàçàíû â òàáë. 4.5 è 4.6. Äîâåðèòåëüíûé èíòåðâàë äëÿ îöåíêè mˆ (4.15) ðàâåí (0,9398 – 1,1093) . 2

46

Òàáëèöà 4.5 i

1

αmin

–0,073

αmax

0,406

2

3

4

5

6

7

8

–0,304 –0,292

–0,111

–0,097

–0,406

–0,021

–0,259

0,176

0,369

0,383

0,073

0,458

0,220

0,187

Òàáëèöà 4.6 j

1

3

6

8

10

12

15

17

βmin

–0,543 –0,724 –0,584

–0,449

–0,125

–0,230 –0,063

0,274

βmax

0,136

0,229

0,554

0,449

0,952

–0,046 –0,017

0,615

Âñå äîâåðèòåëüíûå èíòåðâàëû äåéñòâèòåëüíî íàêðûâàþò çàäàííûå çíà÷åíèÿ ïàðàìåòðîâ α è β.

4.4. Äâóõôàêòîðíûé äèñïåðñèîííûé àíàëèç Êàê è â ñëó÷àå îäíîãî ôàêòîðà, ïðàêòè÷åñêèé èíòåðåñ ïðåäñòàâëÿåò ïðîâåðêà ãèïîòåç î çàâèñèìîñòè íàáëþäåíèé îò ôàêòîðîâ. ×àùå âñåãî ïðîâåðÿþòñÿ ñëåäóþùèå íóëü-ãèïîòåçû [1]:

(1) H 0 : α1 = α 2 = ... = α r = 0;

(4.18)

(2) H 0 : β1 = β2 = ... = βs = 0;

(4.19)

(3 ) H 0 : α1 = α 2 = ... = α r = β1 = β2 = ... = βs = 0.

(4.20)

Ñìûñë ãèïîòåç â íåçàâèñèìîñòè íàáëþäåíèé îò îäíîãî èç ôàêòîðîâ èëè îò îáîèõ (ãèïîòåçû íåçíà÷èìîñòè). Ïóñòü ïðîâåðÿåòñÿ ãèïîòåçà (4.18). Êàê ñëåäóåò èç òåîðèè F-êðèòåðèÿ, â ÷àñòíîñòè èç ôîðìóëû (3.5), íåîáõîäèìî íàéòè ST – ìèíèìàëüíîå

(1)

çíà÷åíèå ñóììû (4.7) ïðè ãèïîòåçå H 0 . Åãî îïðåäåëÿåò ïîäñòàíîâêà â (4.9) çíà÷åíèé αi = 0 è îöåíîê (4.10), mˆ = X •• , βˆ j = X • j − X •• . C ó÷åòîì (4.11) 47

(

ST = ∑ xij − X i• − X • j + X ••

)

+ s ∑ ( X i• − X •• ) =

2

2

i, j

i

r

= S1 + s ∑ ( X i• − X •• ) . 2

i =1

F-ñòàòèñòèêà (3.5)

() ()

ˆ n − k ST − S β F= , m S βˆ

çäåñü

(S (βˆ ) = S1 , m = r − 1) ïðèíèìàåò âèä r

F = ( s − 1)

ST − S1 = s ( s − 1) S1

∑ ( X i• − X •• )

2

i =1

∑ ( xij − X i• − X • j + X •• )

2

(4.21)

.

i, j

Ïðè ãèïîòåçå H 0( ) ñòàòèñòèêà (4.21) èìååò ðàñïðåäåëåíèå Ôèøåðà ñ r – 1 è (r – 1)(s –1) ñòåïåíÿìè ñâîáîäû, ïîýòîìó êðèòè÷åñêàÿ îáëàñòü äëÿ íåå 1

F ≥ Fα, r −1, ( r −1)( s −1) .

(4.22)

Àíàëîãè÷íî ñòðîèòñÿ êðèòåðèé ïðîâåðêè ãèïîòåçû (4.19) s

(

ST = S1 + r ∑ X • j − X •• j =1

r

F = ( r − 1)

ST − S1 = r ( r − 1) S1

2

,

∑ ( X • j − X •• )

2

i =1

∑ ( xij − X i• − X • j + X •• )

2

i, j

Êðèòåðèé ïðîâåðêè ãèïîòåçû (4.20) 48

)

.

r

s

(

ST = S1 + s ∑ ( X i• − X •• ) + r ∑ X • j − X •• 2

i =1

j =1

r

F=

( r − 1)( s − 1)

s

)

2

,

(

s ∑ ( X i• − X •• ) + r ∑ X • j − X •• 2

i =1

j =1

)

2

.

∑ ( xij − X i• − X • j + X •• )

r+s−2

2

(4.23)

i, j

Êðèòè÷åñêàÿ îáëàñòü (4.22) çàïèñûâàåòñÿ ñîîòâåòñòâåííî

F ≥ Fα, s −1, ( r −1)( s −1) è F ≥ Fα, r + s −2, ( r −1)( s −1) . Ïðîâåðêà ãèïîòåç î íåçàâèñèìîñòè íàáëþäåíèé îò ôàêòîðîâ ïðåîáðàçóåòñÿ â ñõåìó äèñïåðñèîííîãî àíàëèçà ñëåäóþùèì îáðàçîì. Åñëè â ñóììå (4.9) ïîëîæèòü αi = β j = 0, m = X •• , ïîëó÷èòñÿ ðàâåíñòâî

∑ ( xij − X •• ) =∑ ( xij − X i• − X • j + X •• ) 2

i, j

2

+

i, j

(

+ s ∑ ( X i• − X •• ) + r ∑ X • j − X j • 2

i

), 2

j

êîòîðîå òðàêòóåòñÿ êàê ðàçëîæåíèå ïîëíîé èçìåí÷èâîñòè íà S0 =

∑ ( xi j − X •• )

2

òðè ñîñòàâëÿþùèõ:

i, j

S•0 = s

∑ ( X i• − X •• )

2

i

S•• = S1 =

, S0• = r

∑ ( X • j − X •• )

2

,

j

∑ ( xij − X i• − X • j + X •• ) . 2

(4.24)

i, j

Ñîñòàâëÿþùàÿ S•0 îïèñûâàåò èçìåí÷èâîñòü, îáóñëîâëåííóþ ôàêòîðîì R , ñîñòàâëÿþùàÿ S0• – ôàêòîðîì C. Ñîñòàâëÿþùàÿ S•• – ñóììà êâàäðàòîâ âåëè÷èí, èìåþùèõ íóëåâûå ñðåäíèå M  xi j − X i• − X • j + X ••  =

(

)

= m + αi + β j − ( m + αi ) − m + β j + m = 0,

49

ïîýòîìó îíà ñâÿçàíà íå ñ ôàêòîðàìè, à ñ äèñïåðñèåé íàáëþäåíèé. Îòíîøåíèå Q = S•• / ( r − 1)( s − 1) (4.25) åñòü íåñìåùåííàÿ îöåíêà äèñïåðñèè. Âåëè÷èíó S•• íàçûâàþò ''îøèáêîé'', ïîä÷åðêèâàÿ ñëó÷àéíîñòü íàáëþäåíèé. Äëÿ îöåíèâàíèÿ äèñïåðñèè ïðèãîäíû è ñîñòàâëÿþùèå S•0 è S0• . Äåéñòâèòåëüíî, ñîîòíîøåíèÿ (4.24) çàïèñûâàþòñÿ ÷åðåç íåñìåùåííûå îöåíêè (4.10) S•0 = s ∑ αˆ i2 , S0• = r ∑ βˆ 2j . i

j

Ñ ó÷åòîì äèñïåðñèé (4.14) M [S•0 ] = s ∑ M αˆ i2  = s ∑ σα2ˆ + s ∑ αi2 = ( r − 1) σ 2 + s ∑ αi2 ,   i i

i

i

i

M [S0• ] = r ∑ M βˆ 2j  = r ∑ σ 2ˆ + r ∑ β2j = ( s − 1) σ 2 + r ∑ β2j .   βj j

i

j

j

Òàêèì îáðàçîì, ïðè ãèïîòåçàõ (4.18) è (4.19) ñîîòâåòñòâåííî

S•0 S (4.26) , Q2 = 0• r −1 s −1 ÿâëÿþòñÿ íåñìåùåííûìè îöåíêàìè äèñïåðñèè. F-ñòàòèñòèêà (4.21) â îáîçíà÷åíèÿõ (4.25) è (4.26) åñòü îòíîøåíèå Q1 / Q , à F-êðèòåðèé (4.22) – ïðàâèëî ñîâìåñòíîñòè îöåíîê Q1 è Q äëÿ σ2 ïðè ãèïîòå1 2 çå H 0( ) . Òàê æå òðàêòóåòñÿ îòíîøåíèå Q2 / Q ïðè H 0( ) . Ñîñòàâëÿþùèå äâóõôàêòîðíîé ìîäåëè îáúåäèíÿþò â òàáëèöó äèñïåðñèîííîãî àíàëèçà (òàáë. 4.7). Q1 =

Òàáëèöà 4.7 Èñòî÷íèê äèñïåðñèè

Ñòåïåíü ñâîáîäû

Ñóììà êâàäðàòîâ

Ñðåäíèå ñóììû êâàäðàòîâ

Îòíîøåíèå ñðåäíèõ

Ñòðîêè

r–1

S•0

Q1 = S•0 / ( r − 1)

F• 0 = Q1 / Q

Ñòîëáöû

s–1

S 0•

Q2 = S 0• / ( s − 1)

F0• = Q2 / Q

Îøèáêà

(r – 1)(s –1)

S••

Q = S•• / ( r − 1)( s − 1)

–

50

Ïðèìåð 4.2.  óñëîâèÿõ ïðåäûäóùåãî ïðèìåðà ðåçóëüòàòû äèñïåðñèîííîãî àíàëèçà ïðèâåäåíû â òàáë. 4.8. Òàáëèöà 4.8 Èñòî÷íèê äèñïåðñèè

Ñòåïåíü ñâîáîäû

Ñóììà êâàäðàòîâ

Ñðåäíèå ñóììû êâàäðàòîâ

Îòíîøåíèå ñðåäíèõ

Ñòðîêè

8

2,7229

0,3404

1,2385

Ñòîëáöû

16

14,8225

0,9264

3,3712

Îøèáêà

128

35,1748

0,2748

1 2 Ãèïîòåçó H 0( ) îñíîâàíèé îòâåðãíóòü íåò, ãèïîòåçó H 0( ) ñëåäóåò îòâåðã-

íóòü, òàê êàê êâàíòèëè ðàñïðåäåëåíèÿ Ôèøåðà ðàâíû F0,95; 8,128 ≈ 2, 0 è

F0,95;16,128 ≈ 1,8 . Êðèòåðèé (4.23) ïðîâåðêè ãèïîòåçû H 0(3) ðàâåí F = 2,6603, ãèïîòåçà îòâåðãàåòñÿ , òàê êàê êâàíòèëü F0,95; 24,128 ≈ 1, 6 .

51

5. ÑÒÀÒÈÑÒÈ×ÅÑÊÀß ÐÅÃÐÅÑÑÈß 5.1. Ñòàòèñòè÷åñêèé ïðîãíîç Ðàññìàòðèâàåòñÿ ñëó÷àé, êîãäà èìåþòñÿ ñëó÷àéíûå âåëè÷èíû y è X =  x1 , x2 , ..., x p  , ïðè÷åì èõ ñîâìåñòíàÿ ïëîòíîñòü f x1 , ..., x p , y ≠ f x1 , ..., x p f ( y ). (5.1) Òîãäà, íàáëþäàÿ X è çíàÿ óñëîâíóþ ïëîòíîñòü (5.2) f ( y | X ) = f ( X, y ) / f ( X ) , ìîæíî äàòü íåêîòîðóþ óñëîâíóþ îöåíêó âåëè÷èíû y. Ïðàêòè÷åñêèé ñìûñë ýòîé çàäà÷è â òîì, ÷òî âåëè÷èíà y ìîæåò áûòü íåäîñòóïíîé äëÿ íåïîñðåäñòâåííûõ èçìåðåíèé (íàïðèìåð, òåìïåðàòóðà ïîâåðõíîñòè Ñîëíöà), è òîãäà ïðèõîäèòñÿ èñïîëüçîâàòü êîñâåííûå èçìåðåíèÿ. Ýêñòðàïîëÿöèÿ â òåîðèè ëèíåéíîé ôèëüòðàöèè òàêæå îòíîñèòñÿ ê ýòîìó êëàññó çàäà÷.  ðåãðåññèîííîì àíàëèçå ïðèíÿòà ñëåäóþùàÿ òåðìèíîëîãèÿ [1]. Íàáëþäàåìûå âåëè÷èíû X íàçûâàþòñÿ ïðåäñêàçûâàþùèìè ïåðåìåííûìè. Ôóíêöèÿ ϕ ( X ) , êîòîðàÿ èñïîëüçóåòñÿ äëÿ îöåíèâàíèÿ y, íàçûâàåòñÿ ïðåäèêòîðîì âåëè÷èíû y ïî X . Ïîñòðîåíèå îïòèìàëüíûõ ïðåäèêòîðî⠖ çàäà÷à òåîðèè ñòàòèñòè÷åñêîé ðåãðåññèè. T

(

)

(

)

5.2. Îïòèìàëüíûé ïðåäèêòîð Íåðàâåíñòâî (5.1) îçíà÷àåò íàëè÷èå çàâèñèìîñòè ìåæäó y è X, ÷òî è ïîçâîëÿåò ïðåäñêàçàòü y ïî X. Ñðåäíåå çíà÷åíèå y ñ óñëîâíîé ïëîòíîñòüþ (5.2)1 1 Äëÿ âåëè÷èíû (5.3) â "Ìàòåìàòè÷åñêîé ñòàòèñòèêå" [1] ïðèíÿòî íåóäà÷íîå îáîçíà÷åíèå M[x]: x – âåêòîð âûáîðêè, çíà÷èò è M[x] – âåêòîð, â òî âðåìÿ, êàê M[y] – ÷èñëî. Äëÿ ïîäðîáíîãî èçó÷åíèÿ âîïðîñîâ àíàëèçà çàâèñèìîñòåé ìîæíî ðåêîìåíäîâàòü ñëåäóþùóþ ëèòåðàòóðó: Ì. Êåíäàëë è À. Ñòúþàðò "Ñòàòèñòè÷åñêèå âûâîäû è ñâÿçè" (ãëàâû 26–29), à òàêæå Àéâàçÿí Ñ. À. "Ïðèêëàäíàÿ ñòàòèñòèêà. Èññëåäîâàíèå çàâèñèìîñòåé" [12].

52

M [ y | X] = ∫ yf ( y | X ) dy = y X

(5.3)

çàâèñèò îò X è íàçûâàåòñÿ ôóíêöèåé ðåãðåññèè y íà X. Ïóñòü ϕ ( X ) – íåêîòîðûé ïðåäèêòîð âåëè÷èíû y ïî X. Îïòèìàëüíûì ïðåäèêòîðîì ñ÷èòàåòñÿ òîò, êîòîðûé ìèíèìèçèðóåò ñðåäíåêâàäðàòè÷åñêóþ ïîãðåøíîñòü 2 δ = M  ( y − ϕ ( X ))  . (5.4)   Îïòèìàëüíûé ïðåäèêòîð ñóùåñòâóåò è èìååò âèä [1] ϕopt ( X ) = y X . (5.5) Äåéñòâèòåëüíî, äëÿ ïðîèçâîëüíîãî ïðåäèêòîðà ïîãðåøíîñòü (5.4) ìîæíî çàïèñàòü ïîäîáíî (3.8)

{

}

2 2 M ( y − ϕ ( X ))  = M  ( y − y X ) + ( y X − ϕ ( X ))  =    

= M ( y − y X 

)2  + M ( y X

2 − ϕX )  ≥ M ( y − y X  

)2  .

(5.6)

Ðàâåíñòâî â (5.6) äîñòèãàåòñÿ ïðè ϕ ( X ) = y X . Ìèíèìàëüíîå çíà÷åíèå ïîãðåøíîñòè (5.4) ìîæíî çàïèñàòü δ min = M X  M y ( y − y X  

)2   = M X 

 σ 2y; X  = σ 2y  

(5.7)

êàê ñðåäíåå çíà÷åíèå óñëîâíîé äèñïåðñèè σ2y; X (óñðåäíåíèå – ïî âñåì âîçìîæíûì ðåàëèçàöèÿì x âåêòîðà X). Ïðèìåð 5.1. n-ìåðíûé íîðìàëüíûé âåêòîð Xn ∈ Ν (M X , B ) èìååò ïëîòíîñòü ðàñïðåäåëåíèÿ [2]

f (X) =

( 2π )− n / .2  1 exp − ( X − M X  2 det (B )

)

T

n

 B −1 X − M X n  , 

(

)

(5.8)

M Xn – âåêòîð ìàòåìàòè÷åñêèõ îæèäàíèé, B – êîððåëÿöèîííàÿ ìàòðèöà, n = m1 + m2. Òîãäà, ðàçáèâ âåêòîð Xn íà âåêòîðû X è Y ðàçìåðíîñòüþ ñîîòâåòñòâåííî m1 è m2 (XT = [X; Y]), ìîæíî çàïèñàòü óñëîâíóþ ïëîòíîñòü T m2-ìåðíîãî íîðìàëüíîãî âåêòîðà Y =  xm1 +1 , ..., xn  êàê ôóíêöèþ âåêòîðà XT =  x1 , ..., xm1  : Y | X ∈ Ν (MY / X , BY / X ) . Äëÿ ðàñ÷åòà âåêòîðà óñëîâíûõ

53

ìàòåìàòè÷åñêèõ îæèäàíèé MY / X è êîððåëÿöèîííîé ìàòðèöû BY / X âåêòîð ñðåäíèõ ïðåäñòàâëÿåòñÿ â âèäå

MT = MTX ; MTY  , à êîððåëÿöèîííàÿ ìàòðèöà ðàçáèâàåòñÿ íà 4 ìàòðèöû

 B11 B12  B= , B 21 B 22 

(5.9)

ñîîòâåòñòâóþùèå âåêòîðàì X è Y: íà m1 × m1 ìàòðèöó B11, m1 × m2 – ìàòðèöó B12, m2 × m1 – ìàòðèöó B21 è m2 × m2 ìàòðèöó B22; X ∈ Ν (M X , B11 ) ,

Y ∈ Ν (MY , B 22 ) . Òîãäà [2, 11, 12] (òåðìèí ''ìàðãèíàëüíîå'' ðàñïðåäåëåíèå, ÷àñòî âñòðå÷àþùååñÿ â ïåðåâîäíîé ëèòåðàòóðå, îçíà÷àåò ÷àñòíîå áåçóñëîâíîå ðàñïðåäåëåíèå (marginal distribution) íåêîòîðîãî ïîäìíîæåñòâà, íàïðèìåð ðàñïðåäåëåíèå m2 ñîñòàâëÿþùèõ âåêòîðà Xn ) −1 MY / X = MY + B 21B11 (x − M X ),

(5.10)

−1 (5.11) BY / X = B 22 − B 21B11 B12 , ãäå x – âûáîðêà çíà÷åíèé âåêòîðà X. Ìîæíî îòìåòèòü, ÷òî äëÿ íîðìàëüíîãî

ðàñïðåäåëåíèÿ MY / X – ëèíåéíàÿ ôóíêöèÿ âûáîðêè, à êîððåëÿöèîííàÿ ìàòðèöà BY / X óñëîâíîãî ðàñïðåäåëåíèÿ îò âûáîðêè íå çàâèñèò. Ïóñòü â (5.1) ýëåìåíòû êîððåëÿöèîííîé ìàòðèöû ðàâíû

bij = σ2 e

−α i − j

,

i, j = 1, ..., 5; α = 1/2 ; M Xn = Ο . Åñëè çàäàòü m1 = 3, m2 = 2, òî ìàòðèöà (5.9)

1, 0000 0, 6065  B = σ2 0,3679   0, 2231  0,1353

îïåðàòîð

0, 6065 0, 2231 0,3679 0,1353  1, 0000 0, 6065 0,3679 0, 2231 0, 6065 1, 0000 0, 6065 0,3679  ,  0,3679 0, 6065 1, 0000 0, 6065 0, 2231 0,3679 0, 6065 1, 0000   0 0 0, 6065 −1 = A = B 21B11 ,  0 0 0,3679 

54

(5.12)

âåêòîð óñëîâíûõ ìàòåìàòè÷åñêèõ îæèäàíèé (5.10)

MY / X = MY + A ( x − M X ) = Ax, ò. å. m4 | x = 0, 6065 x3 , m5 | x = 0,3679 x3 . Çàâèñèìîñòü òîëüêî îò ïîñëåäíåãî íàáëþäåíèÿ – ñâîéñòâî ìàðêîâñêîãî ïðîöåññà (íîðìàëüíûé ïðîöåññ ñ êîððåëÿöèîííîé ìàòðèöåé (5.11) – ìàðêîâñêèé).  0, 6321 0,3834  −1 BY / X = B 22 − B 21B11 B12 = σ 2  .  0,3834 0,8647 

Åñëè â ìàòðèöå (5.12) ýëåìåíòû 0,6065 çàìåíèòü íà 0,7065, òî  0,1722 –0, 4157 0,9369  A= ,  0, 0703 –0,1362 0, 4382   0, 4526 0, 4313 BY / X = σ 2  ,  0, 4313 0,8597  m4 | x = 0,1722 x1 − 0, 4157 x2 + 0,9369 x3 , m5 | x = 0, 0703 x1 − 0,1362 x2 + 0, 4382 x3 .

Ïðèìåð 5.2. Ïóñòü â ïðèìåðå 5.1 m2 = 1 . Òîãäà XT = [ x1 , ..., xn −1 ], âåêòîð

(

)

Y âûðîæäàåòñÿ â ÷èñëî xn = y, y | X ∈ Ν y X , σ2y; X . B12 – âåêòîð-ñòîëáåö, B21 – âåêòîð-ñòðîêà, B 22 =

σ2n ;

−1 y X = mn + B 21B11 (x − M X ),

(5.13)

−1 σ 2y ; X = σ 2n − B 21B11 B12 .

(5.14)

Åñëè çàäàòü è m1 = 1 , òî ïëîòíîñòü (5.8) äâóìåðíîãî íîðìàëüíîãî ðàñïðåäåëåíèÿ çàïèñûâàåòñÿ

f ( x, y ) =

1 2πσ x σ y

− 2ρ

 1  exp − 2 2 1− ρ  2 1 − ρ

(

)

 ( x − m )2 1  − 2  σ x 

( x − m1 )( y − m2 ) ( y − m2 )2   σxσ y

+

σ2y

,  

ìîìåíòû (5.13) è (5.14)

55

m y | x = m2 + ρ

σy σx

( x − m1 ) ,

(

)

σ 2y | x = 1 − ρ2 σ 2y ,

(5.15)

óñëîâíàÿ ïëîòíîñòü (5.2) f ( y | x) =

1

(

2πσ 2y 1 − ρ2

)

 1  × exp − 2 2  2 1 − ρ σ y

σy   ×  y − m2 − ρ ( x − m1 )  σx  

(

)

2

 . 

(5.16)

Äëÿ íîðìàëüíîãî ðàñïðåäåëåíèÿ îïòèìàëüíûé ïðåäèêòîð (5.5) çàïèñûâàåòñÿ â âèäå (5.13), à ìèíèìàëüíàÿ ïîãðåøíîñòü (5.7) δmin = M X  σ2y; X  = σ2y = σ2y; X (5.17)   ðàâíà ïîãðåøíîñòè (5.14), òàê êàê (5.14) íå çàâèñèò îò âûáîðêè x.

5.3. Êîððåëÿöèîííîå îòíîøåíèå  ïàðå ñëó÷àéíûõ âåëè÷èí y , ϕ (äàëåå äëÿ êðàòêîñòè ïðåäèêòîð ϕ ( X ) ìîæåò îáîçíà÷àòüñÿ êàê ϕ ) y – ïðåäñêàçûâàåìàÿ ïåðåìåííàÿ, ϕ – ïðåäñêàçûâàþùàÿ. ×åì òåñíåå ñâÿçü (÷åì ñèëüíåå çàâèñèìîñòü) ìåæäó íèìè, òåì òî÷íåå âåëè÷èíà ϕ ïðåäñêàçûâàåò çíà÷åíèå y.  ìàòåìàòè÷åñêîé ñòàòèñòèêå çàäà÷à èññëåäîâàíèÿ çàâèñèìîñòåé èìååò ñàìîñòîÿòåëüíîå çíà÷åíèå [12], íî ïîäõîä ê åå ðåøåíèþ àíàëîãè÷åí ïîäõîäó ê çàäà÷å ïðåäñêàçàíèÿ. Ëîãè÷åñêàÿ ñõåìà òàêîâà: îò ïðåäûäóùèõ íàáëþäåíèé X çàâèñÿò è y, è ϕ ; ÷åì ñèëüíåå çàâèñèìîñòü y îò X , òåì áëèæå ýêñòðàïîëèðóþùàÿ îöåíêà yˆ = ϕ ê òîìó ñëó÷àéíîìó çíà÷åíèþ y, êîòîðîå ïîÿâèòñÿ; åñëè y âîâñå íå çàâèñèò îò X, òî íåçàâèñèìû òàêæå y è ϕ , è â ýòîì ñëó÷àå ïðîãíîçèðîâàíèå òåðÿåò ñìûñë. Äàëåå ìîæíî ââåñòè ñëåäóþùóþ ìîäåëü íàáëþäåíèé: ðåàëèçàöèÿ x âåêòîðà X ïîðîæäàåò ïðåäèêòîðíóþ ïåðåìåííóþ yX (x) – íåñëó÷àéíóþ ôóíêöèþ x; ïðåäèêòîðíàÿ ïåðåìåííàÿ â ñâîþ î÷åðåäü ïîðîæäàåò ñëó÷àéíóþ âåëè÷èíó y X = y | X , óñëîâíàÿ äèñïåðñèÿ êîòîðîé σ2y; X õàðàê56

òåðèçóåò îñòàòî÷íóþ ñëó÷àéíóþ ñîñòàâëÿþùóþ ïîãðåøíîñòè ïðîãíîçà. Óñëîâíóþ äèñïåðñèþ ìîæíî óñðåäíèòü ïî ðåàëèçàöèÿì x:

σ2y = ∫ σ2y; X f ( X ) d X .

Òîãäà ïîëíàÿ (áåçóñëîâíàÿ) äèñïåðñèÿ σ2y ïðåäñêàçûâàåìîé âåëè÷èíû ïðåäñòàâëÿåòñÿ ñóììîé σ2y = σϕ2 + σ2y ,

(5.18)

σϕ2 – äèñïåðñèÿ ôóíêöèè ðåãðåññèè, õàðàêòåðèçóþùàÿ ðàññåÿíèå y çà

ñ÷åò ñëó÷àéíîñòè âåêòîðà X . Äëÿ íîðìàëüíûõ âåëè÷èí, êàê ñëåäóåò èç (5.17), ðàâåíñòâà (5.7) è (5.18) ïðèíèìàþò âèä 2 δmin = M X  M y ( y − y X )   = σ2y; X ;     Îòíîøåíèå

â êîòîðîì I ϕ y

σ2y = σϕ2 + σ2y; X . σ2y σϕ2 (5.19) I ϕ2y = 2 = 1 − 2 , σy σy íàçûâàåòñÿ èíäåêñîì êîððåëÿöèè [4], ïîêàçûâàåò, êàêàÿ

÷àñòü ïîëíîé äèñïåðñèè σ2y îáóñëîâëåíà ïðåäèêòîðíîé ôóíêöèåé, ò. å. ìåòîäîì ðåøåíèÿ. Èíäåêñ êîððåëÿöèè ïîä÷èíÿåòñÿ íåðàâåíñòâó 0 ≤ Iϕ y ≤ 1

Çíà÷åíèå I ϕ y = 0 ñîîòâåòñòâóåò ðàâåíñòâó σ2y = σ2y , ò. å. íåçàâèñèìîñòè íàáëþäåíèÿ y îò ïðåäñêàçàíèÿ. Çíà÷åíèå I ϕ y = 1 ñîîòâåòñòâóåò ðàâåíñòâó σ2y = 0 , îçíà÷àþùåìó íàëè÷èå ôóíêöèîíàëüíîé ñâÿçè ìåæäó y è âåêòîðîì X. Èíäåêñ êîððåëÿöèè èñïîëüçóåòñÿ êàê íàèáîëåå îáùàÿ õàðàêòåðèñòèêà ñòåïåíè ñâÿçè [12]. Ïðè íåèçâåñòíîì y êâàäðàò îöåíêè èíäåêñà êîððåëÿöèè íàçûâàåòñÿ êîððåëÿöèîííûì îòíîøåíèåì [12]. Äëÿ îïòèìàëüíîãî ïðåäèêòîðà (5.5) ϕ ( X ) = y X (íåñìåùåííîãî, ò. å. ñî ñâîéñòâîì M [ y X ] = y ) êîððåëÿöèîííûé ìîìåíò

Kϕy = M ( y X − y )( y − y ) 57

ïðè çàìåíå y íà îöåíêó yˆ = y X ñòàíîâèòñÿ ðàâíûì K ϕy = σϕ2 , òàê ÷òî êâàäðàò îöåíêè êîýôôèöèåíòà êîððåëÿöèè

ρˆ 2 ( y X , y ) =

σϕ4 σϕ2 σ2y

=

σϕ2 σ2y

= η2y , X

– êîððåëÿöèîííîå îòíîøåíèå [1]. Îíî ìîæåò áûòü çàïèñàíî àíàëîãè÷íî (5.19) η2y , X = 1 − σ 2y / σ2y .

Åñëè îøèáêà ïðîãíîçà

(5.20)

σ2y → 0, η2y , X → 1; η2y , X = 0, åñëè σ 2y = σ 2y ,

ò. å. ó÷åò ïðåäûäóùèõ íàáëþäåíèé X íè÷åãî íå äàåò. Ïðèìåð 5.3. Ðàññìàòðèâàåòñÿ ïàðà íîðìàëüíûõ âåëè÷èí ñ óñëîâíîé ïëîòíîñòüþ (5.16) è ìîìåíòàìè (5.15). Çäåñü îïòèìàëüíûé ïðåäèêòîð (5.5) ϕopt = y x = m y | x = m2 + ρ

îáåñïå÷èâàåò ïîãðåøíîñòü ïðîãíîçà (5.7)

(

σy σx

( x − m1 )

)

σ2y = σ2y | x = 1 − ρ2 σ2y . Êîððåëÿöèîííîå îòíîøåíèå (5.20) ðàâíî η2y , X = 1 − σ 2y / σ 2y = ρ2

êâàäðàòó êîýôôèöèåíòà êîððåëÿöèè.

5.4. Ëèíåéíàÿ ôóíêöèÿ ðåãðåññèè Ïóñòü ôóíêöèÿ ðåãðåññèè (5.3) y X = b0 + bT x = b0 + b1 x1 + ... + b p x p .

(5.21)

Îïòèìàëüíûé ïðåäèêòîð y ïî X [1] ϕopt ( X ) = y + K T B −1 ( X − M X ) ,

(5.22)

T ãäå K = by1 , by 2 , ..., by p  – âåêòîð êîððåëÿöèîííûõ ìîìåíòîâ

byj = M  y o xoj  , j = 1, ..., p ; B – êîððåëÿöèîííàÿ ìàòðèöà âåêòîðà X .  

58

 îáùåì ñëó÷àå îïòèìàëüíûé ïðåäèêòîð (5.5) ϕopt ( X ) = y X , òàê ÷òî â ñëó÷àå (5.21) îïòèìàëüíû òå çíà÷åíèÿ êîýôôèöèåíòîâ b•j , êîòîðûå ìèíèìèçèðóþò âåëè÷èíó

{

}  = M {( y − y ) − b − bT ( X − X )}  =

 d 2 = M  y − b0 − bT X 

2

2

(

 = M  y o − bT Xo − b 

)  , 2

o ãäå b = b0 − y + bT X íåñëó÷àéíàÿ ñîñòàâëÿþùàÿ, y ÷èñëî;

d 2 = σ 2y + bT Bb + b 2 − M [2 y o bT Xo − 2by o − 2bbT Xo  =  = σ 2y + bT Bb + b 2 − 2bT M  y o Xo  = σ 2y + bT Bb + b 2 − 2bT K  

òàê êàê M  y o  = 0, M  Xo  = 0 . Èç ýòîãî ïðåäñòàâëåíèÿ ñëåäóåò, ÷òî     2 çíà÷åíèå d ìèíèìèçèðóþò (5.23) b • = 0 , b • = B −1 K . 0

Äåéñòâèòåëüíî, åñëè ïîëîæèòü b = b• + δ , òî ñóììà bT Bb − 2bT K = K T B −1K + δT K + K T δ + δT Bδ − −2δT K − 2K T B −1K = −b•T K + δT Bδ ≥ −b•T K ,

è ðàâåíñòâî äîñòèãàåòñÿ ïðè β = 0. Îïòèìàëüíîå çíà÷åíèå êîýôôèöèåíòà β0 åñòü (5.24) b0• = y − b•T X . Òàêèì îáðàçîì, îïòèìàëüíûé ïðåäèêòîð ϕopt ( X ) = y X = b0• + b•T X = y + b•T Xo = y + K T B −1 Xo

(5.25)

èìååò âèä (5.22). Ñðåäíåêâàäðàòè÷åñêàÿ îøèáêà ïðåäèêòîðà (5.22)

{

}

{

2 δ = σ 2y = M  y − ϕopt ( X )  = M  y o − b•T Xo   

} 2  =

= σ2y − 2K T B −1K + K T B −1K = σ2y − K T B −1K

59

îïðåäåëÿåò êîððåëÿöèîííîå îòíîøåíèå (5.20) η2y , X =

K T B −1K σ2y

,

(5.26)

êîòîðîå íàçûâàþò ìíîæåñòâåííûì êîýôôèöèåíòîì êîððåëÿöèè [1]. Ìíîæåñòâåííûé êîýôôèöèåíò êîððåëÿöèè îáîáùàåò ïîíÿòèå êîýôôèöèåíòà êîððåëÿöèè (äâóõ âåëè÷èí) íà ñëó÷àé íåñêîëüêèõ ïåðåìåííûõ. Ñëåäóåò ïîä÷åðêíóòü, ÷òî îïòèìàëüíûé ïðåäèêòîð (5.25) åñòü íå ÷òî èíîå, êàê óñëîâíîå ñðåäíåå íîðìàëüíîé âåëè÷èíû (5.13) −1 y X = mn + B 21B11 (x − M X ).

òàê êàê mn ≡ y , B 21 ≡ K T , B11 ≡ B . Ýòîò âûâîä íå äîëæåí âûçûâàòü óäèâëåíèå – îïòèìàëüíûå àëãîðèòìû îáðàáîòêè íîðìàëüíûõ âåëè÷èí, êàê ïðàâèëî, ëèíåéíû. Ñëåäóåò òàêæå ïîìíèòü, ÷òî êëàññè÷åñêàÿ ìàòåìàòè÷åñêàÿ ñòàòèñòèêà ðàçâèâàëàñü íà áàçå íîðìàëüíîãî ðàñïðåäåëåíèÿ è ïðåäíàçíà÷åíà ïðåæäå âñåãî äëÿ îáðàáîòêè íîðìàëüíûõ âåëè÷èí. 5.5. Ëèíåéíîå ïðîãíîçèðîâàíèå Ïóñòü ôóíêöèÿ ðåãðåññèè íåèçâåñòíà, è òðåáóåòñÿ ïîñòðîèòü îïòèìàëüíûé ïðåäèêòîð â êëàññå ëèíåéíûõ ïðåäèêòîðîâ Ëèíåéíàÿ ôóíêöèÿ

ϕ ( X ) = b0 + bT X .

ϕ• ( X ) = b0• + b•T X

(5.27)

ñî ñâîéñòâàìè (5.23)–(5.25) åñòü îïòèìàëüíûé ëèíåéíûé ïðåäèêòîð äëÿ y. Ýòà ôóíêöèÿ ìàêñèìàëüíî êîððåëèðîâàíà ñ y ñðåäè âñåõ ëèíåéíûõ ïðåäèêòîðîâ [1]. Ñïðàâåäëèâîñòü ïåðâîãî óòâåðæäåíèÿ ñëåäóåò èç òîãî, ÷òî îïòèìàëüíûå b0• è b• ñîîòâåòñòâóþò ìèíèìóìó âåëè÷èíû d2 ; îíè íàéäåíû âûøå (ôîðìóëû (5.23), (5.24)), ïðåäèêòîð (5.25) ñîâïàäàåò ñ îïòèìàëüíûì ëèíåéíûì ïðåäèêòîðîì (5.27).  ñîîòâåòñòâèè ñ (5.23) êîððåëÿöèîííûå ìîìåíòû M  y o , bT Xo  = bT K • = K T B −1K • ,   o o • T M  y , b X  = b•T K • = K •T B −1K •  

60

Äèñïåðñèÿ σ2 •T

b Xo

= b•T Bb• = K •T B −1K • ,

òàê ÷òî ìîæíî çàïèñàòü

(

σ2y ρ2 y, bT

(M  y , b X = o

)

Xo  

T

σ 2T

b X

≤K

•T

−1

(

2

T

B −1K •

K T B −1K

)

2

≤

)

B K = σ2y ρ2 y, b•T X .

(

•

) = (K

) (

)

Ñëåäîâàòåëüíî, ρ y , b•T X = ρ y , ϕ• ( X ) ≥ ρ ( y , ϕ ( X )) äëÿ ëþáîé ëèíåéíîé ôóíêöèè ϕ ( X ) , ÷òî è äîêàçûâàåò ìàêñèìàëüíóþ êîððåëèðîâàííîñòü ôóíêöèè (5.26) ñ y. Êàê ñëåäóåò èç (5.26), êâàäðàò ìàêñèìàëüíîé êîððåëÿöèè

(

)

ρ2 y, ϕ• ( X ) =

b•T Bb• σ2y

=

K •T B −1K • σ2y

= ρ2y , X

(5.28)

ðàâåí ìíîæåñòâåííîìó êîýôôèöèåíòó êîððåëÿöèè η2y , X ìåæäó y è îïòèìàëüíûì ëèíåéíûì ïðåäèêòîðîì. Òàê êàê η2y , X – ìàêñèìóì êîððå2 ëÿöèè ìåæäó y è ïðîèçâîëüíûìè ôóíêöèÿìè X , à ρ y, X – ìàêñèìóì êîððåëÿöèè ìåæäó y è ëèíåéíûìè ôóíêöèÿìè X , òî

η2y , X ≥ ρ2y , X .

Ïðè ëèíåéíîé ðåãðåññèè îíè ðàâíû, òàê ÷òî ðàçíîñòü η2y , X – ρ2y , X èñïîëüçóþò êàê ïîêàçàòåëü îòêëîíåíèÿ ðåãðåññèè îò ëèíåéíîé. Ïðèìåð 5. 4. Ýëåìåíòû êîððåëÿöèîííîé ìàòðèöû B ðàâíû

bij = ( −1)

i− j

e

− i− j / 2

ïðè i − j ≠ 1 çàäàåòñÿ bij = −e

, i − j ≠ 1; i, j = 1, ..., 7;

− i− j / 2

− 0,1 äëÿ òîãî, ÷òîáû ïðîöåññ íå áûë

ìàðêîâñêèì. Ãåíåðèðóþòñÿ (RANDN) òðè ðåàëèçàöèè âåêòîðà

X ∈ Ν (M X , B ) , mi = 2 . Ðàñ÷åò óñëîâíûõ ìàòåìàòè÷åñêîãî îæèäàíèÿ è äèñïåðñèè âîñüìîãî (íåíàáëþäàåìîãî ïîêà) çíà÷åíèÿ x8 ïî ôîðìóëàì (5.13)

(

−1 è (5.14) äàåò: B 21 B11

)

T

= [−0, 0191; −0, 0509; −0, 0963; − 0,1681; −0, 2979;

61

−1 −0, 4758; −0, 960 8] ; B 21 B11 B12 = 0, 5535 ; σ 2y ;

X

= 0, 4465 . Äëÿ òðåõ ðåàëè-

çàöèé X ïîëó÷åíû çíà÷åíèÿ y X = m8 | X2,1349; 2, 5520; 2, 2226 . Ãåíåðèðî-

(

2 âàíèå òðåõ ÷èñåë y8 ∈ Ν y X , σ y; X

) äàåò, íàïðèìåð,

x8 = 1, 6010; 2, 0407;

2, 7984 . Èõ ñðàâíåíèå ñ y X ïîêàçûâàåò êîíêðåòíîå âëèÿíèå ñëó÷àéíîé ñî2 ñòàâëÿþùåé ñ äèñïåðñèåé σ y ;

X

= 0, 4465 . Êàê ñëåäóåò èç (5.28), çäåñü ïðîèç-

2 −1 âåäåíèå b•T Bb• = K •T B −1K • = B 21B11 B12 , òàê ÷òî ïðè σ y = 1 ìíîæåñòâåí2 íûé êîýôôèöèåíò êîððåëÿöèè η y , X (5.26) è êâàäðàò ìàêñèìàëüíîé êîððåëÿ2 öèè ρ y , X ðàâíû 0,5535.

62

ÇÀÊËÞ×ÅÍÈÅ Ìîäåëè ëèíåéíîãî ðåãðåññèîííîãî àíàëèçà, ðàññìîòðåííûå â ïîñîáèè, øèðîêî ïðèìåíÿþòñÿ â íàóêå è â ðàçëè÷íûõ ïðèëîæåíèÿõ, êîãäà èññëåäóþòñÿ îòíîøåíèÿ ìåæäó ïåðåìåííûìè â óñëîâèÿõ ñòàòèñòè÷åñêîé íåîïðåäåëåííîñòè. Ðåãðåññèîííàÿ ìîäåëü ïðèíàäëåæèò êëàññó îáîáùåííûõ ëèíåéíûõ ìîäåëåé ñî ñëåäóþùåé ñõåìîé ïîñòðîåíèÿ. Ïåðåìåííûå y è x1, ..., xn ðàññìàòðèâàþòñÿ ñ òî÷êè çðåíèÿ íåîáõîäèìîñòè àïïðîêñèìàöèè y ëèíåéíîé êîìáèíàöèåé îáúÿñíÿþùèõ ïåðåìåííûõ x1, ..., xn. Ïðåäïîëàãàåòñÿ, ÷òî ïëîòíîñòü ðàñïðåäåëåíèÿ f ( y ) = f ( y; θ ) ò. å. îíà îïðåäåëÿåòñÿ ïàðàìåòðîì θ – ïðåäèêòîðîì, ëèíåéíî çàâèñÿùèì îò ïåðåìåííûõ x1, ..., xn.  ðàñïîðÿæåíèè èññëåäîâàòåëÿ èìååòñÿ âûáîðêà íàáëþäåíèé íàä ïåðåìåííûìè, êîòîðûå îí îïèñûâàåò âûáîðî÷íîé ìîäåëüþ. Îïòèìàëüíàÿ ëèíåéíàÿ êîìáèíàöèÿ îáúÿñíÿþùèõ ïåðåìåííûõ x1, ..., xn íåèçâåñòíà, íàáëþäåíèÿ ïîçâîëÿþò òîëüêî ïîñòðîèòü âûáîðî÷íóþ èõ ìîäåëü è ïðîâåðèòü ïðåäïîëîæåíèÿ î ïëîòíîñòè ðàñïðåäåëåíèÿ è åå ñâÿçè ñ ïðåäèêòîðîì. Îòëàæåííàÿ ðåãðåññèîííàÿ ìîäåëü ìîæåò èñïîëüçîâàòüñÿ äëÿ ñæàòîãî îïèñàíèÿ äàííûõ, â êîòîðûõ ïîäàâëåíû ñëó÷àéíûå âûáðîñû; äëÿ ïðîãíîçèðîâàíèÿ íàèáîëåå âåðîÿòíûõ çíà÷åíèé y ïðè çàäàííûõ çíà÷åíèÿõ x1, ..., xn; äëÿ îöåíêè çàâèñèìîñòè y îò xk.

63

Áèáëèîãðàôè÷åñêèé ñïèñîê 1. Èâ÷åíêî Ã. È., Ìåäâåäåâ Þ. È. Ìàòåìàòè÷åñêàÿ ñòàòèñòèêà. Ì.: Âûñø. øêîëà, 1984. 2. Ñåáåð Äæ. Ëèíåéíûé ðåãðåññèîííûé àíàëèç. Ì.: Ìèð, 1980. 3. Àáåçãàóç Ã. Ã. Ñïðàâî÷íèê ïî âåðîÿòíîñòíûì ðàñ÷åòàì. Ì.: Âîåíèçäàò, 1970. 4. Ïîòåìêèí Â. Ã. Ñèñòåìà MATLAB. Ñïðàâî÷íîå ïîñîáèå. Ì.: Äèàëîã-ÌÈÔÈ, 1997. 5. Ïîòåìêèí Â. Ã., Ðóäàêîâ Ï. È. MATLAB 5 äëÿ ñòóäåíòîâ. Ì.: Äèàëîã-ÌÈÔÈ, 1999. 6. Äâàéò Ã. Á. Òàáëèöû èíòåãðàëîâ è äðóãèå ìàòåìàòè÷åñêèå ôîðìóëû. Ì.: Íàóêà, 1983. 7. Êîðí Ã., Êîðí Ò. Ñïðàâî÷íèê ïî ìàòåìàòèêå. Ì.: Íàóêà, 1974. 8. Õîðí Ð., Äæîíñîí ×. Ìàòðè÷íûé àíàëèç. Ì.: Ìèð, 1989. 9. Áðîíøòåéí È. Í., Ñåìåíäÿåâ Ê. À. Ñïðàâî÷íèê ïî ìàòåìàòèêå. Ì.: Íàóêà, 1986. 10. Ãàëååâ Ý. Ì., Òèõîìèðîâ Â. Ì. Êðàòêèé êóðñ òåîðèè ýêñòðåìàëüíûõ çàäà÷. Ì.: Èçä-âî ÌÃÓ, 1989. 11. Êîðîëþê Â. Ñ. è äð. Ñïðàâî÷íèê ïî òåîðèè âåðîÿòíîñòåé è ìàòåìàòè÷åñêîé ñòàòèñòèêå. Ì.: Íàóêà, 1985. 12. Àéâàçÿí Ñ. À. Ïðèêëàäíàÿ ñòàòèñòèêà. Èññëåäîâàíèå çàâèñèìîñòåé. Ì.: Ôèíàíñû è ñòàòèñòèêà, 1985.

64

Îãëàâëåíèå Ââåäåíèå ............................................................................................................. 1. Ìåòîä íàèìåíüøèõ êâàäðàòîâ ....................................................................... 1.1. Ìîäåëü ðåãðåññèîííîãî àíàëèçà .................................................... 1.2. Îöåíèâàíèå êîýôôèöèåíòîâ ðåãðåññèè ......................................... 1.3. Îñòàòî÷íàÿ äèñïåðñèÿ ..................................................................... 1.4. Îïòèìàëüíàÿ ìàòðèöà ïëàíà ........................................................... 1.5. Âû÷èñëåíèå îïòèìàëüíîé ìàòðèöû ïëàíà .................................... 2. Íîðìàëüíàÿ ðåãðåññèÿ ................................................................................... 2.1. Îöåíêè ìàêñèìàëüíîãî ïðàâäîïîäîáèÿ ïàðàìåòðîâ íîðìàëüíîé ðåãðåññèè .................................................................... 2.2. Èíòåðâàëüíûå îöåíêè ïàðàìåòðîâ íîðìàëüíîé ðåãðåññèè .................................................................... 2.3. Ñîâìåñòíûå äîâåðèòåëüíûå èíòåðâàëû ......................................... 2.4. F-êðèòåðèé ïðîâåðêè ëèíåéíîé ãèïîòåçû ..................................... 3. Ïðîâåðêà îäíîðîäíîñòè ................................................................................ 3.1. Îáîáùåííûå îöåíêè íàèìåíüøèõ êâàäðàòîâ ................................ 3.2. Êðèòåðèé îäíîðîäíîñòè íàáëþäåíèé ............................................. 4. Äèñïåðñèîííûé àíàëèç .................................................................................. 4.1. Äèñïåðñèîííîå îòíîøåíèå ............................................................. 4.2. Îäíîôàêòîðíûé äèñïåðñèîííûé àíàëèç ........................................ 4.3. Äâîéíàÿ êëàññèôèêàöèÿ. Îöåíèâàíèå ôàêòîðîâ ........................... 4.4. Äâóõôàêòîðíûé äèñïåðñèîííûé àíàëèç ....................................... 5. Ñòàòèñòè÷åñêàÿ ðåãðåññèÿ ............................................................................. 5.1. Ñòàòèñòè÷åñêèé ïðîãíîç .................................................................. 5.2. Îïòèìàëüíûé ïðåäèêòîð ................................................................. 5.3. Êîððåëÿöèîííîå îòíîøåíèå ........................................................... 5.4. Ëèíåéíàÿ ôóíêöèÿ ðåãðåññèè ......................................................... 5.5. Ëèíåéíîå ïðîãíîçèðîâàíèå ............................................................ Çàêëþ÷åíèå ........................................................................................................ Áèáëèîãðàôè÷åñêèé ñïèñîê ..............................................................................

3 4 4 6 9 12 16 22 22 23 28 30 33 33 35 40 40 41 43 47 52 52 52 56 58 60 63 64

65

Ó÷åáíîå èçäàíèå

Âîðîáüåâ Ñòàíèñëàâ Íèêîëàåâè÷ Îñèïîâ Ëåîíèä Àíäðîííèêîâè÷

ÐÅÃÐÅÑÑÈÎÍÍÛÉ ÀÍÀËÈÇ Ó÷åáíîå ïîñîáèå

Ðåäàêòîð À.Â. Ïîä÷åïàåâà Êîìïüþòåðíàÿ âåðñòêà Í. Ñ. Ñòåïàíîâîé

Ëèöåíçèÿ ËÐ ¹020341 îò 07.05.97. Ñäàíî â íàáîð 03.11.00. Ïîäïèñàíî ê ïå÷àòè 28.12.00. Ôîðìàò 60×84 1/16. Áóìàãà òèï. ¹3. Ïå÷àòü îôñåòíàÿ. Óñë. ïå÷. ë. 3,8. Óñë. êð.-îòò. 3,9. Ó÷. -èçä. ë. 4,1. Òèðàæ 100 ýêç. Çàêàç ¹

Ðåäàêöèîííî-èçäàòåëüñêèé îòäåë Ëàáîðàòîðèÿ êîìïüþòåðíî-èçäàòåëüñêèõ òåõíîëîãèé Îòäåë îïåðàòèâíîé ïîëèãðàôèè ÑÏáÃÓÀÏ 190000, Ñàíêò-Ïåòåðáóðã, óë. Á. Ìîðñêàÿ, 67

66