Introduzione ai metodi statistici per il credit scoring
Elena Stanghellini
Introduzione Introduzione ai metodi statistici il credit scoring ai metodiper statistici per il credit scoring
Elena Stanghellini Dipartimento di Economia Finanza e Statistica Università di Perugia
ISBN 978-88-470-1080-2 DOI 10.1007/978-88-470-1081-9
e-ISBN 978-88-470-1081-9
© Springer-Verlag Italia 2009 Quest’opera è protetta dalla legge sul diritto d’autore e la sua riproduzione è ammessa solo ed esclusivamente nei limiti stabiliti dalla stessa. Le fotocopie per uso personale possono essere effettuate nei limiti del 15% di ciascun volume dietro pagamento alla SIAE del compenso previsto dall’art. 68. Le riproduzioni per uso non personale e/o oltre il limite del 15% potranno avvenire solo a seguito di specifica autorizzazione rilasciata da AIDRO, Via Corso di Porta Romana n. 108, Milano 20122, e-mail
[email protected] e sito web www.aidro.org. Tutti i diritti, in particolare quelli relativi alla traduzione, alla ristampa, all’utilizzo di illustrazioni e tabelle, alla citazione orale, alla trasmissione radiofonica o televisiva, alla registrazione su microfilm o in database, o alla riproduzione in qualsiasi altra forma (stampata o elettronica) rimangono riservati anche nel caso di utilizzo parziale. La violazione delle norme comporta le sanzioni previste dalla legge. L’utilizzo in questa publicazione di denominazioni generiche, nomi commerciali, marchi rgistrati, ecc. anche se non specificatamente identificati, non implica che tali denominazioni o marchi non siano protetti dalle relative leggi e regolamenti. Layout copertina: Francesca Tonon Impaginazione: PTP-Berlin, Protago TEX-Production GmbH, Germany (www.ptp-berlin.eu) Stampa: Signum, bollate (MI) Stampato in Italia Springer-Verlag Italia S.r.l., Via Decembrio 28, I-20137 Milano Springer-Verlag fa parte di Springer Science+Business Media (www.springer.com)
Prefazione
C’`e una crescente richiesta, da parte delle istituzioni che operano nel mercato finanziario, di figure con una conoscenza approfondita delle tecniche statistiche per la misurazione ex ante del rischio di credito. La recente crisi economica, originata da un numero inatteso di insolvenze nei mutui ipotecari del mercato immobiliare americano, chiarisce pi` u di molte parole l’importanza che tali competenze rivestono all’interno non solo degli intermediari bancari e finanziari, ma anche degli organismi di vigilanza. A fronte di questa esigenza, tuttavia, vi `e una carenza di libri interamente dedicati all’argomento. Questa monografia costituisce una introduzione ai metodi statistici per la misurazione del rischio di credito, noti come credit scoring. L’obiettivo `e quello di presentare l’argomento in un modo che sia accessibile a coloro che possiedono conoscenze statistiche di base, assieme ad alcune nozioni del contesto bancario in cui questi strumenti sono applicati. L’interesse per il credit scoring risale alla mia partecipazione ad un progetto di ricerca di statistica avanzata presso il Department of Statistics della Open University. L’interazione con colleghi di grande spessore, fra cui David J. Hand, mi ha arricchito moltissimo. La passione per l’argomento `e continuata e la conoscenza si `e approfondita, grazie non solo alla attivit` a di ricerca, ma anche all’insegnamento delle tecniche di credit scoring in vari corsi di master e di laurea specialistica. Come spesso accade, anche questo libro `e la naturale evoluzione delle note da me predisposte per gli studenti. Desidero esprimere la mia gratitudine ai colleghi Franco Moriconi, che per primo mi ha invitato a trasformare le dispense in un libro, Anna Clara Monti, che ha mostrato entusiasmo per il progetto al punto da spingermi a realizzarlo e Giovanni M. Marchetti, che ha contribuito ad arricchire il lavoro con commenti ed osservazioni. Ringrazio inoltre i revisori per i
VI
Prefazione
suggerimenti che hanno portato ad un notevole miglioramento del testo e Chiara Castellano e Francesco Stingo per la correzione di parte degli esercizi presentati. Un sentito ringraziamento a Gepafin S.P.A. e Findomestic S.P.A. che mi hanno gentilmente concesso di pubblicare i risultati di analisi su dati di loro propriet` a. Un pensiero particolare va agli studenti dei corsi passati, che in modo spesso inconsapevole hanno contribuito a rendere pi` u organica, nel tempo, la presentazione degli argomenti. A loro vanno anche le mie tardive scuse per averli usati come “cavie” e la mia gratitudine per l’atteggiamento costruttivo spesso dimostrato. Agli studenti dei corsi futuri rivolgo l’invito a mantenere la curiosit`a e lo spirito di collaborazione dei colleghi che li hanno preceduti. Desidero infine ringraziare tutti coloro che hanno contribuito a rendere piacevole questa esperienza, con consigli di varia natura. Penso innanzi tutto alla mia grande famiglia, a mia mamma e a mio zio Natale. Un profondo riconoscimento infine a Fabio, per tutte le volte che avrebbe voluto gettare via i numerosi libri e articoli sul credit scoring sparsi dentro casa e non lo ha fatto.
Perugia, maggio 2009
Elena Stanghellini
Indice
1
Il credit scoring . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1.1 Introduzione . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1.2 Lo scoring nel credito al consumo . . . . . . . . . . . . . . . . . . . . . . . 1.3 Obiettivi del credit scoring . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1.4 Fasi del credit scoring . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1.5 L’approccio decisionale . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1.6 Lo score e la classificazione delle unit`a . . . . . . . . . . . . . . . . . . . 1.7 Le curve ROC e CAP . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1.8 Il campione di sviluppo e di convalida . . . . . . . . . . . . . . . . . . . . 1.9 Note bibliografiche . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . Problemi . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
1 1 4 5 7 11 16 19 22 24 26
2
Variabili casuali categoriali . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 2.1 Introduzione . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 2.2 Indipendenza fra eventi . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 2.3 Indipendenza fra variabili casuali . . . . . . . . . . . . . . . . . . . . . . . . 2.4 Misure di associazione . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 2.4.1 Il caso di due variabili casuali binarie . . . . . . . . . . . . . . 2.4.2 Il caso di tre variabili casuali binarie . . . . . . . . . . . . . . . 2.5 Indipendenza e associazione . . . . . . . . . . . . . . . . . . . . . . . . . . . . 2.5.1 Una variabile casuale binaria e una variabile casuale categoriale . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 2.5.2 Il caso di pi` u variabili casuali categoriali . . . . . . . . . . . . 2.6 Sulla indipendenza marginale e condizionale* . . . . . . . . . . . . . 2.7 Note bibliografiche . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . Problemi . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
29 29 30 31 33 33 36 38 38 39 40 43 44
VIII
Indice
3
Il modello logistico . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3.1 Introduzione . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3.2 Le variabili dummy . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3.3 Il modello di regressione lineare semplice: richiami . . . . . . . . . 3.4 Il modello logistico semplice . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3.4.1 La forma matriciale . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3.5 Il modello logistico multiplo . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3.5.1 La forma matriciale . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3.6 La stima mediante massima verosimiglianza . . . . . . . . . . . . . . 3.6.1 La matrice delle varianze e delle covarianze asintotica 3.7 Verifica d’ipotesi . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3.7.1 Verifica di ipotesi sul modello . . . . . . . . . . . . . . . . . . . . . 3.7.2 Verifica d’ipotesi sull’effetto di una variabile . . . . . . . . . 3.7.3 Test sul singolo coefficiente . . . . . . . . . . . . . . . . . . . . . . . 3.8 Il criterio di scelta AIC . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3.9 La selezione del modello . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3.9.1 Procedure backward, forward e stepwise . . . . . . . . . . . . 3.10 La tabella di errata classificazione . . . . . . . . . . . . . . . . . . . . . . . 3.10.1 Il confronto con il caso . . . . . . . . . . . . . . . . . . . . . . . . . . . 3.11 Il test di Hosmer e Lemeshow . . . . . . . . . . . . . . . . . . . . . . . . . . . 3.12 Campione bilanciato . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3.13 Un’analisi mediante il modello logistico . . . . . . . . . . . . . . . . . . 3.14 Note bibliografiche . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . Problemi . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
45 45 46 48 49 52 53 59 61 63 63 64 67 67 68 68 69 71 73 74 75 78 83 85
4
L’analisi discriminante . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 4.1 Introduzione . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 4.2 Il caso normale . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 4.2.1 La stima della funzione discriminante . . . . . . . . . . . . . . 4.2.2 Test per l’ipotesi di varianze e covarianze costanti . . . . 4.3 La funzione discriminante di Fisher* . . . . . . . . . . . . . . . . . . . . . 4.4 La scelta delle variabili mediante test basati sulla normalit`a 4.5 La probabilit` a di errore nell’ipotesi di normalit` a* . . . . . . . . . . 4.6 Il caso di campioni piccoli . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 4.7 Il contronto fra il modello logistico e l’analisi discriminante . 4.8 Un’applicazione dell’analisi discriminante . . . . . . . . . . . . . . . . . 4.9 Note bibliografiche . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 4.10 Problemi . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
87 87 88 90 92 92 94 97 98 101 102 105 107
Indice
IX
Altri metodi statistici . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 5.1 Introduzione . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 5.2 Il metodo delle k unit` a pi` u vicine . . . . . . . . . . . . . . . . . . . . . . . 5.3 Gli alberi di classificazione . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 5.4 Le reti neurali . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 5.5 Gli algoritmi genetici . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 5.6 Considerazioni conclusive . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 5.7 Note bibliografiche . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
109 109 109 112 116 118 120 123
Appendice A Alcune variabili casuali . . . . . . . . . . . . . . . . . . . . . . A.1 Variabile casuale di Bernoulli . . . . . . . . . . . . . . . . . . . . . . . . . . . A.2 Variabile casuale binomiale e binomiale relativa . . . . . . . . . . . A.3 Variabile casuale normale . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . A.4 Variabile casuale normale multipla . . . . . . . . . . . . . . . . . . . . . .
125 125 125 126 127
Appendice B Il modello di regressione lineare . . . . . . . . . . . . . B.1 Il modello di regressione lineare multiplo . . . . . . . . . . . . . . . . . B.2 Il problema inferenziale senza l’ipotesi di normalit` a ... . . . .. B.2.1 Prime analisi descrittive del modello stimato . . . . . . . . B.2.2 Analisi della distribuzione degli stimatori . . . . . . . . . . . B.3 . . . e con l’ipotesi di normalit` a .......................... B.3.1 Inferenza sui singoli coefficienti βj . . . . . . . . . . . . . . . . . B.3.2 Inferenza per σ 2 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . B.3.3 Test di adattamento basato sulla distribuzione F di Fisher . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . B.4 Problemi . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
129 129 131 133 134 136 138 142
5
143 145
Appendice C La stima dei parametri della distribuzione normale . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 147 C.1 La stima di massima verosimiglianza . . . . . . . . . . . . . . . . . . . . . 147 C.2 La matrice delle varianze e delle covarianze pooled . . . . . . . . . 150 Appendice D Istruzioni in R . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . D.1 Istruzioni per l’analisi mediante modello logistico . . . . . . . . . . D.1.1 Analisi sul campione di sviluppo . . . . . . . . . . . . . . . . . . . D.1.2 Analisi sul campione di convalida . . . . . . . . . . . . . . . . . . D.2 Istruzioni per l’analisi discriminante . . . . . . . . . . . . . . . . . . . . . Appendice E
153 153 153 154 155
Sigle e simboli . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 157
Soluzioni . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 159 Bibliografia . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 167 Indice analitico . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 175
1 Il credit scoring
1.1 Introduzione Nel momento in cui riceve una richiesta di finanziamento, la banca o l’intermediario finanziario deve valutare il rischio che il soggetto che richiede il credito non sia in grado di fare fronte agli impegni contrattuali. Sempre pi` u spesso nei moderni intermediari finanziari, per formulare il proprio giudizio, l’analista del credito si avvale di tecniche quantitative, basate sull’elaborazione automatica di informazioni standardizzate. L’oggetto di questo libro `e l’insieme delle tecniche statistiche, note come credit scoring, che permettono di giungere ad una misura quantitativa del rischio connesso ad una operazione di finanziamento. Il credit scoring `e nato nel contesto del credito al consumo. In passato, la decisione di concedere un finanziamento si basava su valutazioni di carattere soggettivo, che scaturivano da un legame personale fra il richiedente e l’analista del credito dell’ente erogatore, tipicamente la banca con cui egli trattava. Negli anni recenti, l’elevato volume di richieste e la variet`a dei prodotti finanziari offerti hanno comportato una sempre maggiore spersonalizzazione del rapporto fra le due controparti. Contemporaneamente, la crescente competizione nel mercato ha fatto s`ı che un ritardo nella decisione di concedere un finanziamento comporti una selezione avversa della clientela, dal momento che un cliente, se meritevole, pu`o ottenere il finanziamento da un ente concorrente, maggiormente tempestivo. Sono questi, in essenza, gli elementi che hanno portato alla gestione automatizzata delle informazioni relative al potenziale cliente ed alla elaborazione di un punteggio, detto score, che ne rifletta la affidabilit` a creditizia. Il primo modello di scoring `e stato sviluppato in America agli inizi degli Stanghellini E.: Introduzione ai metodi statistici per il credit scoring. c Springer-Verlag Italia 2009, Milano
2
1 Il credit scoring
anni ’40 (Durand, 1941), ma `e a partire dagli anni ’50 che gli strumenti cominciano a diffondersi e si costituiscono societ`a di consulenza, come la Fair Isaac Institute di San Francisco, che costruiscono sistemi di scoring per banche e altre societ` a finanziarie. I primi studi, condotti in quegli anni di coesistenza fra i due sistemi di erogazione del credito, mostrarono come gli strumenti di scoring migliorano la capacit` a di discriminare fra clienti meritevoli e non meritevoli, portando ad una riduzione delle perdite senza sostanziali diminuzioni del volume delle transazioni che vanno a buon fine (si veda Myers e Forgy, 1963). Il ricorso a procedure automatiche nella decisione di concessione del credito trova motivazioni anche nella sempre pi` u rigorosa legislazione in materia, il cui scopo `e quello di prevenire comportamenti discriminatori. Il primo regolamento `e stato l’ Equal Credit Opportunity Act, approvato dal Congresso degli Stati Uniti nel 1974, con successivi emendamenti nel 1976, il quale, a tutela di minoranze e soggetti deboli dell’economia, proibiva l’uso di alcune informazioni, quali il genere e l’etnia, nella formalizzazione del processo decisionale. Questo primo atto ha indotto altri organismi di vigilanza nazionali e sovranazionali ad emanare una serie di regolamenti che richiamano alla oggettivit` a nella decisione di concessione del credito ed alla coerenza fra la valutazione sul merito e la rischiosit`a della operazione di finanziamento. Le direttive sono state recepite dagli istituti di credito come un invito ad adottare sistemi informatici di gestione delle richieste di finanziamento che, attraverso l’elaborazione automatica dei dati, forniscono un criterio coerente, ripetibile e, soprattutto, oggettivo di concessione del credito. Dall’accuratezza della valutazione del rischio di credito dipende non solo la stabilit` a della banca, ma anche la garanzia che il capitale sia impiegato in maniera efficiente e, di conseguenza, la vitalit`a dell’intero sistema economi` in questa ottica che il Comitato di Basilea, composto dai governatori co. E delle Banche Centrali dei maggiori paesi industrializzati, ha emanato il Secondo accordo sul Capitale, noto anche come Basilea 2. L’accordo, entrato in vigore alla fine del 2006, definisce, fra l’altro, i criteri per la determinazione del patrimonio di vigilanza delle banche e degli intermediari finanziari, ovvero il capitale da porre a copertura dei rischi che scaturiscono dal loro normale funzionamento. A differenza di quanto prevedeva l’accordo precedente, che legava il capitale di vigilanza a parametri rigidi esogenamente determinati, con Basilea 2 i requisiti patrimoniali vengono ancorati alla effettiva rischiosit` a del portafoglio della singola banca. Oltre che a perseguire il miglioramen-
1.1 Introduzione
3
to della qualit` a dei crediti, l’accordo incentiva le banche a costruire uno strumento di valutazione della probabilit` a di insolvenza (in inglese default) al proprio interno, affinch´e la determinazione del capitale da accantonare sia direttamente proporzionale al rischio di credito realmente sopportato dall’intermediario finanziario. Dal momento che le aziende di piccole e medie dimensioni possono essere assimilate a singoli individui, gli strumenti statistici tipici del credit scoring vengono utilizzati anche per misurare la rischiosit`a di questa tipologia di finanziamenti. L’adozione delle tecniche di scoring per la quantificazione del capitale di vigilanza pu` o risultare in taluni casi vantaggiosa, consentendo di abbassare i requisiti patrimoniali (si veda ad esempio Altman e Sabato, 2005). La diffusione dei modelli di scoring da parte del sistema bancario italiano sembra essere abbastanza elevata. Secondo una recente indagine (Albareto et al., 2008), alla fine del 2006 circa il 57% degli intermediari impiegava tecniche di scoring per la valutazione del merito di credito alle imprese. Tuttavia, il fenomeno sembra interessare principalmente le banche di dimensioni medio-grandi (97% circa) e risulta molto ridotto per le banche di credito cooperativo (40% circa). Le tecniche di scoring permettono di giungere ad una misura quanti` possibile pertanto effettuare tativa della rischiosit` a di una operazione. E una segmentazione della clientela in classi omogenee rispetto al rischio che consenta anche, di riflesso, una valutazione del prezzo da attribuire alla singola transazione. Inoltre, le caratteristiche di coerenza, velocit` a e accuratezza hanno reso le tecniche di scoring indispensabili anche nell’ambito della gestione dei crediti, come supporto a decisioni relative, ad esempio, alla modifica di linee di credito esistenti, alla vendita di nuovi prodotti e alle strategie di riduzione delle perdite, una volta che si `e verificata l’insolvenza. Pi` u in generale, esse fanno parte integrante degli strumenti gestionali, e vengono applicate con obiettivi diversi da quelli originari di valutazione del rischio nel credito al consumo. Questo libro tratta in dettaglio due metodi statistici, il modello logistico e l’analisi discriminante, che rivestono un ruolo centrale nel credit scoring, sia perch´e costituistiscono la base di tecniche statistiche pi` u avanzate, sia perch´e sono i modelli di riferimento di molte analisi. Dopo una introduzione al credit scoring, contenuta nel primo capitolo, in cui si presentano in maniera formale gli obiettivi e si definiscono le grandezze che saranno oggetto di studio, si richiamano, nel secondo capitolo, le nozioni di probabilit` a necessarie alla comprensione dei metodi presentati nei capitoli successivi. Il terzo capitolo introduce il modello di regressione logistica, mettendone in
4
1 Il credit scoring
luce sia gli aspetti interpretativi che i problemi di natura applicativa legati al contesto in studio. Il quarto capitolo tratta dell’analisi discriminante e del suo utilizzo nel credit scoring. Oltre al modello logistico e alla analisi discriminante, altre tecniche statistiche pi` u avanzate sono correntemente implementate nel processo di erogazione e gestione del credito. Queste sono introdotte nel capitolo quinto. La scelta fatta, di presentare in dettaglio due modelli e illustrare sinteticamente gli altri, `e motivata dalla considerazione che la conoscenza approfondita del modello logistico e dell’analisi discriminante permette di comprendere agevolmente anche le altre tecniche; inoltre, i due strumenti costituiscono sempre il termine di paragone dei risultati ottenuti con altri metodi statistici pi` u avanzati.
1.2 Lo scoring nel credito al consumo Nell’ambito della gestione del credito al consumo, tecniche di scoring sono tipicamente impiegate ogni volta si debba prevedere il rischio di insolvenza associato ad una operazione. Se l’operazione riguarda la concessione del credito ad un cliente, allora si parla di scoring di accettazione, in inglese application scoring. Se, invece, l’operazione riguarda la gestione di un cliente gi` a affidato, allora si parla di scoring comportamentale, in inglese behavioural scoring. Il primo termine deriva dal fatto che le informazioni da elaborare derivano, in larga parte, dal modulo di richiesta, detto in inglese application form. Il secondo termine, invece, deriva dal fatto che le informazioni da elaborare sono in gran parte relative al comportamento, in inglese behaviour, del cliente, ovvero alla sua storia creditizia. I modelli che presentiamo in questo lavoro nascono tipicamente nel contesto dello scoring di accettazione. In questo contesto si vuole prevedere se un potenziale cliente sia solvibile, sulla base delle informazioni in possesso al momento della richiesta del finanziamento. Di conseguenza, la variabile che definisce l’evento che vogliamo prevedere `e binaria e le tecniche che si utilizzano hanno tutte la caratteristica di suddividere la potenziale clientela in due insiemi: i “buoni” ed i “cattivi” pagatori. La previsione di un evento binario pu` o scaturire anche nel contesto dello scoring comportamentale, in cui l’evento che definisce la variabile di previsione `e una misura binaria di ottimalit` a del cliente. Tuttavia, in questo ambito, la previsione pu` o anche riguardare variabili di risposta che assumono pi` u di due valori, e possono essere sia quantitative che qualitative. Di conseguenza, i modelli utilizzati sono vari e talvolta hanno una natura di-
1.3 Obiettivi del credit scoring
5
versa. Inoltre, nel contesto dello scoring comportamentale si fanno sempre pi` u strada tecniche per definire il profilo del cliente ottimale, sulla base di pi` u variabili di risposta considerate congiuntamente. Come gi`a osservato, le tecniche di scoring sono utilizzate anche per valutare la probabilit` a di insolvenza di piccole o medie imprese. Questa quantificazione si `e resa necessaria in conseguenza delle disposizioni del Secondo accordo sul capitale di Basilea, che rendono obbligatoria, ai fini della determinazione del capitale minimo di vigilanza, la ponderazione delle posizioni di rischio con una misura della probabilit` a di insolvenza.
1.3 Obiettivi del credit scoring In una prima approssimazione, possiamo dire che lo scoring di accettazione `e l’insieme di tecniche utilizzate per prendere una decisione binaria: concedere o non concedere un finanziamento. Ogni potenziale cliente appartiene ad una classe (quella dei solvibili o quella dei non solvibili, detti anche good o bad risks, oppure buoni o cattivi) che `e sconosciuta al momento della concessione del finanziamento. Per una porzione di unit`a, detta campione, l’informazione relativa alla classe `e nota. Queste unit` a sono quelle per le quali la storia creditizia `e stata osservata fino alla chiusura del finanziamento o fino all’intervallo temporale entro il quale vi `e interesse ad effettuare la classificazione. L’obiettivo del credit scoring `e quello di utilizzare le informazioni del campione per costruire una regola che consenta di assegnare la prossima unit` a in ingresso alla sua classe appartenenza. Esempio 1.1 In Figura 1.1 `e riportato un diagramma di dispersione di un campione di 49 aziende alle quali `e stato concesso un finanziamento. In ascissa `e riportato l’indicatore di bilancio relativo il rapporto tra ricavi netti e capitale investito netto (variabile RI.AT) mentre in ordinata `e riportato il rapporto fra flusso di cassa e passivit` a correnti (variabile FCR.PTP). Per ogni azienda `e nota la storia creditizia, ovvero se `e stata solvibile (cerchio pieno) o non solvibile (cerchio vuoto). L’obiettivo `e quello di suddividere il quadrante in due parti attraverso una funzione delle due variabili, in modo tale che la percentuale pi` u elevata di aziende solvibili sia in una delle due aree delimitate dalla funzione e che la percentuale pi` u elevata di aziende non solvibili sia nell’altra. Le informazioni relative alla prossima azienda verranno utilizzate per valutare a quale delle due aree appartenga, e decidere della sua capacit` a di fare fronte agli impegni finanziari. L’analisi dettagliata di questo campione `e riportata nel capitolo quarto.
1 Il credit scoring
0.0 −0.4
−0.2
FCR.PTP
0.2
0.4
6
0.0
0.5
1.0
1.5
2.0
2.5
3.0
3.5
RI.AT
Figura 1.1. Distribuzione di 25 imprese solvibili (cerchio pieno) e 24 imprese non solvibili (cerchio vuoto) secondo il capitale investito netto (RI.AT) e il rapporto fra il flusso di cassa e le passivit` a correnti (FCR.PTP)
Pi` u formalmente, lo scoring di accettazione `e il processo attraverso cui alcune informazioni relative ad un richiedente credito vengono combinate e convertite in un punteggio, in inglese score, costruito in modo tale da essere proporzionale alla probabilit`a stimata che il richiedente sia solvibile. Lo score del potenziale cliente `e confrontato con un apposito valore di soglia (in inglese cut-off): se lo score `e superiore al valore di soglia, il richiedente `e classificato come “solvibile” e si procede alla concessione del finanziamento. Altrimenti, il richiedente `e classificato come “non solvibile” ed escluso dal finanziamento. Le tecniche di scoring si differenziano nel modo di costruire lo score. Oltre alla regressione logistica e alla analisi discriminante, in questo ambito trovano utilizzo anche altri metodi, quali il metodo delle k unit` a pi` u vicine, gli alberi di classificazione, le reti neurali e gli algoritmi genetici. A differenza dei modelli classici, queste tecniche non si prestano a fornire un’interpretazione della funzione di score, ma sono dei meri classificatori, ovvero delle funzioni che assegnano ogni unit` a ad una delle due classi. Tutte le tecniche utilizzate in questo ambito, tuttavia, hanno caratteristiche comuni che derivano dalla natura intrinsecamente probabilistica del fenomeno in studio. Infatti, dal momento che soggetti con le stesse carat-
1.4 Fasi del credit scoring
7
teristiche possono comportarsi in maniera diversa, vi `e una componente casuale insopprimibile nel processo di manifestazione del comportamento del cliente. Ovviamente, l’importanza della componente casuale `e tanto inferiore quanto pi` u le informazioni colgono le reali determinanti di tale comportamento. I modelli statistici che tratteremo in questo libro sono il modello logistico e l’analisi discriminante. Nonostante siano intimamente connessi, il primo `e maggiormente utilizzato quando l’enfasi dello studio `e nella previsione dell’evento che definisce la variabile di classificazione, mentre il secondo `e invece maggiormente utilizzato quando l’enfasi `e nella mera assegnazione di una unit` a ad una delle due possibili classi.
1.4 Fasi del credit scoring L’ipotesi di base per la costruzione di una griglia di scoring `e che, in un arco temporale abbastanza ampio, la popolazione in studio sia omogenea. Se si accetta questo, il passato recente pu` o essere utilizzato per prevedere il futuro prossimo e, pertanto, le informazioni su clienti per i quali `e stata osservata l’intera storia creditizia possono costituire la base di dati per la costruzione di un sistema di scoring. Pi` u precisamente, le fasi del credit scoring possono essere delineate nel modo che segue. 1. Definizione della popolazione obiettivo. Ogni modello di scoring deve essere sviluppato per una popolazione ben definita, omogenea rispetto a caratteristiche economiche. Queste possono essere, nel caso del credito alle imprese, la dimensione della impresa, il settore merceologico e il volume del fatturato. Talvolta, come nel caso del credito al consumo, la popolazione ` importante ricorsi definisce sulla base del prodotto finanziario offerto. E dare che, affinch´e le tecniche di scoring siano applicabili, deve esistere un intervallo temporale in cui tale popolazione si possa ipotizzare omogenea. Tuttavia, variazioni del contesto economico, dovute a fattori congiunturali, possono fare s`ı che in tempi abbastanza brevi la popolazione in studio cambi (in inglese questo fenomeno `e noto come population drift) e di conseguenza il sistema di scoring risulti inadeguato. 2. Definizione della variabile di classificazione. Con questo termine si intende la variabile che definisce il manifestarsi dell’evento oggetto di studio in un intervallo temporale prefissato, che pu` o essere pari alla durata del piano di rimborso o ad una sua frazione. La variabile di classificazione `e anche detta Flag. La Flag `e connessa al mancato rimborso del debito secondo
8
1 Il credit scoring
lo schema concordato. Nel caso di una impresa, si parla anche di default e tipicamente, l’impresa `e classificata in default al momento del mancato pagamento del secondo o del terzo rateo. La definizione della variabile di classificazione pu`o variare in funzione del volume della insolvenza, ed `e importante che rifletta l’evento a partire dal quale si ingenera un reale disagio per l’ente che eroga il credito. 3. Formazione di una base di dati. In questa fase si definisce (a) l’insieme di unit` a che entrano a formare il campione sul quale implementare la metodologia e (b) le informazioni da rilevare su ciascuna unit`a. Il campione deve essere considerato rappresentativo della popolazione obiettivo o, in termini statistici, estratto in maniera casuale da questa. In generale, si considerano campioni casuali quelli formati da tutte le unit` a che hanno proceduto alla richiesta di un finanziamento in un determinato arco temporale. Per ogni unit` a del campione, vengono rilevate le informazioni, o variabili, di carattere economico che si ritengono importanti e che descrivono sia il tipo di finanziamento (tipicamente la durata e l’ammontare) sia il profilo del cliente. Nel credito alle piccole e medie imprese, le informazioni provengono dai bilanci delle aziende. Nel credito al consumo, gran parte delle variabili sono di natura socio-demografica e provengono dal modulo di richiesta del finanziamento. Queste informazioni sono talvolta integrate con quelle di natura finanziaria in possesso dei credit bureaux e che riguardano la storia creditizia del richiedente. Si noti che le informazioni rilasciate dal richiedente il credito spesso hanno un grado di attendibilit` a minore di quelle provenienti delle fonti informatizzate. Le seconde, inoltre, sono costantemente aggiornate, mentre le prime sono rilevate solo al momento della richiesta. Le unit` a del campione sono seguite per l’intervallo di tempo fissato, al termine del quale ogni unit` a `e classificata in una delle due categorie della ` importante che la finestra temporale di osservazione del variabile Flag. E campione sia costante per tutte le osservazioni. Un fenomeno tipico nel credit scoring `e quello dello sbilanciamento dei dati rispetto alla variabile ` infatti possibile che le unit` di classificazione. E a che hanno dato luogo ad insolvenza siano rare e comunque assai meno numerose di quelle che si sono rivelate solvibili. Per motivi che saranno spiegati nel capitolo terzo, in questo caso `e opportuno ottenere un campione rispetto alla variabile risposta. In questo lavoro si illustra la procedura di sotto-campionamento delle unit` a sane, fino ad ottenere un campione in cui la numerosit` a delle unit` a sane e di quelle insolventi siano quasi uguali.
1.4 Fasi del credit scoring
9
4. Determinazione e implementazione della metodologia. In questa fase (a) si sceglie la tecnica da utilizzare per la costruzione del sistema di scoring e (b) si procede alla sua implementazione nel campione. Per quanto riguarda la scelta della tecnica, questa dipende sia dagli obiettivi che dai risultati conseguiti in analoghi contesti di studio. Per quanto riguarda la implementazione, per evitare di utilizzare le unit` a due volte, la prima per costruire il sistema di scoring e la seconda per convalidarlo, `e buona prassi dividere il campione in due sotto-campioni: un campione di sviluppo (in inglese training sample) ed un campione, spesso di inferiore numerosit` a, di convalida (in inglese test sample). Ogni tecnica di classificazione `e soggetta a due tipi di errori: classificare come solvibili dei clienti che in realt`a non lo sono o, viceversa, classificare come non solvibili alcuni clienti che il realt`a lo sono. Come vedremo, anche all’interno della stessa metodologia, occorre operare delle scelte, volte a migliorarne l’accuratezza, che vanno dalla decisione di quali informazioni inserire nel modello alla definizione della relativa forma funzionale. In questa fase sono di ausilio sia tecniche descrittive, basate sul campione di convalida, sia tecniche statistiche inferenziali. Quest’ultime permettono di distinguere gli andamenti fondamentali del fenomeno da quelli casuali dovuti all’avere utilizzato quel dato campione. I primi sono presenti nella popolazione e pertanto non legati al campione; i secondi saranno diversi in un secondo campione. Dalla corretta separazione dei due aspetti dipende la accuratezza della metodologia. Una volta stimato il modello, una tecnica di scoring pu`o essere tradotta in un sistema di pesi, o parametri, da attribuire ad ogni configurazione delle variabili che descrivono il cliente. Un tempo questa procedura consisteva nella costruzione di una scheda, la score card, in cui i singoli pesi venivano evidenziati al fianco delle caratteristiche a cui si riferivano e poi sommati per produrre lo scoring. Attualmente, questa procedura `e totalmente automatizzata: i parametri sono salvati su supporto magnetico e l’immissione delle informazioni produce automaticamente come output la valutazione dello score. 5. Scelta del valore di soglia e stima degli errori di classificazione. Questa fase `e tipica dello scoring di accettazione, in cui si deve decidere se ammettere o meno al finanziamento un soggetto. Come vedremo, il valore di soglia `e determinato in base a esigenze aziendali. Infatti, il costo dell’ammettere al finanziamento un soggetto insolvibile pu` o essere diverso dal costo, inteso come mancato profitto, del perdere un cliente solvibile. Il valore di soglia viene pertanto scelto come quel valore che minimizza il costo atteso e di-
10
1 Il credit scoring
pende dal rapporto dei costi che l’azienda deve sopportare in caso di errata classificazione. Talvolta possono essere usati anche criteri differenti, dettati da esigenze di espansione dell’istituto e di penetrazione in determinato mercato. Una volta scelto il valore di soglia, `e possibile ottenere una stima della probabilit` a di compiere un errore di classificazione. Questa pu` o farsi di nuovo attraverso metodi statistici, oppure basandosi sulle frequenze relative dei due errori di classificazione nel campione di convalida. Talvolta, nel caso di campioni di numerosit` a ridotta, il campione di convalida coincide ` opportuno sottolineare come, in questo caso, sia con quello di sviluppo. E naturale attendersi una sottostima dei reali errori di classificazione. 6. Controllo della precisione dello scoring nel tempo. La fase di monitoraggio consente di verificare l’efficacia nel tempo della tecnica di scoring, una volta che questa `e stata implementata. In questa fase, si valutano sia (a) la capacit`a della funzione di score di separare il gruppo delle unit` a solvibili da quello delle non solvibili, detta capacit` a discriminante, sia (b) l’aderenza fra la probabilit` a di insolvenza stimata sulla base del modello e quella osservata, detta calibrazione. Si noti che, nello scoring di accettazione, `e possibile monitorare solo la popolazione dei clienti giudicati solvibili. Infatti, i clienti non considerati solvibili non sono ammessi al finanziamento e le informazioni relative alla loro storia creditizia sono perdute. Pertanto, l’azienda potr` a monitorare il sistema di scoring basandosi sulla distanza fra il tasso di insolvenza atteso e quello osservato nella popolazione finanziata. Una distanza elevata, in una direzione o in un’altra, denota un logoramento del sistema di scoring e deve portare ad un aggiornamento della metodologia. La prassi seguita da molti istituti di credito `e quella di alzare la soglia nel caso in cui vi sia un eccesso di insolvenze e di abbassarla in caso contrario. Questo modo di procedere implicitamente assume che i parametri del modello di scoring siano sempre validi e che sia intervenuto un mutamento che ha comportato una traslazione costante in tutta la popolazione. Tuttavia, nella realt` a la popolazione in studio evolve spesso in maniera non omogenea, e le variazioni possono interessare gruppi di soggetti in maniera diversa. Un filone di studio, noto come reject inference, si occupa di questo problema, che non verr` a trattato in questa sede.
1.5 L’approccio decisionale
11
1.5 L’approccio decisionale Possiamo schematizzare il processo di decisione attraverso una storia, con i personaggi ed una trama, le complicazioni ed i possibili epiloghi. Nel seguito, faremo l’ipotesi che le variabili casuali (X1 , X2 , . . . , Xp) siano continue e utilizzeremo la notazione propria di questo contesto. La trattazione non varia concettualmente nel caso in cui queste siano discrete. → I personaggi. • Le due popolazioni P0 e P1 , i cattivi e i buoni; • (X1 , X2 , . . ., Xp)T il vettore di variabili casuali, dette anche esplicative, che descrivono le informazioni sulle unit` a delle due popolazioni con valori xT = (x1 , x2 , . . . , xp); • una v.c. binaria Y ∈ {0, 1}, che vale 0 se una osservazione appartiene alla popolazione P0 e 1 altrimenti; • P (Y = 0) e P (Y = 1), ovvero le probabilit` a a priori che una unit` a appartenga a P0 e P1 ; • P (Y = 0 | x) e P (Y = 1 | x), ovvero le probabilit` a a posteriori che una unit` a appartenga a P0 e P1 , determinate utilizzando le informazioni x; • f1 (x) = f (x | Y = 1) e f0 (x) = f (x | Y = 0), ovvero le funzioni di densit`a di (X1 , X2, . . . , Xp), condizionate ai valori di Y , valutate in x; • f (x), ovvero la funzione di densit` a marginale di (X1 , X2 , . . ., Xp) valutata in x; • i due tipi di errore: quello di assegnare un’unit` a buona alla popolazione P0 , che chiameremo del primo tipo, e quello di assegnare un’unit`a cattiva a P1 , che chiameremo del secondo tipo; • la probabilit` a di compiere l’errore del primo tipo, che indicheremo con p(0|1), e quella di compiere l’errore del secondo tipo, che indicheremo con p(1|0) (queste probabilit` a saranno dette ottimali); • i costi, entrambi positivi, associati ai due errori: C(0 | 1) e C(1 | 0), ovvero, in ordine, il costo di allocare una unit` a alla popolazione P0 quando invece proviene da P1 (questo costo si pu`o vedere come il profitto perso) e il costo di allocare una unit` a alla popolazione P1 dato che invece proviene da P0 (perdita del capitale, spese legali, ecc.).
12
1 Il credit scoring
→ Le relazioni fra i personaggi. Le v.c. Y e (X1 , X2, . . . , Xp) ammettono una funzione di densit` a congiunta tale che: • la funzione di densit` a delle (X1 , X2, . . . , Xp), f (x), marginale rispetto ad Y `e cos`ı espressa: f (x) = f0 (x)P (Y = 0) + f1 (x)P (Y = 1); • le probabilit` a a posteriori sono date dalla formula di Bayes: P (Y = r | x) =
fr (x)P (Y = r) , r ∈ {0, 1}. f (x)
(1.1)
→ La trama. Si indichi con A l’insieme di tutti i possibili valori x. L’obbiettivo `e quello di dividere A in due regioni A0 e A1 esaustive e mutualmente esclusive, tali che: x ∈ A0 se il cliente `e cattivo; x ∈ A1 se il cliente `e buono. Tuttavia, il problema della determinazione di A0 e A1 non ha natura deterministica, in quanto unit`a con le stesse caratteristiche x possono appartenere sia ad una popolazione che all’altra. Lo studio pertanto deve essere effettuato o sulle funzioni di densit`a condizionate di x, fr (x), oppure sulle probabilit` a a posteriori P (Y = r | x), r ∈ {0, 1}. Una prima regola intuitiva per determinare A1 `e quella di assegnare ad =1|x) a a posteriori PP (Y A1 tutti i valori x tali che il rapporto fra le probabilit` (Y =0|x) `e maggiore di un valore di soglia. Pi` u formalmente, A1 sar` a l’insieme delle x tali che: P (Y = 1 | x) >c (1.2) A1 = x | P (Y = 0 | x) con c scelto opportunamente. Ad esempio, se c = 1, l’insieme A1 si compone di tutti i valori per cui la probabilit` a a posteriori che un’unit` a appartenga alla popolazione dei buoni `e maggiore di 0.5. La regione A1 `e detta regione di accettazione. Il problema allora della scelta della migliore partizione di A viene rifor` intuitivo che mulato in termini della scelta del migliore valore di soglia c. E il valore c deve tenere conto del rapporto fra i due costi di errata classificazione. Sia C la variabile casuale che descrive il costo. In caso di corretta classificazione, il costo `e nullo. L’ente finanziatore dovr` a sostenere il costo C(0|1) se l’unit` a proviene dalla popolazione P1 e viene mal classificata.
1.5 L’approccio decisionale
13
Analogamente, l’ente finanziatore dovr` a sostenere il costo C(1|0) se l’unit` a proviene dalla popolazione P0 e viene mal classificata. Pertanto, il valore atteso di C `e il seguente: E(C) = C(0 | 1)P (Y = 1)p(0|1) + C(1 | 0)P (Y = 0)p(1|0). Nel seguito per brevit` a si pone dx = dx1 . . . , dxp. Osservando che p(1|0) = A1 f0 (x)dx, mentre p(0|1) = A0 f1 (x)dx, il valore atteso diventa: f1 (x)dx + C(1 | 0)P (Y = 0) f0 (x)dx. E(C) = C(0 | 1)P (Y = 1) A0
A1
Il valore di soglia c coincide che minimizza il valore atteso con quel valore del costo. Notando che A0 fr (x)dx + A1 fr (x)dx = 1, r ∈ {0, 1}, dopo alcune sostituzioni, l’espressione si semplifica nella seguente: [C(1 | 0)P (Y = 0)f0 (x) − E(C) = C(0 | 1)P (Y = 1) + A1
C(0 | 1)P (Y = 1)f1 (x)]dx. Dal momento che C(0 | 1)P (Y = 1) `e costante, il valore atteso del costo viene minimizzato scegliendo A1 come l’insieme di tutti e soli i valori di x in cui la funzione integranda [C(1 | 0)P (Y = 0)f0 (x)−C(0 | 1)P (Y = 1)f1 (x)] `e negativa, ovvero C(1 | 0)P (Y = 0) f1 (x) > . f0 (x) C(0 | 1)P (Y = 1) Di conseguenza, la regione di accettazione `e cos`ı determinata: C(1 | 0)P (Y = 0) f1 (x) A1 = x | > f0 (x) C(0 | 1)P (Y = 1) oppure, facendo uso della (1.1): C(1 | 0) P (Y = 1 | x) > , A1 = x | P (Y = 0 | x) C(0 | 1)
(1.3)
(1.4)
da cui emerge che il valore di soglia ottimale `e dato dal rapporto fra i costi, . ovvero c = C(1|0) C(0|1) Una formulazione alternativa della regione di accettazione si ottiene passando al logaritmo dei rapporti fra le funzioni di densit` a condizionate: C(1 | 0) P (Y = 0) f1 (x) > log + log (1.5) A1 = x | log f0 (x) C(0 | 1) P (Y = 1)
14
1 Il credit scoring
oppure fra le probabilit` a a posteriori: C(1 | 0) P (Y = 1 | x) A1 = x | log > log . P (Y = 0 | x) C(0 | 1)
(1.6)
→ Le Complicazioni. L’applicabilit` a della regola di allocazione determinata in precedenza dipende dalla conoscenza di tutti i personaggi (ad eccezione dei costi di errata classificazione, per i quali `e sufficiente conoscere il rapporto). Tuttavia, nelle analisi che vengono effettuate nel contesto in studio, questa conoscenza o non `e disponibile, oppure lo `e in forma parziale. Questo d` a luogo ad alcune complicazioni. • In pratica, le densit`a condizionate fr (x) non sono note. Certe volte se ne conosce la forma, ma i parametri debbono essere stimati con metodi statistici. Altre volte neppure la forma `e nota e si ricorre a tecniche di stima dette non parametriche. • Spesso anche le probabilit` a a priori P (Y = 0) e P (Y = 1) non sono note. Tuttavia se il campione `e estratto casualmente, si possono stimare attraverso le analoghe frequenze relative, o proporzioni, osservate nel campione. • Talvolta l’ente erogatore non `e in grado di tradurre in termini numerici il rapporto tra i costi di errata classificazione. • Alcune delle p variabili casuali (X1 , X2, . . . , Xp) possono essere irrilevanti ai fini della classificazione. Questo fatto, se non comporta complicazioni nel caso di perfetta conoscenza delle probabilit`a e delle funzioni di densit`a coinvolte, pu` o generare instabilit` a nella classificazione nel caso ` pertanto in cui queste si debbano stimare attraverso metodi statistici. E importante disporre di strumenti per la convalida del modello scelto e verificare che esso sia il pi` u parsimonioso possibile. → Due epiloghi. Come abbiamo detto, il caso in cui le funzioni di densit`a e di probabilit` a siano perfettamente note `e un caso di scuola. Nella pratica, le fr (x) non sono note e pertanto debbono essere stimate attraverso tecniche statistiche. Le due equazioni (1.5) e (1.6), che definiscono la regione di accettazione, equivalenti dal punti di vista matematico, danno luogo, in fase di stima,
1.5 L’approccio decisionale
15
a due modelli statistici diversi. In particolare, la formulazione sui logaritmi delle densit` a condizionate contenuta nella (1.5) conduce alla tecnica di classificazione nota come analisi discriminante, mentre la formulazione sui logaritmi delle probabilit` a a posteriori contenuta nella (1.6) conduce alla tecnica di classificazione attraverso il modello logistico. Ovvero: C(1 | 0) P (Y = 0) f1 (x) A1 = x | log > log + log f0 (x) C(0 | 1) P (Y = 1) ⇓ ANALISI DISCRIMINANTE oppure,
C(1 | 0) P (Y = 1 | x) > log A1 = x | log P (Y = 0 | x) C(0 | 1) ⇓ MODELLO LOGISTICO.
Le regioni A0 e A1 , determinate attraverso i due metodi, tenderanno a coincidere se il campione `e molto grande. Si noti che, nonostante in principio si possa usare l’analisi discriminante per ogni forma delle densit` a condizionate fr (x), in pratica questa `e stata implementata solo per dati continui. Il modello logistico non soffre di questa limitazione ed `e pertanto pi` u flessibile. → Una storia simile. Di particolare interesse nel credit scoring `e il determinare la soglia c come quel valore che minimizza la probabilit` a di errore del secondo tipo tenendo costante, pari ad a × 100, la percentuale di accettazione. In questo caso, si determina l’insieme A1 in modo tale che:
f0 (x)P (Y = 0)dx = A1
A1
sotto il vincolo che f0 (x)P (Y = 0)dx + A1
f (x)
A1
f0 (x)P (Y = 0) dx = minimo f (x)
f1 (x)P (Y = 1)dx =
f (x)dx = a. A1
(1.7)
16
1 Il credit scoring
Si pu` o verificare che in tal caso A1 coincide con l’insieme delle x tali che f0 (x)P (Y = 0) = P (Y = 0 | x) ≤ c f (x) in cui c `e scelto in modo tale da soddisfare la condizione (1.7). Dopo alcune elaborazioni avremo: (1 − c )P (Y = 0) f1 (x) ≥ . A1 = x | f0 (x) c P (Y = 1)
1.6 Lo score e la classificazione delle unit` a Ma che cosa `e allora lo score? Come si assegna una unit`a ad una o all’altra popolazione? Come si valutano le probabilit` a di compiere un errore di classificazione? Possiamo per il momento dare una risposta a queste domande supponendo che i personaggi della storia siano tutti noti. Si indichi con s(x) la funzione che esprime il logaritmo del rapporto delle probabilit` a a posteriori, ovvero s(x) = log
P (Y = 1 | x) . P (Y = 0 | x)
(1.8)
La funzione s(x) `e detta funzione di score. Si noti che, in quanto funzione di variabili casuali, `e essa stessa una variabile casuale. In analogia con la notazione per le v.c., nel seguito indicheremo con S = S(X1, X2 , . . . , Xp) la v.c. e con s = s(x) il valore da questa assunta quando x `e dato. Si noti inoltre che, indipendentemente dal numero p di variabili casuali, S `e una variabile casuale unidimensionale. Cos`ı definito, lo score `e una funzione che assume valori da −∞ a +∞ ed assume valori positivi se la probabilit`a a posteriori di solvibilit` a `e maggiore di 0.5. Ogni trasformazione monotona della s(x) `e ancora uno score. Talvolta, per motivi di trattabilit` a, si preferiscono funzioni di score che assumono valori in intervalli limitati dell’asse reale. La pi` u comune fra queste, detta score canonico, `e la seguente: s =
exp s . 1 + exp s
Il lettore `e invitato a verificare che s (x) = P (Y = 1 | x). Talvolta, sempre per esigenze interpretative, si preferisce moltiplicare per 100 o per 1000 il valore di s. (Ovviamente, nello scoring di accettazione, ad ogni trasformazione
1.6 Lo score e la classificazione delle unit` a
17
monotona della funzione di score deve seguire l’analoga trasformazione del valore di soglia.) Nel seguito faremo riferimento alla funzione di score come definita nella (1.8). Come si assegna lo score ad una unit`a? Sia xi il valore delle variabili casuali assunto dalla generica i-esima unit`a in ingresso. Da quanto detto, s(xi) `e il suo score. Dal momento che la funzione di score `e unidimensionale, essa permette un ordinamento completo fra le unit`a. Inoltre, nello scoring di accettazione occorre assegnare una unit`a all’una o all’altra popolazione. Questo comporta verificare se xi ∈ A1 . Da quanto detto, xi ∈ A1 se e solo se s(xi ) > log c. Anche nel caso di esatta conoscenza della funzione s(x), vi `e una probabilit` a positiva di compiere un errore di allocazione. Questo perch`e vi sono valori delle v.c. (X1 , X2 , . . ., Xp) che si verificano sia sotto P0 che P1 , ovvero le due popolazioni si sovrappongono. Di conseguenza, le due popolazioni si sovrappongono anche rispetto a loro trasformazioni. → Lo score e il modello logistico. Il rapporto fra le due probabilit` aa posteriori di successo e di insuccesso che compare nell’espressione (1.8) `e la trasformazione che conduce al modello logistico, che sar`a trattato nel capitolo terzo. Il modello impone: s(x) = α + β T x con α e β i parametri del modello. Nell’esercizio 1.1 si mostra come il modello possa essere utilizzato per determinare la regione di accettazione, nel caso in cui i parametri siano noti. Nel terzo capitolo queste derivazioni saranno estese al caso, pi` u realistico, in cui i parametri non sono noti, ma devono essere stimati attraverso tecniche statistiche inferenziali. → Lo score e l’analisi discriminante. Nell’analisi discriminante, la grandezza in studio `e il rapporto delle densit` a condizionate, log
P (Y = 0) f1 (x) = s(x) + log . f0 (x) P (Y = 1)
(1.9)
In questo lavoro tratteremo il caso in cui le fr (x), r ∈ {0, 1}, sono funzioni di densit`a di variabili casuali normali multiple. Questo d` a luogo ad una semplificazione del logaritmo del loro rapporto che, nel caso di uguaglianza delle matrici delle varianze e delle covarianze nelle due popolazioni, conduce ad una forma lineare. Anche nel caso di esatta conoscenza delle funzioni a positiva di compiere un errore di allocazione. fr (x), vi `e una probabilit` A titolo esemplificativo, consideriamo il caso in cui si disponga di una sola variabile casuale X tale che f0 (x) sia una normale con valore atteso
18
1 Il credit scoring 0.2 0.15 P
0.1
P1
0
0.05
p(0|1)
0 −15
−10
−5
p(1|0)
0 X
5
10
15
Figura 1.2. Regione di accettazione e probabilit` a di errore nel caso gaussiano univariato, con μ0 = −5, μ1 = 5, σ02 = σ12 = 10
μ0 e varianza σ 2 e f1 (x) sia una normale con valore atteso μ1 e varianza a di esposizione C(1|0) = C(0|1) e P (Y = 1) = σ 2 . Si ponga per semplicit` P (Y = 0) e, pertanto, log c = 0. (Dalla (1.5) si deduce che la rimozione dell’ipotesi di uguaglianza fra i costi e fra le probabilit`a a priori produce un effetto traslativo del valore di soglia.) In tal caso, si trova facilmente (si veda l’esercizio 1.2) che s(x) `e pari a: s(x) =
1 1 [(μ1 − μ0 )x − (μ21 − μ20 )]. 2 σ 2
La regione di accettazione diventa pertanto: μ1 + μ0 A1 = x | x > 2 in cui si `e posto μ1 > μ0 (altrimenti il senso della disuguaglianza che definisce A1 deve essere invertito). Si noti che, in tal caso, la regione A1 `e determinata dall’insieme delle x superiori alla semisomma delle medie delle due popolazioni. In questo caso la x `e essa stessa una funzione di score. Dal momento che le due distribuzioni sono simmetriche ed hanno la stessa variabilit` a, il valore centrale dell’intervallo fra le due medie diventa il valore di soglia sulla base del quale assegnare una unit` a ad una o all’altra popolaa di errore del primo e del secondo zione. Essendo le fr (x) note, le probabilit` tipo sono in questo caso di facile derivazione, si veda l’esercizio 1.2. In Figura 1.2 `e riportato il grafico della distribuzione di X sotto P0 e sotto P1 . Le aree in grigio evidenziano le probabilit` a di compiere i due tipi di errori. Si noti che vi `e una relazione inversa fra le due probabilit` a, dal momento che, ad esempio, una traslazione positiva del valore di soglia comporta un diminuzione della probabilit` a di errore del secondo tipo ma anche un
1.7 Le curve ROC e CAP
19
aumento della probabilit` a di errore del primo. Nel quarto capitolo estenderemo queste derivazioni al caso, pi` u realistico, in cui i parametri delle funzioni di densit` a condizionate non sono noti, ma debbono essere stimati.
1.7 Le curve ROC e CAP Sia S = S(X1 , X2 , . . ., Xp) la variabile casuale ottenuta come funzione delle v.c. (X1 , X2, . . . , Xp) e sia F (s) = P (S ≤ s) la associata funzione di ripartizione. Siano P (Y = 1) e P (Y = 0) le probabilit` a a priori dei buoni e dei cattivi. Siano, inoltre, F (s | Y = 0) e F (s | Y = 1), rispettivamente, le funzioni di ripartizione nella popolazione dei buoni e dei cattivi clienti. Avremo: F (s) = F (s | Y = 1)P (Y = 1) + F (s | Y = 0)P (Y = 0). Per ogni scelta s del valore di soglia, la proporzione di cattivi classificati come tali `e pari a F (s | Y = 0) mentre la proporzione di buoni classificati come tali `e pari a 1 − F (s | Y = 1). Con un termine mutuato dal linguaggio biomedico, la prima `e detta specificit` a, mentre la seconda `e detta sensibilit` a. Inoltre, F (s | Y = 1) `e la probabilit` a che i buoni vengano erroneamente a che i classificati come cattivi, mentre 1 − F (s | Y = 0) `e la probabilit` cattivi vengano erroneamente classificati come buoni. I primi sono detti falsi negativi e i secondi sono detti falsi positivi. Una funzione di score deve presentare, per valori fissati della specificit` a, valori elevati della sensibilit` a. Questo `e il principio su cui si basa l’analisi mediante la curva Received Operating Characteristics (ROC). Pensiamo di far variare s e di calcolare, per ogni valore di s, le grandezze 1−F (s | Y = 0) e 1 − F (s | Y = 1). La curva ROC `e la curva che unisce i punti di ascissa 1−F (s | Y = 0) e di ordinata 1−F (s | Y = 1). Per una data soglia s la curva fornisce la percentuale F (s | Y = 1) × 100 di clienti buoni che deve essere esclusa dal finanziamento per escludere la percentuale F (s | Y = 0) × 100 di clienti cattivi. In Figura 1.3 `e riportato un esempio di grafico della curva ROC. Dal grafico si deduce che in corrispondenza di una specificit` a pari a 0.6 (valore 0.4 nell’asse delle ascisse) si ottiene una sensibilit`a pari a 0.7. Si noti che la bisettrice dell’angolo nell’origine degli assi corrisponde alla curva con F (s | Y = 1) = F (s | Y = 0) e, pertanto, corrisponde ad una regola di classificazione casuale delle unit`a, dal momento che `e uguale per le due popolazioni. Maggiore `e l’area circoscritta dalla curva e dalla bisettrice, tanto migliore `e il classificatore. Questa area, nel caso di perfetta classificazione, `e pari a 1/2.
20
1 Il credit scoring
1
1−F(s|Y=1)
0.8
0.6
0.4
0.2
0
0
0.2
0.4 0.6 1−F(s|Y=0)
0.8
1
Figura 1.3. Un esempio di curva ROC
Sia y(x) la curva ROC. Un indice sintetico basato sulla curva `e l’indice di Gini, dato dal seguente rapporto: 1 IROC =
0
y(x)dx − 1/2 . 1/2
Il numeratore dell’indice rappresenta `e l’area racchiusa tra la curva e la bisettrice. L’indice sar` a pari a 0 nel caso di classificazione casuale delle unit` a e 1 nel caso di perfetta classificazione. La curva Cumulative Accuracy Profile (CAP) `e la curva che unisce i punti di ascissa F (s) e ordinata F (s | Y = 0). Essa fornisce la percentuale di clienti F (s) × 100 che deve essere esclusa dal finanziamento per escludere una percentuale F (s | Y = 0) × 100 di cattivi. La bisettrice dell’angolo nell’origine degli assi, anche in questo caso, corrisponde alla situazione di classificazione casuale. Tanto maggiore `e l’area delimitata dalla curva e dalla bisettrice, tanto migliore `e il classificatore. Si noti, tuttavia, che in questo caso il valore massimo di tale area `e dato da [1 − P (Y = 0)]/2, e pertanto dipende dalla quantit` a di cattivi presente nella popolazione.
1.7 Le curve ROC e CAP
21
Sia y (x) la curva CAP. Un indice sintetico basato sulla curva CAP `e dato dal seguente rapporto: 1
ICAP =
y (x)dx − 1/2 . [1 − P (Y = 0)]/2 0
Si dimostra (si veda l’esercizio 1.4) che i due indici coincidono. Si noti che il valore dell’indice dipende sia dalla forma della funzione S = S(X1, . . . , Xp) che dalla distanza fra le distribuzioni f0 (x) e f1 (x). Infatti, se queste sono perfettamente sovrapposte, l’indice sar`a identicamente pari a 0 per ogni forma della funzione S (si veda l’esercizio 1.5). D’altra parte, l’indice sar`a pari a 0 anche se le due distribuzioni sono distanti ma la regola di assegnazione `e meramente casuale, con F (s | Y = r) = F (s) per ogni s e r. Nel capitolo 3 si presenta un test per valutare, attraverso il campione di convalida, se il meccanismo di classificazione sia significativamente diverso da un meccanismo casuale. Nella pratica, l’indice presentato `e calcolato sul campione di convalida (in tal caso la curva sar` a sostituita da una spezzata e l’integrale da una sommatoria). Esso pu`o essere utilizzato per valutare l’accuratezza di un classificatore e per scegliere fra due o pi` u funzioni di classificazione. Si noti che `e prassi diffusa valutare la performance di un classificatore visivamente attraverso l’area sotto le due curve. Questo esercizio, nel caso in cui si utilizzi la curva CAP, pu` o portare a conclusioni fuorivianti, specialmente in situazioni in cui P (Y = 0) `e elevato e l’area sotto la curva CAP `e necessariamente ristretta. La curva ROC pu`o essere anche utilizzata per determinare il valore di soglia c, qualora esso non sia dettato da esigenze aziendali ad esempio di penetrazione nel mercato. Infatti, supponiamo per il momento che il rapporto fra i costi di errata classificazione sia uguale. Il migliore valore di soglia corrisponde al punto c in corrispondenza del quale `e massima la distanza fra la curva e la bisettrice. Infatti, per valori inferiori a c, un innalzamento della soglia conviene poich´e d` a luogo ad un incremento della probabilit` a di corretta classificazione delle unit`a solvibili che `e superiore all’incremento della probabilit` a di errata classificazione delle unit`a non solvibili; analogamente, per valori superiori ad c conviene un abbassamento della soglia fino al valore c. Nel caso di differenti costi di errata classificazione, la determinazione della soglia ottimale pu` o farsi ponderando i decrementi delle probabilit` a con i relativi costi. Un’ulteriore interpretazione dell’area sotto la curva come misura di concordanza `e presentata nel paragrafo 3.13.
22
1 Il credit scoring
1.8 Il campione di sviluppo e di convalida Nella realt`a i parametri della funzione di score non sono noti, ma debbono essere stimati attraverso tecniche statistiche inferenziali. Per farlo, si deve disporre di una base di dati, ovvero di un insieme di unit` a per cui `e noto sia il vettore (x1 , . . . , xp) delle variabili esplicative che il valore della variabile Flag. Se prima abbiamo assimilato il processo decisionale ad una storia con i suoi personaggi, possiamo ora parlare degli interpreti della storia, ovvero degli elementi che nella realt`a portano il processo a compimento. La base dei dati `e l’insieme di unit`a statistiche che costituiscono il campione. Come abbiamo detto, questo `e suddiviso in due parti: il campione di sviluppo della tecnica di stima e quello di convalida della metodologia. Nel credit scoring, l’insieme delle variabili esplicative si compone di variabili sia quantitative che categoriali, o qualitative. Esempi di variabili categoriali sono quelle che esprimono lo stato civile o la professione di un cliente. Le determinazioni delle variabili categoriali sono dette modalit` a o livelli mentre le determinazioni delle variabili quantitative sono dette valori. Talvolta, tuttavia, per brevit` a ci riferiremo al vettore (x1 , x2 , . . . , xp) come al vettore dei valori delle variabili esplicative. Vi sono diversi modi di rappresentare una base di dati. Il primo, pi` u noto, `e quello di costruire una tabella rettangolare con tante righe quante le unit` a e tante colonne quante le variabili. Quando tutte le variabili sono categoriali, tuttavia, le configurazioni delle variabili esplicative tenderanno a riproporsi nel campione. Questo permette modi alternativi di sintetizzare i dati. Esempio 1.2 Il seguente esempio `e tratto dal campione che analizzeremo in dettaglio nel capitolo terzo. Si studia il comportamento dei titolari di una carta di credito revolving emessa da una delle maggiori societ` a finanziarie italiane. Il campione `e formato dai soggetti che hanno aperto la carta nei primi sei mesi del 1997 ed ai quali `e stato assegnato un limite di utilizzo inferiore a 2.5 milioni di lire (si ricordi che 1936.27 lire corrispondono ad un Euro!). Questi sono 19149, di cui 4000 unit` a sono state estratte casualmente per formare il campione di convalida. La variabile Flag misura il grado di utilizzo della carta al 31/12/1998, ed assume valore ‘0’ se la carta `e stata disattivata e ‘1’ altrimenti. In ogni unit` a sono state rilevate variabili socio-demografiche quali il reddito in migliaia di lire (variabile Reddito con modalit` a: ‘0’ se inferiore o uguale a 1500; ‘1’ se superiore a 1500 ma inferiore o uguale a 2500; ‘3’ se superiore a 2500); la propriet` a di una abitazione (variabile Propriet` a con modalit` a: ‘S`ı’ se proprietario di
1.8 Il campione di sviluppo e di convalida
23
abitazione non gravata da mutuo, ‘No’ altrimenti). Si dispone pertanto di una matrice con 15149 righe e 3 colonne. Cliente Propriet` a Reddito Flag 1 No 3 1 2 No 2 0 No 1 1 3 S`ı 2 0 4 .. .. .. .. . . . . 15149 S`ı 1 1 Lo spoglio dei dati porta alla costruzione della seguente tabella a tre criteri di classificazione:
Propriet` a=No Flag 0 1 Totale
Reddito Totale 1 2 3 2230 2441 1376 6047 1517 1370 758 3645 3747 3811 2134 9692
Propriet` a=S`ı Flag 0 1 Totale
Reddito Totale 1 2 3 844 1357 1338 3539 576 708 634 1918 1420 2065 1972 5457
I due modi sopra evidenziati non sono gli unici che verranno utilizzati in questo lavoro. Un modo alternativo di presentare i dati `e quello di considerare tutte le possibili configurazioni delle variabili esplicative e contare quante osservazioni si presentano in ogni configurazione. All’interno di esse, infine, si contano quanti clienti posseggono una carta di credito attiva e si costruiscono le frequenze relative. Esempio 1.3 (segue da 1.2) Alternativamente, la base dei dati si pu` o presentare nella seguente forma:
24
1 Il credit scoring
Propriet` a. Reddito No 1 No 2 No 3 S`ı 1 S`ı 2 S`ı 3 Totale
N.Unit` a N.Clienti attivi Freq. relative 3747 1517 0.405 3811 1370 0.359 2134 758 0.355 1420 576 0.406 2065 708 0.343 1972 634 0.322 15149 5563 0.367
La frequenza relativa dei clienti con carta di credito ancora attiva al 31/12 dell’anno successivo alla apertura `e abbastanza bassa, pari a 0.367. Essa `e molto alta e vicina nei due gruppi di clienti nella fascia di reddito pi` u bassa. Tende a diminuire con il reddito, e questa diminuzione `e pi` u accentuata nei clienti che sono proprietari di casa non gravata da mutuo. I clienti con la minore probabilit` a di avere una carta attiva, infatti, sono i proprietari nella pi` u alta fascia di reddito. Il secondo modo di presentare i dati consiste nella costruzione di una tabella di contingenza secondo sia le variabili esplicative che la variabile Flag. Invece, nel terzo modo di presentare i dati, il numero di righe della matrice rettangolare `e pari al prodotto del numero di modalit` a di ogni variabile esplicativa. Ovvero esso `e pari al numero di celle della tabella di contingenza ottenuta attraverso la classificazione delle sole variabili esplicative. Come vedremo, i modelli che andremo a costruire consentono, a partire da una base di dati come quella dell’esempio precedente, di fornire risposte a domande del tipo: quali variabili risultano determinanti per prevedere se un cliente `e un buon cliente? Ci sono delle informazioni che si possono trascurare ai fini di questa previsione? Quale profilo hanno i clienti con la maggiore probabilit` a di avere una carta di credito ancora attiva un anno dopo l’apertura? E quelli con la minore probabilit` a? Le usuali tecniche statistiche, quali il test d’ipotesi per l’uguaglianza fra probabilit` a di due o pi` u popolazioni, possono condurre solo a risposte parziali e occorre sviluppare una metodologia diversa.
1.9 Note bibliografiche Nell’ambito dello scoring comportamentale, i modelli statistici di interesse sono molteplici, ed una introduzione pu` o trovarsi in Thomas (2000) oppure in Thomas et al. (2002, cap. 6). Essi includono sia modelli univariati
1.9 Note bibliografiche
25
che multivariati. Nei primi tipicamente la variabile di interesse ha natura categoriale e pu` o essere sia sconnessa che ordinata, come ad esempio un indicatore di ottimalit` a politomico. In alcuni casi la variabile pu` o essere continua e positiva, generalmente la durata di una posizione creditizia in un determinato stato (si veda ad esempio Rozbach, 2003). I modelli multivariati si usano nel caso in cui il fenomeno di interesse, tipicamente il profitto, dipenda congiuntamente da pi` u variabili. In questo contesto i modelli grafici si sono mostrati strumenti utili (si veda ad esempio Sewart e Whittaker, 1998, e Stanghellini et al., 1999). Nel caso in cui la variabile di interesse sia unica, ma misurata a diversi istanti temporali, i modelli pi` u utilizzati sono le catene di Markov (si veda Gourieroux e Jasiak, 2007, cap. 8). Sempre in questo ambito, un modello di classificazione a classi latenti `e stato utilizzato da Stanghellini (2004). In letteratura si distingue fra classificazione descrittiva e predittiva, intendendo con la prima l’insieme di tecniche con finalit` a di descrivere attraverso un modello statistico la differenza fra due popolazioni e con la seconda i metodi per allocare una unit` a alla popolazione di appartenenza. Questa distinzione `e messa in evidenza in Huberty (1994, cap. 2). In questa sede, il termine classificazione `e da intendersi con finalit` a predittive. I libri che trattano il tema della classificazione sono numerosi. Hand (1997) presenta le maggiori tecniche statistiche. Il caso non parametrico `e trattato in Azzalini e Scarpa (2004, cap. 5). L’approccio decisionale alla classificazione `e descritto in Anderson (2003, cap. 6). Una rassegna delle tecniche di classificazione applicate al credit scoring si pu`o trovare in Hand (2001). Un confronto critico a favore del modello logistico `e in Arminger et al. (1997). La reject inference non `e trattata in questo lavoro, si veda Thomas et al. (2002, cap. 8), oppure Banasik e Crook (2007). Un’introduzione critica `e in Hand (1998). I lavori che trattano l’applicazione di metodi di scoring alle piccole e medie imprese sono sempre pi` u numerosi. Il tema `e trattato diffusamente in Altman e Hotchkiss (2006, capp. 11–12), in cui si riporta, fra l’altro, una dettagliata rassegna bibliografica. Per una introduzione al problema si veda Sabato (2009). Per il rapporto fra i costi di errata classificazione si veda i riferimenti in Altman (2002). I primi studi sulle imprese italiane risalgono agli anni ’70. In particolare, Alberici (1975), usa la tecnica dell’analisi discriminante. Successive analisi sono in Cifarelli et al. (1988) e Altman et al. (1994). Nel primo si utilizzano metodi bayesiani non trattati in questo libro. Nel secondo, si mettono a confronto le reti neurali con l’analisi discriminante, giungendo alla conclusione che i due classificatori non danno
26
1 Il credit scoring
risultati apprezzabilmente diversi. Gli aspetti gestionali connessi alla implementazione delle tecniche automatizzate per lo scoring di accettazione sono trattati in Siddiqi (2006) e Mays (2004). Il contesto italiano `e trattato in Alberici et al., (2008), e Nadotti (2002, cap. 4).
Problemi 1.1. Sia X una v.c. che descrive un indicatore di bilancio in una popolazione di imprese e Y la v.c. che descrive se l’impresa ha fatto default. Si abbia il modello logistico s(x) = α + βx con α = 0.1 e β = 1.2. Si ponga log c = 0.2. La prossima impresa in ingresso ha valore di X pari a 0.9. Si determini: (a) se l’impresa appartiene a A1 ; (b) la probabilit` a a posteriori che l’unit`a sia solvibile; (c) a quale valore dell’indicatore di bilancio corrisponde il valore della soglia c e qual’`e la probabilit` a a posteriori di solvilibilit` a. 1.2. Sia X una v.c. di interesse tale che f0 (x) `e una distribuzione normale con valore atteso μ0 e varianza σ 2 e f1 (x) `e una distribuzione normale con valore atteso μ1 e varianza σ 2 . Sia C(1|0) = C(0|1) e P (Y = 1) = P (Y = 0): f (x)
(a) si verifichi che s(x) = log f10 (x) =
1 σ2 [(μ1
− μ0 )x − 12 (μ21 − μ20 )];
o (b) si ponga μ1 > μ0 e si verifichi che la regione di accettazione A1 pu` essere scritta come μ1 + μ0 ; A1 = x | x > 2 si determinino le probabilit` a di compiere un errore del primo e del secondo tipo. 1.3. Sia pari a 0.5 il rapporto dei costi C(1|0)/C(0|1) e pari a 0.7 la probabilit` a a priori che un’impresa sia solvibile. Sia X una v.c. che descrive un indicatore di bilancio. La distribuzione condizionata f1 (x) `e una normale con valore atteso 50 e varianza pari a σ12 = 144, mentre f0 (x) `e una normale con valore atteso 70 e σ 2 = 25. Il prossimo cliente in ingresso ha un valore dell’indicatore di bilancio X pari a 63: (a) si decida se procedere al finanziamento o meno, sulla base del criterio che minimizza il costo atteso;
1.9 Note bibliografiche
27
(b) si calcoli la probabilit` a a posteriori che tale impresa sia solvibile e si illustri come l’informazione sull’indicatore di bilancio modifica quella a priori. 1.4. Si dimostri che l’indice IROC e ICAP coincidono. 1.5. Con riferimento al problema dell’esercizio 1.2, si verifichi che, nel caso in cui μ0 = μ1 = μ, l’indice IROC `e pari a zero.
2 Variabili casuali categoriali
2.1 Introduzione Come abbiamo detto, le variabili casuali categoriali svolgono un ruolo fondamentale nei modelli statistici per il credit scoring. La principale variabile casuale categoriale `e la variabile di classificazione. Tuttavia, variabili casuali categoriali si trovano spesso anche fra le variabili che delineano il profilo socio-economico dei soggetti: questo ne giustifica la trattazione in maniera approfondita, che `e l’oggetto di questo capitolo. In questo capitolo si indica con f12...p (x1 , x2 , . . . , xp) la funzione di densit`a congiunta delle variabili casuali (X1 , X2, . . . , Xp), se queste sono continue. Parallelamente, si indica con p12...p (x1 , x2 , . . . , xp) la funzione di massa di probabilit` a congiunta delle variabili casuali (X1 , X2 , . . . , Xp) se queste sono discrete o categoriali. Una notazione esplicita `e necessaria per trattare il caso delle distribuzioni condizionali. Ad esempio, si indica con f12|3 (x1 , x2 | x3 ) o, analogamente, con p12|3(x1 , x2 | x3 ), la funzione di densit`a o di massa di probabilit` a di X1 e X2 condizionata a X3 . Dopo avere introdotto, nel paragrafo 2.2, la nozione di indipendenza marginale e condizionata fra eventi e, nel paragrafo 2.3, la corrispondente nozione fra variabili casuali, si presentano nel paragrafo 2.4 le misure di associazione fra variabili casuali binarie. Queste sono successivamente estese, nel paragrafo 2.5, al caso pi` u generale di variabili categoriali. Le misure presentate sono importanti non solo di per s´e, ma anche perch´e andranno a formare i parametri del modello logistico. Il capitolo si conclude con una riflessione, sulla nozione di indipendenza condizionale fra variabili casuali e sulla relazione fra questa e l’indipendenza marginale, riportata nel paragrafo 2.6.
Stanghellini E.: Introduzione ai metodi statistici per il credit scoring. c Springer-Verlag Italia 2009, Milano
30
2 Variabili casuali categoriali
2.2 Indipendenza fra eventi Sia P la probabilit` a definita sullo spazio degli eventi associato ad un esperimento casuale e siano A, B, C eventi definiti in quello spazio. Si indichi ¯ B ¯ l’evento che si verifica se, in ordine, A, B non si verifica. La con A, probabilit` a condizionata di A dato B `e P (A | B) = P (A ∩ B)/P (B) ed `e definita solo se P (B) > 0. → Definizione (indipendenza fra eventi). Due eventi A e B sono indipendenti se: • P (A ∩ B) = P (A)P (B). Una definizione alternativa di eventi indipendenti fa uso della probabilit` a condizionata ed `e applicabile solo se l’evento condizionante ha probabilit` a positiva. Essa `e: • P (A | B) = P (A). Nel seguito, due eventi A e B indipendenti verranno denotati con A⊥ ⊥B. ⊥B allora A⊥ ⊥B¯ (si veda l’esercizio 2.1). Di conseguenza, Si noti che se A⊥ la definizione di indipendenza fra due eventi si estende anche alla negazione degli eventi su cui `e definita. → Definizione (indipendenza condizionata fra eventi). Siano A, B e C tre eventi con P (C) > 0. A e B sono indipendenti condizionatamente a C se e solo se: • P (A ∩ B|C) = P (A|C)P (B|C). Una definizione alternativa di eventi condizionatamente indipendenti fa uso della probabilit` a condizionata ed `e definita se l’evento (B ∩ C) ha probabilit` a positiva. Essa `e: • P (A|B ∩ C) = P (A|C). Nel seguito, due eventi A e B indipendenti condizionatamente a C sono denotati con A⊥ ⊥B | C. Questa definizione `e una riscrittura della indipendenza fra eventi con le probabilit` a condizionate al posto delle probabilit` a marginali. Di conseguenza, se A⊥ ⊥B | C allora A⊥ ⊥B¯ | C.
2.3 Indipendenza fra variabili casuali
31
¯ Il seguente Tuttavia, A⊥ ⊥B | C non implica n`e `e implicato da A⊥ ⊥B | C. esempio d`a un’idea di un fenomeno che, nel contesto del credit scoring, pu` o generare una tale situazione. Esempio 2.1 Sia A l’evento {il cliente `e solvibile} B l’evento {il cliente ha almeno un figlio} e C l’evento {il cliente ha un’et` a inferiore a 55 anni}. ` E plausibile che per clienti con et` a superiore a 55 anni, l’essere solvibili sia indipendente dall’avere figli o meno, mentre tale indipendenza non valga in clienti con et` a inferiore a 55 anni. Si noti, inoltre, che l’indipendenza fra A e B condizionatamente a C non implica l’indipendenza marginale fra A e B. Questo fatto ha una spiegazione intuitiva nel caso in cui, ad esempio, C sia una causa comune di A e B, oppure B sia un evento che influenza C che a sua volta influenza A, come nel seguente esempio. Esempio 2.2 Sia A l’evento {il cliente `e solvibile}, B l’evento {il cliente `e libero professionista} e C l’evento {il cliente ha una fascia di reddito elevata}. Si supponga che un libero professionista ha una probabilit` a pi` u elevata di posizionarsi su fasce alte di reddito di chi non lo `e e, di conseguenza, di essere solvibile. Trascurando l’informazione sul reddito, si pu` o concludere che i liberi professionisti sono migliori clienti degli altri. Tuttavia, il fattore determinante della solvibilit` a `e il reddito.
2.3 Indipendenza fra variabili casuali → Definizione (indipendenza marginale fra variabili casuali). Due variabili casuali X1 e X2 sono indipendenti se e solo se: • f12 (x1 , x2 ) = f1 (x1 )f2 (x2 ) per ogni x1 e x2 (se continue); • p12 (x1 , x2 ) = p1 (x1 )p2 (x2 ) per ogni x1 e x2 (se discrete). Una definizione equivalente `e la seguente: • f1|2 (x1 | x2 ) = f1 (x1 ) per ogni x1 e x2 t.c. f2 (x2 ) > 0 (se continue); • p1|2 (x1 | x2 ) = p1 (x1 ) per ogni x1 e x2 t.c. p2 (x2 ) > 0 (se discrete). ⊥X2 . Nel seguito, due v.c. indipendenti saranno indicate con X1 ⊥
32
2 Variabili casuali categoriali
→ Definizione (indipendenza condizionale fra variabili casuali). Due variabili casuali X1 e X2 sono indipendenti condizionatamente a X3 se e solo se (ci limitiamo per brevit`a al caso continuo): • f12|3 (x1 , x2 | x3 ) = f1|3 (x1 | x3 )f2|3 (x2 | x3 ) per ogni x1 , x2 e x3 t.c. f3 (x3 ) > 0. Equivalenti formulazioni della definizione di indipendenza condizionale sono le seguenti (ci limitiamo per brevit` a al caso continuo): • f123 (x1 , x2 , x3 ) = f13 (x1 , x3 )f23 (x2 , x3 )/f (x3 ) per ogni x1 , x2 e x3 t.c. f3 (x3 ) > 0. • f1|23 (x1 | x2 , x3 ) = f1|3 (x1 | x3 ) per ogni x2 e x3 t.c. f23 (x2 , x3 ) > 0. Un criterio molto utile per stabilire l’indipendenza condizionale fra variabili casuali `e il criterio di fattorizzazione, che `e anch’esso una riformulazione della definizione. → Definizione (criterio di fattorizzazione). Due variabili casuali X1 e X2 sono indipendenti condizionatamente a X3 se e solo se (ci limitiamo per brevit` a al caso continuo): • f123 (x1 , x2 , x3 ) = g13 (x1 , x3 )h23 (x2 , x3 ) per ogni x1 , x2 e per ogni x3 t.c. f3 (x3 ) > 0 con g e h funzioni qualsiasi. La dimostrazione del criterio di fattorizzazione `e lasciata per esercizio (si veda l’esercizio 2.2 per il caso continuo). Il criterio permette agevolmente di valutare l’indipendenza fra variabili casuali, dal momento che l’esistenza di una fattorizzazione della funzione di densit` a o di massa di probabilit` a congiunta in due funzioni qualsiasi `e di facile derivazione. Un’applicazione del criterio di fattorizzazione al caso gaussiano `e l’esercizio 2.3.
2.4 Misure di associazione
33
2.4 Misure di associazione Sia X1 una variabile casuale binaria con valori {0, 1} e p1 (0) = P (X1 = 0) e p1 (1) = P (X1 = 1). Si definisce odds di X1 il seguente rapporto: odds(X1 ) =
p1 (1) . p1 (0)
Non `e difficile verificare che esso assume valori fra 0 e +∞. Inoltre, cresce al crescere della p1 (0) e assume valore 1 se i due eventi, {X1 = 0} e {X1 = 1}, sono equiprobabili. In questo lavoro si assume che le variabili casuali siano non degeneri e che le funzioni di densit` a o di probabilit` a poste a denominatore delle grandezze in studio siano positive. In seguito lavoreremo anche sul logaritmo naturale dell’odds, il logit, che `e una trasformazione monotona dell’odds e varia fra −∞ e +∞; assume valore 0 se i due eventi sono equiprobabili, assume valori positivi se p1 (1) > 0.5 e negativi altrimenti. 2.4.1 Il caso di due variabili casuali binarie o Siano X1 e X2 due variabili casuali binarie. La distribuzione congiunta pu` essere rappresentata dalla seguente tabella di contingenza: X2 Totale 0 1 X1 0 p12 (0, 0) p12 (0, 1) p1 (0) 1 p12 (1, 0) p12 (1, 1) p1 (1) Totale p2 (0) p2 (1) 1 Si definisca adesso l’odds di X1 condizionato a X2 = 0. Ovvero, odds(X1 | X2 = 0) =
p1|2 (1 | 0) . p1|2 (0 | 0)
o agevolmente Moltiplicando numeratore e denominatore per p2 (0) si pu` verificare che: p12 (1, 0) . odds(X1 | X2 = 0) = p12 (0, 0)
34
2 Variabili casuali categoriali
In maniera analoga si definisca adesso l’odds di X1 condizionato a X2 = 1: odds(X1 | X2 = 1) =
p1|2 (1 | 1) p12 (1, 1) = . p1|2 (0 | 1) p12 (0, 1)
Il calcolo degli odds condizionati pu` o farsi pertanto anche attraverso gli elementi della tabella di contingenza che descrive la distribuzione congiunta. Un primo criterio per studiare la associazione fra X1 e X2 `e quello di confrontare l’odds di X1 condizionato a X2 = 0 con l’odds di X1 condizionato a X2 = 1. Se sono uguali, allora sono anche uguali all’odds di X1 valutato sulla distribuzione marginale. Vale infatti il seguente teorema: → Teorema. Siano X1 e X2 due variabili casuali binarie. Se odds(X1 | X2 = x2 ) = a, x2 = {0, 1}, allora odds(X1 ) = a. Dimostrazione. Essendo odds(X1 | X2 = 0) = odds(X1 | X2 = 1) = a allora p12 (1, 0) = ap12 (0, 0) (2.1) p12 (1, 1) = ap12 (0, 1) Sommando termine a termine le due uguaglianze si ottiene p1 (1) = ap1 (0) e il risultato segue. Si pu` o pertanto concludere che la probabilit` a che X1 assuma valore 1 non dipende dal valore di X2 . L’interpretazione direzionale data alla associazione sopra evidenziata tuttavia `e meramente fittizia. Infatti, se odds(X1 | X2 = 0) = odds(X1 | X2 = 1) allora anche gli odds o verificare nel modo di X2 condizionati a X1 sono uguali. Questo si pu` seguente. Se p12 (1, 1) p12 (1, 0) = p12 (0, 0) p12 (0, 1) allora: p12 (0, 1)p12(1, 0) = p12 (0, 0)p12(1, 1) da cui
p12 (1, 1) p12 (0, 1) = p12 (0, 0) p12 (1, 0)
ovvero odds(X2 | X1 = 0) = odds(X2 | X1 = 1).
2.4 Misure di associazione
35
Si definisce il rapporto degli odds, noto come rapporto dei prodotti incrociati che indicheremo con cpr dall’inglese cross product ratio: cpr(X1 , X2 ) =
p12 (1, 1)p12(0, 0) odds(X1 | X2 = 1) = . odds(X1 | X2 = 0) p12 (0, 1)p12(1, 0)
Da quanto detto, il rapporto dei prodotti incrociati `e una misura non direzionale di associazione. Essa `e anche detta misura di interazione. Il seguente teorema mette in evidenza come l’uguaglianza fra i due odds condizionati implica che X1 e X2 sono indipendenti, e viceversa. → Teorema. Siano X1 e X2 due variabili casuali binarie. Allora, cpr(X1 , X2 ) = 1 se e solo se X1 e X2 sono indipendenti. Dimostrazione. Se sono indipendenti p12 (x1 , x2 ) = p1 (x1 )p2 (x2 ) per ogni valore di x1 e x2 . Per cui: cpr =
p1 (0)p2(0)p1 (1)p2 (1) p12 (0, 0)p12(1, 1) = = 1. p12 (0, 1)p12(1, 0) p1 (0)p2(1)p1 (1)p2 (0)
Viceversa, se cpr(X1 , X2) = 1 allora, dal Teorema precedente, odds(X1 | x2 ) = odds(X1 ), per ogni x2 ∈ {0, 1}. Pertanto, per ogni x1 ∈ {0, 1} e x2 ∈ {0, 1}: 1 − p1|2 (x1 | x2 ) 1 − p1 (x1 ) = p1|2 (x1 | x2 ) p1 (x1 ) da cui
1 1 = p1|2 (x1 | x2 ) p1 (x1 )
e il risultato segue. Esempio 2.3 Consideriamo la seguente distribuzione ipotetica di probabilit` a: X2 X1 0 1 Totale 0 0.05 0.15 0.2 0.20 0.60 0.8 1 Totale 0.25 0.75 1 Il rapporto dei prodotti incrociati `e pari a: 0.05 × 0.6 =1 0.15 × 0.2 che indica che X1 e X2 sono variabili casuali indipendenti.
36
2 Variabili casuali categoriali
Esempio 2.4 Si consideri la seguente distribuzione ipotetica di probabilit` a. La variabile Solvibilit` a assume valore ‘1’ se il cliente `e solvibile e ‘0’ altrimenti e la variable Propriet` a assume valore ‘1’ se `e proprietario di abitazione e ‘0’ altrimenti:
Solvibilit` a 0 1 Totale
Propriet` a 0 1 0.3 0.1 0.3 0.3 0.6 0.4
Totale 0.4 0.6 1
L’odds che un cliente non proprietario di abitazione sia solvibile `e pari a 1, mentre l’odds che un cliente proprietario sia solvibile `e pari a 3. La probabilit` a che un cliente sia solvibile varia a seconda del fatto che questo sia proprietario o meno di abitazione: nella prima distribuzione `e infatti pari a 0.50 (ovvero il 50% dei clienti non proprietari di abitazione sono clienti solvibili), mentre nella seconda `e pari a 0.75 (il 75% dei clienti proprietari di abitazione sono clienti solvibili). Come questo esempio evidenzia, il confronto fra le due probabilit` a p12 (1, 0) e p12 (1, 1) (in questo caso uguali fra loro e pari a 0.30) conduce a conclusioni errate. Il confronto infatti non tiene conto della distribuzione marginale che un cliente sia o meno proprietario di abitazione, che in questo esempio `e sbilanciata a favore dell’essere non proprietari, essendo questi il 60% della popolazione. Si noti che la interpretazione direzionale della associazione nell’esempio precedente deriva dalle nostre informazioni a priori sui fenomeni in studio, secondo cui la propriet` a della abitazione `e una variabile potenzialmente esplicativa della solvibilit` a di un cliente e non il viceversa. Tuttavia, vi possono essere studi in cui `e plausibile che la relazione sia inversa, nel caso in cui, ad esempio, la propriet` a della abitazione sia misurata ad un istante successivo rispetto alla solvibilit`a.
2.4.2 Il caso di tre variabili casuali binarie Siano X1 , X2 e X3 tre variabili casuali binarie. La distribuzione congiunta pu` o essere sintetizzata con una tabella di contingenza a tre entrate, come quella seguente:
2.4 Misure di associazione
37
X3 = 0 X2 Totale 0 1 X1 0 p123 (0, 0, 0) p123 (0, 1, 0) p13 (0, 0) p123 (1, 0, 0) p123 (1, 1, 0) p13 (1, 0) 1 Totale p23 (0, 0) p23 (1, 0) p3 (0) X2 Totale X3 =1 X1 0 1 0 p123 (0, 0, 1) p123 (0, 1, 1) p13 (0, 1) p123 (1, 0, 1) p123 (1, 1, 1) p13 (1, 1) 1 Totale p23 (0, 1) p23 (1, 1) p3 (1) Si definisce rapporto dei prodotti incrociati di X1 e X2 condizionatamente a X3 = x3 il seguente: p12|3 (1, 1 | x3 )p12|3(0, 0 | x3 ) p12|3 (0, 1 | x3 )p12|3(1, 0 | x3 ) p123 (1, 1, x3)p123 (0, 0, x3) . = p123 (0, 1, x3)p123 (1, 0, x3)
cpr(X1 , X2 | X3 = x3 ) =
Di conseguenza, una naturale estensione della misura di associazione fra due variabili binarie al caso di tre variabili binarie `e il seguente rapporto di rapporti dei prodotti incrociati: p123 (1, 1, 1)p123(0, 0, 1)p123(0, 1, 0)p123(1, 0, 0) cpr(X1 , X2 | X3 = 1) = . cpr(X1 , X2 | X3 = 0) p123 (0, 1, 1)p123(1, 0, 1)p123(1, 1, 0)p123(0, 0, 0) Esso `e uguale ad uno se il rapporto dei prodotti incrociati di X1 e X2 nella tabella condizionata di X3 = 0 `e uguale all’analogo nella tabella condizionata di X3 = 1. Dalla formulazione precedente, `e possibile verificare che: cpr(X1 , X3 | X2 = 1) cpr(X2 , X3 | X1 = 1) cpr(X1 , X2 | X3 = 1) = = , cpr(X1 , X2 | X3 = 0) cpr(X1 , X3 | X2 = 0) cpr(X2 , X3 | X1 = 0) ovvero anche questa `e una misura di associazione che considera le tre variabili sullo stesso piano. Per questo, il rapporto di rapporti dei prodotti incrociati `e visto come una misura di interazione fra tre variabili. Si verifica agevolmente (si veda l’esercizio 2.6) che se cpr(X1 , X2 | X3 = ⊥X2 | X3 e viceversa. x3 ) = 1 per ogni x3 ∈ {0, 1} allora X1 ⊥
38
2 Variabili casuali categoriali
La generalizzazione ad un numero p qualsiasi di variabili binarie segue la logica, adesso delineata, della costruzione di rapporti fra misure di interazione di ordine p − 1 condizionate alle modalit`a della variabile esclusa. Anche in questo caso, l’ordine del condizionamento `e irrilevante. Si pu` o pertanto definire, attraverso rapporti consecutivi, una misura di associazione di un generico ordine.
2.5 Indipendenza e associazione In questa sezione si estendono le misure di associazione viste in precedenza a tre situazioni. La prima `e quando si hanno due variabili X1 e X2 , in cui a. la prima `e binaria e la seconda assume un numero generico I2 di modalit` La seconda `e quando si hanno tre variabili casuali X1 X2 e X3 in cui X2 e X3 hanno un numero generico di modalit` a, I2 e I3 . Infine consideriamo la situazione generica in cui vi `e un numero p, p > 3, di variabili casuali categoriali. Non rimuoveremo mai l’ipotesi che X1 sia binaria. Seguiremo, inoltre, la convenzione di indicare le modalit` a di una generica variabile Xj ∈ {0, 1, 2, . . ., Ij − 1}.
2.5.1 Una variabile casuale binaria e una variabile casuale categoriale Siano X1 e X2 due variabili casuali categoriali, con X1 binaria e X2 che a. Ad esempio, se I2 = 3 la distribuzione doppia pu` o assume I2 > 2 modalit` essere sintetizzata attraverso la seguente tabella a doppia entrata: X2 Totale 0 1 2 X1 0 p12 (0, 0) p12 (0, 1) p12 (0, 2) p1 (0) 1 p12 (1, 0) p12 (1, 1) p12 (1, 2) p1 (1) Totale p2 (0) p2 (1) p2 (2) 1 Un modo naturale di procedere per studiare l’associazione fra X1 e X2 `e quello di scegliere una modalit`a di X2 come riferimento e confrontare gli odds condizionati alle altre modalit` a con quella di riferimento. La convenzione adottata in questo lavoro `e che la modalit` a di riferimento `e quella associata al valore ‘0’. Questo implica il calcolo di un odds condizionato e di I2 − 1 cpr nelle corrispondenti I2 − 1 sottotabelle 2 × 2 cos`ı evidenziate:
2.5 Indipendenza e associazione
39
X2 X1 0 r 0 p12 (0, 0) p12 (0, r) 1 p12 (1, 0) p12 (1, r) ` possibile mostrare, in estensione del teorema precedente, il seguente: E → Teorema. Sia X1 una v.c. binaria e X2 una v.c. categoriale con I2 livelli. Se odds(X1 | X2 = x2 ) = a per ogni x2 , allora odds(X1 ) = a. Dimostrazione. La dimostrazione segue da vicino quella dell’analogo teorema relativo al caso binario ed `e lasciata per esercizio. Si noti che l’uguaglianza degli I2 odds condizionati implica che gli I2 − 1 cpr sono pari ad uno. Vale pertanto il seguente teorema: → Teorema. Sia X1 una v.c. binaria e X2 una v.c. categoriale con I2 livelli. Se gli I2 − 1 cpr sono pari ad uno allora le due v.c. sono indipendenti e viceversa. Dimostrazione. La dimostrazione segue da vicino quella dell’analogo teorema relativo al caso binario ed `e lasciata per esercizio.
2.5.2 Il caso di pi` u variabili casuali categoriali Possiamo definire per estensione le misure di associazione nel caso in cui X1 , X2 , X3 variabili casuali categoriali, con X1 binaria X2 e X3 categoriali a X3 = x3 con livelli, rispettivamente, I2 > 2 e I3 > 2. Per ogni modalit` avremo una tabella a doppia entrata: X3 = x3 X2 Totale 0 1 2 X1 0 p123 (0, 0, x3) p123 (0, 1, x3) p123 (0, 2, x3) p13 (0, x3) p123 (1, 0, x3) p123 (1, 1, x3) p123 (1, 2, x3) p13 (1, x3) 1 Totale p23 (0, x3 ) p23 (1, x3) p23 (2, x3) p3 (x3 ) In ogni modalit` a X3 = x3 , si calcola l’odds(X1 | X2 = 0 , X3 = x3 ). Inoltre, si calcolano gli I2 − 1 rapporti dei prodotti incrociati nel modo visto in precedenza. Queste misure forniscono un’informazione sulla associazione fra X1 e X2 condizionatamente a X3 = x3 .
40
2 Variabili casuali categoriali
Per valutare come queste misure di associazione variano nei livelli di X3 , si raffrontano, mediante rapporto, con le analoghe grandezze valutate nella tabella con X3 = 0. I raffronti non ridondanti da effettuare saranno pertanto (I2 − 1)(I3 − 1). Si verifica agevolmente che, anche in questo caso, le misure sono invarianti rispetto all’ordinamento delle variabili casuali. Nel caso in cui vi siano pi` u di tre variabili causali, la costruzione delle misure di associazione segue le linee adesso delineate. Nel caso ad esempio di p = 4 con X1 binaria, i raffronti non ridondanti saranno (I2 − 1)(I3 − 1)(I4 − 1).
2.6 Sulla indipendenza marginale e condizionale* Un modo intuitivo di trattare l’indipendenza condizionale fra variabili casuali categoriali `e il seguente: X1 e X2 sono indipendenti condizionatamente a X3 quando sono indipendenti in ognuna delle I3 sottotabelle ottenute condizionando ai livelli di X3 . Pertanto, se vale l’indipendenza condizionale, avremo: p123 (x1 , x2 , x3 ) = p13 (x1 , x3 )p23 (x2 , x3 )/p3 (x3 ) per ogni valore x1 , x2 e x3 . L’indipendenza condizionale non implica l’indipendenza marginale fra X 1 e X2 . Infatti gli elementi della tabella marginale p12 (x1 , x2 ) sono uguali a x3 p123 (x1 , x2, x3 ) e la sommatoria non preserva la struttura di indipendenza, per cui [p13 (x1 , x3)p23 (x2 , x3 )/p3 (x3 )] = p1 (x1 )p2 (x2 ). p12 (x1 , x2 ) = x3
L’uguaglianza fra la prima e l’ultima grandezza dell’espressione precedente `e la condizione di indipendenza marginale fra X1 e X2 . Per quanto ci` o possa sembra a prima vista strano, in realt`a ha una sua spiegazione: si pensi ad esempio ad un meccanismo di generazione dei dati in cui X3 influenza sia X1 che X2 oppure X3 influenza X2 il quale a sua volta influenza X1 . Il seguente esempio pu`o chiarire quanto detto. Esempio 2.5 (segue da 2.2) Sia Solvibilit` a la variabile casuale che assume modalit` a ‘B’ se il cliente `e solvibile e ‘C’ altrimenti, sia Reddito la variabile casuale che misura il reddito del soggetto, con modalit` a: ‘1’ se maggiore di 60000 euro annuali, ‘0’ altrimenti. Sia Professione la variabile casuale che descrive la professione, con valore ‘1’ se libero professionista e ‘0’ altrimenti. Supponiamo che la distribuzione di probabilit` a congiunta sia la seguente:
2.6 Sulla indipendenza marginale e condizionale*
41
Reddito=0 Solvibilit` a C B Totale
Professione Totale 0 1 0.05 0.05 0.10 0.15 0.15 0.30 0.20 0.20 0.40
Reddito=1 Solvibilit` a C B Totale
Professione Totale 0 1 0.30 0.10 0.40 0.15 0.05 0.20 0.45 0.15 0.60
Come si pu` o notare, nelle due distribuzioni condizionate alla v.c Reddito, vi `e indipendenza fra Professione e Solvibilit` a. Tuttavia, lo studio della distribuzione marginale delle variabili casuali Solvibilit` a e Professione denota una elevata associazione. Infatti:
Professione Totale Solvibilit` a 0 1 C 0.35 0.15 0.50 0.30 0.20 0.50 B Totale 0.65 0.35 1
Il rapporto dei prodotti incrociati di questa tabella `e pari a 1.56, che denota che la probabilit` a che i liberi professionisti siano clienti solvibili `e maggiore della analoga probabilit` a degli altri. Se escludessimo dal credito coloro che non sono liberi professionisti perderemmo una parte di clienti solvibili costituita da coloro che non sono liberi professionisti ma si posizionano nella fascia di reddito elevata. Questi costituiscono il 15% della popolazione. L’esempio precedente ha una spiegazione mediante un meccanismo che genera i dati, secondo il quale i liberi professionisti tendono ad avere un reddito pi` u alto degli altri. Il reddito `e la sola variabile esplicativa della
42
2 Variabili casuali categoriali
solvibilit` a e pertanto, dato il reddito, la professione non ha influenza su di essa. Tuttavia se trascuriamo l’informazione relativa al reddito, `e logico che la professione abbia una influenza sulla solvibilit` a, nella direzione che privilegia i liberi professionisti. Il seguente esempio invece evidenzia un fenomeno diverso, e pu`o risultare controintuitivo. Esempio 2.6 Consideriamo la seguente distribuzione di probabilit` a:
Propriet` a=0 Solvibilit` a C B Totale
Stato 1 0.1 0.2 0.3
civile Totale 2 0.1 0.2 0.1 0.3 0.2 0.5
Stato 1 0.1 0.1 0.2
civile Totale 2 0.1 0.2 0.2 0.3 0.3 0.5
Propriet` a=1 Solvibilit` a C B Totale
Nella prima tabella, il cpr `e pari a 0.5, ovvero, se un cliente non `e proprietario di abitazione l’odds che sia solvibile, se Stato Civile= 1, `e pari alla met` a dell’ analogo odds se Stato Civile= 2. Il cpr nella seconda tabella, pari a 2, indica che se un cliente `e proprietario accade esattamente il contrario. Valutiamo adesso le due distribuzioni marginali di interesse: Stato Solvibilit` a 1 C 0.2 0.3 B Totale 0.5
civile Totale 2 0.2 0.4 0.3 0.6 0.5 1
2.7 Note bibliografiche
43
Propriet` a Totale Solvibilit` a S`ı No C 0.2 0.2 0.4 0.3 0.3 0.6 B Totale 0.5 0.5 1 In entrambe le distribuzioni marginali i cpr sono pari a 1. Sulla base delle sole analisi delle distribuzioni marginali potremmo essere portati a concludere che sia la propriet` a dell’abitazione che lo stato civile non hanno influenza sulla probabilit` a che un cliente sia solvibile. L’esempio precedente `e un caso particolare di un fenomeno, che in letteratura `e noto come paradosso di Simpson. In questo caso, la spiegazione pu` o trovarsi nel fatto che gli elementi delle due tabelle marginali sono ottenuti sommando lungo la terza dimensione e questa operazione di sommatoria non preserva la struttura di associazione della distribuzione congiunta. La teoria appena descritta mette in evidenza che l’analisi delle associazioni fra variabili casuali categoriali deve essere effettuata attraverso un numero elevato di raffronti che la rendono particolarmente complessa. Come vedremo, un modello statistico ha, in primo luogo, la capacit` a di sintetizzare tutti i raffronti non ridondanti mediante una unica equazione. Tuttavia, questo non `e l’unico obbiettivo che vogliamo perseguire. Infatti, per esigenze sia di costo che di precisione delle analisi, occorre una strumentazione che ci consenta di valutare quali criteri di classificazione risultano determinanti nella definizione del profilo del cliente ottimale, ed escludere quelli che non risultano significativi. La teoria statistica che andremo ad illustrare permette di valutare se l’effetto di una variabile casuale pu`o essere considerato non rilevante, o se invece la sua introduzione nel modello migliora la capacit`a di discriminare fra clienti solvibili e clienti non solvibili.
2.7 Note bibliografiche La presentazione in questo capitolo segue da vicino quella in Whittaker (1990, cap. 2) a cui rimandiamo per approfondimenti. Si veda anche Lauritzen (1996, capp. 3 e 4). Vi `e un largo dibattito in letteratura sulla relazione fra associazione direzionale o non direzionale, in cui si affronta il problema sia dal punto di vista teorico (valutando, ad esempio, sotto quali condizioni una associazione osservabile fra due variabili pu`o essere ritenuta direziona-
44
2 Variabili casuali categoriali
le) che dal punto di vista applicativo. In questo libro riterremo la direzione delle associazioni determinata a priori, sulla base delle nostre conoscenze del contesto in studio. Per una introduzione al problema si rimanda, fra gli altri, a Edwards (2000, cap. 8) e ai riferimenti bibliografici in esso contenuti. Le misure di associazione qui introdotte sono solo alcune delle misure di associazione per variabili categoriali (si veda Agresti, 2002, cap. 2) e sono quelle pi` u utilizzate quando le modalit` a delle variabili categoriali non sono ordinabili. Come vedremo nel prossimo capitolo, queste grandezze si traducono in parametri del modello logistico. Altre scelte e, di conseguenza, altre parametrizzazioni di modelli statistici, possono essere di interesse nell’ambito del credit scoring (si veda, ad esempio, Stanghellini, 2003). Per approfondimenti sul paradosso di Simpson si possono consultare i seguenti libri: Christensen, (1997, cap. 3), Edwards (2000, cap. 1), oppure Agresti (2002, cap. 2).
Problemi 2.1. Si verifichi che se A e B sono due eventi indipendenti allora anche A ¯ sono due eventi indipendenti. eB ⊥X2 | X3 . Si dimostri 2.2. Siano X1 , X2 , X3 variabili casuali tali che X1 ⊥ la validit` a del criterio di fattorizzazione. 2.3. Sia X = (X1 , . . . , Xp)T un vettore di p variabili casuali con distribuzione congiuntamente normale (si veda Appendice A). Siano σjl e σ jl , nell’ordine, un generico elemento fuori diagonale di Σ e di Σ −1 . Si verifichi ⊥Xl | Xresto dove con Xresto si intende le che σ jl = 0 se e solo se Xj ⊥ variabili in X meno Xj e Xl . Si verifichi inoltre che σjl = 0 se e solo se Xj ⊥ ⊥Xl . 2.4. Siano X1 e X2 due variabili casuali binarie. Si dica come cambia il cpr(X1 , X2 ) se invertiamo le categorie di X1 . 2.5. Si calcoli il rapporto dei cpr della distribuzione dell’esempio 2.6. 2.6. Siano X1 , X2 e X3 tre variabili casuali binarie. Si dimostri che se ⊥X2 | X3 allora cpr(X1 , X2 | X3 = x3 ) = 1 per ogni x3 ∈ {0, 1} e X1 ⊥ viceversa.
3 Il modello logistico
3.1 Introduzione Questo capitolo vuole introdurre il lettore al modello logistico nell’ambito del credit scoring. La distribuzione di interesse `e quella della variabile casuale di classificazione, che qui indicheremo con Y , condizionata ai valori x = (x1 , x2 , . . . , xp) delle variabili esplicative. In questo contesto, il modello logistico `e una funzione che lega lo score s(x), introdotto nel primo capitolo, alle esplicative x, in una forma che, come vedremo in dettaglio, `e lineare nei parametri. Dal momento che le variabili maggiormente utilizzate nel credit scoring sono qualitative o categoriali, nel paragrafo 3.2 si illustra una codifica che permette di introdurre queste variabili nel modello e si propone una interpretazione intuitiva del modello, attraverso la nozione di modello saturo, ovvero il modello che riproduce esattamente le informazioni nel campione. Nel paragrafo 3.3 si richiama il modello di regressione lineare semplice. Dopo una definizione formale del modello logistico, che permetta di attribuire un chiaro significato ai parametri del modello, si illustra il problema della stima attraverso il metodo della massima verosimiglianza. Questi argomenti sono trattati nel paragrafi che vanno dal 3.4 al 3.6. Vi `e una relazione inversa fra la capacit` a del modello di riprodurre le osservazioni del campione di sviluppo, magari aggiungendo ulteriori termini che lo avvicinano al modello saturo, e la ricchezza della interpretazione che questo suggerisce. Quest’ultima, oltre ad avere un valore di per s´e, si riflette anche in una migliore capacit`a del modello di classificare le prossime unit`a in ingresso. Risulta pertanto importante disporre di una procedura statistica rigorosa che permetta di porre a confronto sia il modello statistico con i dati, sia due modelli statistici fra di loro. Questi argomenti sono affrontati Stanghellini E.: Introduzione ai metodi statistici per il credit scoring. c Springer-Verlag Italia 2009, Milano
46
3 Il modello logistico
nei paragrafi 3.7 e 3.8, e vengono applicati nelle procedure per la scelta del migliore modello, descritte nel paragrafo 3.9. La verifica della qualit` a dello strumento di classificazione e il confronto con la classificazione casuale sono affrontati nel paragrafo 3.10. Un problema tipico del credit scoring `e lo sbilanciamento della distribuzione marginale della risposta. Questo d` a luogo a tabelle sparse. Nel paragrafo 3.11 si presenta un test per valutare la bont` a del modello in questo contesto. Infine, nel paragrafo 3.12 si illustra la procedura di stima attraverso il bilanciamento del campione secondo la risposta. Una analisi applicativa nel paragrafo 3.13 conclude il capitolo.
3.2 Le variabili dummy Come anticipato nel primo capitolo, tipicamente le variabili utilizzate nel credit scoring sono categoriali. Un modo di trattare queste variabili `e di trasformarle in variabili binarie attraverso le variabili dummy, o indicatori. Ad esempio, al posto di una variabile categoriale X che descrive lo stato civile (con modalit`a ‘0’ se non sposato, ‘1’ se sposato, ‘2’ se divorziato o separato, ‘3’ se non ricade in alcuna delle precedenti modalit` a) si utilizza: una variabile dummy D1 che vale ‘1’ se il soggetto `e sposato e ‘0’ altrimenti; una variabile dummy D2 che vale ‘1’ se il soggetto `e divorziato o separato e ‘0’ altrimenti, una variabile D3 che vale ‘1’ se il soggetto non ricade in nessuna delle precedenti modalit`a e ‘0’ altrimenti. Si noti che si `e omessa la dummy D0 associata al livello ‘0’, poich´e questa `e ridondante: infatti, un soggetto non sposato sar` a caratterizzato da valori ‘0’ sulla D1 , D2 e D3 . In generale, si abbia una variabile categoriale con I modalit` a che codifichiamo con {0, 1, . . ., r, . . ., I − 1}. Questa variabile viene dilatata in I − 1 a variabili binarie Dr , r ∈ {1, . . ., r, . . ., I − 1}, tali che Dr = 1 se l’unit` assume valore r e Dr = 0 altrimenti. L’inclusione di tutte le dummy genera problemi di stima dei modelli, se questi, come naturale, includono il termine costante. In questo lavoro, pertanto, assumiamo che la dummy omessa `e quella associata al livello ‘0’. Nel paragrafo 3.13 parleremo della scelta del livello ‘0’, detto anche livello di riferimento.
3.2 Le variabili dummy
47
Esempio 3.1 (segue da 1.3) Si codifichino le variabili qualitative mediante variabili dummy: Propriet` a Reddito D1X1 No No No S`ı S`ı S`ı
0 1 2 0 1 2
0 0 0 1 1 1
D1X2 D2X2 0 1 0 0 1 0
0 0 1 0 0 1
ni
wi
3747 1517 3811 1370 2134 758 1420 576 2065 708 1972 634
in cui D1X1 `e la variabile indicatore della variabile Propriet` a (costruita ponendo come livello di riferimento la modalit` a ‘No’), (D1X2 , D2X2 ) sono le dummy della seconda e terza modalit` a della variabile Et` a. Si indichi come successo l’evento {la carta di credito `e attiva al 31/12/1998}. Per ogni riga i a nel campione della tabella precedente, ni `e la frequenza assoluta delle unit` di campione di sviluppo che presentano la corrispondente configurazione a. delle variabili esplicative e wi `e la somma dei successi nelle ni unit` Come vedremo, le colonne formate dalle variabili dummy vanno a comporre una matrice X, detta matrice del disegno (talvolta comprensiva della colonna costante, tipicamente la prima, ovvero xi1 = 1 per ogni i). Sia Y la v.c. Bernoulli che assume valore 1 in caso di successo. Ad ogni riga i della tabella di contingenza ottenuta dalla classificazione congiunta delle esplicative, possiamo associare ni ripetizioni di un esperimento di Bernoulli (si veda l’Appendice A) con valore atteso incognito che varia in funzione delle esplicative. Il numero totale dei successi in ogni cella i `e wi . Si noti che wi `e la somma delle variabili casuali Y in tutte le unit` a con configurazione i. Alternativamente, e questo ci avvicina ancora di pi` u alla struttura del modello logistico, possiamo associare alla i-esima riga un unico esperimento di una variabile casuale binomiale relativa (si veda l’Appendice A) dimensione ni e valore atteso incognito funzione delle esplicative. Un primo modello, pertanto, `e quello che pone come stima della probabilit` a di successo, in ogni configurazione i delle esplicative, la frequenza relativa di successo osservata nel campione, data dal rapporto wi /ni . Questo modello ha tanti parametri quante le righe di X e non impone nessuna semplificazione nella relazione fra probabilit`a di successo e le esplicative, ed `e pertanto detto saturo.
48
3 Il modello logistico
Nel caso in cui nelle esplicative vi sia una variabile continua, a meno di arrotondamenti, ogni osservazione risulta avere valori diversi dalle altre. In tal caso, per ogni configurazione i delle variabili esplicative ni = 1, ovvero si ha un’unica estrazione di un esperimento bernoulliano o, anche, una estrazione di una binomiale relativa di dimensione ni = 1. In tal caso, wi = yi , con yi ∈ {0, 1} il valore osservato di Y nell’i-esima unit`a. Nel a del campione di campione seguito, indicheremo con n = ni la numerosit` di sviluppo e con N il numero di righe della tabella di contingenza ottenuta dalla classificazione delle unit`a dello stesso campione secondo le variabili esplicative. Ovviamente, le due grandezze coincidono se ni = 1 per ogni i.
3.3 Il modello di regressione lineare semplice: richiami In questo paragrafo si richiamano alcune nozioni della regressione lineare, necessarie alla comprensione del modello logistico. Sia Y una variabile di risposta continua e X una variabile continua esplicativa. Il modello di regressione lineare assume che: Y = a + bx + ε in cui ε `e una variabile casuale continua che esprime l’effetto di fattori non osservati che concorrono alla formazione del valore di Y in maniera additiva. Si suppone inoltre E(ε) = 0 e V ar(ε) = σ 2 . La prima ipotesi implica che il valore atteso della distribuzione di Y condizionato a X = x `e dato da: E(Y | X = x) = a + bx.
(3.1)
La seconda ipotesi implica che la varianza di ogni distribuzione condizionata `e costante. I coefficienti a e b sono detti coefficienti di regressione. In particolare, il coefficiente b esprime la variazione sul valore atteso dovuta ad un incremento unitario di x. Il modello di regressione lineare si estende al caso generico di pi` u variabili esplicative, si veda l’Appendice B. Nel contesto in studio, la v.c. di risposta `e dicotomica. Se codifichiamo i valori che essa assume in 0 e 1, la Y ha una distribuzione di Bernoulli. In tal caso, volendo mantenere il parallelismo con il modello di regressione semplice (3.1), il valore atteso condizionato E(Y | X = x) = P (Y = 1 | X = x) = π(x). In questo caso vi sono due ordini di problemi. → Il valore atteso condizionato. Il valore atteso condizionato E(Y | X = x) = π(x) `e una probabilit` a e, pertanto, deve essere compreso fra 0 e 1. A
3.4 Il modello logistico semplice
49
meno di non introdurre vincoli sui parametri a e b, il modello di regressione lineare non assicura che il valore atteso sia compreso in questo intervallo. Infatti, per valori di x sufficientemente grandi, o sufficientemente piccoli, pu` o verificarsi che π(x) < 0 oppure π(x) > 1. Di conseguenza, il modello pu` o essere valido in un intervallo ristretto di valori della esplicativa x in cui π(x) `e compreso fra 0 e 1. Anche in questo caso, tuttavia, l’ipotesi di linearit` a nell’andamento di π(x) pu` o non essere rispettata per valori di π(x) vicini a 0 e 1. In molti fenomeni, in particolare quelli economici, infatti, l’incremento di π(x) varia con x e tende a diminuire nei dintorni dei valori limite. → La varianza condizionata. L’ipotesi di varianza costante, detta anche di omoschedasticit` a, della distribuzione condizionata `e violata, dal momento che V ar(Y | X = x) = π(x)[1−π(x)] e pertanto la varianza condizionata varia con x. Essa tende a zero nei valori di X in cui π(x) tende a zero e ad uno. Inoltre `e massima nei valori di x in cui π(x) = 0.5. Questo fatto comporta che le stime del modello di regressione lineare ottenute mediante il metodo dei minimi quadrati ordinari non hanno propriet` a ottimali. Per questi motivi, nell’ambito del credit scoring `e opportuno considerare una classe di modelli diversa.
3.4 Il modello logistico semplice Sia Y una variabile risposta con distribuzione Bernoulli e X una variabile esplicativa. Si indichi con π(x) = P (Y = 1 | X = x) = 1 − P (Y = 0 | X = x). Pertanto: π(0) = P (Y = 1 | X = 0) e π(1) = P (Y = 1 | X = 1). Si indichi con logit[π(x)] la grandezza: logit[π(x)] = log
P (Y = 1 | X = x) . P (Y = 0 | X = x)
Essa `e il logaritmo dell’odds di Y condizionato a X e varia fra −∞ e +∞; vale 0 quanto la probabilit` a condizionata di successo `e 0.5. Il modello logistico semplice `e il seguente: logit[π(x)] = log
π(x) = α + βx. 1 − π(x)
Come si pu`o agevolmente verificare, se β > 0 allora π(x) tende ad 1 al crescere di x. Altrimenti, se β < 0 allora π(x) tende a 0 al crescere di x. Se
50
3 Il modello logistico
β = 0 allora π(x) `e costante rispetto a x, ovvero Y e X sono indipendenti. Risolvendo rispetto a π(x): π(x) =
exp(α + βx) . 1 + exp(α + βx)
Questo modello `e detto modello logistico semplice. L’interpretazione di α e β varia a seconda della natura di X. (a) Se X `e continua possiamo calcolare dπ(x)/dx = βπ(x)[1 − π(x)] che esprime la velocit`a con cui la π(x) tende a 0 o ad 1. Si pu` o osservare che la velocit`a con cui tende a 0 `e la stessa con cui tende a 1. Inoltre, il punto pi` u ripido della curva `e in corrispondenza della x t.c. π(x) = 0.5. Questo punto `e dato da −α/β. In Figura 3.1 `e riportato il grafico di una funzione logistica con α = 0.7 e β = 0.5. 1 0.9 0.8 0.7
π (x)
0.6 0.5 0.4 0.3 0.2 0.1 0 −20
−15
−10
−5
0 x
5
10
15
20
Figura 3.1. Un esempio di funzione logistica con α = 0.7 e β = 0.5
(b) Supponiamo adesso che X sia binaria. Avremo: logit[π(x)] = log
π(x) = α + βx. 1 − π(x)
Questo `e in realt` a un modo sintetico di scrivere le due equazioni: logit[π(0)] = log logit[π(1)] = log
π(0) =α 1 − π(0)
π(1) = α + β. 1 − π(1)
3.4 Il modello logistico semplice
51
Il parametro α `e il logaritmo dell’odds di Y nel livello 0 di X, inoltre β `e il log del cpr della tabella 2 × 2 di Y contro X, ovvero cpr(Y, X) = eβ . Infatti sottraendo la prima equazione dalla seconda, si ottiene: logit[π(1)] − logit[π(0)] = β e, ricordando che logit[π(1)] = log
P (Y = 1 | X = 1) P (Y = 1, X = 1) = log P (Y = 0 | X = 1) P (Y = 0, X = 0)
logit[π(0)] = log
P (Y = 1, X = 0) P (Y = 1 | X = 0) = log P (Y = 0 | X = 0) P (Y = 0, X = 0)
e che
il risultato segue. Se β `e positivo (negativo), la probabilit` a P (Y = 1 | X) nel passare dal valore X = 0 al valore X = 1 aumenta (diminuisce). Si noti che il modello precedente ricostruisce perfettamente le probabilit` a della distribuzione congiunta di Y e X. Questo pertanto `e un modello saturo, ovvero non impone nessuna semplificazione. Se β = 0, allora cpr(Y, X) = 1 e, come visto nel capitolo precedente, Y e X sono indipendenti, ovvero non vi `e in X nessuna informazione sulla v.c. Y . (c) Il modello logistico semplice si estende al caso in cui la variabile esplicativa `e categoriale con I livelli, che codifichiamo con {0, 1, . . ., I − 1}. Si indichi con π(r) = P (Y = 1 | X = r). Il modello pu` o pertanto scriversi nel modo seguente: π(0)
logit[π(0)] = log 1−π(0) = α
π(r) = α + βr , r ∈ {1, . . ., I − 1} logit[π(r)] = log 1−π(r)
(3.2)
con βr il log del cpr della sottotabella: X Y 0 r 0 pY X (0, 0) pY X (0, r) 1 pY X (1, 0) pY X (1, r) Una espressione equivalente del modello (3.2) usa le variabili dummy. Sia Dr una variabile casuale binaria che assume valore 1 se X = r e 0 altrimenti. Il modello `e logit[π(r)] = α + β1 D1 + β2 D2 + . . . + βI−1 DI−1 .
(3.3)
52
3 Il modello logistico
La scelta della parametrizzazione non `e unica. Quella qui presentata, detta d’angolo, `e quella maggiormente utilizzata dai software statistici che stimano il modello logistico. Il nome deriva dal fatto che una modalit` a viene presa come riferimento, e i parametri rappresentano la distanza, in termini di logit, tra questa e le altre configurazioni delle esplicative. Si osservi che esiste sempre un modello che ricostruisce perfettamente le probabilit` a della distribuzione congiunta di (Y, X). Questo `e il modello saturo ed ha tanti parametri quanti i livelli di X. Tuttavia l’obiettivo dell’analisi statistica `e trovare delle regolarit`a nella descrizione delle associazioni verificando se alcuni parametri possono essere posti uguale a zero senza perdita di informazione. Ad esempio, se tutti i βr sono uguali a zero, allora logit[π(r)] = α per ogni r ∈ {0, 1, . . ., I − 1} e pertanto, dai risultati presentati nel capitolo precedente, Y e X sono indipendenti. Di conseguenza, la classificazione delle unit` a secondo la variabile X `e ridondante e non aggiunge informazioni sulla variabile Y . 3.4.1 La forma matriciale Il modello logistico semplice pu`o essere scritto in forma matriciale, attraverso la costruzione della matrice X, detta matrice del disegno. Illustriamo con un esempio il caso in cui questa `e categoriale. Esempio 3.2 Si abbia la seguente tabella di contingenza doppia: X Totale 0 1 2 Y 0 pY X (0, 0) pY X (0, 1) pY X (0, 2) pY (0) 1 pY X (1, 0) pY X (1, 1) pY X (1, 2) pY (1) Totale pX (0) pX (1) pX (2) 1 Si indichino i livelli della X attraverso due variabili dummy e si crei il vettore dei logit in ogni livello della X, come la seguente tabella mette in evidenza. logit[π(r)] logit[π(D1, D2)] Parametri logit[π(0)] logit[π(0, 0)] α logit[π(1)] logit[π(1, 0)] α + β1 logit[π(2)] logit[π(0, 1)] α + β2
3.5 Il modello logistico multiplo
53
La configurazione precedente suggerisce una forma matriciale. Si ponga: ⎛
⎞ logit[π(0, 0)] η = ⎝ logit[π(1, 0)] ⎠ . logit[π(0, 1)] Vi si associ la matrice X del disegno cos`ı costruita: ⎛
⎞ 100 X = ⎝1 1 0⎠. 101 o riscrivere come: Sia βT = (α, β1 , β2). Il modello si pu` η = X β. Come mette in luce l’esempio 3.2, le righe della matrice X corrispondono alle configurazioni delle esplicative. Ad ogni configurazione i `e associata l’estrazione di una v.c. binomiale, con valore atteso condizionato π(xi). Le colonne della matrice X corrispondono alle variabili. Nell’esempio, la prima `e la colonna di costanti, la seconda corrisponde alla dummy del secondo livello di X e la terza alla dummy del terzo livello di X. Il modello presentato nell’esempio `e un modello saturo, che ha tanti parametri quante le righe di X. Il modello pi` u semplice `e quello di indipendenza. La matrice X del modello di indipendenza avr` a solo la colonna di costanti. Oltre al modello di indipendenza, pu` o essere talvolta di interesse valutare se l’effetto di X = 1 `e uguale all’effetto di X = 2, ovvero β1 = β2 . Nell’esercizio 3.1 `e riportata la matrice del disegno del modello cos`ı costruito.
3.5 Il modello logistico multiplo Analogamente al modello di regressione lineare, il modello logistico si estende al caso di pi` u variabili esplicative. Sia (X1 , X2 , . . . , Xp)T un vettore di v.c. p-dimensionale che assume valori xT = (x1 , x2 , . . ., xp). Sia π(x) = P (Y = 1 | X1 = x1 , X2 = x2 , . . . , Xp = xp). Il modello ha la seguente espressione: logit[π(x)] = log
π(x) = α + β1 x1 + . . . + βp xp 1 − π(x)
54
3 Il modello logistico
da cui: P (Y = 1 | x) = π(x) = e anche: P (Y = 0 | x) =
exp(α + β1 x1 + . . . + βpxp ) 1 + exp(α + β1 x1 + . . . + βp xp)
1 . 1 + exp(α + β1 x1 + . . . + βp xp)
Questo modello `e detto modello logistico multiplo. Anche in questo caso, l’interpretazione dei coefficienti varia a seconda della natura delle variabili (X1 , X2, . . . , Xp). Nel caso in cui le variabili siano continue, il coefficiente βj esprime come varia il logit di Y ad una variazione unitaria di Xj , mantenendo costanti le altre variabili. Pi` u difficile invece `e l’interpretazione dei coefficienti nel caso in cui le variabile esplicative sono categoriali. Allo scopo di introdurre gradualmente il lettore, si inizia dalla situazione pi` u semplice, in cui si hanno due variabili esplicative. (a) Le Xj sono una v.c. continua e una v.c. binaria. Sia X1 la variabile binaria. Un primo modello `e il seguente: logit[π(x1, x2 )] = α + β1 x1 + β2 x2 che implica, nel caso in cui X1 = 0, logit[π(0, x2)] = α + β2 x2 e, nel caso in cui X1 = 1: logit[π(1, x2)] = α + β1 + β2 x2 . L’interpretazione del modello `e la seguente: vi `e un effetto della v.c. X1 e un effetto della v.c. X2 . L’effetto della prima ha come conseguenza quella di innalzare (se β1 `e positivo, abbassare altrimenti) la retta che spiega l’andamento del logit. Infatti: logit[π(1, x2)] − logit[π(0, x2)] = β1 . La pendenza della retta, tuttavia, che descrive la dipendenza del logit rispetto a X2 `e costante e pari a β2 nei due valori X1 . Questo modello contiene, oltre all’intercetta, gli effetti principali delle variabili esplicative, rappresentati dai coefficienti β1 e β2 . In Figura 3.2 `e presentato un esempio
3.5 Il modello logistico multiplo
55
2 1.8 1.6 logit π(1,x2)=α+β1+β2x2
logit π(x1,x2)
1.4 1.2 1
logit π(0,x2)=α+β2x2 0.8 0.6 0.4 0.2 0
0
0.1
0.2
0.3
0.4
0.5 x
0.6
0.7
0.8
0.9
1
2
Figura 3.2. Un esempio di modello logistico con α = 0.2, β1 = 0.4 e β2 = 0.02
di due rette parallele che rappresentano l’andamento dei logit rispetto a X2 nelle due popolazioni individuate dalla X1 . Un modello pi` u complesso del precedente `e il seguente. Si crei una variabile x3 data dal prodotto della x1 × x2 . Cos`ı costruita, x3 vale 0 se X1 = 0 a allora: e x2 se X1 = 1. Il modello sar` logit[π(x1, x2 )] = α + β1 x1 + β2 x2 + β3 x3 . Esso `e un modo sintetico di scrivere le due equazioni: logit[π(0, x2)] = α + β2 x2 nel caso in cui X1 = 0, e: logit[π(1, x2)] = α + β1 + β2 x2 + β3 x2 altrimenti. La pendenza della retta che descrive l’andamento del logit rispetto a X2 nella popolazione con X1 = 1 `e pertanto β2 + β3 . L’interpretazione del modello `e la seguente: vi `e un effetto di X1 e un effetto di X2 . L’effetto di X1 ha come conseguenza sia quella di innalzare (se β1 `e positivo, abbassare altrimenti) la retta che spiega l’andamento del logit, sia quella di aumentarne la pendenza (se β3 `e positivo, diminuirne altrimenti).
56
3 Il modello logistico
Il coefficiente β3 `e detto coefficiente di interazione del primo ordine. Esso esprime la modifica dell’effetto della variabile X2 sulla variabile risposta in conseguenza del variare di X1 . Per simmetria, esso esprime anche la modifica dell’effetto di X1 in conseguenza del variare di X2 . Nel grafico del modello, a differenza di quello in Figura 3.2, le due rette che descrivono l’andamento del logit rispetto alla x2 non sono parallele. Infatti, logit[π(1, x2)] − logit[π(0, x2)] = β1 + β2 x2 e la distanza fra le due rette varia con x2 . (b) Le Xj sono due v.c. binarie. Nel caso di due variabili esplicative binarie X1 e X2 , un possibile modello `e il seguente: (3.4) logit[π(x1 , x2 )] = α + β X1 x1 + β X2 x2 . Questo modello contiene solo gli effetti principali delle variabili. (Si noti il cambio di notazione dei coefficienti rispetto ai modelli precedenti). Per l’interpretazione dei coefficienti si seguono le linee gi`a delineate. Avremo: logit[π(1, m)] − logit[π(0, m)] = β X1 per
ogni m = {0, 1}
(3.5)
da cui risulta che β X1 `e il logaritmo del rapporto dei prodotti incrociati nelle due tabelle individuate dai valori di X2 . Infatti, ponendo in (3.5) m = 0: β X1 = logit[π(1, 0)] − logit[π(0, 0)] e pertanto β X1 = log
P (Y = 1 | X1 = 0, X2 = 0) P (Y = 1 | X1 = 1, X2 = 0) − log . P (Y = 0 | X1 = 1, X2 = 0) P (Y = 0 | X1 = 0, X2 = 0)
Moltiplicando per P (X1 = 1 | X2 = 0) il numeratore e il denominatore della prima frazione e per P (X1 = 0 | X2 = 0) il numeratore e il denominatore della seconda, si ottiene: β X1 = log
P (Y = 1, X1 = 1 | X2 = 0)P (Y = 0, X1 = 0 | X2 = 0) P (Y = 0, X1 = 1 | X2 = 0)P (Y = 1, X1 = 0 | X2 = 0)
da cui, β X1 = log cpr(Y, X1 | X2 = 0). Ponendo m = 1 in (3.5) si arriva, attraverso analoghi passaggi, a verificare che β X1 `e il logaritmo del cpr
3.5 Il modello logistico multiplo
57
nella sottotabella in cui X2 = 1. Per simmetria, il coefficiente β X2 si presta all’interpretazione analoga, di logaritmo del cpr nella sottotabella in cui X1 = 0 e, anche, di logaritmo del cpr nella sottotabella in cui X1 = 1. Da quanto detto, il modello precedente implica che l’effetto di X1 su Y non varia al variare della X2 e, analogamente, l’effetto di X2 su Y non varia al variare di X1 . Questa ipotesi `e spesso irrealistica. Si deve poter contemplare una situazione in cui il cpr sia diverso. Per fare questo occorre inserire un ulteriore coefficiente nel modello, come spiega il prossimo esempio. Esempio 3.3 Si consideri il seguente modello logistico con due variabili esplicative binarie X1 e X2 : logit[π(x1, x2 )] = α + β X1 x1 + β X2 x2 + β X1 X2 x1 × x2 .
(3.6)
Come la seguente tabella mette in evidenza, il modello `e saturo. logit[π(x1 , x2)] Parametri logit[π(0, 0)] α logit[π(1, 0)] α + β X1 logit[π(0, 1)] α + 0 + β X2 logit[π(1, 1)] α + β X1 + β X2 + β X1 X2 In questo modello: logit[π(1, 0)] − logit[π(0, 0)] = β X1 da cui deriva che β X1 `e il logaritmo del cpr(Y, X1 | X2 = 0). Inoltre, logit[π(1, 1)] − logit[π(0, 1)] = β X1 + β X1 X2 = log cpr(Y, X1 | X2 = 1) Di conseguenza: log
cpr(Y, X1 | X2 = 1) = β X1 X2 . cpr(Y, X1 | X2 = 0)
log
cpr(Y, X2 | X1 = 0) = β X1 X2 . cpr(Y, X2 | X1 = 1)
Ma, per simmetria,
Pertanto, β X1 X2 `e il parametro che esprime l’effetto su Y dovuto all’interazione di X1 e X2 .
58
3 Il modello logistico
(c) Le Xj sono p variabili casuali binarie con p > 2. Il modello saturo con p variabili esplicative binarie avr` a 2p parametri. Ad esempio, ponendo p = 3, questi saranno: un parametro α; 3 parametri
3 che esprimono gli effetti principali; 2 parametri di interazione del primo ordine e un parametro di interazione del secondo ordine. In tal caso, ogni combinazione (x1 , x2 , x3) delle variabili esplicative esprime un diverso valore atteso della variabile casuale Y . Come gi`a detto, il modello saturo non ha interesse dal punto di vista statistico, in quanto non impone semplificazioni e non individua regolarit` a nelle associazioni fra le esplicative e la variabile risposta. Esempio 3.4 Sia p = 3. Un possibile modello `e il seguente: logit[π(x1, x2 , x3 )] = α + β X1 x1 + β X2 x2 + β X3 x3 + β X1 X2 x1 x2 .
(3.7)
Questo modello implica che: logit[π(x1, x2 , 1)] − logit[π(x1 , x2 , 0)] = β X3 ovvero, il rapporto dei prodotti incrociati fra Y e X3 `e costante in tutte le 2 × 2 tabelle condizionate a X1 e X2 congiuntamente. Inoltre: log
cpr(Y, X1 | X2 = 1, X3 = 1) cpr(Y, X1 | X2 = 1, X3 = 0) = β X1 X2 = cpr(Y, X1 | X2 = 0, X3 = 0) cpr(Y, X1 | X2 = 0, X3 = 1)
ovvero, il rapporto dei prodotti incrociati fra Y e X1 varia al variare di X2 ma `e costante rispetto a X3 . Pertanto, β X1 X2 `e il parametro che esprime l’effetto su Y dovuto alla interazione fra X1 e X2 . Tale parametro non dipende dai livelli di X3 , ovvero non varia se X3 assume valore ‘0’ o ‘1’. (c) Caso in cui le Xj sono p variabili categoriali. La teoria precedente permette di estendere abbastanza agevolmente l’interpretazione del modello logistico multiplo al caso generico di p variabili esplicative categoriali. Poniamo p = 3. L’analogo del modello (3.7) pu` o cos`ı scriversi: X1 X2 X1 X2 X2 X2 Dm + βrX3 DrX3 + βkm Dk Dm . logitπ(k, m, r) = α + βkX1 DkX1 + βm
In ogni configurazione delle esplicative, il modello `e una replicazione del modello (3.7) e la interpretazione dei parametri coincide con il caso binario. Si noti che spesso, nella scrittura del modello, le variabili dummy sono omesse.
3.5 Il modello logistico multiplo
59
In tal caso, occorre precisare che tutti i parametri relativi a configurazioni Xj che coinvolgono il livello ‘0’ sono nulli, si veda l’esempio 3.5. Nel caso in analisi, i termini che sintetizzano gli effetti principali delle variabili Xj sono adesso (Ij − 1). I termini che esprimono le interazioni del primo ordine fra una variabile Xj e una variabile Xl sono adesso (Ij − 1)(Il − 1). I termini che esprimono le interazioni del secondo ordine fra le due variabili precedenti e una terza Xk saranno (Ij − 1)(Il − 1)(Ik − 1), e cos`ı via. I modelli che consideriamo sono detti gerarchici. Sia S un possibile sottoinsieme delle variabili esplicative che d`a luogo ad un termine di interazione diverso da zero. Il modello `e gerarchico se tutti i termini di interazione fra le variabili in S1 , S2 , . . . , Sk sono diversi da zero, con S1 , S2 , . . . , Sk tutti i possibili sottoinsiemi di S. Esempio 3.5 Si consideri il seguente modello con quattro variabili esplicative: X1 X2 X1 X4 X2 + βrX3 + βlX4 + βkm + βkl . logit[π(k, m, r, l)] = α + βkX1 + βm
in cui si assegna valore zero a tutti i parametri relativi a configurazioni delle a ‘0’. Il modello `e gerarchico. Esso implica che Xj che coinvolgono le modalit` tutte le variabili hanno un effetto sulla Y ; l’effetto della variabile X1 varia con X2 (e viceversa); l’effetto della variabile X1 varia con X4 (e viceversa); infine l’effetto di X3 non varia al variare delle altre variabili. X2 nell’esempio precedente d`a luogo ad un L’omissione del termine βm modello non gerarchico. Invece, l’omissione del termine βrX3 `e possibile, ed anzi permette una interessante interpretazione del modello in termini di indipendenza condizionale con importanti risvolti applicativi, come mette in luce il seguente esempio.
Esempio 3.6 (segue da 3.5). Si consideri il modello dell’esempio 3.5 in cui si pone βrX3 = 0 per ogni valore r di X3 . Il modello che risulta implica che Y ⊥ ⊥X3 | X1 , X2, X4 . Infatti, la P (Y = r | x1 , x2, x3 , x4 ) = P (Y = r | x1 , x2 , x4 ) per ogni r e x1 , x2 , x3 , x4 . Dal punto di vista applicativo, questo vuole dire che una volta che sono noti i valori x1 , x2 , x4 , l’informazione sul o essere omessa dalla funzione di score. valore x3 `e ridondante e pu` 3.5.1 La forma matriciale Anche il modello logistico multiplo pu` o essere scritto in forma matriciale, attraverso la costruzione della matrice del disegno X. Sia p il numero di
60
3 Il modello logistico
variabili esplicative, incluse le dummy, del modello. Nei modelli che consideriamo la prima colonna contiene i termini costanti (ovvero xi1 = 1 per ogni i). Il seguente esempio chiarisce quanto detto. Esempio 3.7 (segue da 3.1) Si costruisca la matrice del disegno del modello saturo X1 X2 X1 X2 + β12 . logitπ(x1 , x2 ) = α + β X1 + β1X2 + β2X2 + β11
Riprendendo l’esempio 3.1, avremo, Propriet` a Reddito D1X1 D1X2 No 0 0 0 0 1 No 1 No 2 0 0 1 0 S`ı 0 S`ı 1 1 1 1 0 S`ı 2
D2X2 0 0 1 0 0 1
X 1 1 1 1 1 1
0 0 0 1 1 1
0 1 0 0 1 0
0 0 1 0 0 1
0 0 0 0 1 0
0 0 0 0 0 1
in cui, ad esempio, la quinta colonna di X `e ottenuta per prodotto, elemento per elemento, fra la seconda e la terza. Si noti che nel caso in cui tutte le esplicative siano variabili categoriali, come nell’esempio precedente, ogni riga di X corrisponde ad una cella della tabella di contingenza ottenuta dalla classificazione delle unit` a secondo le esplicative e il valore N sar` a pertanto pari al numero di celle della tabella. Nel caso di una esplicativa continua, a meno di arrotondamenti che generino ripetizioni di valori, ogni osservazione presenta un valore diverso. In tal caso, ni = 1 e le righe di X sono pari al numero N di osservazioni. La forma matriciale del modello, tuttavia, non cambia. → Sia η il vettore dei logit nella tabella ottenuta attraverso la classificazione congiunta delle variabili esplicative. Avremo: η = Xβ in cui X `e la matrice del disegno. Si comprende quindi che il numero di parametri del modello coincide con il rango della matrice X, ovvero con il numero di colonne linearmente indipendenti nella matrice del disegno. Si veda l’esercizio 3.6 per la forma matriciale del modello (3.6).
3.6 La stima mediante massima verosimiglianza
61
3.6 La stima mediante massima verosimiglianza Si indichi con xi il vettore riga delle variabili esplicative associato alla iesima cella della tabella di contingenza ottenuta dalla classificazione congiunta delle unit` a secondo le variabili esplicative. Le variabili in xi, xij , sono continue o variabili dummy di variabili categoriali e delle loro interazioni. Siano N le celle della tabella cos`ı ottenuta. Per ogni cella i si ha una estrazione di una binomiale relativa di parametri ni e π(xi), in cui si `e osservato wi successi. Si scriva il modello di regressione logistico nella seguente forma: p βj xij (3.8) logitπ(xi) = j=1
in cui si `e posto α = β1 e xi1 = 1. Si assume che ogni cella sia una estrazione di una v.c. binomiale relativa Wi di dimensione ni e valore atteso π(xi). La funzione di probabilit` a nella cella i-esima `e pertanto pari a ni π(xi)wi [1 − π(xi)]ni −wi wi con π(xi) =
exp(
p
1 + exp(
j=1 p
e 1 − π(xi) =
1 + exp(
βj xij )
j=1
1 p
βj xij )
.
j=1 βj xij )
(3.9)
.
Si indichi con li (β) la funzione di log-verosimiglianza della i-esima estrazione. Questa `e proporzionale alla seguente espressione: li (β) = wi log π(xi) + (ni − wi ) log[1 − π(xi)].
(3.10)
Per N estrazioni indipendenti, la funzione di log-verosimiglianza del cam pione L = i li `e proporzionale alla seguente: L(β) =
{wi log π(xi) + (ni − wi ) log[1 − π(xi)]}
i
da cui: L(β) =
i
wilog
π(xi) + ni log [1 − π(xi)] . 1 − π(xi) i
(3.11)
62
3 Il modello logistico
Notando che
wi log
i
π(xi) = wi ( βj xij ) = βj ( wi xij ) 1 − π(xi) i
j
j
i
avremo
L(β) =
βj
j
wi xij
−
i
⎡
⎛
ni log ⎣1 + exp ⎝
i
⎞⎤ βj xij ⎠⎦ .
j
La stima di massima verosimiglianza si ottiene uguagliando a zero le derivate parziali ∂L(β)/∂βj . Essendo ∂L(β) exp( k βk xik ) = wi xij − ni xij ∂βj 1 + exp( k βk xik ) i
i
il sistema di equazioni di verosimiglianza `e pertanto i
wi xij −
xij ni π ˆ (xi) = 0 , j = {1, . . ., p}
(3.12)
i
a di successo stimata, in cui, per ogni riga i, la grandezza π ˆ (xi ) `e la probabilit` ˆ ˆ (xi) `e la stima ottenuta sostituendo in (3.9) le stime βj , e la grandezza ni π della frequenza di successo teorica. Se con X indichiamo adesso la matrice del disegno, di dimensioni N × p, con righe xi e con w indichiamo il vettore ˆ il vettore N × 1 di elementi ni π ˆ (xi ), possiamo N × 1 di elementi wi e con w riscrivere le equazioni di verosimiglianza in forma matriciale: ˆ XT w = XT w.
(3.13)
Si noti l’analogia con la (B.3). Tuttavia, a differenza del modello di regressione lineare, in questo caso il sistema (3.13) non ha soluzione esplicita, tranne nel caso non interessante in cui il modello `e saturo e le frequenze osservate coincidono con quelle stimate (si veda l’esercizio 3.4 per il modello logistico semplice). In tutti gli altri casi, la massimizzazione della funzione di verosimiglianza si ottiene attraverso algoritmi iterativi. Se il modello riga di 1 e la prima equacontiene l’intercetta, la prima riga di XT `e una ˆi , ovvero le frequenze zione del sistema (3.13) implica che i wi = iw teoriche di successo sono uguali a quelle empiriche.
3.7 Verifica d’ipotesi
63
3.6.1 La matrice delle varianze e delle covarianze asintotica ˆ cos`ı ottenuti hanno una distribuzione asintotica normale con Gli stimatori β matrice delle varianze e delle covarianze data dalla inversa della matrice di informazione attesa, il cui generico elemento `e: E
∂L(β) ∂L(β) = −E ∂βa ∂βb i xia xib ni exp( j βj xij ) = [1 + exp( j βj xij )]2 =− xia xib ni π(xi)[1 − π(xi)].
∂ 2 L(β) ∂βa∂βb
i
La stima della matrice delle varianze e delle covarianze si ottiene invertendo ˆ Di conseguenza: la matrice di informazione attesa, valutata in β. β) ˆ = {XT diag[ni π ˆ (xi)(1 − π ˆ (xi)]X}−1 Var( in cui diag[ni π ˆ (xi)(1 − π ˆ (xi)] `e una matrice diagonale di dimensioni N × β) ˆ fornisce N . La radice quadrata degli elementi sulla diagonale di Var( ˆ gli errori standard degli stimatori β. Come vedremo, queste informazioni, ed altre che adesso andiamo ad introdurre, sono fornite nell’ output di ogni software statistico per la stima del modello logistico. Questi risultati permettono, oltre che di verificare ipotesi sui coefficienti del modello di cui parleremo in seguito, la costruzione di intervalli di confidenza per i parametri βj del modello, che non sar`a trattata in questa sede. La teoria di riferimento non `e diversa dal caso lineare, presentato nell’Appendice B.
3.7 Verifica d’ipotesi Come abbiamo detto, ogni analisi statistica mira a evidenziare il modello o i modelli pi` u parsimoniosi nella classe dei modelli che spiegano bene i dati osservati. Il modello che ricostruisce perfettamente i dati osservati `e il modello saturo che ha tanti parametri quante le celle i della tabella di contingenza. La funzione di verosimiglianza, e il suo logaritmo (3.10), `e in tal caso massima. Tuttavia, il modello saturo non distingue gli effetti dovuti al campionamento da quelli presenti nella popolazione e come tale non pu` o essere considerato un modello soddisfacente. La teoria che andiamo ad esporre permette di valutare mediante test statistici se un modello ridotto
64
3 Il modello logistico
possa essere considerato adeguato. Si indichi con α la probabilit` a di rifiutare l’ipotesi nulla quando `e vera. Tipicamente, si pone α = 0.05 oppure α = 0.01. 3.7.1 Verifica di ipotesi sul modello I test G2 e X 2 che qui presentiamo consentono di effettuare un confronto fra un modello ridotto e il modello saturo. Sia M1 il modello saturo e M0 un secondo modello con M0 annidato in M1 , ovvero ottenuto ponendo a zero alcuni parametri di M1 . Si vuole verificare l’ipotesi che il campione osservato `e stato estratto dal modello M0 , contro l’ipotesi alternativa che il campione osservato `e stato estratto dal modello M1 . In simboli, sia H0 : il modello vero `e M0 e H1 : il modello vero `e M1 . → Il test G2 del rapporto delle verosimiglianze. Un primo test `e basato sulla distanza dei logaritmi della funzione di verosimiglianza dei due modelli ed `e noto come test del rapporto di verosimiglianze. Sia L0 il logaritmo della verosimiglianza sotto H0 e L1 il logaritmo della verosimiglianza sotto H1 . La seguente statistica `e nota come devianza del modello: wi (ni − wi) 2 + (ni − wi)log . wi log G = −2(L0 − L1 ) = 2 ni π ˆ (xi) ni − ni π ˆ (xi) i (3.14) La statistica G2 `e piccola se le due verosimiglianze sono vicine e grande altrimenti e tende a diminuire a mano a mano che il modello sotto H0 si avvicina al modello saturo. Indicando con wi (ni − wi ) + (ni − wi )log di = 2 wi log ni π ˆ (xi) ni − ni π ˆ (xi ) la (3.14) pu` o anche riscriversi come G2 = √
di .
i
ˆ (xi)] sono detti residui della devianza. Essi saI termini di sign[wi −ni π ranno tanto pi` u piccoli tanto pi` u le frequenze teoriche si avvicinano a quelle osservate. L’analisi approfondita dei residui pu` o portare a informazioni utili anche nel caso di un modello che presenta valori piccoli di G2 . → Il test X 2 di Pearson. Un altro test `e basato sulla statistica di Pearson, che `e anch’essa una funzione della distanza fra le frequenze di celle osservate e quelle teoriche calcolate sulla base del modello ridotto. La
3.7 Verifica d’ipotesi
statistica di Pearson `e: X2 =
65
[(wi − ni π ˆ (xi ))2 /ni π ˆ (xi )]
e sar`a pi` u piccola tanto pi` u le frequenza teoriche si avvicinano a quelle osservate. La distribuzione asintotica delle due statistiche dipende dalla natura delle variabili esplicative. Distinguiamo pertanto tre casi. → Esplicative categoriali. Se le variabili in X sono tutte categoriali, al tendere di ni all’infinito, le due statistiche test tendono a distribuirsi, sotto a pari alla differenza fra il numero dei H0 , come una χ2 con gradi di libert` parametri in M1 e il numero dei parametri in M0 . Molti software statistici stampano, per ogni test, il valore della statistica calcolato sul campione e il p-value associato, ovvero la probabilit`a di ottenere, sotto l’ipotesi H0 , un valore maggiore o uguale della statistica test osservata. Se questo `e elevato e superiore ad α, la statistica test cade nella zona di accettazione di H0 e pertanto non si rifiuta l’ipotesi che il modello che ha generato i dati `e il modello ridotto M0 . → Almeno una esplicativa `e continua. Nel caso in cui, invece, almeno una delle variabili in X sia continua, ni = 1 per ogni i. Il numero delle celle della tabella di contingenza ottenuta dalla classificazione congiunta delle variabili esplicative cresce, pertanto, con la numerosit` a del campione. Si verifica agevolmente che la devianza dipende in modo deterministico dalle stime dei parametri (si veda l’esercizio 3.5). In tal caso, un valore elevato della statistica pu` o essere ottenuto anche in un buon modello, a seconda ˆ Viene della scelta del parametro β e, di conseguenza, della sua stima β. pertanto a cadere una delle condizioni per cui la distribuzione asintotica di tale grandezza `e χ2 . In tal caso `e preferibile utilizzare altri test, quali ad esempio il test di Hosmer e Lemeshow, presentato nel paragrafo 3.11. → Tabelle sparse. Una situazione intermedia fra i due casi precedenti `e rappresentata dalle tabelle sparse, ovvero tabelle in cui una rilevante proo porzione di celle abbia poche osservazioni (ad esempio ni < 5). Questo pu` accadere o perch´e il campione `e piccolo, o perch´e, come nel credit scoring, vi sono configurazioni pi` u rare di altre. Anche in tal caso, i risultati asintotici possono fornire una cattiva approssimazione della vera distribuzione delle due statistiche test. In letteratura vi sono numerosi studi per valutare quale delle due statistiche test sia preferibile. Il test basato sulla statistica X 2
66
3 Il modello logistico
sembra essere preferibile. Per tabelle sparse, tuttavia, sono disponibili test basati sulla determinazione della distribuzione esatta di opportune statistiche test in campioni finiti. Questi test sono impegnativi dal punto di vista computazionale. Essi sono implementati solo in alcuni software statistici. In molti casi, si vuole effettuare un confronto fra due modelli, M1 e M2 entrambi diversi dal modello saturo e tali che M2 `e annidato in M1 , ovvero `e ottenuto da M1 ponendo a zero alcuni dei parametri. Tale confronto viene effettuato utilizzando come statistica test la differenza delle devianze fra i due modelli. Indicando con L1 e G21 rispettivamente la log-verosimiglianza e la devianza del modello M1 e con L2 e G22 le analoghe grandezze del modello M2 , la statistica test `e data dalla differenza: G22 − G21 = −2(L2 − L1 ). Anche questo test `e basato sul rapporto delle verosimiglianze. La distria pari alla buzione asintotica della statistica `e una χ2 con gradi di libert` differenza dei gradi di libert` a delle rispettive devianze (ovvero, anche, alla differenza fra il numero dei parametri del secondo modello e quello del primo). In questo caso, l’approssimazione risulta buona anche per tabelle sparse e per dati continui. Una situazione di particolare interesse `e quella in cui il modello postulato nell’H0 contiene solo l’intercetta, ovvero impone l’indipendenza della risposta Y dalle variabili esplicative. Si noti che, a differenza dei test precedenti, in cui l’obiettivo `e quello di non rifiutare l’ipotesi nulla, in questo caso l’obiettivo `e rifiutare l’ipotesi nulla a favore dell’ipotesi che il modello che ha generato i dati sia un modello pi` u sofisticato. Come abbiamo detto, un modo alternativo di scrivere il modello `e quello di vedere il campione generato con estrazioni indipendenti di una variabile bernoulliana. Si verifica agevolmente che la funzione di verosimiglianza di questo secondo modello `e proporzionale a quella scritta precedentemente e, pertanto, le stime di massima verosimiglianza dei due modelli coincidono. Tuttavia, nell’ipotesi di distribuzione bernoulliana, il modello saturo `e diverso da quello visto in precedenza, in quanto il numero di osservazioni `e dato dalla numerosit` a n del campione, anzich´e dal numero N di righe della tabella di contingenza. I due modelli saturi coincidono solo se ni = 1 per ogni i. Per questo motivo, la devianza calcolata da alcuni software differisce a seconda della struttura dei dati in input. Infatti, se la forma dei dati in input `e quella di una matrice con tante righe quante le osservazioni e tante colonne quante le variabili, la devianza viene calcolata considerando
3.7 Verifica d’ipotesi
67
il modello di Bernoulli, anche nel caso di esplicative tutte categoriali. La verosimiglianza considerando il modello binomiale `e calcolata dai software nel caso in cui in input siano date le frequenze della tabella di contingenza. Tuttavia, la differenza delle devianze fra due modelli entrambi non saturi non dipende dalla struttura dei dati in input. 3.7.2 Verifica d’ipotesi sull’effetto di una variabile Il test del rapporto di verosimiglianza viene utilizzato in situazioni in cui si vuole valutare se una variabile categoriale di interesse ha un’influenza significativa sulla risposta. In questa situazione il modello postulato nell’H0 `e derivato da quello dell’ H1 imponendo uguale a zero il vettore dei parametri che rappresentano gli effetti in studio. Dal momento che ci limitiamo a considerare modelli gerarchici, si impone inizialmente a zero tutti i parametri che esprimono l’ interazione di ordine pi` u elevato della variabile in studio con le altre variabili nel modello. Se questi non sono significativi, allora si procede a valutare la significativit` a dei parametri che esprimono l’ interazione di ordine inferiore. Ad ogni passo, la statistica test basata sulla a differenza delle devianze ha distribuzione asintotica χ2 con gradi di libert` pari al numero dei parametri posti uguali a zero. 3.7.3 Test sul singolo coefficiente In alcuni casi, se le variabili esplicative sono continue o binarie, pu` o essere di interesse sottoporre a verifica l’ipotesi che un unico parametro sia pari a zero contro l’ipotesi alternativa che esso sia diverso da zero. In tale caso si pone H0 : βj = 0 e H1 : βj = 0. La teoria illustrata in precedenza pu`o essere utilizzata anche in questo caso particolare. Un secondo test, `e invece basato sulla statistica test, detta di Wald, la cui espressione `e la seguente: βˆj /SE(βˆj ) dove SE(βˆj ) `e l’errore standard ovvero la radice quadrata del j-esimo elemento della diagonale principale della matrice delle varianze e delle coˆ Sotto H0 , la statistica test `e asintoticamente β). varianze stimata, Var( distribuita come una N (0, 1). Molti software statistici calcolano il p-value associato. Se il p-value `e superiore ad α si accetta l’ipotesi nulla. Si noti che questo test `e meno preciso del test basato sul rapporto delle verosimiglianze e, per valori elevati di |βj |, ha una elevata probabilit` a di condurre a non
68
3 Il modello logistico
rifiutare H0 quando `e falsa. Questo comportamento si riscontra anche nel caso di multicollinearit` a della matrice X, in analogia con il modello lineare.
3.8 Il criterio di scelta AIC I test precedenti non sono gli unici criteri di inclusione o esclusione di variabili dal modello. In letteratura esistono criteri alternativi che si basano su misure diverse di ottimalit` a. Il pi` u noto `e il criterio di informazione di Akaike e noto come AIC. Esso porta a selezionare il modello per cui `e minima la grandezza: ˆ − numero dei parametri del modello] AIC = −2[L(β) ˆ `e la log-verosimiglianza del campione calcolata nel punto di in cui L(β) massimo. Di conseguenza, modelli con molti parametri sono penalizzati. Il criterio AIC fornisce un ordinamento fra modelli, anche non annidati. Si propone come criterio da affiancare alla procedura basata sulla massimizzazione della verosimiglianza, che tende a selezionare modelli con molti parametri in contrasto con il principio di parsimonia. Molti software statistici stampano il valore della grandezza AIC. Essa pu`o essere vista come esempio di un insieme di criteri di penalizzazione della log-verosimiglianza, attraverso funzioni crescenti del numero dei parametri del modello.
3.9 La selezione del modello Ogni analisi statistica conduce alla individuazione, nella classe dei modelli possibili, di uno o pi` u modelli che possiedono due caratteristiche fondamentali: riprodurre ’bene’ i dati e fornire una interpretazione del fenomeno in studio. Come gi`a anticipato, fra i due requisiti vi `e una relazione negativa: il modello che riproduce perfettamente i dati `e infatti il modello saturo, il quale tuttavia non porge nessuna intuizione sul meccanismo li genera. In questo contesto, la selezione del modello si riduce alla ricerca dell’insieme p di variabili pi` u parsimonioso per formare la matrice X. Questo implica che le variabili che non hanno una influenza rilevante sulla risposta debbano essere escluse dalla matrice. Questo fatto non solo ha una rilevanza scientifica, che nel nostro caso si riflette su una procedura pi` u snella dal punto di vista operativo, ma ha anche una implicazione sulla stabilit` a ed affidabilit` a delle stime. Infatti, al crescere dei criteri di classificazione delle unit` a del campione cresce il numero N di righe della matrice X. Dal momento che la numerosit`a campionaria resta costante, il numero dei successi
3.9 La selezione del modello
69
wi e degli insuccessi ni −wi , sui quali si basano le equazioni di verosimiglianza, diminuisce per ogni cella i. Di conseguenza, le stime diventano meno accurate. La scelta del migliore sottoinsieme di variabili non `e di per s´e un esercizio semplice. Innanzi tutto occorre specificare quale `e il criterio con cui un modello `e preferito ad un secondo modello. Nelle procedure che qui illustriamo, il confronto `e sempre fatto fra un primo modello e un secondo ottenuto come semplificazione di questo. Una volta scelto il criterio, la procedura teoricamente migliore sarebbe quella che esplora tutto lo spazio dei modelli. Tuttavia anche questa non `e immune da difetti. Infatti, non solo richiede molto tempo, specie se l’insieme iniziale delle covariate `e grande, ma anche non permette di controllarne la probabilit` a di errore, dal momento che questa non `e legata in maniera semplice alla probabilit` a di errore del singolo confronto.
3.9.1 Procedure backward, forward e stepwise Le procedure per la selezione del migliore insieme di covariate maggiormente utilizzate sono dette incrementali, in quanto si svolgono per passi successivi. Ad ogni passo vengono messi a confronto due modelli gerarchici annidati e la scelta `e effettuata sulla base di uno dei criteri di ottimalit` a presentati nei paragrafi precedenti. Presentiamo le tecniche assumendo che i due modelli a confronto differiscano per un solo parametro e che il criterio sia uno dei test statistici presentati. La procedura non varia nella sostanza se i due modelli differiscono per un vettore di parametri, che possono rappresentare gli effetti principali di una variabile categoriale con un numero di livelli superiore a due, o l’interazione fra questa ed altre variabili. In tal caso tuttavia il test di significativit` a su un singolo coefficiente non pu` o essere utilizzato come criterio di scelta. → Backward. La procedura backward parte dal modello saturo e rimuove ad ogni passo il parametro con il p-value pi` u elevato. La procedura si arresta quando tutti i parametri del modello hanno un p-value inferiore ad α. → Forward. La procedura forward parte dal modello con solo l’intercetta e ad ogni passo aggiunge il parametro con il pi` u piccolo p-value. La procedura si arresta quando tutti i parametri non inclusi nel modello hanno un p-value superiore ad α.
70
3 Il modello logistico
→ Stepwise. La procedura stepwise alterna passi di inclusione a passi di esclusione, ed `e pertanto un compromesso fra le due precedenti. Si arresta quando nessuno dei due tipi di passi `e permesso. La tre procedure in generale conducono a modelli simili, specialmente se la relazione fra la risposta e le esplicative `e forte. Nonostante non vi siano stringenti argomentazioni teoriche per preferire una alle altre, occorre notare che, mentre la procedura backward inizia con un modello complesso che `e coerente con i dati e procede alla sua semplificazione, la procedura forward si muove, nei passi iniziali, fra modelli spesso non coerenti con i dati. Il p-value prodotto dal test nasce pertanto dal confronto fra due modelli, nessuno di quali `e accettabile. Per questo motivo la backward `e generalmente preferita all’altra. Nella pratica, esistono numerose variazioni delle procedure illustrate, alcune di esse particolarmente utili nel credit scoring, in cui tipicamente vi sono molte potenziali variabili esplicative. In tal caso, il modello saturo pu`o essere basato su una tabella sparsa dando luogo ai problemi di instabilit`a menzionati in precedenza. Si preferisce allora porre come base per la procedura backward il modello ridotto che include tutte le interazioni fino ad un determinato ordine, usualmente il secondo o il terzo. Sempre per evitare problemi dovuti alla sparsit`a della tabella, talvolta si procede a selezionare un primo insieme di variabili risultate esplicative in modelli univariariati in cui la risposta `e regredita contro la singola esplicativa attraverso un modello logistico semplice. La procedura backward viene implementata sul modello saturo che include le variabili risultate rilevanti in questa fase. Il limite di questo modo di procedere risiede nell’escludere a priori che una variabili marginalmente indipendente dalla risposta possa essere associata ad essa condizionando ad altre variabili esplicative (si pensi all’esempio 2.6, ovvero a fenomeni legati al paradosso di Simpson). Per questo motivo, `e consigliabile inserire nel primo insieme anche variabili con un p-value superiore al livello α prescelto (ad esempio pari a 0.20 o 0.25). Lo studio preliminare dei modelli logistici univariati permette anche di individuare la forma funzionale opportuna per le potenziali variabili esplicative continue. Infatti, `e possibile che queste variabili non abbiano un semplice effetto lineare sulla probabilit` a di successo. Per meglio valutare l’andamento di queste variabili si consiglia inizialmente suddividere il campo di variazione in cinque intervalli e di fare un grafico che pone in ascissa i valori centrali degli intervalli e in ordinata il corrispondente logit empirico, ovvero il logaritmo degli odds osservati.
3.10 La tabella di errata classificazione
71
Si pu` o anche introdurre un criterio di coerenza, ovvero se ad un determinato passo un termine `e apparso molto significativo, questo termine rimane inserito nei successivi modelli. Questo criterio `e tuttavia accettabile solamente nell’ambito della procedura backward. In tal caso, a meno di fenomeni legati al paradosso di Simpson, se un termine `e significativo in un certo modello, lo dovr` a essere anche in un modello ridotto, mentre non `e vero il viceversa. Le procedure incrementali hanno il merito di essere facilmente implementabili nei software statistici e pertanto di condurre velocemente ad un modello finale. Esse necessariamente esplorano un sottoinsieme limitato di modelli e possono escludere modelli rilevanti. Pertanto debbono essere usate con cautela. In ogni studio statistico, e nel credit scoring in particolare, vi `e una conoscenza a priori del fenomeno, dettata o dalla teoria o dalla esperienza passata, di cui `e importante tenere conto. Spesso `e preferibile un modello non ottimale, ma che contiene le variabili giudicate importanti sulla base delle conoscenze a priori, anche se non risultate significative dalle analisi condotte sul campione di sviluppo. In molti studi, inoltre, il prodotto finale di una buona indagine statistica non `e un unico modello, ma un insieme di modelli, ciascuno dei quali fornisce una adeguata spiegazione del fenomeno. La discussione della compatibilit` a dei meccanismi di generazione dei dati che i modelli selezionati sembrano suggerire e il confronto fra le differenti capacit` a inferenziali sono anch’essi parti rilevanti dell’indagine e costituiscono una importante fonte di informazione.
3.10 La tabella di errata classificazione Poniamo adesso di avere selezionato il modello maggiormente parsimonioso nella classe dei modelli, con uno dei metodi per passi successivi precedentemente illustrati. L’obbiettivo del credit scoring, e dello scoring di accettazione in particolare, `e quello di ben classificare i potenziali clienti nel gruppo dei buoni o dei cattivi con la minore probabilit` a di errore. Successivi strumenti di convalida sono necessari pertanto per valutare la precisione del modello scelto nel classificare le prossime unit`a in ingresso. In questo paragrafo presentiamo una serie di analisi basate sulla tabella di errata classificazione. a di ingresso, Sia sˆi = sˆ(xi ) il valore dello score nella prossima unit` stimato con il modello selezionato al passo precedente. L’assegnazione di una unit` a ad una popolazione viene effettuata confrontando sˆi con il valore
72
3 Il modello logistico
di soglia: l’unit` a viene assegnata a P1 se sˆi > log c e a P0 altrimenti. Ad ogni unit` a i della popolazione, pertanto, viene associata una variabile detta Flag stimata, che vale ‘1’ se sˆi > log c e ‘0’ altrimenti. La tabella di errata classificazione `e ottenuta dalla classificazione congiunta delle unit` a del campione di convalida secondo la Flag osservata e a appartenenti alle due quella stimata. Siano n0 e n1 le frequenza di unit` popolazioni nel campione campione di convalida (con n = n0 + n1 indichiamo in questo paragafo la dimensione del campione di convalida). Si ottiene pertanto la seguente tabella 2 × 2: Flag stimata Totale 0 1 Flag 0 a b n0 1 c d n1 Totale a+c b+d n Sulla diagonale principale sono riportate le frequenze delle unit` a correttamente classificate e la somma h = (a + d)/n `e la frequenza relativa di unit` a correttamente classificate nel campione di convalida (in inglese hit rate). Fuori diagonale, invece, sono riportate le frequenze delle unit` a classificate male. Come abbiamo detto, anche nel caso di perfetta conoscenza della funzione di score, avremmo probabilit`a positive di compiere i due errori di classificazione. Queste probabilit`a sono dette ottimali, poich´e ottenute con la vera funzione di score. La tabella di errata classificazione costruita con s(x) anzich´e sˆ(x) fornisce, su un campione finito, una stima delle probabilit` a di errore ottimali. Nella realt`a, la funzione di score non `e nota, ma `e stimata attraverso il campione di convalida. Possiamo pertanto individuare un’ulteriore probabilit` a di errore, quella cio`e calcolata condizionandosi al campione estratto e pertanto alla stima dei parametri della funzione di score. Questa `e la probabilit` a reale (in inglese actual) di errore, ovvero quella in cui ci si imbatte in pratica, quando si procede a classificare la prossima unit` a in ingresso sulla base della funzione di score sˆ(x), stimata nel campione di campione di sviluppo. La grandezza o = (b + c)/n `e una stima della probabilit` a reale di errore, ovvero condizionata alla funzione di score stimata. Si osservi che perseguire come unico criterio la minimizzazione della grandezza o pu` o essere fuorviante, dal momento che essa risente delle frequenze marginali n0 e n1 nel campione campione di convalida (ovvero anche delle probabilit` a marginali P (Y = 0) e P (Y = 1) se questo `e formato in
3.10 La tabella di errata classificazione
73
maniera casuale). A titolo di esempio, infatti, poniamo che solo il 10% del totale delle unit` a presenti il valore della Flag pari a ‘0’. Se per assurdo classifichiamo come buone tutte le unit`a del campione, ovvero poniamo Flag stimata pari a ‘1’ per ogni unit` a, avremo il 100% dei buoni classificati bene e il 100% dei cattivi classificati male. Ma essendo questi solo il 10% del totale delle unit` a, avremo una frequenza relativa di errore pari a solo il 10%. L’esempio precedente mette in evidenza il fatto che i criteri di classificazione basati sulla minimizzazione della grandezza o portano inevitabilmente a favorire la classe di maggiore ampiezza. Per evitare questa distorsione, si affianca alla grandezza o l’analisi delle frequenze relative di errore c/n1 e a b/n0 all’interno dei due gruppi. Il primo rapporto `e la proporzione di unit` solvibili giudicate non solvibili ed `e pertanto una stima della probabilit` a reale di compiere un errore del primo tipo; analogamente, il secondo `e la proporzione di unit` a non solvibili classificate come solvibili, ed `e una stima della probabilit` a reale di compiere un errore del secondo tipo. Si noti, inola tre, che le grandezze a/n0 e d/n1 sono, in ordine, una stima della specificit` e della sensibilit` a del classificatore. In generale, il campione di convalida deve essere di numerosit`a sufficientemente elevata per garantire una stima accurata della probabilit` a di errore reale. Tale ampiezza dipende in maniera crescente dal numero p di variabili esplicative risultate significative nel processo di selezione del modello. Dal momento che queste non sono tuttavia note all’inizio della fase di stima, la numerosit` a del campione di convalida si basa su criteri euristici. Questi portano a dire che il campione di convalida deve essere di numerosit`a compresa fra il 20% e il 35% della numerosit`a totale del campione. Si noti che aumentando la soglia c cresce la probabilit`a che i cattivi osservati siano classificati come cattivi ma diminuisce la probabilit`a che i buoni osservati siano classificati come buoni. Vi `e pertanto un trade-off fra sensibilit` a e specificit`a. Le analisi precedenti, inoltre, si basano su un valore di soglia fissato. Altri metodi, quali quelli basati sulla curva ROC (o CAP) e sul calcolo degli indici presentati nel primo capitolo, non presentano questa limitazione. 3.10.1 Il confronto con il caso Una domanda che `e lecito porsi a questo punto `e la seguente: quanto migliore `e la classificazione ottenuta con la funzione sˆ(x) rispetto a quella ottenuta classificando a caso le unit`a? Per rispondere alla domanda occorre chiarire che cosa si intende per classificazione a caso.
74
3 Il modello logistico
Siano π ˆ0 e π ˆ1 le stime delle probabilit` a a priori P (Y = 0) e P (Y = 1) di appartenenza ad una o all’altra popolazione e siano n0 e n1 il numero di unit` a appartenenti rispettivamente a P0 e P1 nel campione di convalida. Nel seguito, queste grandezze si assumono fissate. La classificazione `e a caso se la assegnazione della unit`a ad una popolazione `e indipendente dalla ˆ0 e dˆ = n1 π ˆ1 . In tal caso, popolazione di appartenenza, ovvero a ˆ = n0 π la probabilit` a reale di corretta classificazione `e data dalla grandezza e = ˆ (ˆ a + d)/n. La distanza fra h ed e `e una misura di quanto migliore sia il classificatore sˆ(x) rispetto al caso. Sia H la v.c. che descrive la frequenza relativa di corretta classificazione in un campione di n unit` a e h la sua determinazione osservata nel campione di convalida. Sotto l’ipotesi nulla che il classificatore non sia migliore di quello casuale, dal teorema del limite centrale, per n sufficientemente grande, la grandezza H ha una distribuzione che `e ben approssimata da una normale con valore atteso e e varianza e(1 − e)/n. Si pu` o pertanto sottoporre a test l’ipotesi H0 : E(H) = e contro l’alternativa H1 : E(H) > e. Ponendo pari ad α la probabilit` a di errore del primo tipo, si rifiuta H0 se h > e + z1−α e(1 − e)/n, in cui si `e posto z1−α il quantile (1 − α)-esimo della distribuzione normale standardizzata. Si osservi che il risultato di questo test dipende fortemente dalla distribuzione del campione di convalida rispetto alla probabilit` a di successo. Se infatti questa `e concentrata attorno al valore di soglia, anche nel caso in cui sˆ(xi) sia un buon classificatore, le probabilit` a a posteriori di successo tendono ad essere vicine a quelle a priori e la distanza fra h ed e tende ad essere piccola.
3.11 Il test di Hosmer e Lemeshow Il test si basa su raggruppamento delle unit` a del campione di convalida sulla base della probabilit` a stimata di successo ed `e consigliabile nel caso di dati continui o tabelle sparse. Si suddivide la distribuzione empirica in G gruppi (generalmente G = 10) approssimativamente di pari unit` a, ovvero tali che la numerosit` a ng di ogni gruppo sia circa pari a n/G. Nel fare il raggruppamento si deve avere l’accortezza di mettere nello stesso gruppo le unit` a con uguale valore delle covariate, se presenti nel campione. Infatti, queste avranno lo stesso valore stimato di probabilit`a di successo. Per ogni gruppo g ∈ {1, . . . , G} si calcola la frequenza assoluta wg di successi osservata nel gruppo e la frequenza assoluta teorica di successi ¯g stimata dal modello. Una parola di chiarimento deve essere spesa w ˆg = ng π
3.12 Campione bilanciato
75
su come π ¯g `e calcolata. Essa `e infatti la media aritmetica delle probabilit` a stimate di successo delle unit`a nel gruppo. Una distanza elevata fra wg e wˆg denota un cattivo adattamento del modello. Il test si basa sulla statistica Cˆ che ha la seguente espressione:
Cˆ =
(wg − w ˆ g )2 ng π ¯g (1 − π ¯g ) g
che assume valori elevati se l’adattamento non `e soddisfacente. Nonostante i risultati asintotici non siano direttamente applicabili, dal momento che le unit` a interne ad ogni gruppo non hanno la stessa probabilit` a di successo, risultati empirici mostrano che la statistica Cˆ tende ad una χ2 con G − 2 gradi di libert` a. L’approssimazione migliora al crescere della numerosit`a ng ed `e buona per valori di w ˆg superiori a 5. Il test presentato pu` o essere utilizzato anche come strumento di monitoraggio nel tempo della della funzione di score. In tal caso, il campione di convalida sar` a formato da finanziamenti accessi in un intervallo tempoˆg , il rale successivo alla finestra di studio. Una distanza elevata fra wg e w secondo ottenuto sulla base del modello, `e indice di un logoramento della funzione di score.
3.12 Campione bilanciato Un problema tipico nel credit scoring risiede nel fatto che la distribuzione della variabile Y di risposta `e molto sbilanciata a favore delle unit` a buone. Di conseguenza, in un campione casuale la frequenza di unit` a insolventi `e molto bassa. Quando queste vengono classificate secondo le variabili esplicative, la tabella di contingenza risultante contiene frequenze molto basse, o addirittura nulle, nelle celle in cui la risposta `e posta sulla modalit`a che codifica l’evento insuccesso. Il modello stimato, di conseguenza, tende ad oscurare la relazione fra le variabili esplicative e la variabile risposta e porta ad una percentuale elevata di errori di classificazione a sfavore delle unit`a rare, sulle quali vi `e necessariamente meno informazione. Per ovviare a questo inconveniente, si ricorre ad uno schema di campionamento diverso da quello casuale e detto stratificato secondo la risposta. Questo si ottiene campionando le unit` a buone con una probabilit` a di inclusione nel campione inferiore a quella delle unit`a cattive.
76
3 Il modello logistico
Si supponga che nella popolazione, la variabile casuale Y segua un modello logistico multiplo, log
P (Y = 1 | x) = α + β1 x1 + . . . + βp xp . P (Y = 0 | x)
Sia ora Z una v.c. binaria che vale ‘1’ se l’unit`a `e inserita nel campione e a di inclusione ‘0’ altrimenti. Siano, inoltre, k0 e k1 , in ordine, le probabilit` nel campione nelle due popolazioni, ovvero: k0 = P (Z = 1 | Y = 0) e k1 = P (Z = 1 | Y = 1). La probabilit` a a posteriori che una unit` a nel campione assuma valore r, r ∈ {0, 1}, `e data dalla teorema di Bayes: P (Y = r | x, Z = 1) =
P (Z = 1 | Y = r, x)P (Y = r | x) . P (Y = 0, Z = 1 | x) + P (Y = 0, Z = 1 | x)
Nel caso in cui il campionamento dalle unit` a sane e quelle insolventi sia fatto in maniera casuale, P (Z = 1 | Y = 1, x) = P (Z = 1 | Y = 1) = k1 e anche P (Z = 1 | Y = 0, x) = P (Z = 1 | Y = 0) = k0 . Dalle derivazioni precedenti discende che: log
k1 P (Y = 1 | x) P (Y = 1 | x, Z = 1) = log + log P (Y = 0 | x, Z = 1) k0 P (Y = 0 | x)
e sostituendo al secondo addendo la espressione derivante dal modello logistico, si trova: log
P (Y = 1 | x, Z = 1) = α∗ + β1 x1 + . . . + βp xp P (Y = 0 | x, Z = 1)
in cui si `e posto α∗ = α + log
k1 . k0
(3.15)
Questa espressione mostra due cose fondamentali. La prima `e che il modello della probabilit` a di successo nel caso di diverse probabilit`a di inclusione nel campione `e ancora un modello logistico; la seconda `e che parametri
3.12 Campione bilanciato
77
βj di questo secondo modello coincidono con quelli del modello su dati non bilanciati, mentre l’intercetta α del modello sui non dati bilanciati si ricava dalla (3.15). Il fattore di correzione `e il logaritmo del rapporto fra la probabilit` a che una unit` a solvibile entri nel campione e la probabilit` a che una unit` a non solvibile entri nel campione. Nel caso di minore probabilit` a di campionamento dei buoni, questo `e un numero negativo e il modello sui dati bilanciati sovrastima la probabilit` a che una unit` a sia cattiva. La funzione di verosimiglianza del campione bilanciato differisce da quella scritta nel paragrafo 3.6. Tuttavia, si pu` o dimostrare che l’inferenza sui o farsi applicando i risultati presentati nei parametri βj del modello pu` paragrafi precedenti. Nella pratica, si presentano due situazioni diverse. La prima `e quando in fase di formazione del campione si estraggono tante unit` a sane quante le unit` a in default. La seconda `e quando si dispone di un campione casuale fortemente sbilanciato. In tal caso, la procedura implica che si estragga da questo in modo casuale una frazione delle unit`a sane, tale da riportare il campione ad essere bilanciato. Le unit`a non estratte non partecipano al processo di stima e possono essere messe a formare il campione di convalida. In questo contesto sono state anche implementate tecniche che combinano le stime ottenute su insiemi di dati diversi. Queste sono tipicamente il bagging e il boosting. La prima si basa sulla ripetizione un numero elevato di volte della estrazione casuale delle unit` a sane, in modo da formare molti campioni di sviluppo. La stima della funzione di score `e la media delle stime ottenute in ogni estrazione. La seconda `e una procedura iterativa che ad ogni passo calcola la funzione di score su un insieme di dati diverso, ottenuto assegnando ad ogni unit` a una probabilit` a diversa di entrare nel processo di stima. In particolare, viene data maggiore probabilit` a di entrata alle unit` a che sono state classificate male nel passo precedente. Il problema dello sbilanciamento del campione viene risolto, talvolta, con procedure euristiche che introducono delle distorsioni sistematiche nel modello. Come gi`a detto, la finestra temporale di osservazione del campione di campione di sviluppo deve essere costante per tutte le osservazioni. Tuttavia, poich´e in questo intervallo temporale si hanno poche insolvenze, si tende ad utilizzare il pi` u lungo periodo di osservazione per ogni unit` a. In tal caso, a parit` a di altre condizioni, i crediti accesi prima hanno maggiore probabilit` a di default. Se ad esempio vi `e un trend negativo nell’ammontare richiesto, questo pu` o indurre una apparente correlazione negativa fra la probabilit` a di default e l’ammontare del credito. In generale, `e importante che lo schema di sotto-campionamento avvenga in modo casuale. Se ci` o non
78
3 Il modello logistico
`e verificato, la probabilit` a che una unit` a sia inserita nel campione varia con x, e ci`o genera complicazioni in fase di stima del modello.
3.13 Un’analisi mediante il modello logistico I dati che andiamo ad analizzare sono stati in parte presentati nell’esempio 1.2 del primo capitolo. Essi si riferiscono ad uno studio sul comportamento dei titolari di una carta di credito revolving emessa da Findomestic S.P.A.. Il campione `e formato dai soggetti che hanno aperto la carta nei primi sei mesi del 1997 ed ai quali `e stato assegnato un limite di utilizzo inferiore a 2.5 milioni di lire. Questi sono 19149, di cui 4000 unit` a sono poste a comporre il campione di convalida. La variabile Flag misura il grado di utilizzo della carta al dicembre dell’anno successivo all’apertura, ed assume valore ‘0’ se la carta `e stata disattivata e ‘1’ altrimenti. Oltre alle variabili socioeconomiche presentate nell’esempio 1.2, su ogni cliente sono stati rilevati: lo stato civile (variabile Statciv con modalit` a: ‘1’ se sposato; ‘0’ altrimenti), il numero di figli (variabile Figli con modalit`a: ‘0’ se nessuno; ‘1’ se almeno 1), l’et` a (variabile Et` a con modalit` a: ‘0’ se compresa fra 18 e 44 anni; ‘1’ se fra 45 e 54 anni; ‘2’ se maggiore o uguale a 55 anni) e il limite massimo di credito (variabile Credlim con modalit` a: ‘1’ se inferiore a 1.5 milioni di lire; ‘2’ se superiore). Come livello di riferimento si `e posto, nel caso di codifica numerica, la modalit` a corrispondente al numero pi` u basso, mentre nel caso della variabile Propriet` a si `e posto il livello ‘No’. Dal momento che i parametri del modello rappresentano le distanze dei logit dal livello di riferimento, `e importante che tale livello si riferisca ad un gruppo di unit` a che non presenta comportamenti anomali e che rappresenti una frazione consistente della popolazione obiettivo. Questo studio `e parte di uno studio pi` u ampio, i cui risultati sono descritti in Stanghellini (2003), in cui si riportano, fra l’altro, i dettagli della procedura di categorizzazione delle variabili continue. Ogni analisi statistica inizia con la visualizzazione dei dati mediante grafici costruiti opportunamente. Il pi` u comune `e il diagramma di dispersione della Y in funzione di una esplicativa X. Nel caso in cui la variabile Y `e binaria, tuttavia, questa rappresentazione non `e utile. Una alternativa `e quella di calcolare, per ogni modalit` a della variabile esplicativa X, il logaritmo degli odds osservati nel campione (nel caso in cui la variable esplicativa X sia continua, questa analisi deve farsi previo raggruppamento di X in classi). Il vettore di logaritmi viene rappresentato graficamente in un diagramma di dispersione in cui l’asse delle ascisse riporta i valori della
3.13 Un’analisi mediante il modello logistico
79
−0.35
Proprietà=No Proprietà=Sì
−0.4
−0.45
logit empirici
−0.5
−0.55
−0.6
−0.65
−0.7
−0.75
1
2 Reddito
3
Figura 3.3. Andamento dei logit empirici rispetto a Reddito e Propriet` a
X (di comodo se categoriale) e l’asse delle ordinate riporta i valori dei logit empirici. L’analisi pu`o ripetersi anche per tabelle di contingenza ottenute condizionando sui valori di una seconda variabile esplicativa categoriale. L’andamento grafico si riflette nella forma della funzione che nel modello logistico lega il logit alle esplicative. In Figura 3.3 `e riportato l’andamento del logaritmo degli odds nei tre livelli della variabile Reddito, nei sottogruppi individuati dalla variabile Propriet` a. Si nota un effetto decrescente del reddito sui logit empirici, e un effetto negativo della propriet` a di abitazione. Le due spezzate non sono parallele, ma l’effetto negativo del reddito sembra essere pi` u incisivo nel gruppo dei proprietari. Sembra delinearsi, pertanto, una interazione fra le due variabili esplicative. Le analisi preliminari, sebbene marginali rispetto alle altre variabili esplicative, servono a dare una prima idea degli effetti delle variabili e conducono ad una migliore interpretazione dei risultati. Le successive analisi, con metodi inferenziali, daranno una misura di quanto gli andamenti cos`ı evidenziati possano essere attribuiti a fluttuazioni casuali dovute al campionamento oppure siano da considerarsi presenti nella popolazione. Nel caso di tabelle sparse, si pu` o avere un numero molto limitato di successi e insuccessi per cella della tabella di contingenza. In tal caso i logit empirici si basano su un numero di unit` a molto ridotto e sono pertanto instabili. Si procede, pertanto, ad un aggiustamento ad hoc che consiste nell’aumentare di un valore arbitrariamente piccolo le frequenze osservate
80
3 Il modello logistico
nella tabella di contingenza ottenuta dalla classificazione congiunta delle unit` a secondo sia Y che le esplicative. Cox (1970, cap. 6) dimostra che il valore ottimale `e 0.5. La procedura di selezione del modello che seguiamo `e del tipo backward descritta nel paragrafo 3.9. Nella tabella 3.1 sono riportati, per ogni modello con una sola esplicativa, i dettagli del confronto con il modello con l’intercetta. Essa riporta la differenza fra le devianze, i gradi di libert` a e il p-value. Come si pu` o notare, le variabili Et` a e Credlim risultano moderatamente significative. Tuttavia, per i motivi espressi nella sezione 3.9, vengono inserite nelle analisi successive.
Tabella 3.1. Confronto fra modelli logistici semplici e modello logistico con solo l’intercetta: dettagli Modello (1) (2) (3) (4) (5) (6) (7)
Et` a Reddito Figli Propriet` a Statciv Credlim T9712
Diff. devianze Diff. g.d.l. p-value 5.42 50.34 28.01 0.12 35.43 3.40 931.99
2 2 1 1 1 1 1
0.070 0.000 0.000 0.003 0.000 0.070 0.000
Dal momento che la tabella ottenuta dalla classificazione delle unit`a secondo le variabili esplicative `e abbastanza sparsa, il modello che poniamo come base della selezione backward contiene le sole interazioni del secondo ordine delle variabili selezionate. La devianza del modello ridotto `e pari a 96.679 con 100 gradi di libert` a, che indica comunque un buon adattamento. Tuttavia, il calcolo del p-value sulla base dell’approssimazione alla distribuzione χ2 non `e attendibile. Il confronto fra i due modelli sulla base del criterio AIC, pari a 1370.8 per il saturo e a 1267.4 per il ridotto, `e a favore del secondo. La Tabella 3.2 riporta i dettagli relativi al confronto fra il modello di 7 base e i 2 modelli ottenuti da questo ponendo a zero i parametri che formano le interazioni del secondo ordine fra coppie di variabili, singolarmente considerate. Questi confronti sono necessari per il completamento del primo passo della procedura backward, che seleziona il modello con il minore valore di AIC, in questo caso dato dal modello (2). Questo sar` a posto a base del secondo passo della procedura.
3.13 Un’analisi mediante il modello logistico
81
Tabella 3.2. Primo passo della selezione backward ponendo come modello di base il modello con tutte le interazioni doppie: dettagli Modello g.d.l. Devianze AIC Diff. Devianze p-value (1) Base 285.93 1169.43 (2) (1)-Figli:Credlim 1 285.96 1169.46 0.03 0.8654177 (3) (1)-Statciv:T9712 1 286.24 1169.73 0.30 0.5834429 (4) (1)-Propriet` a:T9712 1 286.37 1169.87 0.43 0.5103015 (5) (1)-Reddito:Statciv 2 286.43 1169.93 0.50 0.7791365 (6) (1)-Et` a:Figli 2 286.44 1169.94 0.51 0.7767086 (7) (1)-Figli:T9712 1 286.52 1170.02 0.59 0.4428608 (8) (1)-Reddito:Propriet` a 2 286.65 1170.14 0.71 0.7001601 (9) (1)-Reddito:Figli 2 286.86 1170.35 0.92 0.6304615 (10) (1)-Reddito:T9712 2 287.11 1170.61 1.18 0.5551459 (11) (1)-Et` a:T9712 2 287.21 1170.71 1.28 0.5279938 (12) (1)-Proprit` a:Statciv 1 288.52 1172.01 2.58 0.1081280 (13) (1)-Figli:Statciv 1 288.78 1172.28 2.85 0.0915253 (14) (1)-Eta:Credlim 2 289.06 1172.56 3.13 0.2093228 (15) (1)-Eta:Statciv 2 289.59 1173.08 3.65 0.1610130 (16) (1)-Statciv:Credlim 1 289.90 1173.40 3.97 0.0463838 (17) (1)-Et` a:Rescode 2 290.54 1174.03 4.60 0.1001265 (18) (1)-Et` a:Reddito 4 291.99 1175.49 6.06 0.1947246 (19) (1)-Reddito:Credlim 2 292.26 1175.76 6.33 0.0422940 (20) (1)-Credlim:T9712 1 294.85 1178.34 8.91 0.0028328 (21) (1)-Figli:Propriet` a 1 296.46 1179.95 10.52 0.0011804 (22) (1)-Propriet` a:Credlim 1 298.25 1181.75 12.32 0.0004488
Nella Tabella 3.3 sono riportati i dettagli del modello selezionato con la procedura proposta. L’et` a, il reddito e l’essere proprietari di una abitazione non gravata da mutuo hanno un effetto negativo sulla probabilit` a stimata che un cliente abbia la carta di credito attiva 31 dicembre dell’anno successivo all’apertura, mentre l’avere figli e l’essere sposati hanno un effetto positivo; al crescere del limite di credito, inoltre, aumenta la probabilit`a di utilizzo della carta di credito. Si noti che questa variabile `e fissata dall’ente erogatore, in funzione della rischiosit` a della operazione di finanziamento. I clienti nella fascia elevata del limite di credito hanno pertanto un profilo basso di rischiosit`a. Gli effetti principali sono modificati dalle interazioni del secondo ordine. Ad esempio, l’interazione fra Et` a e Propriet` a porta ad aumentare la probabilit` a di ricorrere alla forma di finanziamento nei proprietari che sono nella seconda e terza fascia di et`a, mentre l’interazione fra Reddito e Credlim determina una minore influenza del limite di credito nei soggetti nelle fasce elevate di reddito. L’interazione fra Reddito e Propriet` a non risulta significativa e la differenza osservata fra le spezzate della Figura 3.3
82
3 Il modello logistico Tabella 3.3. Modello finale: dettagli Coefficienti Intercetta Eta2 Eta3 Reddito2 Reddito3 Figli Propriet` a Statciv Credlim T9712 Eta2:Propriet` a Eta3:Propriet` a Reddito2:Credlim Reddito3:Credlim Figli:Propriet` a Propriet` a:Statciv Propriet` a:Credlim Statciv:Credlim Credlim:T9712
Stime −1.379 −0.009 −0.119 −0.317 −0.321 0.292 −0.170 0.179 0.171 1.069 0.107 0.257 0.076 −0.173 −0.332 0.188 −0.288 −0.166 0.353 Devianza = 117.285 df
S.E. 0.069 0.065 0.067 0.055 0.068 0.065 0.105 0.072 0.110 0.065 0.108 0.104 0.084 0.096 0.095 0.106 0.085 0.085 0.089 = 125
z-value p-value −20.127 −0.146 −1.791 −5.709 −4.691 4.509 −1.618 2.487 1.547 16.564 0.984 2.467 0.904 −1.803 −3.478 1.781 −3.374 −1.943 3.970 AIC = 1238.0
0.000 0.884 0.073 0.000 0.000 0.000 0.106 0.013 0.123 0.000 0.325 0.014 0.367 0.071 0.001 0.075 0.001 0.052 0.000
si traduce, nel modello stimato, in un semplice effetto traslativo verso il basso della seconda variabile. Nell’insieme, l’utilizzo della carta di credito `e negativamente correlato con il benessere economico dei soggetti. Queste informazioni possono essere elaborate per definire la popolazione obiettivo di eventuali misure di fidelizzazione: dato l’effetto positivo dell’avere almeno un figlio sul ricorso a questa forma di finanziamento, la minore tendenza di coloro che hanno figli e sono proprietari di abitazione non gravata da mutuo pu` o essere invertita attraverso opportune politiche aziendali. In Figura 3.4(a) `e riportato il grafico della curva ROC calcolata sul campione di campione di sviluppo. L’indice IROC `e pari a 0.313. In Figura 3.4(b) `e riportato il grafico della curva ROC calcolata sul campione di convalida. L’indice IROC `e pari a 0.285: Come atteso, il primo fornisce una sovrastima della capacit`a previsiva del modello. Un’interpretazione alternativa dell’area sotto la curva ROC `e la seguena del campione campione di te. Si formino le n1 n0 coppie ordinate di unit` sviluppo composte da una unit` a buona e da una unit` a cattiva. Si assegni peso pari ad 1 alle coppie in cui la probabilit` a stimata di successo del primo elemento `e superiore a quella del secondo; si assegni peso pari a 1/2 nel
Sensibilità
0.2
0.4
0.6
0.8
0.8 0.6 0.4 0.0
0.0
0.2
Sensibilità
83
1.0
1.0
3.14 Note bibliografiche
0.0
0.2
0.4
0.6
0.8
1−Specificità
(a)
1.0
0.0
0.2
0.4
0.6
0.8
1.0
1−Specificità
(b)
Figura 3.4. La curva ROC valutata (a) nel campione di sviluppo e (b) in quello di convalida
caso in cui le due probabilit` a stimate siano uguali (presenti solo nel caso di esplicative discrete) e peso pari a 0 altrimenti. Si dimostra (si veda Hanley e McNeil, 1982) che la somma dei pesi divisa per n1 n0 `e pari all’area sotto la curva ROC e, pertanto, `e pari all’indice 12 × IROC + 0.5. Questa area `e, di conseguenza, anche una misura della concordanza fra la stima della funzione di score e il valore osservato, e diventa pari a 0.5 nel caso di una assegnazione casuale. Il valore dell’area sotto la curva ROC `e, nel campione di convalida, pari a 0.643 e denota un moderato miglioramento rispetto alla assegnazione casuale.
3.14 Note bibliografiche Il modello logistico `e stato inizialmente elaborato da Berskon (1944) in ambito biometrico, sulla base di contributi precedenti degli statistici R.A. Fisher, F. Yates e M.S. Bartlett. Cox (1970), in un libro interamente dedicato all’analisi dei dati binari, ne fornisce una discussione estesa e formalizza i problemi di stima. Il modello logistico `e stato successivamente studiato come caso particolare di una classe di modelli, noti come lineari generalizzati, si veda McCullagh e Nelder (1989). Recenti lavori che forniscono una descrizione dettagliata del modello logistico sono Christensen (1997) oppure Agresti (2002). Hosmer e Lemeshow (2000) presentano il modello logistico con un interessante taglio applicativo. Un rassegna storica si trova in Agresti (2002, cap. 16).
84
3 Il modello logistico
Nell’ambito del credit scoring, il modello logistico `e stato utilizzato a partire dagli anni ’70. Martin (1977) e Ohlson (1980) lo utilizzano per studiare la probabilit` a di di bancarotta; Wigington (1980) propone, nel credito al consumo, un raffronto fra questo e l’analisi discriminante, strumento a quell’epoca molto pi` u popolare nel settore. Ulteriori riferimenti bibliografici sui primi contributi si possono trovare in Zavgren (1985). Per gli algoritmi di massimizzazione della funzione di verosimiglianza si veda, ad esempio, Tanner (1996, cap. 2). Le stime di massima verosimiglianza esistono e sono uniche, ad eccezione dei casi in cui vi `e una relazione deterministica fra Y e le esplicative (si veda Agresti, 2002, cap. 5, per dettagli). Tecniche di stima alternative alla massima verosimiglianza sono il metodo dei minimi quadrati ponderati o le stime attraverso metodi bayesiani. La prima, sviluppata da Grizzle et al. (1969), si basa sulla similarit` a fra le equazioni di stima dei minimi quadrati nel modello lineare e quelle di massima verosimiglianza del modello logistico. Il lettore interessato pu`o consultare Agresti (2002, cap. 15) oppure Christensen (1997, cap. 11). Per la teoria alla base dei test statistici presentati si rimanda a Azzalini (2001, cap. 4). Le derivazioni nel caso del modello logistico con variabili esplicative continue sono in McCullagh and Nelder (1989, cap. 4) oppure Agresti (2000, cap. 14). Cressie e Read (1989) confrontano la distribuzione asintotica dei due test G2 e X 2 sotto diverse condizioni. Una introduzione ai test esatti `e in Agresti (2002, cap. 6). Una approfondita discussione del criterio AIC, proposto da Akaike (1973), e di altri criteri di penalizzazione della funzione di verosimiglianza `e in Burnham e Anderson (1998, 2004). Indici di adattamento che costituiscono l’analogo dell’indice R2 nel modello lineare sono riportati in Hosmer e Lemeshow (2000, cap. 5). Si veda anche Zheng e Agresti (2000) e Estrella (2004). Per l’analisi delle forme funzionali per l’inserimento di variabili esplicative continue si veda Hosmer e Lemeshow (2000, cap. 4). Metodi per suddividere le variabili continue in categoriali o per accorpare livelli di variabili categoriali ordinate sono illustrati in Wermuth e Cox (1998) e applicate al contesto in studio in Stanghellini (2003). Procedure per la diagnostica del modello, basate sull’analisi dei residui, sono in Hosmer e Lemeshow (2000, cap. 5). Prentice e Pyke (1979) studiano in dettaglio i problemi di stima con il modello logistico nel caso di campioni bilanciati secondo la risposta, detti anche studi caso-controllo; si veda anche Christensen (1997, cap. 11). Per l’uso del modello logistico nella classificazione di eventi rari si veda King e
3.14 Note bibliografiche
85
Zeng (2001). Le tecniche di bagging e boosting, con i riferimenti biliografici, sono presentate in Azzalini e Scarpa (2004, cap 5). La probabilit` a ottimale e reale non esauriscono la casistica delle probabilit` a di errore che possono essere di interesse in questo contesto. Una rassegna `e in Huberty (1994, cap. 3), con i relativi riferimenti bibliografici.
Problemi 3.1. Si costruisca la matrice del disegno di un modello logistico semplice con una esplicativa categoriale X a tre livelli in cui si pone β1 = β2 . 3.2. Si dica che relazione vi `e fra i parametri del modello logistico in cui si `e posto successo l’evento Solvibilit` a=‘S`ı’ e quelli nel caso in cui si `e posto successo l’evento Solvibilit` a=‘No’. 3.3. Si abbia una tabella di contingenza a due entrate secondo Y e X binarie. Si dica che relazione c’`e fra i parametri β e β dei seguenti modelli: logitπ(x) = α + βx logitπ(y) = α + β y. 3.4. Si consideri modello logistico semplice (3.3), con una esplicativa categoriale con I livelli. Si verifichi che le equazioni di verosimiglianza implicano che: (a) se il modello `e saturo wi = wˆi per ogni riga i; i wi , con n la (b) se il modello contiene solo l’intercetta α ˆ = log n− i wi numerosit` a del campione di campione di sviluppo. 3.5. Si verifichi che nel caso in cui ni = 1 per ogni i, π ˆ (xi) 2 + log[1 − π ˆ (xi)] π ˆ (xi) log G = −2 1−π ˆ (xi) i
ˆ e pertanto la devianza `e una funzione deterministica di β. 3.6. Si costruisca la matrice del disegno del modello (3.6) e si scriva il modello in forma matriciale.
4 L’analisi discriminante
4.1 Introduzione A differenza del modello logistico, l’analisi discriminante `e nata come strumento di classificazione. Nella sua prima formulazione, che risale a Fisher (1936), essa costituisce un metodo per descrivere, attraverso una funzione unidimensionale, la differenza fra due popolazioni e allocare ciascuna osservazione alla popolazione di provenienza. Sebbene questo problema sia diverso dal classificare una osservazione in relazione ad un comportamento che si manifesta nel futuro, che `e l’obiettivo del credit scoring, l’analisi discriminante si `e rivelata uno strumento efficace di classificazione nell’ambito del rischio di credito ed `e pertanto uno dei metodi statistici pi` u utilizzati. La derivazione della funzione discriminante sotto l’ipotesi di normalit` a `e presentata nel paragrafo 4.2 dove si mostra, fra l’altro, che se `e possibile assumere che le matrici delle varianze e delle covarianze nelle popolazioni dei buoni e dei cattivi siano uguali, la funzione discriminante si semplifica in una forma lineare. Il problema della stima della funzione discriminante `e affrontato nel paragrafo 4.2.1, mentre nel paragrafo 4.2.2 si presenta una procedura statistica per verificare le ipotesi di uguaglianza delle matrici delle varianze e delle covarianze nelle due popolazioni. Nel paragrafo 4.3 si mostra che la funzione discriminante lineare stimata `e quella che massimizza la distanza, opportunamente riscalata, fra le funzioni di score nei due gruppi di unit` a, quelle sane e quelle insolventi. Come nel modello logistico, anche nel caso della funzione discriminante `e opportuno disporre di procedure statistiche rigorose per decidere se il modello selezionato `e parsimonioso. Nel paragrafo 4.4 si presentano dei test per valutare l’apporto informativo di una o pi` u variabili. La esatta determinazione delle probabilit` a di errore ottimali pu` o farsi solamente in Stanghellini E.: Introduzione ai metodi statistici per il credit scoring. c Springer-Verlag Italia 2009, Milano
88
4 L’analisi discriminante
un contesto parametrico. Nel paragrafo 4.5 si valutano le probabilit` a sotto l’ipotesi di normalit` a congiunta delle variabili. Quando questa ipotesi non vale, le probabilit` a di errore debbono essere stimate. Nel paragrafo 3.10 si `e presentato un metodo basato sulla costruzione della tabella di errata classificazione. Tuttavia, come sottolineato in quella sede, la costruzione della tabella implica l’avere a disposizione un campione di ampiezza tale da permettere che alcune unit`a vengano escluse dalla stima senza inficiare la precisione dei risultati. Nel caso di piccoli campioni, questo non `e possibile ed altre tecniche si rendono necessarie. Queste sono presentate nel paragrafo 4.6. Nel paragrafo 4.7 si mettono a confronto il modello logistico e l’analisi discriminante, ponendo in evidenza la relazione fra i due modelli. Un’applicazione ad una campione di imprese `e presentata nel paragrafo 4.8.
4.2 Il caso normale Nell’analisi discriminante classica si assume che la forma della fr (·) sia una normale multipla (si veda l’Appendice A) con valore atteso μr e matrice delle varianze e delle covarianze Σ r . Questa ipotesi conduce alla seguente espressione del logaritmo del rapporto delle densit` a condizionate nella (1.5): f (x)
−1 log f10 (x) = 12 log | Σ 0 || Σ 1 |−1 − 12 [xT (Σ −1 1 − Σ 0 )x−
−2xT (Σ −1 1 μ1
−
Σ −1 0 μ0 )
+
μT1 Σ −1 1 μ1
−
(4.1)
μT0 Σ −1 0 μ0 ].
A seconda delle ipotesi sulle matrici Σ 0 e Σ 1 , si delineano due possibili situazioni. f (x)
→ L’analisi discriminante quadratica. Si indichi con Q(x) il log f10 (x) . Possiamo riscrivere la (1.5) nel modo seguente: P (Y = 0) C(1 | 0) + log . A1 = x | Q(x) > log C(0 | 1) P (Y = 1) L’espressione di Q(x) `e data dalla (4.1). Dalla relazione fra il rapporto delle densit` a condizionate e la funzione di score, in (1.9), discende che la funzione cos`ı determinata minimizza il valore atteso del costo derivante dall’errore di classificazione. Nel seguito indicheremo con k il valore della soglia che
4.2 Il caso normale
89
compare nell’espressione precedente, ovvero k=
C(1 | 0) P (Y = 0) . C(0 | 1) P (Y = 1)
P (Y =0)
Ovviamente k = c P (Y =1) , con c il valore di soglia precedentemente definito. La funzione Q(x) `e detta funzione discriminante quadratica, dal momen−1 to che vi compare il termine xT (Σ −1 1 −Σ 0 )x. Nonostante questa regola sia molto generale dal punto di vista teorico, non `e molto utilizzata nella pratica in quanto non porta a risultati ottimali. La ragione risiede nell’elevato numero di parametri da stimare attraverso le osservazioni campionarie, che d` a luogo ad una elevata varianza della funzione discriminante stimata, e di conseguenza ad una forte instabilit` a dei risultati. → L’analisi discriminante lineare. Qualora sia ragionevole, si assume che Σ 0 = Σ 1 = Σ. In tal caso la (4.1) si semplifica, dopo alcuni passaggi (si veda l’esercizio 4.1), nella seguente: 1 R(x) = (μ1 − μ0 )T Σ −1 [x − (μ1 + μ0 )]. 2
(4.2)
Di conseguenza, la (1.5) diventa: A1 = {x | R(x) > log k}. Si noti che la funzione R(x) `e una funzione lineare delle x, ed `e pertanto detta funzione discriminante lineare. Indicando infatti con αT = (α1 , α2 , . . . , αp) il vettore tale che: α = Σ −1 (μ1 − μ0 ) e con α0 = − 12 (μ1 − μ0 )T Σ −1 (μ1 + μ0 ) possiamo scrivere l’insieme A1 come: A1 = {x | αT x > α0 + log k}. La regione cos`ı determinata contiene quella dell’esercizio 1.2 come caso particolare. In Figura 4.1 `e riportata la funzione lineare R(x) nel caso in cui p = 2. Nell’esempio, le due popolazioni P0 e P1 hanno una elevata sovrapposizione rispetto alla X1 e sono perfettamente sovrapposte rispetto alla variabile X2 . Di conseguenza, un modello che si limiti a considerare una variabile sola non `e ottimale. La migliore funzione discriminante `e basata sull’utilizzo congiunto delle due variabili.
4 L’analisi discriminante
10 5
X2
15
90
5
10
15
20
X1
Figura 4.1. Esempio di funzione discriminante lineare nel caso gaussiano bivariato
4.2.1 La stima della funzione discriminante Le funzioni discriminanti determinate nel paragrafo precedente sono funzione dei parametri μr e Σ r , r ∈ {0, 1}. Come abbiamo detto, questi parametri non sono noti e devono essere stimati attraverso due campioni casuali estratti da P0 e P1 . In questo lavoro facciamo esplicito riferimento all’approccio detto plug-in. Questo consiste nel sostituire i parametri μr e Σ r che compaiono nella espressione della funzione discriminante con delle stime opportune, arrivando cos`ı ad una funzione discriminante stimata. a del campione casuale estratto da P0 di osservazioni e Sia n0 la numerosit` a del campione casuale estratto da P1 . Sia infine n = n0 +n1 . n1 la numerosit` ¯ r e Vr , r ∈ {0, 1}, le stime dei parametri delle due popolazioni Siano x ottenute attraverso il metodo della massima verosimiglianza (con alcune modifiche, si veda l’Appendice C per dettagli). La funzione discriminante quadratica stimata con il metodo plug-in ha espressione: ˆ Q(x) = 12 log | V0 | / | V1 | − 12 [xT (V1−1 − V0−1 )x− ¯ T1 V1−1 x ¯ T0 V0−1 x ¯ 1 − V0−1 x ¯0) + x ¯1 − x ¯ 0 ]. −2xT (V1−1 x Nel caso lineare, invece, Σ 0 = Σ 1 = Σ. I parametri da stimare sono pertanto i vettori μr , r ∈ {0, 1}, e la matrice delle varianze e delle covarianze Σ. In questo secondo caso, la stima della matrice delle varianze e
4.2 Il caso normale
91
delle covarianze Σ si effettua attraverso la matrice delle varianze e delle covarianze campionaria pooled, cos`ı derivata. Si indichi con W la matrice delle devianze e delle codevianze interne ai gruppi, data dalla seguente: W = (n0 − 1)V0 + (n1 − 1)V1 . La matrice W esprime la variabilit` a interna ai due gruppi. Un’espressione alternativa di W `e la (C.2), presentata in Appendice C. La matrice delle varianze e delle covarianze campionarie pooled ha espressione: S=
1 W. n0 + n1 − 2
(4.3)
Si verifica che la matrice S `e una stima corretta della matrice delle varianze e delle covarianze Σ, ottenuta da una modifica del denominatore della stima di massima verosimiglianza (si veda l’Appendice C). In tal caso la funzione discriminante lineare stimata con il metodo plug-in sar` a: 1 ˆ ¯ 0 )T S−1 [x − (¯ ¯ 0 )]. x1 + x R(x) = (¯ x1 − x 2
(4.4)
ˆ T = (α ˆ1, α ˆ 2, . . . , α ˆ p) il vettore tale che Ponendo ora α ¯0) ˆ = S−1 (¯ x1 − x α
(4.5)
¯ 0 )T S−1 (¯ ¯ 0 ) possiamo scrivere la (4.4) come: x1 − x x1 + x e con α ˆ0 = − 12 (¯ ˆ ˆ T x. R(x) =α ˆ0 + α La regione di accettazione basata sulla funzione discriminante lineare stimata attraverso il campione sar`a determinata di conseguenza, ovvero ˆTx > α ˆ 0 + log k}. A1 = {x | α ˆ T x `e lo score calcolato Si noti che, a meno di una costante, il valore α ¯ 0 `e il valore medio ˆTx utilizzando l’analisi discriminante lineare. Il valore α T ¯ ˆ dello score nelle unit` a cattive e, analogamente, α x1 `e il valore medio dello score nelle unit` a buone. Maggiore `e la distanza fra le due medie, minore `e la probabilit` a di compiere un errore di allocazione. Nel paragrafo 4.3 mostreremo come la funzione discriminante lineare `e, sotto le ipotesi fatte, la funzione che pi` u allontana le medie dei due gruppi, opportunamente riscalate.
92
4 L’analisi discriminante
4.2.2 Test per l’ipotesi di varianze e covarianze costanti Per valutare l’ipotesi che la matrice delle varianze e delle covarianze sia costante nelle due popolazioni esistono in letteratura numerosi test. Questi si basano sulla assunzione che le v.c. (X1 , X2 , . . ., Xp) siano congiuntamente gaussiane. Formalmente, sia H0 : Σ 0 = Σ 1 e sia H1 : Σ 0 = Σ 1 . I test si basano sulla grandezza M di Box: M = [(n0 − 1) + (n1 − 1)] log |S| − [(n0 − 1) log |V0 | + (n1 − 1) log |V1|]. La grandezza assume valori positivi e sar` a piccola sotto H0 . Varie trasformazioni di M sono state studiate in letteratura. Queste conducono a distribuzioni di tipo F di Fisher o χ2 . La statistica `e molto sensibile sia a piccole differenze delle matrici che a deviazioni dalla ipotesi di gaussianit` a e porta al rifiuto dell’ipotesi nulla troppo spesso. Dal momento che, come vedremo nel prossimo paragrafo, la funzione discriminante lineare pu` o essere derivata anche senza l’ipotesi di normalit` a, si consiglia di scegliere un livello di significativit` a α abbastanza piccolo. Nel caso univariato, il test si basa sul rapporto degli stimatori corretti delle varianze campionarie (si veda l’Appendice C), che ha distribuzione a pari a (n0 − 1) e sotto H0 come una F di Fisher, con gradi di libert` (n1 − 1).
4.3 La funzione discriminante di Fisher* La funzione discriminante determinata in precedenza coincide, a meno di un valore costante, con quella individuata da Fisher (1936). Fisher partiva dalla unica ipotesi che la matrice delle varianze e delle covarianze delle due popolazioni fosse uguale, senza alcun riferimento alla forma della distribuzione fr (x). Indicando con S la stima della matrice delle varianze e delle covarianze pooled e con λ un vettore di dimensioni p × 1 egli deriv` o la funT zione lineare λ x come la funzione che maggiormente allontana le medie dei due gruppi, ovvero tale che: ψ=
¯ 1 − λT x ¯ 0 )2 (λT x λT Sλ
sia massima. Si noti che il numeratore `e il quadrato della distanza fra le medie della funzione lineare nei due campioni. Il denominatore `e invece la varianza campionaria della funzione. Si noti inoltre che ψ non cambia se λ viene moltiplicato per una costante arbitraria.
4.3 La funzione discriminante di Fisher*
93
Differenziando ψ rispetto a λj si ottiene il sistema delle derivate parziali di equazioni: ¯ 1 − λT x ¯ 0 )λj (¯ ¯ 1 − λT x ¯ 0 )2 ∂ψ (λT x xj1 − x ¯j0 )λT Sλ − Sj· λ(λT x =2 ∂λj (λT Sλ)2 in cui Sj· `e la j-esima riga di S. Uguagliando a zero il sistema delle derivate parziali si trovano le due soluzioni: ¯ 0 = λT x ¯1 λT x e
¯1 − x ¯ 0 = Sλ x
¯ 1 − λT x ¯0 λT x T λ Sλ
2 .
Si verifica agevolmente che la prima soluzione conduce ad un punto di minimo, mentre la seconda soluzione conduce ad un punto di massimo. Di conseguenza il vettore λ che massimizza la distanza fra le medie dei due ¯ 0 ). ˆ = S−1 (¯ x1 − x campioni `e proporzionale a α Si indichi con B la matrice delle devianze e delle codevianze tra gruppi, di espressione: ¯ )(¯ ¯ )T + n0 (¯ ¯ )(¯ ¯ )T . x1 − x x1 − x x0 − x x0 − x B = n1 (¯
(4.6)
Si noti che B + W = T con T la matrice delle devianze e delle codevianze totale, ottenuta ignorando la suddivisione nei due gruppi. Data la trasformazione lineare λT x, la grandezza λT Bλ `e una misura della dispersione delle medie di gruppo, mentre la grandezza λT Wλ `e una misura della dispersione interna ai gruppi. Maggiore `e il rapporto fra le due misure, migliore `e la capacit`a della trasformazione lineare di allontanare le medie dei due gruppi. Si pu` o infatti dimostrare (si veda l’esercizio 4.2) che i coefficienti della funzione discriminante cos`ı determinata coincidono con i coefficienti che massimizzano l’espressione ψ = n(n +n −2)
λT Bλ λT Wλ
0 1 ψ. Questa espressione mette in evidenza in cui si `e posto ψ = n1 n0 che λ `e il vettore di coefficienti che massimizzano il rapporto tra la devianza entro i gruppi e la devianza tra gruppi della trasformazione lineare. Da un risultato proprio dell’algebra lineare, si verifica che λ `e l’autovettore associato al massimo autovalore della matrice W−1 B. Questo `e normalizzato in
94
4 L’analisi discriminante
modo da ottenere λT Wλ = 1. La variabile ottenuta dalla trasformazione λT x `e detta anche canonica. Queste derivazioni fanno intuire che, diversamente dal caso della funzione discriminante quadratica, per la applicazione della funzione discriminante lineare, l’ipotesi di gaussianit`a delle variabili non sia essenziale. Tuttavia, alcuni autori fanno notare come il valore della costante α ˆ 0 e, di conseguenza, il valore della soglia che determina l’insieme A1 , dipenda dall’ipotesi di normalit` a. Nel caso un cui questa non sia supportata dai dati, si consiglia di utilizzare metodi empirici, basati sulla curva ROC, per determinare il valore ottimale (si veda Hastie et al., 2001, cap. 4).
4.4 La scelta delle variabili mediante test basati sulla normalit` a In analogia con la selezione delle variabili in un modello logistico, anche nel contesto dell’analisi discriminante si pone il problema di evidenziare, mediante test statistici, le variabili la cui capacit`a discriminante `e elevata togliendo quelle la cui influenza `e irrilevante. I test si differenziano a seconda della natura delle variabili inserite nella funzione discriminante. In questo paragrafo descriviamo alcuni test che sono basati sulla ipotesi di normalit` a congiunta delle variabili. → Test univariati. Nel caso di uguaglianza delle matrici delle varianze e delle covarianze delle due popolazioni, una prima analisi pu` o basarsi su test univariati, quali il test T di Student per la uguaglianza fra medie di due popolazioni. Siano μ0j e μ1j i valori attesi di Xj nelle due popolazioni 2 2 2 2 e σ1j le rispettive varianze. Si ponga σ0j = σ1j . Il test per la verifica e σ0j dell’ipotesi H0 : μ0j = μ1j contro l’alternativa H1 : μ0j = μ1j si basa sulla distribuzione T di Student. In particolare, la grandezza x ¯1j − x ¯0j t= 1 sj ( n0 + n11 ) in cui si `e indicato con sj il j-esimo elemento sulla diagonale principale di a. S, ha, sotto H0 , distribuzione T di Student con n0 + n1 − 2 gradi di libert` Si rifiuta H0 se il valore osservato di T `e elevato in modulo. In caso di numerosit` a campionaria elevata, questo test si pu`o utilizzare anche quando l’ipotesi di normalit` a non vale. In tal caso, sotto H0 , la distribuzione della statistica tende asintoticamente ad una normale standardizzata.
4.4 La scelta delle variabili mediante test basati sulla normalit` a
95
Se le varianze delle due popolazioni sono diverse, occorre utilizzare una seconda statistica di espressione: x ¯1j − x ¯0j z= v0j v1j n0 + n1 in cui v0j e v1j sono gli elementi j-esimi sulla diagonale principale di V0 e V1 . In tal caso, la statistica test non ha, per numerosit` a campionaria finita, una distribuzione T di Student (il problema `e noto in letteratura come di Fisher-Behrens). Tuttavia, per numerosit` a campionaria elevata, la distribuzione della statistica `e ben approssimata da una normale standardizzata. Dal momento che i test univariati considerano il potere discriminante di una variabile alla volta, essi non tengono conto della struttura delle correlazioni fra le variabili e pertanto hanno una interpretabilit` a limitata. Si pensi infatti all’esempio in Figura 4.1: in tal caso un test sulla capacit` a a discriminante di X2 , singolarmente considerata, porta con molta probabilit` a concludere che la variabile non ha potere discriminante. Tuttavia, come si desume dal grafico, la funzione discriminante, R(x), fa uso di entrambe le variabili. Ai test univariati, pertanto, devono essere affiancati test basati sulla distribuzione congiunta delle variabili, ovvero i test multivariati. → Test multivariati. Un primo test `e dato dalla estensione multivariata del test T precedente. Esso `e noto come test T 2 di Hotelling per l’ipotesi H0 : μ0 = μ1 di uguaglianza fra vettori di medie in due popolazioni, con uguale matrice delle varianze e delle covarianze, contro l’alternativa H1 : μ0 = μ1 . Il test si basa sulla seguente distanza standardizzata fra vettori di medie di due popolazioni: Δ2 = (μ1 − μ0 )T Σ −1 (μ1 − μ0 )
(4.7)
nota come distanza di Mahalanobis. La sua stima campionaria pu` o farsi attraverso la grandezza D 2 , pari a: ¯ 0 )T S−1 (¯ ¯ 0 ). x1 − x x1 − x D 2 = (¯ La statistica
n0 n1 2 D n si distribuisce sotto H0 con distribuzione detta di Hotelling. Si verifica 2 inoltre, che la trasformazione monotona n−p−1 (n−2)p T si distribuisce come una T2 =
96
4 L’analisi discriminante
F di Fisher con gradi di libert` a pari a p e n − p − 1. Valori elevati della statistica T 2 (o della F di Fisher) portano al rifiuto di H0 . Questo test viene utilizzato nel contesto in studio per valutare la capacit` a discriminante di un vettore di variabili congiuntamente considerate. Una ulteriore giustificazione dell’uso di D 2 come statistica per il test deriva dal fatto che: ˆTx ˆTx ¯1 − α ¯0 D2 = α ˆTx ¯ r , r ∈ {0, 1}, le medie di gruppo della funzione di score. Pertanto un con α valore elevato di D2 denota una forte capacit` a della funzione discriminante lineare, calcolata sulle variabili congiuntamente considerate, di separare i due gruppi. Nel caso di Σ 0 = Σ 1 , i test proposti sono una generalizzazione del caso univariato. Il problema della esclusione di variabili in un modello normale multiplo pu` o essere impostato anche nel modo seguente. Sia X = (XAT , XBT )T il vettore di p variabili esplicative partizionato, con XA il vettore delle prime p − q variabili, 0 < q < p. Si pongano le matrici delle varianze e delle covarianze uguali a Σ nelle due popolazioni. Sia α = Σ −1 (μ1 − μ0 ) la funzione discriminante lineare, con αT = (αTA , αTB )T , in cui αB il vettore di dimensioni q dato da αB = (αp−q+1 , . . . , αp)T . Si vuole sottoporre a test o l’ipotesi nulla H0 : αB = 0 contro l’ipotesi alternativa H1 : αB = 0. Si pu` verificare (si veda l’esercizio 4.3) che questo `e equivalente a sottoporre a test l’ipotesi che la distanza di Mahalanobis Δ2A basata sulle q variabili casuali XA sia uguale alla distanza di Mahalanobis Δ2 basata sulle p variabili casuali X. ¯ rA il vettore delle medie campionarie di XA della popolazione Siano x Pr , r ∈ {0, 1}, e SAA la relativa matrice delle varianze e delle covarianze campionaria. La distanza di Mahalanobis stimata sotto H0 e sotto H1 `e rispettivamente 2 ¯ 0A)T S−1 ¯ 0A) , D2 = (¯ ¯ 0 )T S−1 (¯ ¯ 0 ). = (¯ x1A − x x1A − x x1 − x x1 − x DA AA (¯
La statistica test utilizzata per questo test, proposta da Rao (1973, cap. 8) `e la seguente: 2 2 )/(n − 2 + v 2 DA ) {(n − p − 1)/(p − q)}c2 (D2 − DA
in cui v 2 = n0 n1 /n. Sotto l’ipotesi nulla ha distribuzione F di Fisher con gradi di libert` a p−q, n−p+1 e si rifiuta H0 per valori elevati. Molti software
4.5 La probabilit` a di errore nell’ipotesi di normalit` a*
97
statistici riportano il valore della statistica e il p-value associato, ovvero la probabilit` a di osservare, sotto l’ipotesi nulla, un valore della statistica test superiore a quello stimato nel campione. In molte applicazioni si vuole valutare l’apporto informativo di una variabile alla volta in una funzione discriminante multipla. In tal caso p−q = 1 e la statistica test ha una forma semplificata, con distribuzione F di Fisher con gradi di libert` a pari a 1, n − p + 1. Si noti che questo test `e diverso dal valutare l’apporto informativo di una variabile singolarmente considerata. Infatti, mentre il primo `e basato sulla distribuzione congiunta di tutte le variabili e riflette l’informazione aggiuntiva della variabile, una volta noto il valore delle altre, il secondo test `e basato sulla distribuzione marginale di una sola variabile. In generale, i test basati sulla distribuzione marginale di una variabile possono condurre a risultati diversi da quelli basati sulla distribuzione congiunta. Infatti, pu` o accadere che questa sia significativa nella distribuzione marginale e non significativa nella distribuzione congiunta. Questo `e spiegabile attraverso la forte correlazione fra questa ed altre variabili, con maggiore capacit` a discriminante.
4.5 La probabilit` a di errore nell’ipotesi di normalit` a* La valutazione esatta delle probabilit` a di errore pu` o essere fatta solo in un contesto parametrico. Qui faremo riferimento al caso in cui le due popolazioni siano distribuite normalmente con matrice delle varianze e delle covarianze uguale. In questa situazione, la regola ottimale di allocazione `e data dalla (4.2). In quanto funzione delle v.c. (X1 , X2, . . . , Xp), R(x) `e essa stessa una variabile casuale. Si verifica agevolmente (si veda l’esercizio 4.1) che R(x) ha, sotto P1 , distribuzione R(x) ∼ N ( 12 Δ2 ; Δ2 ), dove Δ2 `e la distanza di Mahalanobis introdotta in (4.7). La probabilit` a di un errore del primo tipo pertanto sar` a: p(0 | 1) = P [R(x) ≤ log k | P1 ] 1 (log k − 12 Δ2 )] = Φ[ Δ in cui Φ(·) denota la funzione di ripartizione di una normale standardizzata. a di In maniera analoga, sotto P0 , R(x) ∼ N (− 12 Δ2 ; Δ2 ). La probabilit` un errore del secondo tipo sar` a allora: p(1 | 0) = P [R(x) > log k | P0 ] 1 (log k + 12 Δ2 )]. = Φ[− Δ
98
4 L’analisi discriminante
Come si pu`o verificare, entrambe le probabilit` a di errore decrescono al crescere di Δ2 , che `e una funzione dei parametri delle due popolazioni. Nel caso del credit scoring, l’implicazione di questa osservazione `e che le due popolazioni in studio devono essere ben distinte e che la variabile Y che discrimina fra i buoni e i cattivi deve essere ben definita. La scelta di k sar` a determinata in base ai criteri visti nel primo capitolo. Nel caso di log k = 0 i due tipi di errore hanno la stessa probabilit` a. Come gi`a detto, le probabilit` a di errore cos`ı determinate sono dette ottimali. Anche se noi conoscessimo esattamente i parametri delle due popolazioni e scegliessimo la migliore regola di allocazione, compieremmo sempre un errore di allocazione con probabilit` a pari a quella determinata. Questo perch`e, come gi`a messo in evidenza, vi sono valori delle (X1 , X2, . . . , Xp) che si verificano sia sotto P0 che P1 , ovvero le due popolazioni si sovrappongono. In realt` a, come abbiamo visto, i parametri della due distribuzioni non sono noti. La funzione discriminante lineare che si applica nella realt`a `e data dalla espressione (4.4). Una volta effettuato il campionamento, possiamo ¯ r e S come costanti note e derivare di conseguenza le trattare le quantit` ax probabilit` a di errore reali. Esse rappresentano la probabilit` a degli errori che si verificano quando, una volta effettuato il campionamento, si procede ad applicare la funzione discriminante alla prossima osservazione in ingresso.
4.6 Il caso di campioni piccoli Quando l’ipotesi di normalit` a non vale, la stima della probabilit` a di errore pu` o farsi attraverso la tabella di errata classificazione, cos`ı come illustrata nel paragrafo 3.10. La sua costruzione, tuttavia, presuppone che il campione sia abbastanza ampio da permettere che una sua parte possa essere esclusa dalla stima, e conservata per la convalida, senza inficiare la accuratezza dei risultati. Nonostante questo sia sempre pi` u vero, dato il crescente utilizzo di supporti informatici per la gestione delle posizione creditizie, pu` o ancora accadere che la costruzione di un modello di score si debba basare su di un campione di piccola numerosit`a. La convalida in tal caso pu` o avvenire in due modi. Il primo, detto di convalida interna `e quello di mettere tutte le unit`a nel campione di sviluppo e di utilizzare questo anche come campione di validazione. La tabella di errata classificazione `e costruita in maniera analoga a quella illustrata nel paragrafo 3.10, utilizzando tuttavia le stesse unit` a che hanno partecipato al processo di stima. Le frequenze relative c/n1 e b/n0 della tabella cos`ı ottenuta sono dette frequenze relative di errore di classificazione apparente.
4.6 Il caso di campioni piccoli
99
Dal momento che questo implica utilizzare le unit`a due volte, la prima per stimare il modello, la seconda per valutarlo, non `e difficile intuire che la grandezza `e una sottostima della probabilit` a reale di errore. Vi sono inoltre una serie di metodi detti invece di convalida esterna. Questi hanno in comune il fatto di stimare la probabilit` a reale di errore evitando il doppio utilizzo delle unit` a del campione (e in questo senso il metodo presentato nel paragrafo 3.10 `e di convalida esterna). In quanto segue, n `e usato per indicare il numero di osservazioni del campione di sviluppo. → Leave-one-out. Questo metodo `e il pi` u noto fra gli strumenti di conva` anche indicato, talvolta, come metodo lida esterna per piccoli campioni. E di convalida incrociata, in inglese cross-validation (nonostante in realt` a questo termine comprenda anche altri metodi discussi in questa sezione). Esso consiste nell’effettuare n stime del modello, basate sulla esclusione di una unit` a a rotazione, e pertanto basate su campioni di numerosit` a n − 1. Per ognuno degli n modelli si valuta la capacit`a di classificare l’unit` a esclusa. La stima della probabilit`a reale di errore `e ottenuta dalla somma delle frequenze relative dei due errori di classificazione. Si indichi con e(i) la grandezza binaria che assume valore 0 se l’unit`a i-esima `e correttamente classificata, quando il modello `e stimato con un campione di n unit` a. Sia e−j (i) la grandezza binaria che assume valore 0 se l’i-esima unit`a `e correttamente classificata quando il modello `e stimato con un campione in cui l’unit` a j `e stata rimossa. Le seguenti grandezze, 1 1 e(i) eA e−j (i) eA = −j = n n−1 i=j
i
sono frequenze relative di errore di classificazione apparente, la prima calcolata nel campione di n unit` a e la seconda nel campione di n − 1. Si definisce stimatore leave-one-out la grandezza 1 e−i (i). eL = n i
I limiti del metodo proposto sono i seguenti: (a) richiede la stima di n modelli, cosa che pu` o essere onerosa dal punti di vista computazionale; (b) usa una funzione di score stimata su campione di n−1 unit` a per stimare la probabilit` a di errore di una funzione di score ottenuta sul campione
100
4 L’analisi discriminante
di n unit` a (tuttavia, si pu` o dimostrare che l’errore di stima `e piccolo e decresce con n); (c) la varianza dello stimatore `e piuttosto elevata, specie in campioni piccoli. Certe volte, per ovviare al problema (a) si suddivide il campione in un numero piccolo di sotto-campioni differenti, in genere 5 o 10, e ciascun sotto-campione `e escluso dalla stima e utilizzato per la convalida del modello costruito sulle altre unit` a. Tuttavia, in tal caso, la distorsione segnalata al punto (b) diventa pi` u elevata. Questo metodo `e noto come rotazione, in inglese rotation. → Jackknifing. Il metodo opera in maniera simile al precedente, ovvero costruendo n campioni di numerosit`a n − 1, ottenuti escludendo una unit` a a rotazione. La finalit` a `e in questo caso quella di quantificare l’errore che si compie quando si stima la probabilit` a reale di errata classificazione attraverso la frequenza di errore di classificazione apparente. Per fare questo, si pone che la popolazione sia il campione di n unit` a, e il campione di stima sia quello di n − 1 unit` a. Si procede al calcolo, per ogni campione di n − 1 unit` a, della grandezza 1 A A A e−j e ad elaborarne la media e¯−j = n j e−j . Successivamente, si procede al calcolo della grandezza: eA∗ =
1 e−j (i) n2 i
(4.8)
j
che corrisponde alla media negli n campioni delle frequenza relative di errore di classificazione quando si usa la funzione di score sviluppata sul campione di n − 1 unit` a. Dal momento che in eA∗ la media `e calcolata utilizzando e le unit` a escluse della stima della funzione di score, mentre in e¯A −j essa ` calcolata utilizzando le stesse unit`a, la distanza (n − 1)(eA∗ − e¯A −j ) `e la stima della distorsione. Lo stimatore jackknife `e cos`ı ottenuto eJ = eA + (n − 1)(eA∗ − e¯A −j ). Al crescere di n lo stimatore jackknife ha propriet` a ottimali. Dal momento che 1 e−j (i) − e−j (j) (4.9) eA −j = n−1 i
4.7 Il contronto fra il modello logistico e l’analisi discriminante
101
non `e difficile intuire che vi `e una stretta relazione fra i due metodi di stima, si veda l’esercizio 4.4. Una variante del metodo qui illustrato si basa sul bootstrapping delle osservazioni. In questo caso, si estrae con ripetizione un campione casuale di n unit` a dal campione originario. La funzione di score `e stimata sul campione estratto e sia il campione estratto che il campione originario sono usati per la stima della probabilit` a di errore (attraverso la frequenza relativa di errore di classificazione apparente nel primo caso e la frequenza relativa di errore nel secondo). La distanza fra le due grandezze `e una stima della distorsione indotta dallo stimare la probabilit` a reale di errata classificazione attraverso la frequenza relativa di errore di classificazione apparente. La procedura viene ripetuta un numero elevato di volte, in modo da calcolare una media della distorsione.
4.7 Il contronto fra il modello logistico e l’analisi discriminante La relazione fra la funzione di score e il logaritmo delle densit` a condizionate, riportata in (1.9), evidenzia lo stretto legame fra il modello logistico e l’analisi discriminante. Se manteniamo l’ipotesi che le fr (x) siano densit`a di variabili casuali congiuntamente gaussiane, il modello sul logaritmo dell’odds a posteriori conduce alla seguente specificazione log
P (Y = 1) P (Y = 1 | x) = Q(x) + log P (Y = 0 | x) P (Y = 0)
con Q(x) come in (4.1). In questo caso, pertanto, il modello logistico deve includere il termine quadratico xT (Σ 1 − Σ 0 )x. Nel caso in cui le due matrici delle varianze e delle covarianze siano uguali, il termine si annulla e pertanto: log
P (Y = 1 | x) P (Y = 1) = log + R(x) = α0 + αT x P (Y = 0 | x) P (Y = 0)
=1) , con α0 e α come nel paragrafo 4.2. in cui si `e posto α0 = α0 + log PP (Y (Y =0) Pertanto, se vale le ipotesi di gaussianit`a delle distribuzioni condizionate, il modello logistico senza i termini quadratici delle esplicative `e adeguato solo nel caso di uguaglianza delle matrici delle varianze e delle covarianze delle due popolazioni. Dal punto di vista della stima, occorre distinguere il caso in cui i dati siano gaussiani dagli altri. Nel caso in cui i dati siano gaussiani, dal momento che il modello logistico `e formulato sulla distribuzione di Y condizionata
102
4 L’analisi discriminante
ad x, le stime ottenute attraverso questo metodo sono meno efficienti di quelle ottenute attraverso l’analisi discriminante, poich´e l’informazione sulla distribuzione delle x non `e utilizzata in fase di stima. Tuttavia, se tale distribuzione non `e gaussiana, il modello logistico, che lascia tale distribuzione non specificata, `e preferibile. Inoltre, diverse forme distribuzionali delle variabili esplicative conducono ad una struttura lineare del logaritmo degli odds delle probabilit` a a posteriori (Anderson, 1972). Questo risultato porta a preferire il modello logistico illustrato nel capitolo precedente, che risulta ottimale per un pi` u ampio insieme di tipi di dati.
4.8 Un’applicazione dell’analisi discriminante Il campione `e fornito da Gepafin S.p.A. ed `e formato da 49 aziende osservate per tre anni successivi alla apertura della posizione debitoria, avvenuta negli anni 1999-2000. La tipologia di strumento creditizio `e un mutuo con scadenza media intorno ai tre anni e sempre maggiore di 18 mesi. Il campione `e bilanciato ed `e formato da 24 aziende per le quali si `e verificato un ritardo nel pagamento superiore a 90 giorni e che, in linea con la definizione di Basilea 2, sono state classificate insolventi. Ad esse sono state affiancate 25 aziende campionate fra le aziende sane che hanno acceso il mutuo nello stesso intervallo temporale. Dal momento che la numerosit` a campionaria `e bassa, non `e possibile formare il campione di convalida. Inoltre, dobbiamo escludere modelli complessi. Ci`o implica una selezione accurata delle variabili da inserire nel modello. I cinque indicatori sintetici di bilancio che qui riportiamo, descritti nella Tabella 4.1, sono riferiti al 31 dicembre dell’anno di apertura del rapporto e colgono gli aspetti rilevanti del funzionamento di una azienda, quali la liquidit` a, la capacit` a di leva finanziaria e la produttivit` a, e pertanto possono portare ad una buona capacit` a discriminante. Tabella 4.1. Indicatori di bilancio con descrizione, differenza fra le medie di gruppo, valore della statistica T di Student e corrispondente p-value Indice AC.AT DT.AT RI.AT FCR.DT FCR.PTP
Descrizione Attivo corrente/Capitale investito netto Passivit` a totali/Capitale investito netto Ricavi netti/Capitale investito netto Flusso di cassa/Debiti totali Flusso di cassa/Passivit` a correnti
x ¯1 − x ¯0 -0.0341 -0.0300 0.4176 0.0784 0.1268
t-value p-value -0.5692 0.5720 -2.0979 0.4132 2.9652 0.0047 2.8868 0.0059 4.3308 <0.0001
4.8 Un’applicazione dell’analisi discriminante 0.95
−0.05
0.05
0.15 0.8
0.85
103
0.95
0.0
0.4
AC.AT
3.0
0.85
DT.AT
0.10
0.0
1.5
RI.AT
0.0
FCR.PTP
0.2
0.4
−0.05
FCR.DT
0.0
0.4
0.8
0.0 1.0 2.0 3.0
0.0
0.2
0.4
Figura 4.2. Diagrammi di dispersione delle imprese secondo gli indicatori di bilancio
Nel caso di dati continui, il grafico pi` u utile `e il diagramma di dispersione secondo le variabili esplicative, prese a coppia. In Figura 4.2 `e riportato la matrice dei grafici di dispersione. (Nei grafici, per motivi di chiarezza si sono escluse due unit`a che presentano valori estremi elevati degli indicatori DT.AT e FCR.PTP.) Si nota una forte collinearit` a fra gli indicatori FCR.DT e FCR.PTP, spiegabile anche attraverso la descrizione. Dal momento che la distribuzione del secondo rispetto agli altri indicatori presenta un andamento pi` u regolare, si decide di escludere l’indicatore FCR.DT dalle analisi successive. Nel grafico si distinguono le imprese solvibili (cerchio pieno) da quelle non solvibili (cerchio vuoto). Un secondo grafico `e il box plot. Esso riporta informazioni sulla distribuzione di una variabile continua nei due gruppi individuati dalla Y . In Figura 4.3 sono riportati i boxplot degli indicatori di bilancio secondo la Flag. Le due scatole in ogni pannello del grafico hanno linee orizzontali in corrispondenza del primo, secondo e terzo quartile delle due distribuzioni. Le linee verticali che fuoriescono dalle scatole, dette baffi, mostrano la distribuzione delle unit` a esterne al primo e terzo quartile. I baffi si estendono
4 L’analisi discriminante DT.AT
0.4
FCR.PTP
3.0
0.95
1.0 0.5
0.75
0.0
0.0
−0.4
0.70
0.2
−0.2
1.5
0.80
0.4
0.0
2.0
0.85
0.6
2.5
0.90
0.8
RI.AT
3.5
1.00
AC.AT
0.2
104
0
1
0
1
0
1
0
1
Figura 4.3. Boxplot degli indicatori di bilancio secondo la variabile Flag
dalla scatola fino all’ultima osservazione interna ad un intervallo di ampiezza pari a 1.5 volte lo scarto interquartile. Le osservazioni fuori di questo intervallo sono considerate anomale e vengono evidenziate. La figura lascia intuire una sostanziale omogeneit` a nella dispersione dei due gruppi. Inoltre, sembra delineare una elevata capacit`a discriminante degli indicatori. Nella tabella 4.1 si riporta il valore della differenza fra le medie di gruppo, il valore del test univariato t descritto nel paragrafo 4.4 con il rispettivo p-value. Si osserva che la variabile AC.AT presenta una inversione di segno della covarianza con DT.AT e FCR.PTP nei due gruppi, e viene pertanto esclusa dalle analisi successive. Il valore della statistica D2 per il test multivariato H0 : μ1 = μ0 contro l’H1 : μ1 = μ0 , calcolato nel campione, `e pari a 3.1506. Questo conduce ad un valore della F pari a 12.313, a cui corrisponde un p-value inferiore a 0.0001. Si rifiuta pertanto l’ipotesi nulla. I coefficienti della funzione lineare sono riportati nella Tabella 4.2. La stima delle probabilit`a di errore reale viene fatta con la tabella di errata classificazione costruita con il metodo leave-one-out. In questa fase si pone pari a 1 il rapporto dei costi. Inoltre, le probabilit` a a priori sono stimate attraverso le frequenze relative. Pertanto il valore di soglia `e posto pari al logaritmo del rapporto fra le frequenze n0 /n1 dei due gruppi.
4.9 Note bibliografiche
105
Tabella 4.2. Coefficienti della funzione discriminante lineare sul campione bilanciato Variabile Intercetta DT.AT RI.AT FCR.PTP
Coefficiente −3.5469 −5.7331 1.1706 8.7865
Tabella 4.3. Tabella di errata classificazione costruita con il metodo leave-one-out Flag 0 1
Flag stimata 0 1 22 2 3 22 25 24
Totale 24 25 49
Figura 4.4. Distribuzione rispetto allo score delle aziende in default e delle aziende sane
L’analisi discriminante sui tre indicatori DT.AT, RI.AT e FCR.PTP porta una capacit` a elevata di classificare correttamente sia le aziende sane che quelle in default. In Figura 4.4 sono riportate le distribuzione rispetto allo score (ottenute interpolando i rispettivi istogrammi) dei due gruppi di aziende che formano il campione. Il grafico mostra una buona separazione delle due popolazioni. Si noti che il modello con le sole variabili RI.AT e FCR.PTP conduce a risultati analoghi. In Figura 1.1 `e riportata la funzione discriminante lineare del modello cos`ı derivato. Tuttavia, considerazioni di carattere aziendale inducono a non optare per il secondo modello.
4.9 Note bibliografiche Dal lavoro di Fisher del 1936 ad oggi, i contributi sull’analisi discriminante sono stati numerosissimi. Lo stesso Fisher (1938) riformul`o il problema
106
4 L’analisi discriminante
introducendo una variabile binaria di appartenenza ad una popolazione e impost` o il problema in termini di previsione della variabile binaria. Un inquadramento storico della letteratura `e in Krzanowski and Marriott (1995, cap. 9). Vi sono molti testi di statistica avanzata che trattano l’analisi discriminate. Si segnalano, fra gli altri, Lachenbruch (1975), Hand (1997), Anderson (2003, cap. 6), oppure Krzanowski and Marriott (1995, cap. 9). Un’analisi dettagliata dal punto di vista matematico si trova in McLachlan (1992). Huberty (1994) presenta il metodo con un’enfasi sugli aspetti applicativi. Nonostante la prima utilizzazione della analisi discriminante sembra essere nel credito al consumo, con lo studio di Durand (1941), questa `e stata per molto tempo lo strumento maggiormente utilizzato per la previsione della insolvenza delle imprese. L’intuizione di mettere in relazione la probabilit` a di bancarotta con le caratteristiche individuali della azienda si fa risalire a Fitzpatrick (1932). I contributi rilevanti risalgono tuttavia agli anni ’60 (si veda ad esempio Beaver, 1967), il pi` u significativo dei quali si ascrive ad Altman (1968). In Altman (1968) e successivi lavori viene infatti formalizzato il cos`ı detto Z-score, ovvero uno score calcolato attraverso una funzione discriminante lineare, basato su un insieme di indicatori di bilancio ben determinato. L’evoluzione storica `e descritta in Altman (2002). Una rassegna completa dei test di uguaglianza fra i parametri delle distribuzioni condizionate, basati sulla ipotesi di normalit` a, `e in Anderson (2003, capp. 6-10). I parametri della funzione discriminante lineare possono essere messi agevolmente in relazione con quelli di un modello di regressione lineare di Y contro x. Si veda Anderson (2003, cap. 6) per dettagli. La stima della matrice delle varianze e covarianze `e molto sensibile alla presenza di osservazioni anomale. L’eccesso di parametri da stimare nel caso quadratico pu` o essere evitato postulando alcune regolarit`a nelle matrici delle varianze e delle covarianze delle due popolazioni (Hand, 1997, cap. 2). Approcci recenti all’analisi discriminante suggeriscono di combinare i risultati propri dei modelli grafici e stimare Σ in maniera pi` u efficiente, −1 ovvero tenendo conto della struttura zeri in Σ o in Σ che riflette strutture di indipendenza (marginale e condizionale) delle variabili casuali (si veda Edwards, 2000, cap. 4). L’apporto informativo di una variabile nella funzione discriminante lineare `e valutato anche attraverso il test Λ di Wilks, il quale si basa sui determinanti delle matrici B e W introdotte in precedenza (si veda Mardia, Kend e Bibby, 1979, cap. 3). Non esistono, invece, tecniche inferenziali semplici per valutare l’apporto informativo di una variabile nella funzio-
4.10 Problemi
107
ne discriminante quadratica. In questo contesto si deve ricorrere ai metodi basati sulla tabella di errata classificazione. Se applicata a grandi campioni, la funzione discriminante quadratica conduce a buoni risultati anche in contesti applicativi diversi da quello gaussiano, in cui `e derivata (Hastie et al., 2001, cap. 4; si veda tuttavia Lachenbruch et al., 1973, per un diverso orientamento). Nel caso di campioni piccoli, la funzione lineare `e maggiormente stabile e pertanto preferibile. Nel caso di grosse discrepanze fra le matrici delle varianze e delle covarianze nei due gruppi, si suggerisce di cercare trasformazioni dei dati che riconducano al caso lineare. Nel contesto del credito alle imprese, Altman et al. (1994), osservano che l’analisi discriminante lineare `e uno strumento efficace e per certi aspetti preferibile alle reti neurali. Per una rassegna dei metodi di e si veda Efron e Tibshirani (1993). Zheng e Agresti (2000) mostrano che il metodo leave-one-out conduce ad una stima distorta dell’errore di classificazione nel caso di un modello logistico di indipendenza o di debole associazione.
4.10 Problemi 4.1. Si ponga Σ 1 = Σ 0 = Σ in (4.1). Si derivi: (a) l’espressione di R(x) come da (4.2); (b) la distribuzione di R(x) sotto P0 e P1 . 4.2. Si dimostri che i parametri della funzione discriminante di Fisher coincidono con gli elementi dell’autovettore associato al massimo autovalore della matrice W−1 B, in cui B `e dato dalla espressione (4.6). 4.3. Sia X = (XAT , XBT )T un vettore partizionato di p variabili casuali con distribuzione f0 (x) e f1 (x) normali con valore atteso rispettivamente μ0 e μ1 e matrice delle varianze e delle covarianze Σ uguale. Siano: α = Σ −1 δ, δ = μ0 − μ1 . Si partizioni α e δ analogamente. Si dimostri che sottoporre a test l’ipotesi H0 : αB = 0 contro l’alternativa H1 : αB = 0 `e equivalente a sottoporre a test l’ipotesi che la distanza di Mahalanobis Δ2A basata sulle q variabili casuali XA sia uguale alla distanza di Mahalanobis Δ2 basata sulle p variabili casuali X. 4.4. Si verifichi che eJ = eL + eA − e¯A∗ .
5 Altri metodi statistici
5.1 Introduzione Oltre al modello logistico e alla analisi discriminante, altri metodi statistici sono correntemente in uso nell’ambito del credit scoring. Essi costituiscono l’evoluzione dei modelli presentati nei capitoli precedenti e, pertanto, per la loro formulazione occorre attingere in larga parte dai concetti teorici gi` a illustrati. Alcuni di questi strumenti, quali le reti neurali, sono stati disegnati in contesti non statistici, come, ad esempio, il data mining o l’intelligenza artificiale, e successivamente interpretati come modelli probabilistici e stimati attraverso tecniche inferenziali. Nei paragrafi 5.2 e 5.3 sono riportati due classificatori non parametrici, il metodo delle k unit` a pi` u vicine e gli alberi di classificazione. Come vedremo, essi non portano ad una esplicitazione della funzione di score. Le reti neurali sono illustrate nel paragrafo 5.4. Queste possono essere viste come evoluzione del modello logistico presentato nel capitolo 3. Infine, nel paragrafo 5.5 `e riportato un algoritmo di massimizzazione che emula il processo di selezione genetica alla base della evoluzione della specie. Alcune considerazioni conclusive, nel paragrafo 5.6, chiudono il capitolo.
5.2 Il metodo delle k unit` a pi` u vicine Il metodo, noto in inglese come il k-nearest neighbour classifier, si basa sulla constatazione che due persone con caratteristiche simili tendono a comportarsi nella stesse maniera. Una nuova unit` a in ingresso sar` a pertanto classificata sulla base del comportamento mostrato dalle unit`a ad essa a k, pi` u simili nel campione di validazione. Sia Nk il gruppo, di numerosit` formato dalle unit` a pi` u vicine ad una nuova unit` a in ingresso. Questa viene Stanghellini E.: Introduzione ai metodi statistici per il credit scoring. c Springer-Verlag Italia 2009, Milano
110
5 Altri metodi statistici
assegnata alla classe per cui: 1 yi k
pˆk =
i∈Nk
`e maggiore di 0.5. Tale classe `e anche detta voto di maggioranza. Per fare questo occorre definire due grandezze: (a) una misura della vicinanza fra due unit` a e (b) il numero k delle unit` a vicine da considerare per la formazione del voto di maggioranza. Il primo problema richiede di introdurre la nozione di distanza tra le osservazioni. Siano i e l due unit` a del campione di validazione, con esplicative rispettivamente xi e xl , che per il momento assumiamo continue. La distanza `e cos`ı definita: d(xi, xl ) = [(xi − xl )T A(xi − xl )]0.5 in cui A una matrice simmetrica definita positiva. Se l `e la nuova unit` a in ingresso, questa grandezza permette di ordinare le unit`a del campione di validazione e individuare le k unit` a pi` u vicine. Varie scelte della matrice A sono possibili. → La distanza di Euclide. Questa `e ottenuta ponendo A = Ip, con Ip la matrice identit` a di ordine p. In tal caso essa assume la semplice espressione: ⎡ ⎤0.5 d(xi, xl ) = ⎣ (xij − xlj )2 ⎦ . j
Il limite di questa grandezza `e di non ponderare le distanze con la variabilit` a delle esplicative e di non considerare che queste possono essere correlate fra di loro. → La distanza di Mahalanobis. La grandezza, gi` a presentata nel capitolo quarto, prende in questo contesto il significato di distanza tra due valori del vettore x anzich´e fra due valori attesi. Essa `e valutata ponendo A = V −1 , con V la matrice delle varianze e delle covarianze campionaria di x (si veda l’Appendice A), valutata nel campione di sviluppo. In tal modo, le distanze sono ponderate con le varianze e covarianze campionarie. → Altre distanze. Le distanze precedenti non tengono conto della capacit`a previsiva delle variabili esplicative. Un criterio che tenga espressamente
5.2 Il metodo delle k unit` a pi` u vicine
111
in considerazione questa informazione `e stato proposto nel credit scoring da Henley e Hand (1996). L’idea `e che nella definizione della distanza fra due punti occorre muoversi nelle direzioni ortogonali alle superfici in cui s(x) `e costante. Ponendo che tali superfici siano lineari in x, il metodo presuppone di valutare la distanza non tanto fra le x, ma fra le loro trasformazioni wT x, in cui w `e un vettore p-dimensionale di pesi che esprimono tali direzioni. Nella realt`a, l’individuazione dei pesi richiede la conoscenza della funzione s(x), che non `e disponibile e deve essere stimata. Gli autori suggeriscono di effettuare, precedentemente all’applicazione del metodo, una regressione, lineare o logistica, di Y contro x. In sintesi, l’idea `e quella di porre: A = Ip + DwwT in cui i pesi w sono ottenuti attraverso un modello che esprima la capacit`a previsiva delle x. Il parametro D che compare nell’espressione `e un fattore di correzione sempre positivo. Esso deve essere stimato, insieme al parametro k, attraverso criteri empirici basati sul campione di validazione. Si pu` o verificare che al tendere di D a zero il metodo porta alla metrica euclidea, mentre al tendere di D a infinito il metodo tende ad utilizzare esclusivamente i parametri w. La determinazione del parametro k viene effettuata con metodi empirici, basati sul campione di validazione o sulla convalida incrociata. (Se k `e piccolo, per evitare la parit` a dei voti, esso viene posto dispari). Si osservi che, se k = 1, il metodo si limita a cercare l’unit`a prossima a quella osservata e ad assegnare la nuova osservazione alla classe di appartenenza di questa unit` a. Cos`ı facendo, tuttavia, la classificazione risente largamente dei fattori non osservati che possono influire sul comportamento di un cliente ed `e pertanto molto instabile. D’altra parte, la scelta di k grande e vicino alla numerosit` a del campione di validazione trascura le informazioni in x e porta ad una probabilit` a di assegnazione costante. Pertanto, la scelta di k `e un compromesso fra la necessit`a di non dare troppo peso a comportamenti anomali e quella di sfruttare la informazione nelle variabili esplicative x. La nuova osservazione viene assegnata alla classe votata dalla maggioranza. a. Per evitare l’eccessiva La frequenza relativa pˆk `e inoltre lo score dell’unit` assegnazione alla classe maggiormente frequente, il campione di sviluppo deve essere bilanciato. Dal momento che nel credit scoring `e diffusa la presenza di variabili categoriali fra le esplicative, un metodo largamente impiegato `e quello di effettuare la seguente trasformazione. Siano I i livelli della variabile casuale categoriale X con generico livello r. Sia pˆr la frequenza relativa dei buoni
112
5 Altri metodi statistici
nel livello r. Al livello r viene assegnato il valore numerico pari al logaritmo dell’odds che un cliente in categoria r sia solvibile: log[ˆ pr /(1 − pˆr )].
(5.1)
Come gi`a detto, esso `e il corrispondente compionario della grandezza: log
P (Y = 1 | X = r) P (Y = 0 | X = r)
nota come logaritmo dell’odds o logit. In questo contesto la grandezza nella (5.1) `e detta peso dell’evidenza, in inglese weight of evidence. La trasformazione sembra condurre a buoni risultati. Il metodo delle k unit` a pi` u vicine ha il vantaggio di essere molto flessibile e pertanto si presta ad approssimare bene ogni funzione s(x). Tuttavia, se le popolazioni f0 (x) e f1 (x) hanno vaste zone in cui si sovrappongono, anche questo metodo non porta a risultati ottimali. Inoltre, dal momento che esso dipende da un numero limitato di osservazioni e dal loro posizionamento nello spazio, piccole variazioni della distribuzione delle x possono condurre a forti differenze nella classificazione delle unit` a. Questa instabilit` a `e maggiormente evidente se il numero p delle variabili esplicative `e elevato, dal momento che, in tal caso, le unit` a tendono ad essere sparse nello spazio delle x. Anche se in un contesto diverso, i problemi sono simili a quelli segnalati nel caso del modello logistico per dati continui o tabelle sparse.
5.3 Gli alberi di classificazione Nel primo capitolo abbiamo messo in evidenza come l’obbiettivo ideale di ogni costruttore di sistemi di scoring sia quello di trovare una suddivisione a solvibili. Se questa opedello spazio A che ponga in A1 tutte e solo le unit` a razione fosse possibile, gli insiemi delineati da A0 e A1 conterrebbero unit` con lo stesso valore della variabile Y e, pertanto, avrebbero una variabilit` a interna nulla. Data la natura intrinsecamente probabilistica del fenomeno, la suddivi` tuttavia possibile esplorare lo sione ideale nella pratica non `e possibile. E spazio A alla ricerca della suddivisione che minimizza la variabilit` a interna ai due insiemi delineati da A0 e A1 . La tecnica che presentiamo `e un algoritmo che persegue questo obiettivo. Il primo passo per la costruzione dell’albero di classificazione consiste nell’individuare l’indice di variabilit` a, detto anche di impurit` a, che si ritiene
5.3 Gli alberi di classificazione
113
Figura 5.1. Un esempio di albero di classificazione con due variabili esplicative
maggiormente rilevante nel problema in studio. Fissato l’indice, l’albero di classificazione `e uno strumento per suddividere lo spazio A in due regioni tali da minimizzare il valore dell’indice nell’insieme di tutte le possibili suddivisioni di A. La esplorazione di tutte le possibili suddivisioni `e tuttavia impraticabile. Per procedere, pertanto, si operano delle semplificazioni. Per semplicit` a espositiva supponiamo per il momento che tutte le variabili in x siano quantitative. Il campo di variazione di ogni variabile `e suddiviso in intervalli e di conseguenza lo spazio A viene ripartito in un numero arbitrario K di reta `e poi calcolato ponendo costante tangoli, R1 , . . . , RK . L’indice di impurit` la probabilit` a di successo in ogni rettangolo. Tale probabilit` a `e stimata attraverso la frequenza relativa dei successi nelle unit` a i tali che xi ∈ Rk , k ∈ {1, . . ., K}. Chiameremo questa stima pˆk . Una suddivisione in rettangoli di A `e preferibile ad un’altra se minimizza l’indice opportunamente individuato. Tuttavia, anche se questo modo di procedere semplifica molto la procedura, rimangono aspetti importanti da definire. Questi riguardano sia il numero di intervalli in cui suddividere il campo di variazione di ogni variabile esplicativa, sia la scelta dei punti di suddivisione. Anche in questo caso, pervenire alla suddivisione ottimale `e computazionalmente assai oneroso. Si procede pertanto per passi successivi. Al primo passo si pone K = 1 e si procede al calcolo dell’indice di impurit` a prescelto. Successivamente, si valuta, per ogni variabile esplicativa e per ogni punto di suddivisione possibile, la diminuzione dell’indice se un rettangolo Rk viene suddiviso in due parti, passando pertanto ad una suddivisione dello spazio in K +1 rettango-
114
5 Altri metodi statistici
li. Questo procedimento `e ripetuto fino a quando il numero K di rettangoli `e elevato. Dal momento che ogni passo coincide con il suddividere uno degli intervalli del passo precedente in due sotto-intervalli, i passi possono essere descritti da un diagramma ad albero. In Figura 5.1 `e riportato un esempio di un albero di classificazione nel credito al consumo secondo due variabili esplicative che descrivono l’et` a e l’avere o meno dei figli. Nell’esempio, la suddivisione delle unit` a in ‘Con Figli’ e ‘Senza figli’ `e rilevante solo se i soggetti hanno una et` a inferiore o uguale a 55 anni. Questa fase `e detta di crescita dell’albero. Lo spazio A1 `e individuato dai rami che conducono a foglie con una probabilit` a stimata di successo maggiore di una soglia. Questa `e posta pari a 0.5 nel caso di costi di errata classificazione uguali fra loro. Tale valore di soglia pu` o essere opportunamente modificato, tenendo conto del rapporto dei costi, nel modo descritto dalla (1.4). La procedura non varia concettualmente se alcune delle variabili esplicative sono qualitative. In particolare, nel caso di variabili qualitative ordinate, si pu` o procedere a definire intervalli che raggruppano modalit` a successive nell’ordinamento. Nel caso, invece, di variabili esplicative qualitative sconnesse, diventa pi` u oneroso la formazione degli intervalli, essendo plausibili 2I−1 − 1 raggruppamenti di una variabile categoriale con I livelli. Tuttavia, anche in questo contesto `e prassi diffusa assegnare alle variabili categoriali il valore numerico dato dal peso dell’evidenza, come definito dalla (5.1), e trattarle come variabili categoriali ordinate. Nel contesto del credit scoring, gli indici di impurit` a dovrebbero tenere conto dei costi di una errata classificazione. Tuttavia, essendo questi legati alla variabilit` a interna agli insiemi A0 e A1 , si ricorre agli usuali indici statistici di variabilit` a o di impurit` a. → Indice basato sulla devianza. Un primo indice `e basato sulla devianza della distribuzione binomiale. Accorpando gli elementi appartenenti ad a stimata di successo, che una stessa regione Rk , per i quali la probabilit` indichiamo con pˆk , `e costante, la devianza dal modello binomiale pu`o essere cos`ı scritta D= −2nk [ˆ pk log pˆk + (1 − pˆk ) log(1 − pˆk )] = Dk k
k
in cui nk sono le frequenze osservate in Rk . Di conseguenza, una suddivisione di A sar` a preferita ad una seconda se minimizza la grandezza precedente. Non `e difficile verificare che Dk `e minima se pˆk = 0 o pˆk = 1 ed `e massima se pˆk = 0.5.
5.3 Gli alberi di classificazione
115
→ Indice basato sulla entropia. Alcune semplici elaborazioni dell’indice precedente conducono ad un secondo indice, basato sulla nozione di entropia o impurit` a di una foglia. Questa `e definita come: Qk = −[ˆ pk log pˆk + (1 − pˆk ) log(1 − pˆk )]. Pertanto, possiamo costruire un secondo indice, basato sulla minimizzazione della entropia media, cos`ı definita: nk Qk . (5.2) E= n k
Non `e difficile verificare che D = 2nE, con n la numerosit` a del campione di sviluppo. → Indice di Gini. Se nella formula (5.2), al posto della grandezza Qk , mettiamo l’indice cos`ı definito: Ik = pˆk (1 − pˆk ) otteniamo l’indice di Gini. Questo indice rappresenta la somma, sulle foglie dell’albero, della varianza delle v.c. di Bernoulli che descrivono, in ogni foglia, la assegnazione di una nuova unit` a ad una delle due classi. La fase di crescita dell’albero pu` o portare ad un numero elevato di diramazioni. Nel caso continuo, ad esempio, si pu` o teoricamente arrivare ad un albero che ha tante foglie quante le osservazioni. Anche se in un contesto diverso, questo metodo ha gli stessi limiti di un modello logistico saturo ed `e pertanto necessario procedere ad una fase di potatura, che toglie le foglie che non diminuiscono molto l’indice obiettivo. La potatura `e in genere fatta attraverso la tabella di errata classificazione costruita utilizzando il campione di convalida. Nel caso di un campione di bassa numerosit` a, tuttavia, essa `e fatta con metodi di convalida incrociata. Una volta determinato l’albero ottimale con il criterio scelto, la nuova unit` a in ingresso viene classificata facendola cadere dalla radice dell’albero fino alla foglia, passando dai rami che individuano gli intervalli di competenza. Una volta raggiunta la foglia, l’unit` a viene attribuita ad A1 se la a `e dato dalla frequenza relativa foglia appartiene ad A1 . Lo score della unit` di successo pˆk della foglia. I vantaggi del metodo sono la semplicit`a concettuale e la capacit` a di approssimare bene complesse funzioni di scoring s(x). In alcuni casi, il metodo porta a modelli pi` u semplici dei modelli logistici gerarchici. Ad esempio, la
116
5 Altri metodi statistici
situazione descritta dalla figura 5.1 porta, se modellata con un modello logistico, ad un modello saturo, non essendo possibile imporre a zero l’effetto dell’avere figli nelle unit` a con et`a superiore a 55 anni senza violare la natura gerarchica del modello. D’altro canto, gli alberi di classificazione non sono in grado di rappresentare effetti additivi e pertanto tendono, in taluni casi, a portare a modelli sovraparametrizzati. Questo genera una elevata instabilit` a della stima, per cui variazioni minori nella distribuzione delle unit` a del campione di sviluppo conducono a risultati diversi. Questo effetto `e maggiormente evidente se le variazioni interessano le variabili nei primi rami dell’albero.
5.4 Le reti neurali Le reti neurali sono modelli non lineari che si basano sulla introduzione di una o pi` u variabili latenti, detti neuroni. Queste variabili sono funzioni non lineari delle variabili esplicative e sono a loro volta esplicative della variabile risposta. Il nome deriva dal fatto che gli algoritmi di stima consentono una procedura dinamica che reagisce ad una nuova informazione. Questo ha fatto ritenere che i modelli si prestino a descrivere i processi di apprendimento del cervello. → Reti neurali con una variabile latente. Nella sua formulazione pi` u semplice la rete neurale contiene una sola variabile latente, o neurone, che indichiamo con z. Essa `e una funzione deterministica delle variabili esplicative. Ponendo p = 4 e indicando con l(x) la combinazione lineare delle variabili esplicative (incluso il termine costante), secondo i pesi hj , ovvero: l(x) = h1 x1 + h2 x2 + h3 x3 + h4 x4 ,
Figura 5.2. Il grafo di una rete neurale con quattro variabili esplicative e due variabili latenti
5.4 Le reti neurali
117
la variabile latente `e ottenuta attraverso una funzione z = f (l). La variabile z `e poi la esplicativa della variabile risposta Y , attraverso una seconda funzione, ovvero: y = g(z). Le funzioni f (·) e g(·) sono dette di attivazione. Non `e difficile verificare che se f (·) `e la funzione identit` a e g(·) `e la funzione logistica, la rete neurale coincide con il modello logistico presentato nel capitolo terzo. → Reti neurali con pi` u variabili latenti. La formulazione precedente si estende agevolmente al caso di m variabili latenti. Se H `e una matrice di pesi di dimensioni m × p, avremo: l = Hx in cui l `e adesso un vettore di m elementi. Ogni variabile latente zr , r ∈ {1, . . ., m}, `e una combinazione di lr secondo una funzione di attivazione f (·). Ovvero zr = f (lr ). Se z il vettore m × 1 delle variabili latenti e h un vettore riga di dimensioni r×1, la risposta `e stimata attraverso una funzione g(·) della combinazione lineare delle variabili zj secondo i coefficienti h, ovvero: y = g(1 + h z). In questo contesto la funzione maggiormente utilizzata `e la logistica. In tal caso, la rete neurale `e un modello logistico nelle trasformazioni zm delle variabili in x. I parametri incogniti del modello sono gli elementi del vettore h e della matrice H. ` posI modelli presentati contengono un solo strato di variabili latenti. E sibile estendere il numero degli strati. Una rete con due strati, ad esempio, `e costruita introducendo un ulteriore vettore di variabili latenti che ha come esplicative il vettore z e che a sua volta `e esplicativo della v.c. risposta Y . In tal caso, il numero dei parametri cresce rapidamente. La stima dei coefficienti incogniti viene fatta ipotizzando una funzione obiettivo e massimizzando tale funzione rispetto ai parametri. Se la funzione obiettivo `e la verosimiglianza, il metodo conduce alle stime di massima verosimiglianza. In questo contesto, tuttavia, sono anche utilizzati algoritmi di massimizzazione che operano delle correzioni sulla base del contributo delle singole osservazioni. Il pi` u comune di questi `e l’algoritmo di back propagation. Questo si compone di due passi: sia i una generica osservazione del campione di sviluppo, nel passo forward, fissati i valori dei parametri, l’algoritmo stima yˆi e calcola una misura dell’errore; nel passo backward questa
118
5 Altri metodi statistici
misura `e utilizzata per produrre una nuova stima dei parametri. In questa fase si fissa un fattore di apprendimento γ, determinato esogenamente, che misura il peso dell’errore nel passo di aggiornamento dei parametri. Le reti neurali godono di propriet` a matematiche interessanti. Si pu`o infatti verificare che, sotto ipotesi non troppo restrittive, al crescere del numero delle variabili latenti, essi tendono ad approssimare bene qualunque funzione s(x). Se questo li rende strumenti attraenti dal punto di vista matematico, tuttavia come modelli statistici presentano alcune criticit` a. La prima difficolt` a risiede nel fatto che non esiste un criterio forte per determinare il numero di variabili latenti n´e la loro architettura in strati. I criteri di scelta si basano sulla valutazione empirica della capacit` a di classificazione su un campione di validazione. Una volta fissato il modello, un secondo problema risiede nella stima dei parametri della rete. Infatti, spesso la funzione obiettivo non ha un unico massimo nello spazio dei parametri. Questo si verifica molto pi` u frequentemente se il numero di strati `e elevato. In tal caso si rende necessario effettuare una esplorazione dello spazio dei parametri per valutare che il punto di convergenza dell’algoritmo non sia un massimo locale. Un altro limite consiste nella difficolt` a di interpretare la funzione che lega le x alla Y . Un valore elevato della funzione s(x), infatti, non `e immediatamente spiegabile come conseguenza di valori elevati (o bassi) delle esplicative.
5.5 Gli algoritmi genetici Gli algoritmi genetici sono metodi di ottimizzazione che imitano la selezione genetica alla base della evoluzione della specie. Data una popolazione iniziale di candidati, ovvero le possibili soluzioni del problema di ottimizzazione, la generazione successiva `e costruita selezionando con elevata probabilit`a i migliori candidati da questa e ricomponendoli attraverso operazioni, dette cross-over e mutazione, simili a quelle che avvengono in genetica. Questa operazione `e ripetuta fino a che l’approssimazione `e ritenuta accettabile. Pi` u precisamente, si supponga che si debbono stimare i parametri della la seguente funzione di score: b
s(x) = a1 xb11 + . . . + ap xpp + c. Sia θ = (a1 , . . ., ap, b1 , . . . , bp, c). Si ponga, per ogni elemento di θ, un intervallo di valori plausibili. Il vettore θ `e codificato sotto forma di una stringa di valori, detta cromosoma. La codifica pi` u utilizzata `e quella binaria.
5.5 Gli algoritmi genetici
119
La prima popolazione `e generata attraverso la selezione casuale di un numero m0 molto elevato di vettori θ j , o candidati, ognuno contenente un valore plausibile del vettore dei parametri. Per ogni candidato `e calcolato il valore della funzione nelle unit` a i del campione di validazione e la relativa yˆi , costruita a seconda che la funzione sia superiore o meno ad una soglia prefissata. Ogni candidato ha pertanto assegnato un peso che `e pari alla percentuale di casi correttamente classificati. Sia esso fj . Il passo successivo consiste nel comporre una popolazione intermedia, composta da m1 candidati della popolazione iniziale. Questo obiettivo `e raggiunto attraverso un campionamento casuale degli elementi della popolazione iniziale, con pesi proporzionali a fj . La popolazione intermedia forma la popolazione dei genitori. La generazione successiva `e formata emulando due tipi di operazione genetiche che avvengono in natura, il cross-over e la mutazione. Il cross-over `e ottenuto selezionando due cromosomi in maniera casuale, con probabilit` a pc , e scambiando geni in una o pi` u sequenze del primo cromosoma con gli analoghi geni del secondo. In questo modo sono creati due cromosomi figli dei due genitori. La mutazione agisce sul cromosoma dei figli ed `e ottenuta assegnando probabilit` a pm ad ogni gene di cambiare valore. Se la codifica `e binaria, questo implica invertire il valore del gene selezionato, da ‘0’ a ‘1’ o viceversa. Il meccanismo di generazione delle popolazioni `e ripetuto fino a quando la procedura ha raggiunto un valore ottimale. Cos`ı costruito, l’algoritmo favorisce la formazione di cromosomi portatori delle caratteristiche che conducono ad un valore elevato di fj . Intuitivamente, questo pu`o essere spiegato attraverso il concetto di schema. Uno schema `e una stringa lunga quanto il cromosoma, che ha geni fissati ad un valore preciso, laddove la informazione `e rilevante ai fini della classificazione, e ‘∗’ laddove l’informazione `e invece irrilevante. Ad esempio, supponiamo che il nostro vettore θ sia codificabile in forma binaria con una stringa di lunghezza 8. Lo schema: S1 : 11 ∗ ∗ ∗ ∗01 indica che tutti i θ j che hanno valore 1 sulle prime due cifre, qualsiasi valore sulle cifre dalla terza alla sesta, e valore 01 sulle ultime due cifre presentano un elevato valore di fj . Lo schema: S2 : ∗ ∗ 11 ∗ ∗ ∗ ∗ indica invece che anche i θ j con valori fissati ad 1 nella terza e quarta posizione hanno un valore elevato di fj . Se il meccanismo di selezione della
120
5 Altri metodi statistici
popolazione dei genitori `e casuale con pesi proporzionali a fj , la popolazione dei genitori sar`a pertanto formata con elevata probabilit` a da candidati con queste caratteristiche. Il meccanismo di cross-over tende poi a selezionare, per lo scambio del patrimonio genetico, sequenze con elevata capacit` a di adattamento della funzione obiettivo. Ad esempio, se si inverte una sequenza di k elementi, con k scelto a caso (single-point cross-over), vi `e una elevata probabilit` a di distruggere cromosomi conformi a schemi con pochi elementi fissi lontani fra loro e di formare cromosomi con molti elementi fissi. La mutazione, inoltre, permette di introdurre nella popolazione nuovo materiale genetico. Se il primo operatore persegue una ricerca locale, il secondo permette di esplorare lo spazio dei parametri. Si dimostra che, sotto determinate ipotesi, il numero di cromosomi con alti valori di fj tende a crescere esponenzialmente nella popolazione.
5.6 Considerazioni conclusive La scelta operata in questo libro `e quella di introdurre in dettaglio il modello logistico e l’analisi discriminante, che sono le principali tecniche statistiche utilizzate nel credit scoring, e di fornire una rassegna degli altri strumenti correntemente utilizzati. L’intento `e quello di dare al lettore una conoscenza adeguata che metta in luce sia i punti di forza dei modelli sia la eventuale non corrispondenza alla realt` a delle assunzioni su cui si basano. Queste nozioni permettono un corretto uso degli strumenti statistici, nell’ambito sia dello scoring di accettazione che in quello comportamentale. A conclusione di questo studio possiamo sottolineare alcuni aspetti fondamentali per la affidabilit` a dei sistemi di scoring, che vanno ad integrare le considerazioni gi` a svolte nel corso della trattazione. → Qualit` a dei dati. Il primo aspetto riguarda la qualit` a dei dati sui quali le tecniche vengono sviluppate ed applicate. Nonostante la crescente consapevolezza che la buona qualit` a dei dati sia un asset nel capitale degli intermediari finanziari, esso `e tuttora uno dei punti deboli del sistema bancario, non solo italiano. La qualit` a dei dati coinvolge diversi aspetti. Il primo riguarda la formulazione della popolazione obiettivo e di conseguenza la identificazione corretta dei criteri per formare il campione di sviluppo e di validazione. Molto spesso, ad esempio, la scarsa numerosit`a campionaria induce ad accorpare le informazioni in possesso di banche diverse in un unica base di dati. In questa fase si possono unire in una unica popolazione obiettivo popolazioni diverse fra loro. Se non tenuto adeguatamente in con-
5.6 Considerazioni conclusive
121
siderazione, questo aspetto pu`o inserire fattori di distorsione che portano a compromettere i risultati del modello. Inoltre, la qualit` a dipende sia dalla accuratezza nella codifica delle variabili, che dalla precisione nella raccolta e dalla corretta memorizzazione dei dati. Nel credito alle imprese, `e ormai diffuso l’uso di indicatori basati su rapporti delle voci di bilancio riclassificate. La corretta individuazione delle poste da porre al numeratore e al denominatore degli indicatori fa parte di argomenti di ricerca avanzata, al confine fra la statistica e l’economia aziendale. → Omissione degli effetti regionali e macroeconomici. Nello sviluppo dei modelli abbiamo ignorato gli effetti dovuti a variazioni nel tempo e nello spazio dello scenario macroeconomico. Vari studi (si veda ad esempio Avery et al., 2004) confermano che la omissione di tali fattori conduce a stime distorte degli effetti dovuti alle caratteristiche individuali. La distorsione `e pi` u grave quanto maggiore `e la finestra temporale di studio e la dispersione delle unit` a sul territorio. Se queste sono ampie, occorre formulare modelli che includono informazioni macro-economiche, quali il tasso di disoccupazione, il tasso di crescita reale del PIL o altri effetti regionali, comuni a sottoinsiemi di unit` a. In questo contesto, i modelli multilivello generalizzati (Hox, 2002, cap. 6), che permettono di includere effetti casuali comuni a gruppi di unit` a, possono costituire un utile strumento di riferimento. → Omissione delle variabili individuali. Un ulteriore aspetto riguarda ` infatti la completezza delle informazioni sulle caratteristiche individuali. E possibile che i modelli non includano le variabili esplicative effettivamente correlate con il merito di credito. Questo pu`o essere dovuto al fatto che (a) queste non sono rilevate oppure (b) sono rilevate ad un istante temporale di riferimento, ma tuttavia cambiano nel tempo. Il primo problema pu` o essere affrontato specificando modelli con variabili latenti (Skrondal e RabeHesketh, 2004, capp. 3-4). Il secondo problema attiene alla esistenza di una struttura dinamica nel modello, ed `e affrontato nel prossimo paragrafo. → Struttura dinamica della probabilit` a di default. Una delle critiche maggiori ai modelli di scoring risiede nel fatto che non permettono di catturare le variazioni nel tempo della probabilit` a di default degli individui, dovuta sia a variazioni del contesto economico, sia a mutamenti delle caratteristiche individuali (si veda ad esempio Shumway, 2001). Per catturare questo aspetto, oltre ai modelli multivariati, quali le catene di Markov segnalati nel primo capitolo, sono stati utilizzati modelli di sopravvivenza basati sul modello di Cox (1972) e sue estensioni (Therneau e Grambsh, 2000).
122
5 Altri metodi statistici
→ Correlazione fra eventi di default. Nel credito alle imprese, `e possibile che la probabilit` a che un impresa faccia default vari in conseguenza dei default di imprese ad essa collegate nel sistema economico (si veda ad esempio Jarrow e Turnbull, 2000). Questo fatto induce una genuina correlazione fra le unit` a statistiche (distinta dalla correlazione indotta da comuni fattori macroeconomici), che deve essere inserita esplicitamente nel modello. Varie specificazioni sono possibili e il tema fa parte degli argomenti di statistica avanzata. I modelli che fanno uso delle copule (Cherubini et al., 2004) sembrano essere i pi` u efficaci. → Monitoraggio nel tempo. Come abbiamo detto, il monitoraggio riguarda sia la capacit` a del modello di assegnare correttamente le unit`a alle due categorie dei buoni e cattivi, sia la accuratezza della stima della probabilit` a di default. Le tecniche presentate in fase di implementazione, quali le curve ROC e CAP, la tabella di errata classificazione e il test di Hosmer e Lemeshow, possono essere utilizzate anche in fase di monitoraggio. Come segnalato nel primo capitolo, nello scoring di accettazione vi sono problemi legati al fatto che solo la popolazione di coloro che sono ammessi al finanziamento pu` o essere seguita nel tempo, ovvero `e una popolazione selezionata. Questo d`a luogo a difficolt` a interpretative degli usuali strumenti di convalida (Hand, 2005). Anche nell’ambito del credito alle imprese, il monitoraggio nel tempo del modello comporta alcune cautele, in quanto le tecniche usualmente impiegate assumono sia l’indipendenza fra gli eventi di default delle imprese sia l’indipendenza fra il giudizio sul merito di credito di una data impresa e l’insolvenza di questa. Come segnalato da pi` u parti, queste ipotesi possono non valere nella realt`a. La costruzione di misure ottimali per il monitoraggio dei modelli di credit scoring fa parte di argomenti di ricerca pi` u attuali, come evidenziano anche i relativi documenti emessi dal Comitato di Basilea. → Scoring overrides. Vi sono inoltre aspetti gestionali del credit scoring che derivano dal fatto che la misurazione del rischio deve essere integrata nel sistema multifunzionale della banca. Specialmente nelle fasi iniziali di implementazione, lo scoring si innesta in un meccanismo consolidato di gestione del rischio di credito basato sulla esperienza del responsabile del processo di affidamento. In questa fase `e possibile che un conflitto fra i due sistemi di gestione venga risolto a favore della prassi consolidata. Questo fatto, noto come scoring overrides, se inserito correttamente nel sistema, costituisce una utile fonte di perfezionamento dello scoring, in quanto permette un confronto fra i due sistemi di erogazione del credito.
5.7 Note bibliografiche
123
5.7 Note bibliografiche Molti dei metodi presentati in questo capitolo sono trattati diffusamente in Hand (1997), Hastie et al. (2001) e Bishop (2007) a cui rimandiamo per approfondimenti. Il primo lavoro nel credit scoring che usa in maniera estesa il metodo delle k unit` a pi` u vicine sembra essere Henley e Hand (1996). Una rassegna storica `e in Hand (1997, cap. 5). Per la relazione fra il metodo delle k unit` a pi` u vicine e la regressione si veda Hastie et al. (2001, cap. 2). Il voto di maggioranza pu` o essere visto come una media aritmetica ponderata delle y del campione di validazione con pesi 1 se l’unit`a appartiene al gruppo delle Nk e 0 altrimenti. Estensioni includono l’uso di pesi diversi da 0 o 1 e determinati attraverso metodi di lisciamento. Dettagli sono in Hastie et al. (2001, cap. 2). Il problema dello sbilanciamento dei dati `e trattato in Garc´ıa et al. (2008). Per evitare problemi di sovraparametrizzazione delle reti neurali, specie se gli strati latenti sono molti, nella determinazione della funzione obiettivo `e opportuno inserire parametri di penalizzazione. I dettagli sono in Hastie et al. (2001, cap. 11) o Bishop (2006, cap. 5). Le reti neurali sembrano essere, in molte circostanze, i migliori strumenti di classificazione. Nel credit scoring, Baesens et al. (2003) confrontano i risultati ottenuti con i diversi metodi presentati in questo libro applicati ad otto basi di dati. I risultati sembrano confermare la tendenza, ma evidenziano che anche il modello logistico e la analisi discriminante lineare conducono a risultati di poco inferiori. Le stesse conclusioni sono in West (2000). Hand (2001) osserva che nel caso di popolazioni che si sovrappongono, le reti neurali non sembrano condurre a risultati migliori degli altri classificatori. Il primo lavoro che presenta gli alberi di classificazione con taglio statistico `e Breiman et al. (1984). Si veda Rosenberg e Gleit (2001) per una rassegna nel contesto del credit scoring. Gli algoritmi genetici, originati dal lavoro di Holland (1975), nel credit scoring sembrano condurre a buoni risultati, si veda Albright (1993) e Fogarty e Ireson (1993). Di diverso orientamento Desai et al. (1997). Maggiori dettagli e riferimenti bibliografici sulle recenti evoluzioni dei modelli di credit scoring si trovano in Stanghellini (2006). Lo studio comparato dei risultati prodotti da classificatori dipende molto dalla natura dei dati ed `e di difficile generalizzazione. Hand (2006) osserva che il maggiore guadagno si ottiene con i metodi classici e che i metodi maggiormente sofisticati portano a miglioramenti di entit` a molto ridotta. Invece, grandi vantaggi si trovano curando gli aspetti legati alla qualit` a dei dati, alla completezza delle informazioni e alla formazione del campione, delineati nelle considerazioni conclusive.
Appendice A Alcune variabili casuali
A.1 Variabile casuale di Bernoulli Si consideri un esperimento casuale che d` a luogo a due eventi incompatibili ¯ Si denoti l’evento A come successo e si denoti con π la P (A). La A e A. v.c. Y di Bernoulli assume valore 1 se si verifica A e valore 0 altrimenti. Di conseguenza, se Y `e una v.c. di Bernoulli, P (Y = 1) = π e P (Y = 0) = 1−π. Un modo sintetico di indicare la funzione di probabilit` a p(y) = P (Y = y), y ∈ {0, 1}, di una v.c. di Bernoulli `e il seguente: p(y) = π y (1 − π)1−y
y ∈ {0, 1}.
Come si vede, la v.c. di Bernoulli dipende dalla costante caratteristica π. Sinteticamente, una v.c. Y con distribuzione di Bernoulli di parametro π si indica con Y ∼ Be(π). Si dimostra agevolmente che se Y ∼ Be(π) allora E(Y ) = π e V ar(Y ) = π(1 − π).
A.2 Variabile casuale binomiale e binomiale relativa Si considerino n ripetizioni indipendenti di un esperimento bernoulliano. Sia Y la v.c. che conta il numero dei successi. Questa v.c. si chiama binomiale. La v.c. binomiale pu` o anche essere vista come la somma delle v.c. di Bernoulli. Se n = 1, la v.c. binomiale Y coincide con la v.c. di Bernoulli X. Se n > 1 la v.c. binomiale Y assume valori che vanno da 0 a n muovendosi all’interno dei numeri naturali. La funzione di probabilit` a di una v.c. binomiale si pu` o cos`ı scrivere: Stanghellini E.: Introduzione ai metodi statistici per il credit scoring. c Springer-Verlag Italia 2009, Milano
126
Appendice A Alcune variabili casuali
n y p(y) = π (1 − π)n−y y
y ∈ {0, 1, . . ., n}.
(A.1)
Dallo studio della funzione si pu` o notare che essa `e simmetrica per π = 0.5. Sinteticamente, una v.c. Y con distribuzione binomiale si indica con Y ∼ Bin(n; π), in cui n `e il numero delle prove, detto anche dimensione, e π `e la probabilit` a di successo della variabile casuale di Bernoulli da cui deriva. Si dimostra agevolmente che se Y `e una v.c. binomiale, E(Y ) = nπ e V ar(Y ) = nπ(1 − π). Molto importate in questo contesto `e la variabile casuale binomiale relativa. Se Z `e una v.c. binomiale Z ∼ Bin(π; n), la variabile casuale Y = Z/n `e detta binomiale relativa. La funzione di probabilit` a di una v.c. binomiale relativa si pu` o cos`ı scrivere: 1 2 n (A.2) p(y) = π ny (1 − π)(n−ny) y ∈ {0, , , . . . , 1}. n n ny Sinteticamente una v.c. Y con distribuzione binomiale relativa si indica con Y ∼ Bin(n; π)/n. Si dimostra agevolmente che Y ha valore atteso E(Y ) = π e varianza V ar(Y ) = π(1−π) . n
A.3 Variabile casuale normale La v.c. normale (detta anche gaussiana) descrive bene molti fenomeni continui e la sua importanza `e determinante nell’ambito della statistica inferenziale. Una v.c. Y ha distribuzione normale se la sua funzione di densit` a `e cos`ı espressa: f (y) =
2 2 1 √ e−(y−μ) /2σ , −∞ < y < +∞ σ 2π
(A.3)
in cui μ e σ 2 sono la media e la varianza di Y . Una v.c. Y con distribuzione normale di parametri μ e σ 2 si indica sinteticamente con Y ∼ N (μ; σ 2). Dallo studio della funzione si possono evidenziare le seguenti importanti propriet` a: (a) `e simmetrica intorno alla media; (b) ha un unico punto μ in cui la derivata prima si annulla; esso coincide con un massimo, ovvero `e crescente nell’intervallo (−∞, μ) e decrescente in (μ, +∞);
A.4 Variabile casuale normale multipla
127
(c) ha due punti di flesso in μ − σ e μ + σ, `e concava in (μ − σ, μ + σ) e convessa altrove; (d) limy→−∞ f (y) = limy→∞ f (y) = 0. Nel caso in cui μ = 0 e σ = 1, la v.c. normale `e detta standardizzata.
A.4 Variabile casuale normale multipla Sia (X1 , . . ., Xp)T un vettore di variabili aleatorie che assume valore xT = (x1 , . . . , xp). Esso ha distribuzione normale (o gaussiana) multipla di dimensione p e di parametri μ e Σ, con Σ una matrice definita positiva, se la funzione di densit` a congiunta pu` o scriversi: 1 1 T −1 − (x − μ) Σ (x − μ) f (x) = p 1 exp 2 (2π) 2 | Σ | 2 per ogni x ∈ Rp. Si dimostra che μ `e pari al valore atteso e che Σ `e la matrice delle varianze e delle covarianze. Sinteticamente, una v.c. p-dimensionale con distribuzione normale multipla si indica con (X1 , . . . , Xp)T ∼ Np (μ; Σ). Una trattazione approfondita della variabile casuale multipla si trova in Mardia et al.(1979, capp. 2-3) oppure in Anderson (2003, cap. 2).
Appendice B Il modello di regressione lineare
B.1 Il modello di regressione lineare multiplo Si vuole studiare la relazione che, in una determinata popolazione di interesse, lega una variabile casuale continua Y , detta dipendente, ad un insieme di p variabili x1 , x2 , . . . , xp, dette esplicative o ‘regressori’. Si assume inoltre che la relazione che lega Y ad x1 , x2 , . . . , xp sia lineare nei parametri. In molti fenomeni, `e ragionevole assumere che le variabili esplicative non colgano tutta la variabilit` a della Y , ma che Y sia influenzata da altri fattori non misurabili direttamente, detti ‘errori’ o ‘residui’, il cui effetto si aggiunge in modo additivo a quello delle variabili esplicative. Testi in italiano che trattano in maniera diffusa il modello di regressione lineare multiplo sono, fra gli altri, Azzalini (2001) e Cappuccio e Orsi (2005), a cui rimandiamo per integrazioni. Pi` u formalmente, si indichi con Yi la v.c. risposta nella i-esima unit`a, con β il vettore (p × 1) dei coefficienti di regressione e con xi = (xi1 , . . ., xip) il vettore riga (1 × p) dei valori osservati delle esplicative. Il modello di regressione lineare `e il seguente: Yi = xi β + εi
(B.1)
in cui εi `e la v.c. che descrive il residuo. Se il modello contiene il termine costante, allora xi1 = 1 e β1 `e l’intercetta del modello. Supponiamo di avere N unit` a, con N > p. Sia Y T = (Y1 , Y2 , . . . , YN ) il vettore i cui elementi sono costituiti dalla v.c. dipendente Y nelle unit` a indicate a pedice. Sia εT = (ε1 , . . . , εN ) il vettore i cui elementi sono la v.c. dei residui nelle unit` a indicate a pedice. Inoltre, sia X la matrice (N × p) in cui ogni riStanghellini E.: Introduzione ai metodi statistici per il credit scoring. c Springer-Verlag Italia 2009, Milano
130
Appendice B Il modello di regressione lineare
ga corrisponde al valore osservato delle variabile esplicative. Il modello di regressione si pu`o scrivere in forma matriciale:
Y = Xβ + ε
(B.2)
Se il modello contiene il termine costante, allora la prima colonna di X `e la colonna di 1. → Ipotesi di base. Si assume che: i) X `e una matrice non stocastica di rango p; ii) le v.c. εi siano identicamente distribuite con valore atteso E(εi) = 0 e V ar(εi) = σ 2 . L’ipotesi di varianza costante `e detta anche di omoschedasticit`a. iii) la v.c. dei residui di una unit` a i sia incorrelata con la v.c. dei residui di ogni altra unit` a l, ovvero Cov(εi , εl ) = 0 per ogni i = l. Talvolta, in casi fortunati, si pu` o anche pensare che la v.c. dei residui abbia una distribuzione normale, ovvero: iv) εi ∼ N (0, σ 2). Si noti che la ii) e la iii) si possono riassumere nel modo seguente. Ricordando che εT = (ε1 , . . . , εN ), avremo: E(ε) = 0 e E(εεT ) = σ 2 IN . → Discussione delle ipotesi. Si supponga di osservare tutte le unit` a della popolazione che hanno uno stesso valore delle variabili esplicative. La relazione (B.1) dice che la differenza di comportamento fra queste unit` a `e determinata dalla variabilit` a della v.c. ε. Inoltre: 1) l’ipotesi i) implica che, essendo N > p, la matrice X `e di rango p se le colonne sono linearmente indipendenti. Questo implica che non esista una colonna di X che pu` o essere ottenuta come combinazione lineare delle altre.
B.2 Il problema inferenziale senza l’ipotesi di normalit` a ...
131
Y
X2
X3
Figura B.1. Piano di regressione con coefficienti β1 > 0, β2 < 0, β3 = 0
2) La ipotesi ii) implica: E(Yi | xi ) = xi β e, anche, V ar(Yi | xi) = σ 2 . Pertanto il valore atteso condizionato di Y giace su un (iper)piano. La dispersione attorno al valore atteso `e costante e non dipende da x. In figura B.1 `e riportato un esempio di un piano di regressione per p = 3. 3) Possiamo interpretare la iii), informalmente, nel modo seguente: il valore della variabile casuale che descrive il residuo della unit`a i-esima non `e influenzato (linearmente) da quello dell’unit` a l-esima. 4) L’ipotesi iv) pu` o trovare una giustificazione nel teorema del Limite Centrale. Infatti, se il fattore residuale `e una variabile casuale data dalla somma di molti fattori, rappresentati anch’essi attraverso variabili casuali, allora si pu` o pensare che se il numero di questi fattori `e elevato, la distribuzione dei residui pu` o essere descritta da una normale.
B.2 Il problema inferenziale senza l’ipotesi di normalit` a ... Tipicamente, i parametri del modello β e σ 2 non sono noti, e si deve procedere ad una loro stima attraverso un campione casuale di unit` a estratte dalla popolazione di studio. Si tratta quindi di trovare procedure di stima ottimali. Per ogni unit` a del campione si rilevano i valori di yi e di xi . Sia
132
Appendice B Il modello di regressione lineare
y T = (y1 , y2 , . . . , yN ) il vettore N × 1 dei valori osservati della variabile dipendente Y e X la matrice come definita in precedenza. In questi paragrafo si assumono valide le ipotesi i) − iii) ma non la iv). → Stima di β mediante il metodo dei minimi quadrati. Si cerca quel ˆ che rende minima la seguente somma: valore β S=
N (yi − xi β)2 = (y − Xβ)T (y − Xβ). i=1
Si noti che S `e uno scalare. Svolgendo i calcoli, S = y T y − β T XT y − y T Xβ + β T XT Xβ = y T y − 2βT XT y + βT XT Xβ. ˆ si calcolano le derivate parziali di S rispetto a β e si pongono Per trovare β uguali a zero. Si definisce ∂S ∂β il vettore che ha come generico elemento i il ∂S valore ∂βi . Si verifica che ∂S = −2XT y + 2XT Xβ. ∂β Imponendo l’uguaglianza a zero avremo: XT y = XT Xβ
(B.3)
e risolvendo per β si trova ˆ = (XT X)−1 XT y. β Lo studio della matrice delle derivate parziali del secondo ordine dice che la soluzione ottenuta `e un punto di minimo. → Definizione. Si definiscono: ˆ il vettore (N × 1) dei valori attesi stimati; ˆ = Xβ y ˆ il vettore (N × 1) dei residui stimati o residui ˆ = y − y ˆ = y − Xβ osservati (da non confondere con ε, il vettore (N × 1) dei residui veri). → Stima di σ 2 mediante il metodo dei minimi quadrati. Dal momento che ˆ
il vettore (N × 1) dei residui osservati, una stima della dispersione delle distribuzioni `e data dalla grandezza ˆ T ˆ . Questa
B.2 Il problema inferenziale senza l’ipotesi di normalit` a ...
133
grandezza risente per`o del fattore dovuto alla numerosit` a delle osservazioni (`e una devianza, infatti). Per motivi che saranno chiari in seguito, la stima dei minimi quadrati di σ 2 che indicheremo con σ ˆ 2 `e data da σ ˆ2 =
ˆ T ˆ
. N −p
B.2.1 Prime analisi descrittive del modello stimato Teorema B.1 Si dimostra che XT ˆ
= 0. Dimostrazione ˆ = XT y − XT X(XT X)−1 XT y = 0. ˆ ) = XT (y − Xβ) XT (y − y Segue dal Teorema precedente, che se il modello contiene l’intercetta, ovvero la prima colonna di X `e una colonna di 1, il primo elemento di XT ˆ
`e pari a N ˆi i=1
ed essendo uguale a zero, allora la somma dei residui stimati `e nulla. Inoltre, sempre nel caso in cui il modello contenga l’intercetta, essendo N i=1 (yi − N N yˆi ) = 0 allora i=1 yi = i=1 yˆi ovvero la somma dei valori attesi stimati `e pari a quella dei valori osservati. In tal caso anche i valori medi delle due distribuzioni coincidono. → Definizione. Si definiscono: SST = y T y − N y¯2 (SST `e la devianza delle y osservate); ˆ − N y¯2 (SSR `e la devianza dei valori che giacciono sulla ˆT y SSR = y retta stimata); SSE = ˆ T ˆ (SSE `e la devianza dei residui stimati). R2 = 1 −
SSE SST
=
SST −SSE . SST
o anche scrivere SSE/(N − p). Si noti che la stima σ ˆ 2 si pu` Teorema B.2 Se il modello contiene l’intercetta ˆT y ˆ +ˆ
T ˆ . yT y = y
134
Appendice B Il modello di regressione lineare
Dimostrazione Dalla scomposizione dei valori veri: ˆ + ˆ )T (Xβ ˆ + ˆ ) = β ˆ T XT Xβ ˆ + ˆ T Xβ ˆ +β ˆ T XT ˆ + ˆ T ˆ = y T y = (Xβ ˆ + 2β ˆ T XT ˆ ˆ T XT Xβ
+ ˆ T ˆ
. β ˆ T XT Xβ ˆ =
= 0. Inoltre, essendo β Essendo XT ˆ = 0 anche βT XT ˆ T ˆ , il risultato segue. ˆ y y Corollario Se il modello contiene l’intercetta SST = SSR + SSE. ˆT y ˆ− Dimostrazione Dal teorema precedente segue che y T y − N y¯2 = y T 2 N y¯ + ˆ ˆ , da cui il risultato. o anche scriLa grandezza R2 in un modello che contiene l’intercetta pu` . Inoltre, sempre se il modello contiene l’intercetta, versi come R2 = SSR SST allora 0 ≤ R2 ≤ 1. Infatti, SSR ha come minimo 0 e come massimo SST . a una valutazione del potere esplicativo delle v.c. Xj . Se L’indice R2 d` = 0 allora SSR = 0 e i valori stimati yˆi sono costanti. Pertanto βˆj = 0 se j ∈ {2, . . ., p} e βˆ1 = y¯. In tal caso, SST = SSE ovvero la devianza totale dei valori osservati coincide con quella dei residui. Se R2 = 1 invece tutta la variabilit` a delle y `e colta dall’(iper)piano di regressione e non vi `e variabilit` a residua. Nella realt` a avremo situazioni intermedie. R2
B.2.2 Analisi della distribuzione degli stimatori ˆ e σ Nel seguito guarderemo alle stime β ˆ 2 come variabili casuali, ovvero come funzioni delle v.c. Y e ε del modello di regressione. ˆ per β. → Analisi sulla distribuzione degli stimatori β ˆ = AY ˆ Si indichi con A = (X T X)−1 XT . I coefficienti β Linearit` a di β. sono trasformazioni lineari delle v.c. Y T = (Y1 , . . ., YN ). ˆ Per valutare la correttezza di β ˆ occorre guardare Correttezza di β. ˆ come una variabile casuale ottenuta dalla combinazione lineare della a β ˆ = (X T X)−1 XT Y. In base al modello (B.2) variabile casuale Y , ovvero β ˆ = (X T X)−1 XT (Xβ + ε). possiamo anche scrivere che β ˆ `e corretto. Infatti: Si dimostra facilmente che β ˆ = E[(XT X)−1 XT (Xβ + ε)] = β + (XT X)−1 XT E(ε) = β E(β)
B.2 Il problema inferenziale senza l’ipotesi di normalit` a ...
135
ˆ La matrice delle Matrice delle varianze e delle covarianze di β. ˆ varianze e delle covarianze di β `e pari a ˆ − β)(β ˆ − β)T ] = E[(XT X)−1 XT εεT X(XT X)]−1 = (XT X)−1 σ 2 E[(β Si noti che l’elemento j-esimo della diagonale di questa matrice contiene la varianza dello stimatore βˆj . L’elemento (j, r) fuori diagonale, invece contiene la covarianza fra gli stimatori βˆj e βˆr . Esempio B.1 Nel caso di un modello di regressione lineare semplice si pu` o verificare che la matrice (X T X)−1 `e la seguente:
N
N
N
i=1
xi2
i=1
xi2
i=1
x2i2
N
−1 =
N
1
2 N i=1 x2i2 − ( N i=1 xi2 ) N N 2 i=1 xi2 − i=1 xi2 N − i=1 xi2 N
Moltiplicando ogni singolo elemento di (X T X)−1 per σ 2 si ottiene le espressioni delle varianza dei coefficienti (date dai termini sulla diagonale) e della covarianza fra βˆ1 e βˆ2 . Si noti che, se x ¯2 > 0, tale termine `e negativo. Una interpretazione intuitiva sta nel fatto che, sotto i vincoli determinati dalle equazioni di stima, di uguaglianza fra la somma dei valori attesi stimati e dei valori osservati, maggiore `e la stima dell’intercetta del modello minore `e la stima del coefficiente angolare. ˆ siano stimatori per β a varianza Il seguente teorema assicura che β minima nella classe di stimatori corretti. Teorema B.3 (di Gauss-Markov). La matrice delle varianze e covaˆ `e minima nella classe degli stimatori lineari e corretti di β. rianze di β Per la dimostrazione si veda Azzalini (2001), cap. 5. ˆ Si indichi con A = (X T X)−1 XT . Il Normalit` a asintotica dei β. o vedersi come data dal parametro βˆj , che ora consideriamo come v.c., pu` prodotto scalare fra la j-esima riga di A e il vettore delle v.c. Y , ovvero pu` o scriversi come una somma di tante variabili casuali. Infatti, βˆj =
N i=1
Aji Yi
136
Appendice B Il modello di regressione lineare
Se N `e molto grande, si pu` o pensare che esista una distribuzione che apˆ Occorre per` prossima la distribuzione di β. o notare che per x fissato, le v.c. Yi sono incorrelate, ma non identicamente distribuite in quanto il loro valore atteso `e pari a xi β, ovvero varia in funzione delle esplicative. Tuttavia, una versione modificata del Teorema del Limite Centrale assicura che per N ˆ pu` sufficientemente grande, la distribuzione dei β o essere approssimata da una distribuzione normale multipla. Il valore atteso di questa distribuzione `e β e la matrice di varianza e covarianza `e pari a (X T X)−1 σ 2 . → Analisi sulla distribuzione dello stimatore σ ˆ 2 per σ 2 . Come abbiamo detto, una misura della variabilit` a non spiegata dal modello `e data dalla SSE. Ci possiamo chiedere se una funzione di SSE pu` o 2 essere utilizzata per stimare σ . Occorre quindi valutare il valore atteso di SSE vista come v.c., ovvero come funzione delle variabili casuali ε. Correttezza. Si pu` o dimostrare che σ ˆ 2 `e uno stimatore corretto di σ 2 (si veda l’esercizio B.5).
B.3 . . . e con l’ipotesi di normalit` a Dalla normalit` a della distribuzione di ε, ipotesi iv), discende che la distribuzione di Y , condizionata ai valori osservati di x, `e anch’essa normale, ovvero Y | x ∼ N (xβ, σ 2). → Stima di β e σ 2 mediante il metodo della massima verosimiglianza. Da quanto detto: f (yi | xi ) = √
1 2πσ 2
exp −
1 (yi − xi β)2 2σ 2
da cui la funzione di verosimiglianza del campione osservato L(β, σ 2 ), `e L(β, σ 2) =
N i=1
f (yi | xi· ) =
N 1 1 exp − (yi − xiβ)2 . 2σ 2 (2πσ 2)N/2 i=1
˜ eσ Le stime di massima verosimiglianza di β e σ sono quei valori β ˜2 che massimizzano la verosimiglianza o, equivalentemente, la funzione di log-verosimiglianza che anche in questo caso possiede una espressione pi` u
B.3 . . . e con l’ipotesi di normalit` a
137
semplice: l(β, σ 2 ) = −
N N 1 N (yi − xi β)2 . log2π − logσ 2 − 2 2 2 2σ i=1
Le stime di massima verosimiglianza si ottengono a) derivando parzialmente la log-verosimiglianza ed imponendo che il sistema delle derivate parziali sia pari a zero e b) controllando attraverso lo studio della matrice delle derivate parziali del secondo ordine che la soluzione ottenuta sia un punto di massimo. Imponendo l’uguaglianza a zero delle p + 1 equazioni e risolvendo il sistema si trova (si veda l’esercizio B.6): ˜ = (X T X)−1 XT y β σ ˜2 =
N 1 ˜ 2 = 1 ˜ T ˜ . (yi − xiβ) N N i=1
Lo studio della matrice delle derivate parziali del secondo ordine assicura che la soluzione ottenuta `e un punto di massimo. Si noti l’uguaglianza fra le stime con il metodo dei minimi quadrati di ˜ = β. ˆ Da queβ e le stime mediante massima verosimiglianza, ovvero β sta uguaglianza discendono, nel caso di normalit` a degli errori, le seguenti propriet` a: ˜ = β ˆ sono corretti e hanno matrice delle varianze 1) gli stimatori β e delle covarianze pari a (X T X)−1 σ 2 ; tale matrice, minima nella classe degli stimatori lineari e corretti (Teorema di Gauss Markov), `e, nel caso di normalit` a degli errori, minima nella classe degli stimatori corretti (pi` u precisamente, coincide con il limite inferiore della disuguaglianza di CramerRao, si veda Azzalini, 2001, cap. 3); ˆ hanno, anche per N finito, una distribuzione congiun2) gli stimatori β tamente normale. Infatti, possono essere viste come combinazione lineare ˆ = AY con A = (X T X)−1 XT (si ricordi che nel di v.c. normali, ovvero β caso in cui l’ipotesi iv) non valga la distribuzione normale multivariata coˆ solo per N stituisce una buona approssimazione della distribuzione dei β grande); o anche scriversi SSE/N . Da quanto visto in 3) lo stimatore σ ˜ 2 pu` precedenza, esso non `e uno stimatore corretto.
138
Appendice B Il modello di regressione lineare
Per quanto riguarda la forma della distribuzione dello stimatore σ ˆ 2 nel caso di normalit`a degli errori si devono fare ulteriori derivazioni. Si utilizza il seguente: Teorema B.4 Sia ε un vettore di N variabili casuali con distribuzione ε ∼ N (0, σ 2IN ). Sia Q una matrice simmetrica e idempotente di ordine p. La distribuzione di εT Qε σ2 `e una χ2 con gradi di libert` a pari al rango di Q. Per la dimostrazione si veda Azzalini (2001), cap. 5. Sia ˆε il vettore delle v.c. che esprimono i residui stimati. Essendo ˆε = Mε e rango(M) = N − p (si veda gli esercizi B.3 e B.4), ne segue che, sotto ∼ χ2N −p . l’ipotesi di normalit` a delle ε, la variabile casuale SSE σ2 Un ulteriore teorema ci permette di fare inferenza sui parametri incogniti β e σ 2 del modello di regressione. ˆ eσ Teorema B.5 Gli stimatori β ˆ 2 sono indipendenti. Per la dimostrazione si veda Azzalini (2001), cap. 5. B.3.1 Inferenza sui singoli coefficienti βj →. Valgono le ipotesi i) − iv). Abbiamo visto che sotto le ipotesi di ˆ hanno una distribuzione normalit` a dei residui, le stime dei coefficienti β ˆ normale multipla di dimensione p, ovvero β ∼ Np (β, σ 2(X T X)−1 ). Da questo discende che anche la distribuzione marginale dei singoli coefficienti `e normale. Indicando con vjj il j-esimo elemento della diagonale principale della matrice (X T X)−1 , possiamo scrivere: βˆj ∼ N (βi, vjj σ 2 ). Nel caso, inverosimile, in cui la varianza σ 2 sia nota, questa distribuzione costituisce la base per effettuare verifiche di ipotesi sui coefficienti. Non approfondiamo ulteriormente questo aspetto, ritenendolo di facile derivazione una volta trattato il caso pi` u plausibile di varianza incognita.
B.3 . . . e con l’ipotesi di normalit` a
139
Come abbiamo visto, lo stimatore SSE ∼ χ2N −p . Inoltre, data l’indipenσ2 ˆ eσ denza fra β ˆ 2 , possiamo notare che la grandezza: ˆ
βj −βj √ σ2 vjj
SSE σ2 (N −p)
βˆj − βj = σ ˆ 2 vjj
si distribuisce come una T di Student con N − p gradi di libert` a. Esempio B.2 (segue da B.1). La equazione dell’esempio B.1 riporta i valori della matrice (X T X)−1 nel caso di un modello di regressione lineare semplice. Si noti che il denominatore di ogni elemento della matrice `e pari a N volte la devianza campionaria di X2 . Ne segue che al crescere della a dispersione della variabile esplicativa diminuiscono i termini vjj e, a parit` 2 ˆ di σ , diminuiscono le varianze dei βj . L’inferenza che coinvolge questi parametri `e pertanto pi` u precisa maggiore `e la dispersione della variabile X2 nel campione. Un ragionamento analogo pu` o farsi nel caso del modello di regressione con p > 2. Al crescere delle devianze delle variabili esplicative, la varianza delle stime dei parametri βˆj diminuisce. Si noti che, se la varianza `e incognita, la grandezza σ ˆ 2 (X T X)−1 costituisce una stima della matrice delle ˆ varianza e delle covarianze di β. (a) Verifica dell’ipotesi: βj = βj0 con alternativa bidirezionale. Si vuole sottoporre a test l’ipotesi che H0 : β = βj0 contro un’alternativa H1 : βj = βj0 . La statistica test `e pertanto: βˆj − βj0 √ σ ˆ 2 vii che sotto H0 `e distribuita come una T di Student con N −p gradi di libert` a. a Si rifiuta per valori di elevati di | βj − βj0 |. Si fissa pari ad α la probabilit` di rifiutare l’ipotesi H0 quando essa `e vera. Si cerca pertanto quei valori c1 e c2 tali che: βˆj − βj0 ≤ c2 | sotto H0 = 1 − α. P c1 ≤ σ ˆ 2 vjj Si indichi con tγ,d il valore tale che P (Td > tγ,d ) = γ con Td una v.c. T di Student con d gradi di libert` a. Se si vuole che la probabilit` a di rifiutare H0
140
Appendice B Il modello di regressione lineare
quando `e vera sia ugualmente ripartita nei due estremi della distribuzione, allora, data la simmetria attorno allo zero della t di Student, avremo c2 = −c1 = t α2 ,N −p . βˆ −βj0
j Ne segue che si rifiuter` a per valori di √
σ ˆ 2 vjj
esterni all’intervallo
(−t α2 ,N −p , +t α2 ,N −p ) o, equivalentemente, per valori di βˆj esterni all’intervallo √ √ ˆ vjj , βj0 + t α2 ,N −pσ ˆ vjj ). (βj0 − t α2 ,N −pσ In genere, il valore specificato sotto H0 `e pari a zero, ovvero H0 : βj = 0. Con questo test, detto test di significativit` a, si valuta se il regressore Xj inserito nel modello ha un coefficiente significativamente diverso da zero. L’output di molti software statistici presenta il livello di significativit` a osservato, detto ‘ p-value’, associato alla H0 : βj = 0. Il p-value `e la probabilit` a di osservare, sotto l’H0 , un valore della v.c. T di Student superiore, in modulo, al modulo di quello calcolato sulla base del campione osservato. Ovvero: p-value=1 − P (− | toss |≤ TN −p ≤| toss | sotto H0 ) = dalla simmetria 2 × P (TN −p ≥| toss | sotto H0 )
(B.4)
dove toss `e il valore della T di Student osservato nel campione. Si noti che: 1) se il p-value `e maggiore di α siamo necessariamente nella zona di non rifiuto di H0 , essendo (1-p-value) inferiore ad α il che implica che toss cade nell’intervallo di non rifiuto, simmetrico rispetto allo a pari a 1 − α. zero (−t α2 ,N −p , +t α2 ,N −p ) che racchiude una probabilit` ˆ Analogamente, se il toss cade in quell’intervallo, il βj cade nell’intervallo √ √ ˆ vjj , +t α2 ,N −p σ ˆ vjj ) (−t α2 ,N −pσ che definisce la zona di non rifiuto del test con H0 : βj = 0. Al contrario, se il p-value `e minore di α siamo necessariamente nella zona di rifiuto di H0 ;
B.3 . . . e con l’ipotesi di normalit` a
141
2) il p-value d` a anche una misura della plausibilit` a sotto H0 del valore osservato: se questo `e piccolo dobbiamo concludere che quanto `e osservato `e raro sotto H0 . (b) Verifica dell’ipotesi: βj = βj0 con alternativa unidirezionale a sinistra. Si vuole sottoporre a test l’ipotesi che H0 : β = βj0 contro un’alternativa H1 : βj ≤ βj0 . La statistica test `e pertanto: βˆj − βj0 σ ˆ 2 vjj che sotto H0 `e distribuita come una T di Student con N −p gradi di libert` a. Si rifiuta per valori di βˆj − βj0 piccoli e inferiori a zero. Si fissa pari ad α la probabilit` a di rifiutare l’ipotesi H0 quando essa `e vera. Si cerca pertanto quel valore c1 tale che: P
βˆj − βj0 ≤ c1 | sotto H0 σ ˆ 2 vjj
=α
da cui: c1 = −tα,N −p . √ ˆ vjj . Nel caso in cui Ne segue che si rifiuter` a per valori di βˆj ≤ βj0 −tα,N −p σ a del p-value del test di significativit` a. βj0 = 0 il p-value corrisponde a met` (c) Verifica dell’ipotesi: βj = βj0 con alternativa unidirezionale a destra. Si lascia per esercizio. (d) Intervallo di confidenza per βj . Una volta fissato il livello di confidenza (1 − α), si cerca quel valore δ tale che: P (| βˆj − βj |≤ δ) = 1 − α. √ ˆ vjj e l’intervallo di confidenza ha estremi Da quanto detto, δ = t α2 ,N −p σ √ √ ˆ vjj , βˆj + t α2 ,N −p σ ˆ vjj ). (βˆj − t α2 ,N −p σ
142
Appendice B Il modello di regressione lineare
→ Valgono le ipotesi i) − iii) ma non la iv). Nel caso in cui non si possa assumere la normalit`a degli errori si deve ricorrere a risultati asintotici. ˆ `e, nel caso di N grande, bene Si `e gi`a visto che la distribuzione dei β approssimata da una normale multipla. Sostituendo a σ 2 la stima σ ˆ 2 , si ottiene la statistica: βˆj − βj σ ˆ 2 vjj la cui distribuzione asintotica `e ben approssimata da una normale standardizzata. Pertanto, nel caso di N grande la regione di non rifiuto del test d’ipotesi potr` a farsi utilizzando gli opportuni quantili della normale anzich`e della T di Student. Analogamente, gli estremi dell’intervallo di confidenza saranno formati a partire dai quantili di una distribuzione normale. Tuttavia, spesso, per motivi cautelativi, nella determinazione della regione di non rifiuto o dell’intervallo di confidenza, si continuano ad utilizzare i quantili di una T di Student con N − p gradi di libert` a. A parit` a di α, le grandezze saranno pi` u ampie di quelle calcolate con i quantili della normale. B.3.2 Inferenza per σ 2 ˆT ˆ → Valgono le ipotesi i)−iv). Dal Teorema B.4, εσ2ε ∼ χ2 con N −p gradi di libert` a. Questa distribuzione costituisce la base per ogni inferenza sul parametro σ 2 . Trattiamo qui il caso dell’intervallo di confidenza. La regione di non rifiuto del test d’ipotesi per alternativa bidirezionale, unidirezionale a destra e unidirezionale a sinistra si costruisce alla stessa stregua della regione di non rifiuto per analoghi test sulla varianza di una distribuzione normale, l’unica cosa che cambia sono i gradi di libert` a della distribuzione χ2 che determina i quantili di riferimento.
(a) Intervallo di confidenza per σ 2 . Una volta scelto il livello di confidenza (1 − α), l’intervallo si costruisce cercando quei valori c1 e c2 tali che: P (c1 ≤ σ 2 ≤ c2 ) = 1 − α Ovvero:
1−α = P P
1 1 1 ≤ 2 ≤ c2 σ c1
SSE SSE SSE ≤ ≤ 2 c2 σ c1
= .
B.3 . . . e con l’ipotesi di normalit` a
143
Si indichi con χγ,d il valore tale che P (χ2d > χγ,d ) = γ in cui χ2d `e una v.c. χ2 con d gradi di libert` a. La relazione sopra risulta vera se imponiamo SSE α α = χ e che SSE 1− 2 ,N −p c2 c1 = χ 2 ,N −p . Gli estremi saranno, pertanto, c1 =
SSE SSE . ; c2 = α χ 2 ,N −p χ1− α2 , N − p
La scelta dei quantili fatta sopra non `e obbligata. Vi sono infatti infiniti intervalli che contengono con probabilit` a 1 − α la v.c. χ2 di riferimento. Scegliendo i quantili come sopra si ottiene l’intervallo di ampiezza minore a parit` a di livello di confidenza (1 − α). → Valgono le ipotesi i) − iii) ma non la iv). Dalle propriet` a degli stimatori discende che per N grande: 4 2 a 2 2σ . σ ˆ ∼ N σ , N B.3.3 Test di adattamento basato sulla distribuzione F di Fisher Per motivi di parsimonia, spesso `e necessario valutare se nel modello sono stati inseriti regressori che non spiegano la variabilit` a della Y . In questa sezione, si guarda la capacit`a dei regressori nel loro insieme di catturare la variabilit` a della v.c. Y . Abbiamo visto che nel caso in cui non valga l’ipotesi iv) una analisi descrittiva pu` o farsi attraverso l’indice R2 . Si suppone qui che la ipotesi iv) valga. Prima di procedere, si noti che: (a) in un modello con solo l’intercetta: Yi = β1 + εi il valore atteso di Y non dipende da X, ovvero E(Yi | xi ) = β1 = costante; (b) la stima βˆ1 del modello sopra `e y¯. In tal caso, SSR = 0 e SSE = SST . Ovvero, SST pu` o essere vista come la devianza dei residui stimati ˆi di un modello con solo l’intercetta. Guardiamo ora a SST come variabile casuale funzione del vettore dei residui ε. Sia X1 la matrice dei regressori di un modello con solo l’intercetta. X1 `e costituita da una colonna di 1. Sia M1 = IN − X1 (XT1 X1 )−1 X1 . In caso di normalit`a dei residui (si veda l’esercizio B.3): SST = SSE = εT M1 ε
144
Appendice B Il modello di regressione lineare
dove M1 `e una matrice di rango (N − 1) essendo p = 1. Dal Teorema B.4, SST 2 σ2 ∼ χN −1 . Si vuole sottoporre a verifica l’ipotesi nulla: H0 : β2 = β3 = . . . = βp = 0 contro l’ipotesi alternativa: H1 : esiste almeno un βj = 0 per j ∈ {2, . . ., p}. Se `e vera H0 , ovvero β2 = β3 = . . . = βp = 0, i residui ε del modello Y = β1 + ε coincidono con i residui ε del modello Y = Xβ + ε Supponiamo ora di avere un campione estratto sotto H0 e di avere stimato il modello con p > 1 regressori. Avremo che SSR calcolata nel modello cos`ı specificato deve soddisfare la seguente relazione: SSR = SST − SSE = εT M1 ε − εT Mε = εT (M1 − M)ε. La grandezza tender`a ad avere valori molto piccoli sotto l’ipotesi nulla. Essendo (M1 − M) simmetrica e idempotente di rango (N − 1) − (N − p), dal Teorema B.4, possiamo concludere che SSR ∼ χ2p−1 . σ2 Si pu` o inoltre dimostrare che, se `e vera l’H0 , SSR `e indipendente da SSE. Una statistica test sar`a pertanto la seguente: SSR σ2 (p−1) SSE σ2 (N −p)
che si distribuisce sotto H0 come una F di Fisher con (p−1) e (N −p) gradi di libert` a. Si noti che tale grandezza assume valori sempre positivi. Sotto H0 il numeratore tende ad assumere valori vicini allo zero, mentre sotto l’H1 tende ad assumere valori positivi lontani dallo zero. Si rifiuta pertanto per valori positivi sufficientemente grandi. Fissato pari ad α la probabilit` a di rifiutare H0 quando `e vera, si determina il valore c tale che: P (F(p−1),(N −p) ≥ c | sotto H0 ) = α.
B.4 Problemi
145
Pertanto, c sar` a il valore che lascia a destra un’area pari ad α di detta distribuzione, ovvero il quantile (1−α)-esimo di una F di Fisher con (p−1) e (N − p) gradi di libert` a. L’output di molti software statistici presenta il p-value associato a questo test. Ovvero, sia foss il valore di F calcolato sulla base del campione, il p-value `e la seguente probabilit` a: P (F(p−1),(N −p) ≥ foss | sotto H0 ). Si verifica, attraverso alcuni semplici passaggi, che la relazione fra foss e R2 `e la seguente: foss =
R2 p−1 (1−R2 ) N −p
da cui, coerentemente con quanto detto, si tender` a a rifiutare H0 per valori grandi di R2 .
B.4 Problemi B.1. Si definisca P = X(X T X)−1 XT . Si dimostri che P `e una matrice simmetrica (PT = P) e idempotente, ovvero PP = P. Inoltre, sia M = IN −X(X T X)−1 XT . Si dimostri che M `e anch’essa una matrice simmetrica e idempotente. B.2. Si verifichi MX = 0. B.3. Si dimostri che ˆ ε = Mε. B.4. Si verifichi che il rango di M `e pari a N − p. B.5. Si dimostri che E(ˆ σ 2) = E[SSE/(N − p)] = σ 2 . B.6. Si verifichi che le stime di massima verosimiglianza nel caso di residui distribuiti normalmente sono quelle presentate nel paragrafo 3.5.
Appendice C La stima dei parametri della distribuzione normale
C.1 La stima di massima verosimiglianza In questo paragrafo si descrive la stima di massima verosimiglianza del valore atteso e della matrice delle varianze e delle covarianze della distribuzione normale multipla di dimensione p. Si assume di avere un campione casuale di N osservazioni indipendenti xi estratte da (X1 , . . . , Xp). a di una norSia Li = logφ(xi , μ, Σ), con φ(·; μ, Σ) la funzione di densit` male multipla di parametri μ e Σ. La funzione di log-verosimiglianza del campione pu` o scriversi: L(μ, Σ) =
i
− 12
Li = − N2p log2π −
i (xi
N 2 log
|Σ|−
− μ)T Σ −1 (xi − μ).
¯ il vettore delle medie campionarie di espressione Si indichi con x ¯= x
N 1 xi N i=1
ˆ la matrice delle varianze e delle covarianze campionaria, di e con Σ espressione N ˆ = 1 ¯ )(xi − x ¯ )T . (xi − x Σ N i=1
x)T Σ −1 (¯ x−μ) = 0. Infatti, essendo Σ −1 (¯ x−μ) costante Si noti che i (xi −¯ rispetto all’indice della sommatoria, l’espressione sopra si o riscrivere pu` −1 T ¯ ¯ ¯ = 0, x − μ), ed essendo i (xi − x) = i xi − N x come [ i (xi − x) ]Σ (¯ Stanghellini E.: Introduzione ai metodi statistici per il credit scoring. c Springer-Verlag Italia 2009, Milano
148
Appendice C La stima dei parametri della distribuzione normale
il risultato segue. Pertanto, ¯ )T Σ −1 (xi − x ¯) (xi − μ)T Σ −1 (xi − μ) = i (xi − x i
x − μ). +N (¯ x − μ)T Σ −1 (¯ Inoltre ¯ )T Σ −1 (xi − x ¯) = ¯ )T Σ −1 (xi − x ¯) = (xi − x tr (xi − x i
i
tr Σ
−1
¯ )(xi − x ¯) (xi − x
T
ˆ = N tr(Σ −1 Σ)
i
e, analogamente, x − μ) = tr Σ −1 (¯ x − μ)(¯ x − μ)T . (¯ x − μ)T Σ −1 (¯ Di conseguenza, L(μ, Σ) = − N2p log2π −
N 2 log
| Σ | − N2 tr Σ −1 (¯ x − μ)(¯ x − μ)T
(C.1)
ˆ − N2 tr(Σ −1 Σ). Le stime di massima verosimiglianza si ottengono uguagliando a zero il sistema delle derivate parziali di L(μ, Σ) rispetto agli elementi in μ e in Σ e verificando che il punto trovato sia un massimo. Per fare questo occorrono i seguenti risultati sulla differenziazione di matrici (si veda Mardia, Kent, e Bibby, 1979, Appendice A): ∂log | Σ | x − μ)(¯ x − μ)T ∂trΣ −1 (¯ = N Σ −1 (¯ x − μ) , = (2 − δjl )σ jl ∂μ ∂σjl in cui δjl `e il delta di Kronecker, che `e uguale a 1 se j = l e 0 altrimenti. Inoltre, essendo ΣΣ −1 = Ip , si ottiene dalla differenziazione parziale, Σ da cui:
∂Σ −1 ∂(Σ −1 ) + Σ =0 ∂σjl ∂σjl
∂Σ −1 ∂(Σ −1 ) = −Σ −1 Σ . ∂σjl ∂σjl
Si pu` o allora verificare che da ∂L/∂μ = 0 si ottiene: x − μ) = 0 Σ −1 (¯
C.1 La stima di massima verosimiglianza
149
ˆ =x ¯ . Inoltre da ∂L/∂σjl = 0 da cui segue che, nel punto di stazionariet` a, μ si ottiene, utilizzando i risultati precedenti: −N N jl −1 ∂Σ −1 ˆ (2 − δjl )σ + tr Σ Σ Σ =0 2 2 ∂σjl da cui:
∂Σ −1 ˆ −1 1 tr Σ ΣΣ . σ = (2 − δjl ) ∂σjl jl
Si noti ora che ∂Σ/∂σjl `e una matrice cos`ı determinata: se j = l, ha tutti gli elementi nulli tranne gli elementi (j, l) e (l, j), che sono pari ad 1; j = l ha tutti gli elementi nulli tranne il j-esimo elemento della diagonale, anch’esso pari ad 1. Indicando con ajl l’elemento (j, l)-esimo della matrice ˆ −1 , l’espressione precedente si semplifica in: prodotto Σ −1 ΣΣ σ jl = ajl . Esprimendo questo risultato in forma matriciale avremo, dopo alcune semplificazioni: ˆ Σ=Σ da cui segue che la funzione di log-verosimiglianza ha un punto di stazioˆ ¯ e Σ = Σ. nariet` a in μ = x Occorre verificare che il valore cos`ı determinato `e un punto di massimo. ˆ in (C.1), si ha che L(μ, ˆ − L(μ, Σ) `e pari a ˆ =x ¯ eΣ=Σ ˆ Σ) Ponendo μ N ˆ −1 −p + log | Σ | +tr Σ −1 Σ ˆ 2 [log | Σ | −1 N −1 ˆ ˆ 2 (−log | Σ Σ | −p + tr Σ Σ).
x − μ)(¯ x − μ)T ] ≥ + tr Σ −1 (¯
x − μ)(¯ x − μ)T ] = tr [(¯ x− La disuguaglianza segue dal fatto che tr [Σ −1 (¯ T −1 T x − μ) ] `e positiva. Siano λ1 , . . . λp gli autovalori della matrice μ) Σ (¯ −1 ˆ − L(μ, Σ) `e pari a ˆ ˆ Σ) Σ Σ. Allora L(μ, N N (−log λr − p + λr ) = (−logλr − 1 + λr ). 2 2 r r r Dato che per ogni numero non negativo γ, γ ≤ exp(γ − 1), allora −logγ − 1 + γ ≥ 0.
150
Appendice C La stima dei parametri della distribuzione normale
Applicando questo risultato alla espressione precedente, si deduce che ˆ ≥ L(μ, Σ) per ogni valore di μ e Σ. Questa dimostrazione `e ˆ Σ) L(μ, dovuta a Watson (1964). ˆ Una ¯ e Σ. Le stime di massima verosimiglianza di μ e Σ sono pertanto x giustificazione intuitiva del risultato si pu` o trovare notando che, nel caso in cui Σ sia nota, massimizzare la funzione di log-verosimiglianza rispetto ai parametri coincide con minimizzare i termini negativi che compaiono nell’espressione (C.1). Essendo Σ definita positiva, anche la sua inversa `e x − μ) `e minimo se definita positiva, per cui il termine N (¯ x − μ)T Σ −1 (¯ ¯ = μ. x ˆ possono essere viste come funzioni delle variabili casuali ¯eΣ Si noti che x ˆ X, e pertanto come variabili casuale esse stesse. In particolare, essendo Σ uno stimatore distorto di Σ (si veda Mardia et al., 1979, cap. 3), si preferisce utilizzare al suo posto la stima corretta: ˆ 1 NΣ ¯ )(xi − x ¯ )T . = (xi − x N −1 N −1 N
V=
i=1
C.2 La matrice delle varianze e delle covarianze pooled Sia X un vettore di p variabili casuali con distribuzione congiuntamente gaussiana. Si assume X ∼ Np (μ0 , Σ 0 ) se X proviene da P0 e X ∼ Np(μ1 , Σ 1 ) se X proviene da P1 . Si ponga Σ 0 = Σ 1 = Σ. Si suppone di avere un campione casuale composto di n0 osservazioni provenienti da P0 e di n1 osservazioni provenienti da P1 . Si indichi con x0i la generica osservazione proveniente da P0 e con x1i la generica osservazione proveniente da P1 . La funzione di log-verosimiglianza del campione pu`o cos`ı scriversi: L(μ0 , μ1 , Σ) =
n0 i=1
log φ(x0i; μ0 , Σ) +
n1
log φ(x1i; μ1 , Σ).
i=1
¯ r, Si verifica agevolmente che le stima di massima verosimiglianza di μr `e x r ∈ {0, 1}. Di conseguenza, indicando con n = n0 + n1 , la stima di Σ `e il valore che rende massima la funzione: −
n 1 np log 2π − log |Σ| − tr(Σ −1 W) 2 2 2
C.2 La matrice delle varianze e delle covarianze pooled
con W data dalla seguente espressione: n n1 0 ¯ 0 )(x0i − x ¯ 0 )T + ¯ 1 )(x1i − x ¯ 1 )T . W= (x0i − x (x1i − x i=1
151
(C.2)
i=1
Attraverso derivazioni analoghe alle precedenti, si dimostra che la stima di massima verosimiglianza di Σ `e n−1 W. Tuttavia, essendo questo uno stimatore distorto, si preferisce utilizzare al suo posto la matrice S delle varianze e delle covarianze pooled, data dalla espressione (4.3), che `e una stima corretta.
Appendice D Istruzioni in R
D.1 Istruzioni per l’analisi mediante modello logistico D.1.1 Analisi sul campione di sviluppo 1. Istruzioni di lettura sviluppo=read.table(C:\\sviluppo.txt, header=T) attach(sviluppo) 2. Formazione della tabella di contingenza tabella<-table(flag,T9712,credlim,rescode,statciv,figli, reddito,eta) 3. Dichiarazione della natura categoriale etaf<-factor(eta) redditof<-factor(reddito) figlif<-factor(figli) rescodef<-factor(rescode) statcivf<-factor(statciv) credlimf<-factor(credlim) T9712f<-factor(T9712) 4. Analisi dell’effetto marginale di T9712 stampa della tabella a doppia entrata della flag vs T9712 table(flag,T9712) stima del modello logistico con solo l’intercetta modinter<-glm(flag∼1,family=binomial) stima del modello logistico semplice con esplicativa T9712 modT9712<-glm(flag∼T9712f,family=binomial) test del rapporto delle verosimiglianze fra i due modelli anova(modinter,modT9712,test=’Chi’) 4 Stanghellini E.: Introduzione ai metodi statistici per il credit scoring. c Springer-Verlag Italia 2009, Milano
154
Appendice D Istruzioni in R
5. Analisi dell’effetto marginale del reddito ... 6. Modello di base e selezione backward modello di base modbase<-glm(flag∼etaf*(redditof+figlif+rescodef+statcivf +credlimf+T9712f)+redditof*(figlif+rescodef+statcivf +credlimf+T9712f)+figlif*(rescodef+statcivf +credlimf+T9712f)+rescodef*(statcivf+fcredlimf+T9712f) +statcivf*(credlimf+T9712f)+credlimf*T9712f,family=binomial) libreria MASS library(MASS) selezione backward con criterio AIC modfinale<-stepAIC(modbase,direction=’backward’,test=’Chisq’) 7. Lo score nelle unit`a del campione di sviluppo scorebuoni<-modfinale§linear.predictors[flag==1] scorecattivi<-modfinale§linear.predictors[flag==0]
D.1.2 Analisi sul campione di convalida 1. Istruzioni di lettura validazione=read.table(C:\\validazione.txt,header=T) 2. Creazione delle dummies Deta2=validazione§eta==2 Deta3=validazione§eta==3 Dred2=validazione§reddito==2 Dred3=validazione§reddito==3 Dfigli=validazione§figli==2 Drescode=validazione§rescode Dstatciv=validazione§statciv==2 Dcredlim=validazione§credlim==2 DT9712<-validazione§T9712 3. Matrice del disegno Matdis<-cbind(rep(1,4000),Deta2,Deta3,Dred2,Dred3,Dfigli, Drescode,Dstatciv, Dcredlim,DT9712, Deta2*Drescode, Deta3*Drescode,Dred2*Dcredlim,Dred3*Dcredlim, Dfigli*Drescode,Drescode*Dstatciv,
D.2 Istruzioni per l’analisi discriminante
Drescode*Dcredlim,Dstatciv*Dcredlim,Dcredlim*DT9712) Matdis<-as.matrix(Matdis) 4. Calcolo dello score e della probabilit` a stimata di successo parametri<-matrix(modfinale§coefficients,19,1) scorev<-Matdis% ∗ %parametri probstim=exp(scorev)/(1+exp(scorev)) probbuoni<-probstim[validazione§flag==1] probcattivi<-probstim[validazione§flag==0] 5. Calcolo dell’indice IROC sul campione di validazione n1<-length(probbuoni) n0<-length(probcattivi) a<-matrix(rep(0,n1*n0),n1,n0) for (i in 1:n0) {a[,i]<-probbuoni-probcattivi[i]} Area<-(sum(a>0)+0.5*sum(a==0))/(n0*n1) Iroc=2*(Area-0.5)
D.2 Istruzioni per l’analisi discriminante 1. Istruzioni di lettura dati=read.table(C:\\datilda.txt, header=T) attach(dati) 2. Istruzioni grafiche scatter plot pairs(dati[,1:4], pch = c(1, 19)[Flag+1]) box plot boxplot(AC.AT∼Flag) 3. Analisi univariata indicatore AC.DT a<-AC.DT buone<-a[Flag==1] cattive<-a[Flag==0] mean1<-mean(buone) mean0<-mean(cattive) n1<-sum(Flag==1) n0<-sum(Flag==0) n=n0+n1 S<-((n1-1)*var(buone)+(n0-1)*var(cattive))/(n-2)
155
156
Appendice D Istruzioni in R
Calcolo della statistica T di Student e relativo p-value t<-(mean1-mean0)/(sqrt(S*(1/n0+1/n1))) pv<-2*(1-pt(abs(t),n-2)) 4. Analisi univariata indicatore DT.AT ... 5. Test F di Fisher a<-dati[,c(2,3,5)] buone<-a[Flag==1,] cattive<-a[Flag==0,] mean0<-mean(buone) mean1<-mean(cattive) p<-length(mean1) S<-((n1-1)*var(buone)+(n0-1)*var(cattive))/(n-2) mat<-matrix((mean1-mean0),p,1) Dq=t(mat)%*%solve(S)%*%(mat) Tq<-Dq*(n0*n1)/n F<-(n-p-1)*Tq/((n-2)*p) pv<-1-pf(F,p,(n-p-1)) 6. Analisi discriminante lineare analisi.lda<-lda(Flag∼DT.AT+RI.AT+FCR.PTP) per vedere lo score e la Flag stimata post<-predict(analisi.lda) Flagstimata<-post§class score<-post§x lo score ` e riscalato table(Flag,Flagstimata) tabella di confusione con l-o-o lda.loo<-lda(Flag DT.AT+RI.AT+FCR.PTP,CV=TRUE) table(Flag,lda.loo§class) 7. Grafico delle distribuzioni rispetto allo score plot(analisi.lda,type=density,dimen=1,xlab=’score’)
Appendice E Sigle e simboli
In linea con la notazione anglosassone, adottata anche in molti software statistici, in questo lavoro si usa come separatore decimale il punto anzich´e, come `e consuetudine nella letteratura italiana, la virgola. Inoltre, si utilizzano le seguenti abbreviazioni: cpr rapporto dei prodotti incrociati g.d.l. gradi di libert` a logit(·) logaritmo dell’odds di un evento odds(·) odds di un evento v.c. variabile casuale o variabili casuali |·| determinante di una matrice E(·) valore atteso di una variabile casuale V ar(·) varianza di una variabile casuale matrice di identit` a di ordine p Ip rango(·) rango di una matrice tr(·) traccia di una matrice La lettura dei paragrafi contrassegnati dall’asterisco pu` o essere omessa senza compromettere la comprensione delle parti rimanenti del libro.
Stanghellini E.: Introduzione ai metodi statistici per il credit scoring. c Springer-Verlag Italia 2009, Milano
Soluzioni
Capitolo 1 1.1 (a) essendo s(x) = 1.18 > 0.2, l’unit` a appartiene ad A1 ; (b) P (Y = 1 | x) = 0.765; (c) il valore corrisponde a x = 0.0834 e P (Y = 1 | 0.0834) = 0.550. 1.2 (a) Dal momento che P (Y = 1) = P (Y = 0), dalla (1.9), s(x) = . Inoltre, essendo σ 2 uguale nelle due popolazioni P0 e P1 , avremo log ff10 (x) (x)
= log ff10 (x) (x) passaggi;
1 [(x−μ0 )2 −(x−μ1 )2 ] 2σ2
e il risultato segue, dopo alcuni semplici
(b) la disuguaglianza che definisce A1 in (1.5) `e soddisfatta se e solo k = 12 (μ0 + μ1 ) avremo p(0 | 1) = se x > 12!(μ0 + μ1 ). Pertanto, ponendo !
1 0 e p(1|0) = 1 − Φ k−μ Φ k−μ σ σ di una normale standardizzata.
in cui Φ(·) `e la funzione di ripartizione
1.3 (a) Essendo f1 (63) = 0.223 e f0 (63) = 0.150 avremo s(x) = 1.244. Inoltre, log c = −1.540. L’impresa viene assegnata a P1 ed `e pertanto ammessa al finanziamento; (b) essendo f (x) = 0.223 × 0.7 + 0.150 × 0.3 = 0.201 la probabilit` aa posteriori che tale impresa sia solvibile `e 0.777. Pertanto, l’informazione sull’indicatore di bilancio modifica in positivo la probabilit` a a priori che l’impresa sia solvibile, che `e pari a 0.7. 1.4 Si indichi con x la F (s | Y = 0) in entrambi i grafici. I due indici possono essere scritti nel modo seguente: 1 F (s | Y = 1)dF (s | Y = 0) − 1/2 IROC = 0 1/2 Stanghellini E.: Introduzione ai metodi statistici per il credit scoring. c Springer-Verlag Italia 2009, Milano
160
Soluzioni
e 1 ICAP =
0
[F (s | Y = 1)P (Y = 1) + F (s | Y = 0)P (Y = 0)]dF (s | Y = 0) − 1/2 . [P (Y = 1)]/2
1 Notando che 0 F (s | Y = 0)dF (s | Y = 0) = 1/2, si verifica agevolmente che differenza IROC − ICAP si annulla. 1.5 Per ogni scelta s della soglia avremo F (s | Y = 0) = F (s | Y = 1) = Φ( s−μ σ ) e, pertanto, la curva ROC coincide con la bisettrice del primo quadrante.
Capitolo 2 2.1 Se A e B sono indipendenti, allora P (A ∩ B) = P (A)P (B). Essendo ¯ ∪ (A ∩ B) con A ∩ B ¯ e A ∩ B incompatibili, avremo P (A) = A = (A ∩ B) ¯ ¯ + P (A)P (B). Pertanto, P (A ∩ B) ¯ = P (A ∩ B) + P (A ∩ B) = P (A ∩ B) P (A)[1 − P (B)] e il risultato segue. ⊥X2 | X3 allora 2.2 La dimostrazione viene fatta nel continuo. Se X1 ⊥ g13 (x1 , x3 ) = f13 (x1 , x3 ) e h23 (x2 , x3 ) = f23 (x2 , x3 )/f3 (x3 ). Viceversa, se f123 (x1 , x2 , x3 ) = g13 (x1 , x3 )h23 (x2 , x3 ) allora f12|3 (x1 , x2 | x3 ) = f1|3 (x1 | x3 )f2|3 (x2 | x3 ) per ogni x3 t.c. f3 (x3 ) > 0. Infatti, f12|3 (x1 x2 | x3 ) = g13 (x1 , x3 )h23 (x2 , x3 )/f3 (x3 ). (∗) Di conseguenza, f1|3 (x1 | x3 ) =
g13 (x1 , x3) f12|3 (x1 x2 | x3 )dx2 = f3 (x3 )
h23 (x2 , x3 )dx2
e anche f2|3 (x2 | x3 ) =
h23 (x2 , x3 ) f12|3 (x1 x2 | x3 )dx1 = f3 (x3 )
g13 (x1 , x3 )dx1 .
Pertanto, f1|3 (x1 | x3 )f2|3 (x2 | x3 ) =
g13 (x1 , x3 )h23 (x2 , x3 ) f 2 (x3 )
g13 (x1 , x3 )dx1
h23 (x2 , x3 )dx2 .
Soluzioni
161
Notando che
g13 (x1 , x3 )dx1
h23 (x2 , x3 )dx2 =
g13 (x1 , x3 )h23 (x2 , x3 )dx1 dx2
e utilizzando la (∗), g13 (x1 , x3 )dx1 h23 (x2 , x3 )dx2 = f123 (x1 , x2 , x3 )dx1 dx2 = f3 (x3 ) da cui: g13 (x1 , x3 )h23 (x2 , x3 ) f123 (x1 , x2 , x3 ) = f1|3 (x1 | x3 )f2|3 (x2 | x3 ) = f (x3 ) f3 (x3 ) e il risultato segue. 2.3 Si scriva la funzione di densit` a congiunta nel seguente modo: f (x) = exp{γ + μT Σ −1 x −
1 rc σ xr xc } 2 r c
in cui γ = − 12 log | Σ | − p2 log(2π) − 12 μT Σ −1 μ. Dal criterio di fattorizza⊥Xl | Xresto e viceversa. La seconda parte si zione, se σ jl = 0 allora Xj ⊥ dimostra analogamente, dopo avere notato che la distribuzione marginale di Xj e Xl `e normale (si veda Mardia, Kent e Bibby, 1979, cap 3). 2.4 Sia X1 la v.c. binaria che vale 1 se X1 = 0. Si verifica agevomente che cpr(X1 , X2 ) = 1/cpr(X1 , X2). 2.5 Siano X1 , X2 e X3 tre v.c. binarie tali che: X1 = 1 se la variabile casuale Solvibilit` a assume valore ‘B’ e X1 = 0 altrimenti; con X2 = 1 se la v.c. Stato Civile assume valore ‘2’ e X2 = 0 altrimenti; X3 = 1 se la v.c. Propriet` a assume valore ‘1’ e X3 = 0 altrimenti. Avremo: cpr(X1 , X2|X3 = 1) = 4. cpr(X1 , X2|X3 = 0) Si noti che questa `e una misura simmetrica di interazione tripla. ⊥X2 | X3 allora : 2.6 Se X1 ⊥ p12|3(x1 , x2 | x3 ) = p1|3 (x1 | x3 )p2|3(x2 | x3 )
162
Soluzioni
per ogni x3 ∈ {0, 1}. Pertanto: p1|3 (1 | x3 )p2|3 (1 | x3 )p1|3 (0 | x3 )p2|3 (0 | x3 ) p12|3 (1, 1 | x3 )p12|x3 (0, 0 | x3 ) = = 1. p12|3 (0, 1 | x3 )p12|3 (1, 0 | x3 ) p1|3 (0 | x3 )p2|3 (1 | x3 )p1|3 (1 | x3 )p2|3 (0 | x3 )
Viceversa, se cpr(X1 , X2 | X3 = x3 ) = 1 per ogni x3 ∈ {0, 1}, per i teoremi precedenti in ogni tabella di X1 e X2 condizionata a X3 , p12|3(x1 , x2 | x3 ) = p1|3 (x1 | x3 )p2|3 (x2 | x3 ) e il risultato segue.
Capitolo 3 3.1 Si costruisca η come nell’esempio 3.2. In tal caso βT = (α, β) e la matrice X ha la seguente espressione: ⎛ ⎞ 10 X = ⎝1 1⎠. 11 3.2 Dal momento che log(1/a) = − log a, il vettore dei parametri del primo modello sar`a l’opposto del vettore dei parametri del secondo. 3.3 Dal momento che log β = cpr(X, Y ), essendo questa una misura non direzionale di associazione avremo β = β . 3.4 (a) Segue dalla struttura della matrice X (si veda l’esempio 3.2 nel caso di I = 3). Notando che, per j = 1, xi1 = 1 per ogni i e che xij = 1 se i = j e 0 altrimenti, i ∈ {2, . . .I} e j ∈ {2, . . ., I}, il sistema (3.13) si riduce a: I I wi = ni π(xi) i=1
i=1
e wi = ni π(xi) , i ∈ {2, . . ., I} e il risultato segue. (b) Se il modello contiene solo l’intercetta, per ogni i, π ˆ (xi) `e una costante pari a (exp α)/(1 ˆ + exp α ˆ ). Il sistema (3.13) si riduce a π ˆ (xi) = ( i wi )/( i ni ), da cui il risultato. 3.5 Si noti che se ni = 1, wi = yi , con yi ∈ {0, 1} e yi log yi = (1−yi) log(1− yi ) = 0. In tal caso, dalla (3.8), l’espressione della devianza diventa: βˆj G2 = −2 xij π ˆ (xi) − 2 log[1 − π ˆ (xi)]. j
i
i
Soluzioni
163
Il risultato segue dopo alcune sostituzioni, ricordando che dalla (3.12) nel punto di massima verosimiglianza i xij yi = i xij π ˆ (xi ). 3.6 Si ordinino in forma vettoriale le celle della tabella di contingenza otteu rapidamente. nuta dalla classificazione di X1 e X2 , in modo che X1 ruota pi` Si crei il vettore dei logit associati ad ogni cella. Ovvero: ⎛ ⎞ logit[π(0, 0)] ⎜ logit[π(1, 0)] ⎟ ⎟ η=⎜ ⎝ logit[π(0, 1)] ⎠ . logit[π(1, 1)] Il modello saturo pu`o pertanto essere riscritto: η = Xβ cui βT = (α, β1X , β2X , β X1 X2 ) e:
⎛
⎞ 1000 ⎜1 1 0 0⎟ ⎟ X=⎜ ⎝1 0 1 0⎠ . 1111
Capitolo 4 4.1 (a) Si noti che, essendo Σ 1 = Σ 0 = Σ, ed essendo il trasposto di uno scalare uguale a se stesso, l’espressione (4.1) si semplifica nella seguente: 1 R(x) = (μ1 − μ0 )T Σ −1 x − (μT1 Σ −1 μ1 − μT0 Σ −1 μ0 ) 2 e notando che μT1 Σ −1 μ1 −μT0 Σ −1 μ0 = (μ1 −μ0 )T Σ −1 (μ1 +μ0 ), il risultato segue; (b) dalle derivazioni precedenti si verifica che R(X) `e una combinazione lineare di variabili casuali con distribuzione normale ed ha pertanto una distribuzione normale. Essendo, sotto P0 , E(X) = μ0 e var(X) = Σ, dopo alcuni semplici passaggi si trova E[R(x) | P0 )] = − 12 Δ2 e V ar[R(x) | P0 ] = Δ2 ; analogamente E[R(x) | P1 )] = 12 Δ2 e V ar[R(x) | P1 ] = Δ2 , e il risultato segue. 4.2 Nel caso di due gruppi, la matrice B pu` o scriversi nel modo seguente: B=
n1 n0 ¯ 0 )(¯ ¯ 0 )T (¯ x1 − x x1 − x n
164
Soluzioni
¯ = (n1 x ¯ 1 + n0 x ¯ 0 )/n, allora Infatti, essendo x ¯1 − x ¯= x
n0 ¯ 0) (¯ x1 − x n
e analogamente
n1 ¯ 0 ). (¯ x1 − x n Sostituendo queste espressioni in (4.6) e notando che n1 n0 /n = (n1 + n0 )n1 n0 /n2 = (n0 n21 + n20 n1 )/n2 , si ottiene l’analoga formulazione di B. Si noti, ora, che la funzione ψ `e proporzionale alla seguente: ¯0 − x ¯= x
ψ =
λT Bλ λT Wλ
1 −2) infatti ψ = n(n0n+n ψ. Di conseguenza, il vettore λ che massimizza ψ 1 n0 coincide con quello che massimizza ψ . Da un risultato proprio dell’algebra lineare (si veda Mardia Kent e Bibby, 1979, Appendice A), esso risulta essere l’autovettore associato al massimo autovalore di W−1 B.
4.3 Siano Σ e Σ −1 partizionate nel modo seguente: AA AB Σ Σ Σ AA Σ AB , Σ −1 = . Σ= Σ BA Σ BB Σ BA Σ BB
(5.1)
Si noti che αB = 0 implica che δ B.A = δB + (Σ BB )−1 Σ BA δA = 0. Inoltre, da un risultato di algebra lineare proprio della inversa di una matrice a blocchi (si veda Mardia Kent e Bibby, 1979, Appendice A), la grandezza Δ2 pu` o scomporsi nella seguente somma: T BB δB.A . Δ2 = δ TA Σ −1 AA δ A + δ B.A Σ
da cui il risultato. 4.4 Si osservi che
⎡
⎤ 1 A ⎣ A∗ − e−i (j)⎦ . eJ = eA +(n−1)(eA∗ − e¯A −j ) = e +(n−1) e n(n − 1) i
j=i
% $ 1 1 e (j) = [ (e (j) − e (i)] , Notando che n(n−1) −i −i −i i j=i i j n(n−1) usando la (4.8) e la (4.9), l’espressione diventa eJ = eA + (n − 1)eA∗ − neA∗ + eL e il risultato segue. La dimostrazione `e dovuta a Hand (1997, cap. 7).
Soluzioni
165
Appendice B B.1 Le dimostrazioni seguono immediatamente dalla definizione di P e M. B.2 La dimostrazione discende dalla definizione di M. Avremo infatti MX = (IN − X(X T X)−1 XT )X = X − X = 0. ˆ. Infatti, ε ˆ = (Y − B.3 La dimostrazione discende dalla definizione di ε T −1 T ˆ Xβ) = Y − X(X X) X Y = MY. Ora, MY = M(Xβ + ε) = 0 + Mε. B.4 La matrici idempotenti hanno rango pari alla traccia. La traccia della differenza di matrici `e pari alla differenza delle traccie, ovvero traccia di tr(M) = tr(IN ) − tr(P) = N − rango(P). Dal fatto che X abbia rango pieno discende che rango(P) = p, da cui segue che rango(M) = N − p. Ovvero M non `e una matrice invertibile. B.5 La dimostrazione discende dall’esercizio B.3. Infatti: ˆ] = E[tr(ˆ ˆT ˆε uno scalare) εT ˆ ε)] (essendo ε E[ˆ εT ε = E[tr(εT MT Mε)] = E[tr(εT MMε)] (dalla simmetria) = E[tr(εT Mε)] (dalla idempotenza) = trE[MεεT ] = (N − p)σ 2 dal momento che in una matrice idempotente la traccia `e uguale al rango. SSE SSE 2 e uno stimatore corretto Da questo segue che E( N −p ) = σ , ovvero N −p ` di σ 2 . B.6 Avremo: 1 ∂ ∂l =− 2 ∂β 2σ
N
1 ∂(y − Xβ)T (y − Xβ) − βxi )2 =− 2 = ∂β 2σ ∂β
i=1 (yi
=−
1 [−2XT y + 2(XT X)β] 2σ 2
e, anche, N N 1 ∂l = − − (yi − xi β)2 (−1) ∂σ 2 2σ 2 2σ 4 i=1
da cui il risultato.
Bibliografia
[1] Agresti (2002). Categorical Data Analysis. 2nd Edition. New York: Wiley. [2] Akaike H. (1973). Information theory as an extension of the maximum likelihood principle. In B.N. Petrov e Csaki F. (eds). Second International Symposium on Information Theory, 267–281. Budapest: Akademiai Kiado. [3] Albareto G., Benvenuti M., Mocetti S., Pagnin M. e Rossi P. (2008). L’organizzazione dell’attivit`a creditizia e l’utilizzo di tecniche di scoring nel sistema bancario italiano: risultati di un’indagine campionaria. Questioni di Economia e Finanza (Occasional papers), Banca d’Italia. [4] Alberici A. (1975). Analisi dei bilanci e previsione delle insolvenze. Collana del Comitato Direttivo degli Agenti di Cambio della Borsa Valori di Milano, ISEDI, Settembre. [5] Albright H. (1993). Construction of a Polinomial Classifier for Consumer Loan Applications Using Genetic Algorithm. Mimeo. Department of System Engineering. University of Virginia. [6] Altman E. I. (1968). Financial ratios, Discriminant Analysis and the Prediction of Corporate Bankruptcy. Journal of Finance, 23, 589–609. [7] Altman E. I. (2002). Revising Credit Scoring Models in a Based 2 Environment. In Ong M., Editor, Credit Ratings, Methodologies, Rationale and Default Risks, London Risk Books. [8] Altman E. I., Marco G. e Varetto F. (1994). Corporate distress diagnosis: Comparisons using linear discriminant analysis and neural networks. Journal of Banking & Finance, 18, 505–529. [9] Altman E. I. e Sabato, G. (2005). Effects of the New Basel Accord on Bank Capital Requirements for SMEs. Journal of Financial Services Research, 28, 15–42.
168
Bibliografia
[10] Altman E.I. e Hotchkiss E. (2006). Corporate Financial Distess and Bankruptcy. Wiley Finance Series. New Jersey: Wiley & Sons. [11] Anderson J.A. (1972). Separate sample logistic discrimination. Biometrika, 59, 19–35. [12] Anderson T.W. (2003). An Introduction to Multivariatye Statistical Analysis. 3rd Edition. New York: Wiley. [13] Arminger G., Enache, D. e Bonne T. (1997). Analyzing credit risk data: a comparison of logistic discrimination, classification trees and feed forward network. Computational Statistics, 13, 301–341. [14] Avery R.B., Calem P.S. e Canner, G.B. (2004). Consumer credit scoring: Do situational circumstances matter?. Journal of Banking & Finance, 28, 835-856. [15] Azzalini A. (2001). Inferenza statistica. Una presentazione basata sul concetto di verosimiglianza. Seconda Ed. Milano: Springer-Verlag Italia, II edizione. [16] Azzalini A. e Scarpa B. (2004). Analisi dei dati e data mining. Milano: Springer-Verlag Italia. [17] Baesens B., Van Gestel T., Viaene S., Stefanova M., Suykens J. e Vanthienen J. (2003). Benchmarking state-of-the-art classification algorithms. Journal of the Operational Research Society, 54, 627–635. [18] Banasik J. e Crook J. (2007). Reject inference, augmentation and sample selection. European Journal of Operational Research, Vol. 183, No. 3, 1582–1594. [19] Beaver W. (1967). Financial ratios predictors of failure. Empirical Research in Accounting selected studies, in Journal of Accounting Research, 4, 71–111. [20] Berkson J. (1941). Application of the logistic function to bio-assay. Journal of the American Statistical Association, 39, 357–365. [21] Bishop C.M. (2006). Pattern Recognition and Machine Learning. New York: Springer. [22] Breiman L., Friedman J.H., Olshen R.A. e Stone, C.J. (1984). Classification and Regression Trees. Wadsworth International Group, Belmont, California. [23] Burnham, K.P. e Anderson, D.R. (1998). Model Selection and Inference: A Practical Information-Theoretic Approach. New York: Springer. [24] Burnham, K.P. e Anderson, D.R. (2004). Multimodel Inference. Understanding AIC and BIC in Model Selection. Sociological Methods and Research, 33, 261–304.
Bibliografia
169
[25] Cappuccio N. e Orsi R. (2005). Econometria. Seconda Ed. Bologna: Il Mulino. [26] Cherubini U., Luciano E. e Vecchiato W. (2004). Copula models in Finance. New York: Wiley. [27] Christensen R. (1997). Log-linear Models and Logistic Regression. 2nd Edition. New York: Springer. [28] Cifarelli D.M., Corielli F. Forestieri G. (1988). Business Failure Analysis, A Bayesian Approach with Italian Firm Data. Studies in Banking and Finance, 7–73. [29] Cox D.R. (1970). The Analysis of Binary Data. London: Chapman and Hall. [30] Cox D.R. (1972). Regression Models and Life-Tables. Journal of the Royal Statistical Society, 34, 2, 187–220. [31] Cressie N. e Read T.R.C. (1989). Pearson χ2 and the log-likelihood ratio statistic test G2 : a comparative review. International Statistical Review, 57, 19-43. [32] Desai V.S., Conway D.G., Crook J.N. e Overstreet G.A. (1997). Credit scoring models in the credit union environment using neural networks and genetic algorithms. IMA Journal of Mathematics Applied in Business and Industry, 8, 323–346. [33] Durand D. (1941). Risk Elements in Consumer Instalment Financing. New York: National Bureaux of Economic Research. [34] Edwards D. (2000). Introduction to Graphical Modelling. 2nd Edition. New York: Springer. [35] Efron B. e Tibshirani J. (1993). An introduction to bootstrap. Londra: Chapman and Hall. [36] Estrella A. (2004). A New Measure of Fit for Equations with Dichotomous Dependente Variables. Journal of Business & Economics Statistics, 16, 198–205. [37] Fisher R.A. (1936). The use of multiple measurements in taxonomic problems. Annals of Eugenics, 7, 179-188. [38] Fisher R.A. (1938). The statistical utilization of multiple measurements. Annals of Eugenics, 8, 376–386. [39] Fitzpatrick P. (1932). A comparison of ratios of successful industrial enterprises witho those of failed firms. Certified Public Accountant, 12, 598-605, 652-662, 721–731. [40] Fogarty T.C. e Ireson N.S. (1993). Evolving Bayesian Classifier for credit control – a comparison with other machine learning methods. IMA Journal of Mathematics Applied to Business and Industry, 5, 63–75.
170
Bibliografia
[41] Garc´ıa V., Mollineda R.A. e S´ anchez J.S. (2008). On the k-NN performance in a challenging scenario of imbalance and overlapping. Pattern Analysis and Application, 11, 269–280. [42] Gourieroux C. e Jasiak J. (2007). The Econometrics of Individuali Risk. Credit, Insurance and Merketing. Princeton: Princeton University Press. [43] Grizzle J.E., Starmer C.F. e Koch G.G. (1969). Analysis of categorical data by linear models. Biometrics, 25, 489–504. [44] Hand D.J. (1997).Construction and Assessment of Classification Rules. New York: Wiley. II edition. [45] Hand D.J. (1998). Reject inference in credit operations. Credit Risk Modelling: Design and Application. In E.D. Mays (Ed.), Glenlake Publishing, 181–190. [46] Hand D.J. (2001). Modelling Consumer Credit Risk. IMA Journal of Management Mathematics, 12, pp. 139–155. [47] Hand D.J. (2005). Good practice in retail scorecard assessment. Journal of the Operational Research Study, 56, 1109–1117. [48] Hand D.J. (2006). Classifier Technology and the Illusion of Progress. Statistical Science, 21, 1–14. [49] Hanley J.A. e McNeil (1982). The meaning and Use of the Area under a Receiver Operating Characteristic (ROC) Curve. Radiology, 143, 29–36. [50] Henley W.E e Hand D.J. (1996). A k-nearest-neighbour classifier for assessing consumer credit risk. The Statistician, 45, 77–95. [51] Holland, J.H. (1975). Adaptation in Artificial and Natural Systems. Ann Arbor: The University Press. [52] Hastie T., Tibshirani R. e Friedman J. (2001). The Elements of Statistical Learning. Data Mining, Inference, and Prediction. Springer-Verlag. [53] Hosmer D.W. e Lemeshow S. (2000). Applied Logistic Regression. New York: Wiley. [54] Hox, J. (2002). Multilevel analysis. Techniques and Applications. Amsterdam: Lawrence Erlbaum Associates. [55] Huberty C.J. (1994). Applied Discriminant Analysis. New York: Wiley. [56] Jarrow R.A. e Turnbull S.M. (2000). The intersection of market and credit risks. Journal of Banking & Finance, 24, 271–299. [57] King, G. e Zeng L. (2001). Logistic Regression in Rare Events Data. Political Analysis, 9, 137-163.
Bibliografia
171
[58] Krzanowski W.J. e Marriot F.H.C. (1995). Multivariate Analysis. London: Arnold. [59] Lachenbruch P.A. (1975) Discriminant Analysis. New York: Hafner Press. [60] Lachenbruch P.A., Sneeringer C.A. e Revo L.T. (1973). Robustness of the linear and quadratic function to certain types of non-normality. Communications in Statistics, 1, 39–56. [61] Lauritzen S.L. (1996). Graphical Models. Oxford: Clarendon Press. [62] Mardia K.V., Kent J.T. e Bibby J.M. (1979). Multivariate analysis. London: Academic Press. [63] Martin D. (1977), Early Warning of Bank Failure, Journal of Banking & Finance, 1, 249–267. [64] Mays E. (2004). Credit Scoring for Risk Managers. The Handbook for Lenders. Mason: Thomson South Western. [65] McCullagh P.M. e Nelder J.A. (1989). Generalized Linear Models. 2nd Edition. London: Chapman and Hall. [66] McLachlan G.J. (1992). Discriminant Analysis and Statistical Pattern Recognition. New York: Wiley. [67] Myers J.H. e Forgy E.W. (1963). The development of numerical credit evaluation systems. Journal of the American Statistical Association, 58, 799–806. [68] Nadotti L.L.M. (2002). Rischio di credito e rating interno. Milano: Egea. [69] Ohlson J. (1980). Financial ratios and the probabilistic prediction of bankruptcy. Journal of Accounting Research, 18, 109–131. [70] Prentice R.L. e Pyke R. (1979). Logistic desease incidence models and case-control studies. Biometrika, 66, 403-411. [71] Rao, C.R. (1973). Linear Statistical Inference and Its Applications. II Edizione. New York: Wiley. [72] Rosenberg e Gleit (1994). Quantitative methods in credit menegement: a survey. Operations research, 42, 4, 589–612. [73] Rozbach K. (2003). Bank lending policy, Credit Scoring and Survival of Loans. Working Paper Num. 154. Sveriges Riskbank. [74] Sabato G. (2009). Credit Risck Scoring Models. In Rama Cont (Ed.), Encyclopedia of Quantitative Finance, Wiley and Sons. In corso di stampa. [75] Sewart P. e Whittaker, J. (1998). Graphical models in credit scoring. IMA Journal of Mathematics Applied in Business and Industry, 9, 241–266.
172
Bibliografia
[76] Shumway T. (2001). Forecasting Bankruptcy More Accurately: A Simple Hazard Model. Journal of Business, 74, 101–124. [77] Siddiqi N. (2006). Credit Risk Scorecards. Developing and Implementing Intelligent Credit Scoring. John Wiley & Sons: New Jersey. [78] Skrondal A. e Rabe-Hesketh S. (2004). Generalized latent Variable Modeling. London: Chapmand & Hall. [79] Stanghellini E. (2003). Monitoring the behaviour of credit card holders with graphical chain models. Journal of Business, Finance & Accounting, Vol. 30 (9–10), 1423–1435. [80] Stanghellini E. (2004). Modelli grafici e sistemi esperti nel behavioural scoring, in Il rischio di credito e le implicazioni di Basilea 2-Atti del convegno, Siena, 8 e 9 marzo 2002, Giuffr`e, 199–210. [81] Stanghellini E., Hand D.J. e McConway K.J.(1999). A discrete variable chain graph for applicants for credit. Journal of the Royal Statistical Society, serie C, 48, Part 2, 239–251. [82] Stanghellini E. (2006). On Statistical Issues raised by the New Capital Accord. Statistica Applicata, 18, 2, 389–405. [83] Tanner M. (1996). Tools for Statistical Inference: Methods for the Exploration of Posterior Distributions and Likelihood Functions. Terza edizione. New York: Springer-Verlag. [84] Therneau T.M. e Grambsh P.M. (2000). Modeling Survival Data. Extending the Cox model. New York: Springer-Verlag. [85] Thomas L.C. (2000). A survey of Credit and Behavioural Scoring: Forecasting financial risk of lending to consumers. International Journal of Forecasting, 16, pp. 149–172. [86] Thomas L.C., Edelman, D.B. e Crook, J.N. (2002). Credit Scoring and Its Applications. Philadelphia: SIAM. [87] Watson, G. W. (1964). A note on maximum likelihood. Sankhya, 26, Series A, Pt. 2, 3, pp. 303-304. [88] Wermuth N. e Cox D.R. (1998), On the application of conditional independence to ordinal data. International Statistical Review, 66, 181–199. [89] West D. (2000). Neural networks credit scoring models. Computers and Operations Research, 27, 1131–1152. [90] Whittaker J. (1990). Graphical Models in Applied Multivariate Statistics. New York: Wiley.
Bibliografia
173
[91] Wigington J.C. (1980). A note on the comparisons of logit and discriminant models of consumer behaviour. Journal of Financial Quantitative Analysis, 15, 757–770. [92] Zavgren C.V. (1985). Assessing the Vulnerability to Failure of American Industrial Firms: a logistic analysis. Journal of Business Finance & Accounting, 12, 19–45. [93] Zheng B. e Agresti A. (2000). Summarizing the predictive power of a generalized linear model. Statistics in Medicine, 19, 1771–1781.
Indice analitico
AIC, 68, 80, 84 Akaike information criterion, vedi AIC alberi di classificazione, 6, 109, 112, 123 algoritmi genetici, 6, 118, 123 analisi discriminante, 4, 6, 7, 15, 17, 25, 87, 88, 91, 94, 101, 102, 105–107, 120, 123 application scoring, vedi scoring di accettazione associazione, 34–41, 43, 44, 107 – fra variabili casuali binarie, 29, 33, 38 – fra variabili casuali categoriali, 38, 39 backward selection, vedi selezione backward bagging, 77, 85 base di dati, 7, 8, 22, 24, 120 Basilea, 2, 102 – accordo di, 2, 5 – Comitato di, 2, 122 Bayes – formula di, 12 – teorema di, 76 behavioural scoring, vedi scoring comportamentale boosting, 77, 85 bootstrap, 101, 107 box plot, 103 calibrazione, 10, 75 campione, 5, 8, 9, 45, 88, 90, 91, 97–101, 131, 147 – bilanciato, 8, 75, 88, 102, 105, 111 – di convalida, 9, 10, 21, 22, 72–75, 82, 115
– di sviluppo, 9, 10, 22, 45, 47, 48, 71, 72, 77, 82, 85, 98, 99, 110, 115–117, 120 – piccolo, 98 capitale di vigilanza, 2, 3 concordanza, 21, 83 confusion matrix, vedi tabella di errata classificazione convalida, 14, 71 – esterna, 99 – incrociata, 99, 107, 111 – interna, 98 costo, 9, 11, 12 – atteso, vedi valore atteso del costo – di errata classificazione, 9 credit bureaux, 8 credito al consumo, 1, 3, 4, 7, 8 criterio di fattorizzazione, 32, 44 cross product ratio, vedi rapporto dei prodotti incrociati cross-validation, vedi convalida incrociata curva – CAP, 19–21 – ROC, 19–21, 73, 82, 83, 94 cut-off, vedi valore di soglia data base, vedi base di dati dati anomali, vedi osservazioni anomale default, 3, 8, 26, 77, 105, 121 – correlazione fra, 122 devianza, 133, 134, 139 – del modello, 64–66, 80, 85, 114 – entro i gruppi, 93 – residua, 134, 143 – tra i gruppi, 93
176
Indice analitico
diagramma di dispersione, 5, 78, 103 distanza di Mahalanobis, 95–97, 107, 110 distribuzione – F di Fisher, 92, 97, 145 – T di Student, 94, 95, 139, 140, 142 – binomiale, 53, 125 – binomiale relativa, 47, 48, 61, 67, 126 – chi-quadrato, 65–67, 80, 143 – di Bernoulli, 47–49, 66, 67, 125 – di Hotelling, 95 – normale, 17, 26, 63, 74, 102, 126, 130, 131, 136, 142 – normale multipla, 88, 96, 127, 136–138, 142, 147 – normale standardizzata, 74, 94, 97, 127, 142 effetto – principale, 54, 56, 58, 59, 69 errore – apparente, 98, 100 – del primo tipo, 11, 18, 26, 73 – del secondo tipo, 11, 15, 18, 26, 73 – di classificazione, 10, 16, 17, 88, 91, 98 – frequenze relative di, 73, 98, 99, 101 – probabilit` a di, vedi probabilit` a – standard, 67 – termine di, vedi residuo eventi rari, 75, 84 falsi negativi, 19 falsi positivi, 19 Flag, 7, 8, 22, 73, 78, 103, 104 – stimata, 72, 73 forward selection, vedi selezione forward funzione – di log-verosimiglianza, 61, 66, 68, 136, 147, 149, 150 – di verosimiglianza, 62–64, 66, 67, 77, 84, 136 – di score, 6, 10, 16–19, 22, 59, 72, 75, 77, 83, 88, 96, 99–101, 109, 118 – discriminante, 87, 89–98, 105–107 – logistica, 117 indice – di entropia, 114, 115 – di Gini, 20, 115 indipendenza, 30 – condizionale, 29, 32, 40, 59
– marginale, 29, 31, 40 insolvenza, 3, 4, 8, 10, 106, 122 interazione, 37, 38, 56–59, 67, 69, 79, 81 intervallo di confidenza, 63, 141, 142 jackknife, 100 leave-one-out, 99, 104 livello – di riferimento, 46, 47, 78 – di significativit` a osservato, vedi p-value logit, 33, 49, 51–56, 60, 70, 79, 85, 112 matrice – dei dati, 23, 24, 66 – del disegno, 47, 52, 53, 59, 60, 62, 68, 85, 129 – delle devianze e delle codevianze, 91, 93 – delle varianze e delle covarianze, 63, 67, 88, 90–92, 95–97, 106, 107, 135–137, 139, 147, 150 – di confusione, vedi tabella di errata classificazione – di informazione, 63 metodo – dei minimi quadrati, 49, 84, 132, 133, 137 – della massima verosimiglianza, 45, 61, 62, 66, 84, 90, 91, 117, 136, 137, 145, 147 – delle k unit` a pi` u vicine, 6, 109, 123 modello – di regressione lineare, 53, 62, 106 multiplo, 129 semplice, 45, 48, 135, 139 – gerarchico, 59, 69, 116 – logistico, 3, 4, 7, 15, 17, 25, 26, 29, 44, 45, 47, 48, 52, 61, 63, 76, 79, 83, 84, 87, 88, 94, 101, 102, 107, 109, 112, 115–117, 120, 123 multiplo, 53–59, 76, 80, 84 semplice, 49, 51, 52, 62, 70, 80 – saturo, 45, 47, 51–53, 57, 58, 60, 62–64, 66, 68–70, 80, 85, 115, 116 monitoraggio, 75, 122 odds, 33, 34, 36, 38, 70, 78, 79, 101, 102, 112 – logaritmo del, vedi logit osservazioni anomale, 104, 106
Indice analitico p-value, 65, 67, 69, 70, 80, 97, 104, 140, 141, 145 paradosso di Simpson, 43, 44, 70 parametrizzazione d’angolo, 52 parametro di interazione, vedi interazione peso dell’evidenza, 112 population drift, 7 probabilit` a – a posteriori, 11, 12, 14–17, 26, 27, 74, 76, 102 – a priori, 11, 14, 18, 19, 26, 74, 104 – condizionata, 49 – di bancarotta, 84, 106 – di errore, 10, 11, 15–18, 21, 26, 69, 71–74, 85, 97–99, 101 ottimale, 11, 72, 87, 98 reale, 72, 98–101, 104 – di insolvenza, 3, 5, 6, 10 – di default, 77, 121 problema di Fisher-Behrens, 95 rapporto dei prodotti incrociati, 35, 37, 38, 42–44, 51, 56–58 regione di accettazione, 12–14, 89, 91 regressore, vedi variabile esplicativa reject inference, 10, 25 residuo, 129 – della devianza, 64 reti neurali, 6, 25, 109, 116 rotation, vedi rotazione rotazione, 100 scelta del modello, vedi selezione score, vedi funzione di score – card, 9 – canonico, 16 scoring – comportamentale, 4, 5, 24, 120 – di accettazione, 4–6, 9, 10, 71, 120 – override, 122 selezione, 68 – backward, 69, 70, 80 – forward, 69, 70 – stepwise, 70 sensibilit` a, 19, 73 specificit` a, 19, 73 stepwise selection, vedi selezione stepwise tabella – di contingenza, 24, 33, 34, 36, 47, 48, 52, 60, 61, 65–67, 75, 79, 80, 85
177
– di errata classificazione, 71, 72, 88, 98, 104, 107, 115, 122 – sparsa, 65, 70, 74, 79, 80 test – F di Fisher, 96, 97, 104, 143, 144 – T di Student, 94, 141 – Λ di Wilks, 106 – sample, vedi campione di sviluppo – del rapporto delle verosimiglianze, 64, 66, 67 – di Box, 92 – di Hosmer e Lemeshow, 65, 74, 75, 122 – di Hotelling, 95 – di Pearson, 64 – di Wald, 67 – esatti, 66 training sample, vedi campione di convalida valore atteso – condizionato, 48, 49, 53, 131 – del costo, 9, 13, 26, 88 valore di soglia, 6, 9, 10, 12, 13, 17–19, 21, 71, 73, 74, 89, 104, 114 valore p, vedi p-value variabile – casuale, vedi distribuzione – di classificazione, 7, 8, 29 – di risposta, 48, 129 – dummy, 46, 47, 51–53, 58, 60, 61 – esplicativa, 11, 22–24, 36, 41, 45, 47–49, 51–54, 57–60, 65, 67, 70, 75, 78–80, 84, 96, 102, 103 – latente, 116, 117, 121 varianza – condizionata, 49, 130 – matrice di, vedi matrice delle varianze e delle covarianze verifica d’ipotesi, 63, 64, 67, 92, 138, 139, 141 verosimiglianza, vedi funzione di verosimiglianza – equazioni di, 62, 69 – stima di massima, vedi metodo della massima verosimiglianza voto di maggioranza, 110, 123 weight of evidence, vedi peso dell’evidenza Z-score, 106
Unitext – Collana di Statistica e Probabilità Applicata a cura di A. Azzalini F. Battaglia M. Cifarelli P. Conti K. Haagen A.C. Monti P Muliere L. Piccinato E. Ronchetti
Volumi pubblicati C. Rossi, G. Serio La metodologia statistica nelle applicazioni biomediche 1990, 354 pp, ISBN 3-540-52797-4 A. Azzalini Inferenza statistica: una presentazione basata sul concetto di verosimiglianza 2a edizione 1a ristampa 2004 2000, 382 pp, ISBN 88-470-0130-7 E. Bee Dagum Analisi delle serie storiche: modellistica, previsione e scomposizione 2002, 312 pp, ISBN 88-470-0146-3 B. Luderer, V. Nollau, K. Vetters Formule matematiche per le scienze economiche 2003, 222 pp, ISBN 88-470-0224-9
A. Azzalini, B. Scarpa Analisi dei dati e data mining 2004, 242 pp. ISBN 88-470-0272-9 A. Rotondi, P. Pedroni, A. Pievatolo Probabilità, statistica e simulazione 2a edizione 2006, 512 pp, ISBN 88-470-0262-1 (1a edizione 2001, ISBN 88-470-0081-5) F. Battaglia Metodi di previsione statistica 2007, 333 pp, ISBN 978-88-470-0602-7 L. Piccinato Metodi per le decisioni statistiche 2a edizione 2009, 488 pp, ISBN 978-88-470-1077-2 (1a edizione 1996, ISBN 3-540-75027-4) E. Stanghellini Introduzione ai metodi statistici per il credit scoring 2009, 188 pp, ISBN 978-88-470-1080-2
