Top Banner
Probablit, Statistica e Processi Stocastici Franco Flandoli, Universit di Pisa Corso per la Scuola di Dottorato in Ingegneria Franco Flandoli, Universit di Pisa Probablit, Statistica e Processi Stocastici Corso per la Scuola di Dottorato in Ingegneria / 26
26

Probablità, Statistica e Processi Stocasticiusers.dma.unipi.it/~flandoli/dott_ing_2014_lezione6.pdf · Metodi regressivi Sviluppiamo invece "a mano" un esempio di metodo autoregressivo

Feb 14, 2019

Download

Documents

dangnhu
Welcome message from author
This document is posted to help you gain knowledge. Please leave a comment to let me know what you think about it! Share it to your friends and learn new things together.
Transcript
Page 1: Probablità, Statistica e Processi Stocasticiusers.dma.unipi.it/~flandoli/dott_ing_2014_lezione6.pdf · Metodi regressivi Sviluppiamo invece "a mano" un esempio di metodo autoregressivo

Probablità, Statistica e Processi Stocastici

Franco Flandoli, Università di Pisa

Corso per la Scuola di Dottorato in Ingegneria

Franco Flandoli, Università di Pisa ()Probablità, Statistica e Processi StocasticiCorso per la Scuola di Dottorato in Ingegneria 1

/ 26

Page 2: Probablità, Statistica e Processi Stocasticiusers.dma.unipi.it/~flandoli/dott_ing_2014_lezione6.pdf · Metodi regressivi Sviluppiamo invece "a mano" un esempio di metodo autoregressivo

Esempio di serie storica

Esportazioni italiane di pezzi di accessori auto (trend accentuato, pocastagionalità)

Franco Flandoli, Università di Pisa ()Probablità, Statistica e Processi StocasticiCorso per la Scuola di Dottorato in Ingegneria 2

/ 26

Page 3: Probablità, Statistica e Processi Stocasticiusers.dma.unipi.it/~flandoli/dott_ing_2014_lezione6.pdf · Metodi regressivi Sviluppiamo invece "a mano" un esempio di metodo autoregressivo

Esempio di serie storica

Esportazioni italiane di motocicli (trend debole variabile, moltastagionalità)

Franco Flandoli, Università di Pisa ()Probablità, Statistica e Processi StocasticiCorso per la Scuola di Dottorato in Ingegneria 3

/ 26

Page 4: Probablità, Statistica e Processi Stocasticiusers.dma.unipi.it/~flandoli/dott_ing_2014_lezione6.pdf · Metodi regressivi Sviluppiamo invece "a mano" un esempio di metodo autoregressivo

Metodo di smorzamento esponenziale

Scelta automatica dei parametri (minimi quadrati)

Franco Flandoli, Università di Pisa ()Probablità, Statistica e Processi StocasticiCorso per la Scuola di Dottorato in Ingegneria 4

/ 26

Page 5: Probablità, Statistica e Processi Stocasticiusers.dma.unipi.it/~flandoli/dott_ing_2014_lezione6.pdf · Metodi regressivi Sviluppiamo invece "a mano" un esempio di metodo autoregressivo

SET

Cattura la pendenza in fase di previsione (forse troppo sensibile)

Franco Flandoli, Università di Pisa ()Probablità, Statistica e Processi StocasticiCorso per la Scuola di Dottorato in Ingegneria 5

/ 26

Page 6: Probablità, Statistica e Processi Stocasticiusers.dma.unipi.it/~flandoli/dott_ing_2014_lezione6.pdf · Metodi regressivi Sviluppiamo invece "a mano" un esempio di metodo autoregressivo

HW

Franco Flandoli, Università di Pisa ()Probablità, Statistica e Processi StocasticiCorso per la Scuola di Dottorato in Ingegneria 6

/ 26

Page 7: Probablità, Statistica e Processi Stocasticiusers.dma.unipi.it/~flandoli/dott_ing_2014_lezione6.pdf · Metodi regressivi Sviluppiamo invece "a mano" un esempio di metodo autoregressivo

HW

Franco Flandoli, Università di Pisa ()Probablità, Statistica e Processi StocasticiCorso per la Scuola di Dottorato in Ingegneria 7

/ 26

Page 8: Probablità, Statistica e Processi Stocasticiusers.dma.unipi.it/~flandoli/dott_ing_2014_lezione6.pdf · Metodi regressivi Sviluppiamo invece "a mano" un esempio di metodo autoregressivo

Metodi regressivi

Essi costituiscono la classe più ampia e forse l’unica in cui è possibilesviluppare elementi di teoria rigorosa.

Ci stiamo riferendo ai metodi denominati AR, MA, ARMA, ARIMA,ARIMAX ecc.

Non sviluppiamo la loro teoria, suggerendo eventualmente diesaminare il comando ar.ols del software R per vedere in azione unodi questi metodi

(ar.ols = AR, cioè autoregressivi, con stima ols, cioè ordinary leastsquares, minimi quadrati, dei coeffi cienti del modello; il metodo distima più ragionevole per serie qualsiasi, in assenza di ipotesiparticolari come la stazionarietà).

Franco Flandoli, Università di Pisa ()Probablità, Statistica e Processi StocasticiCorso per la Scuola di Dottorato in Ingegneria 8

/ 26

Page 9: Probablità, Statistica e Processi Stocasticiusers.dma.unipi.it/~flandoli/dott_ing_2014_lezione6.pdf · Metodi regressivi Sviluppiamo invece "a mano" un esempio di metodo autoregressivo

Metodi regressivi

Sviluppiamo invece "a mano" un esempio di metodo autoregressivo (unsottocaso della classe AR).Si parte da un modello, cioè si ipotizza che la serie storica soddisfi larelazione autoregressiva

xn = a1xn−1 + a12xn−12 + b+ εn

con errore εn piccolo (questa relazione è sempre verificata, scelti a caso icoeffi cienti, se l’errore viene definito per differenza; il punto è sperare che,per certi coeffi cienti, l’errore sia molto piccolo).Si applica la regressione lineare multipla per stimare i coeffi cienti a1, a12, ba partire dalla serie storica.Il metodo è del tutto generale, cioè applicabile a qualsiasi relazionericorsiva lineare del tipo precedente (ritardi qualsiasi, quanti si vuole).

Franco Flandoli, Università di Pisa ()Probablità, Statistica e Processi StocasticiCorso per la Scuola di Dottorato in Ingegneria 9

/ 26

Page 10: Probablità, Statistica e Processi Stocasticiusers.dma.unipi.it/~flandoli/dott_ing_2014_lezione6.pdf · Metodi regressivi Sviluppiamo invece "a mano" un esempio di metodo autoregressivo

Tra chi si fa la regressione

Data la serie storica x1, x2, ...., xN , volendo applicare la regressione

xn = a1xn−1 + a12xn−12 + b+ εn

si deve considerare la serie stessa come input e come output, maopportunamente traslata.Preciasamente, l’output è la serie

x13, ...., xN

ed i due input le serie

x12, ...., xN−1x1, ...., xN−12

Franco Flandoli, Università di Pisa ()Probablità, Statistica e Processi StocasticiCorso per la Scuola di Dottorato in Ingegneria 10

/ 26

Page 11: Probablità, Statistica e Processi Stocasticiusers.dma.unipi.it/~flandoli/dott_ing_2014_lezione6.pdf · Metodi regressivi Sviluppiamo invece "a mano" un esempio di metodo autoregressivo

Previsione

Calcolati i coeffi cienti del modello, la previsione del primo istantesuccessivo è

pN+1 = a1xN + a12xN+1−12 + b

ma dalla successiva in poi bisogna usare le previsioni stesse nel primofattore

pN+2 = a1pN+1 + a12xN+2−12 + b

e così via.Nota: la logica di questo modello è di replicare periodicamente (se 12 è ilperiodo) mantenendo nota della situazione più recente. Una formaparticolare di innovazione-conservazione.

Franco Flandoli, Università di Pisa ()Probablità, Statistica e Processi StocasticiCorso per la Scuola di Dottorato in Ingegneria 11

/ 26

Page 12: Probablità, Statistica e Processi Stocasticiusers.dma.unipi.it/~flandoli/dott_ing_2014_lezione6.pdf · Metodi regressivi Sviluppiamo invece "a mano" un esempio di metodo autoregressivo

Esempio di previsione

Franco Flandoli, Università di Pisa ()Probablità, Statistica e Processi StocasticiCorso per la Scuola di Dottorato in Ingegneria 12

/ 26

Page 13: Probablità, Statistica e Processi Stocasticiusers.dma.unipi.it/~flandoli/dott_ing_2014_lezione6.pdf · Metodi regressivi Sviluppiamo invece "a mano" un esempio di metodo autoregressivo

Confronto grafico con HW

Franco Flandoli, Università di Pisa ()Probablità, Statistica e Processi StocasticiCorso per la Scuola di Dottorato in Ingegneria 13

/ 26

Page 14: Probablità, Statistica e Processi Stocasticiusers.dma.unipi.it/~flandoli/dott_ing_2014_lezione6.pdf · Metodi regressivi Sviluppiamo invece "a mano" un esempio di metodo autoregressivo

Fattori esogeni

Un elemento di sicuro vantaggio dei metodi regressivi è la possibilità diinserire fattori esogeni.Se ad esempio x1, x2, ...., xN è la serie storica delle esportazioni di unprodotto e z1, z2, ...., zN è la serie storica del costo del petrolio, possiamoimmaginare che un modello del tipo

xn = a1xn−1 + a12xn−12+ ckzn−k + b+ εn

sia più accurato. Il ritardo k può essere cercato con il comando ccf (crosscorrelation function, versione empirica della formula E [XtZs ] molto usatain Telecomunicazioni).Queste considerazioni sono la base dei cosidetti modelli econometrici.

Franco Flandoli, Università di Pisa ()Probablità, Statistica e Processi StocasticiCorso per la Scuola di Dottorato in Ingegneria 14

/ 26

Page 15: Probablità, Statistica e Processi Stocasticiusers.dma.unipi.it/~flandoli/dott_ing_2014_lezione6.pdf · Metodi regressivi Sviluppiamo invece "a mano" un esempio di metodo autoregressivo

Analisi dei residui

I residui variano a seconda del modello utilizzato. Es.

xn = tn + sn + εn (decomposizione additiva)

εn = xn − pn (modelli SE, SET, HW, AR)

Anche i comandi variano. Però il comando residuals() èabbastanza generico. Funziona ad es. per HW.

Le prime analisi sono visive:- plot dei residui per vedere eventuali strutture ed eventuali anomalie- acf, per vedere eventuali periodicità residue; confrontare con whitenoise- hist, per vedere come si distribuiscono; confrontare con hist dellaserie storica- qqnorm, per vedere se sono abbastanza gaussiani

Franco Flandoli, Università di Pisa ()Probablità, Statistica e Processi StocasticiCorso per la Scuola di Dottorato in Ingegneria 15

/ 26

Page 16: Probablità, Statistica e Processi Stocasticiusers.dma.unipi.it/~flandoli/dott_ing_2014_lezione6.pdf · Metodi regressivi Sviluppiamo invece "a mano" un esempio di metodo autoregressivo

Analisi dei residui

E’evidente una struttura moltiplicativa residua. Si noti anche il picco afine 2003 - inizio 2004: esso è molto più alto dei picchi precedenti esuccessivi visibili sulla serie storica.

Franco Flandoli, Università di Pisa ()Probablità, Statistica e Processi StocasticiCorso per la Scuola di Dottorato in Ingegneria 16

/ 26

Page 17: Probablità, Statistica e Processi Stocasticiusers.dma.unipi.it/~flandoli/dott_ing_2014_lezione6.pdf · Metodi regressivi Sviluppiamo invece "a mano" un esempio di metodo autoregressivo

Analisi dei residui

Non c’è evidenza di periodi residui.

Franco Flandoli, Università di Pisa ()Probablità, Statistica e Processi StocasticiCorso per la Scuola di Dottorato in Ingegneria 17

/ 26

Page 18: Probablità, Statistica e Processi Stocasticiusers.dma.unipi.it/~flandoli/dott_ing_2014_lezione6.pdf · Metodi regressivi Sviluppiamo invece "a mano" un esempio di metodo autoregressivo

Analisi dei residui

così abbiamo una percezione grafica della variabilità originaria e di quelladei residui

Franco Flandoli, Università di Pisa ()Probablità, Statistica e Processi StocasticiCorso per la Scuola di Dottorato in Ingegneria 18

/ 26

Page 19: Probablità, Statistica e Processi Stocasticiusers.dma.unipi.it/~flandoli/dott_ing_2014_lezione6.pdf · Metodi regressivi Sviluppiamo invece "a mano" un esempio di metodo autoregressivo

Analisi dei residui

I campioni gaussiani hanno qqplot abbastanza rettilineo.

Franco Flandoli, Università di Pisa ()Probablità, Statistica e Processi StocasticiCorso per la Scuola di Dottorato in Ingegneria 19

/ 26

Page 20: Probablità, Statistica e Processi Stocasticiusers.dma.unipi.it/~flandoli/dott_ing_2014_lezione6.pdf · Metodi regressivi Sviluppiamo invece "a mano" un esempio di metodo autoregressivo

Incertezza della predizione tramite i residui

Premessa: data una gaussiana di parametri m ed s, se si vuole unintervallo simmetrico rispetto alla media che contenga il 90% deivalori, esso è dato da

qnorm(0.05,m,s), qnorm(0.95,m,s)

o equivalentemente da

m+s*qnorm(0.05), m+s*qnorm(0.95).

Se abbiamo un campione sperimentale x1, ..., xn e decidiamo didescriverlo con una gaussiana, possiamo stimare m ed s dal campioneed usare le formule precedenti.

Oppure possiamo usare un comando di R che fa una stima empirica,non parametrica,

quantile(X,0.05), quantile(X,0.95).

Franco Flandoli, Università di Pisa ()Probablità, Statistica e Processi StocasticiCorso per la Scuola di Dottorato in Ingegneria 20

/ 26

Page 21: Probablità, Statistica e Processi Stocasticiusers.dma.unipi.it/~flandoli/dott_ing_2014_lezione6.pdf · Metodi regressivi Sviluppiamo invece "a mano" un esempio di metodo autoregressivo

Incertezza della predizione tramite i residui

Possiamo applicare i calcoli precedenti ai residui, ad es.X=residuals(HW), trovando così un intervallo che contiene i residui al90%

Poi, traslando del valore previsto per il mese successivoP=predict(HW,1), troviamo un intervallo che contiene i valori futurial 90%:

P+qnorm(0.05,m,s), P+qnorm(0.95,m,s)

Possiamo poi tracciare due bande, entro le quali prevediamo stiano ivalori al 90%.

Franco Flandoli, Università di Pisa ()Probablità, Statistica e Processi StocasticiCorso per la Scuola di Dottorato in Ingegneria 21

/ 26

Page 22: Probablità, Statistica e Processi Stocasticiusers.dma.unipi.it/~flandoli/dott_ing_2014_lezione6.pdf · Metodi regressivi Sviluppiamo invece "a mano" un esempio di metodo autoregressivo

Incertezza della predizione tramite i residui

Oct 2010 : 34.223 – 80.740

Franco Flandoli, Università di Pisa ()Probablità, Statistica e Processi StocasticiCorso per la Scuola di Dottorato in Ingegneria 22

/ 26

Page 23: Probablità, Statistica e Processi Stocasticiusers.dma.unipi.it/~flandoli/dott_ing_2014_lezione6.pdf · Metodi regressivi Sviluppiamo invece "a mano" un esempio di metodo autoregressivo

Incertezza della predizione tramite i residui

I calcoli precedenti sono una prima approssimazione.

Da un lato, si potrebbero innescare algoritmi che allargano le bande alcrescere del tempo (valori più lontani nel futuro sono più incerti).Omettiamo questa direzione.

Dall’altro, si potrebbe modulare l’incertezza in modo stagionale.

Infine, applicando PCA (che in questa versione è la cosidetta fPCA),si possono trovare i profili più tipici delle fluttuazioni, dell’incertezza.

Franco Flandoli, Università di Pisa ()Probablità, Statistica e Processi StocasticiCorso per la Scuola di Dottorato in Ingegneria 23

/ 26

Page 24: Probablità, Statistica e Processi Stocasticiusers.dma.unipi.it/~flandoli/dott_ing_2014_lezione6.pdf · Metodi regressivi Sviluppiamo invece "a mano" un esempio di metodo autoregressivo

Modulazione stagionale dell’incertezza sulla predizione

Profilo annuale delle deviazioni standard dei residui e bande di previsionestagionali

Franco Flandoli, Università di Pisa ()Probablità, Statistica e Processi StocasticiCorso per la Scuola di Dottorato in Ingegneria 24

/ 26

Page 25: Probablità, Statistica e Processi Stocasticiusers.dma.unipi.it/~flandoli/dott_ing_2014_lezione6.pdf · Metodi regressivi Sviluppiamo invece "a mano" un esempio di metodo autoregressivo

Variazioni tipiche dell’incertezza sulla predizione

Profilo semestrale della variazione tipica dei residui (prima componenteprincipale, 54%)

Franco Flandoli, Università di Pisa ()Probablità, Statistica e Processi StocasticiCorso per la Scuola di Dottorato in Ingegneria 25

/ 26

Page 26: Probablità, Statistica e Processi Stocasticiusers.dma.unipi.it/~flandoli/dott_ing_2014_lezione6.pdf · Metodi regressivi Sviluppiamo invece "a mano" un esempio di metodo autoregressivo

Variazioni tipiche dell’incertezza sulla predizione

Profilo semestrale della variazione tipica dei residui (seconda componenteprincipale, 25%)

Franco Flandoli, Università di Pisa ()Probablità, Statistica e Processi StocasticiCorso per la Scuola di Dottorato in Ingegneria 26

/ 26