Top Banner
Eksperimentalno modeliranje Eksperimentalno modeliranje Se imenuje tudi: - system identification, - statistical modeling, - parametric modeling, - nonparametric modeling, - machine learning, - empiric modeling - itd. Enačbe: ko v enačbah nastopajo ali , imamo v mislih merjenje, sicer pa model. Slika: levo - vhodne spremenljivke v sredini - parametri modela desno - torta = ; + = 0 + 1 Φ 1 1 + 2 Φ 2 2 +⋯+ Φ + = 0 + 1 Φ 1 1 + 2 Φ 2 2 +⋯+ Φ = ;
32

Eksperimentalno modeliranje - lab.fs.uni-lj.silab.fs.uni-lj.si/kes/eksperimentalno_modeliranje_v_eps/EMvEPS9C.pdf · Eksperimentalno modeliranje - sistemov iz realnega sveta pogosto

May 15, 2019

Download

Documents

vuonghanh
Welcome message from author
This document is posted to help you gain knowledge. Please leave a comment to let me know what you think about it! Share it to your friends and learn new things together.
Transcript
Page 1: Eksperimentalno modeliranje - lab.fs.uni-lj.silab.fs.uni-lj.si/kes/eksperimentalno_modeliranje_v_eps/EMvEPS9C.pdf · Eksperimentalno modeliranje - sistemov iz realnega sveta pogosto

1

Eksperimentalno modeliranje

Eksperimentalno modeliranje

Se imenuje tudi: - system identification, - statistical modeling, - parametric modeling, - nonparametric modeling, - machine learning, - empiric modeling - itd. Enačbe: ko v enačbah nastopajo 𝜀 ali 𝜀𝑖,

imamo v mislih merjenje, sicer pa model.

Slika: levo - vhodne spremenljivke 𝑥

v sredini - parametri modela 𝛽 desno - torta

𝑦 = 𝑓 𝑥 ; 𝛽 + 𝜀

𝑦𝑖 = 𝛽0 + 𝛽1Φ1 𝑥𝑖1 + 𝛽2Φ2 𝑥𝑖2 + ⋯ + 𝛽𝑝Φ𝑝 𝑥𝑖𝑝 + 𝜀𝑖

𝑦 𝑖 = 𝛽0 + 𝛽1Φ1 𝑥𝑖1 + 𝛽2Φ2 𝑥𝑖2 + ⋯ + 𝛽𝑝Φ𝑝 𝑥𝑖𝑝

𝑦 = 𝑓 𝑥 ; 𝛽

Page 2: Eksperimentalno modeliranje - lab.fs.uni-lj.silab.fs.uni-lj.si/kes/eksperimentalno_modeliranje_v_eps/EMvEPS9C.pdf · Eksperimentalno modeliranje - sistemov iz realnega sveta pogosto

2

Eksperimentalno modeliranje

- načrtovanje eksperimenta (data) - merjenje, zajemanje podatkov (data) - predobdelava podatkov (data) - tvorba modela (select model, modeling in characterisation) - validacija modela (varification /validation) - modeliranje in uporaba (applications) Z eksperimentalnim modeliranjem želimo s (predvsem) statističnimi metodami na podlagi izmerjenih vhodnih in izhodnih podatkov sistema določiti matematični model sistema. Uporaba: strojništvo, biologija, meteorologija, ekonomija, … : - modeliranje potiska letalskega motorja pri danem dotoku goriva - modeliranje časa sušenja blata glede na dovedeno energijo - modeliranje časa pomešanja glede na dovedeno moč mešalu

Page 3: Eksperimentalno modeliranje - lab.fs.uni-lj.silab.fs.uni-lj.si/kes/eksperimentalno_modeliranje_v_eps/EMvEPS9C.pdf · Eksperimentalno modeliranje - sistemov iz realnega sveta pogosto

3

Eksperimentalno modeliranje

- sistemov iz realnega sveta pogosto ni mogoče opisati zgolj z enim modelom, posamezen model je uporaben za izbrano spremenljivko ali način delovanja sistema - eksperimentalno modeliranje se ne uporablja zgolj za dinamske sisteme, procesni in energetski sistemi so zaradi kompleksnosti pogosti

- bela škatla: iz prvih principov, npr. fizikalnih enačb (npr. Newtonovih enačb) - siva škatla: model ima veliko parametrov, ki jih v teku eksperimentalnega modeliranja

določamo, temelji pa v delu na fizikalnih enačbah - črna škatla: pred eksperimentalnim modeliranjem nimamo pojma, kako deluje sistem

Pri „sivih škatlah“ predpostavimo enačbe (obnašanje sistema) in prilegamo parametre.

Page 4: Eksperimentalno modeliranje - lab.fs.uni-lj.silab.fs.uni-lj.si/kes/eksperimentalno_modeliranje_v_eps/EMvEPS9C.pdf · Eksperimentalno modeliranje - sistemov iz realnega sveta pogosto

4

Eksperimentalno modeliranje

Merjenje, zajemanje podatkov

- ni tako zelo preprosto, kot se zdi … čeprav je izjemno pomembno, saj iz zajemanja podatkov sledi izdelava, validacija in uporaba modela

- predhodno poglavje o merilnih postajah, je že zelo komplicirano, pa je samo podsklop zajemanja

- za modeliranje in validacijo modela zajamemo dve množici podatkov, ali pa jih razbijemo v dva dela

- dizajn eksperimenta - že v tej fazi je potrebno poznati sistem … - … tudi spremenljivke, ki jih ne moremo upravljati, npr. v sušilnem stroju se zavozlja perilo

vs.

Page 5: Eksperimentalno modeliranje - lab.fs.uni-lj.silab.fs.uni-lj.si/kes/eksperimentalno_modeliranje_v_eps/EMvEPS9C.pdf · Eksperimentalno modeliranje - sistemov iz realnega sveta pogosto

5

Načrtovanje eksperimentov

Načrtovanje eksperimentov

- angleško ime DOE, Design of experiments

- prilegali smo parametre 𝛽 funkcije f - če predpostavimo množico 100 izmerkov, uporabimo metodo najmanjših kvadratov za

določanje koeficientov 𝛽 , potem kaj dosti vpliva na model nimamo ... - za dano množico izmerkov 𝑥 , 𝑦 ne moremo ničesar izboljšati - lahko pa spremenimo izbiro točk 𝒙, ! - pogosto imamo možnost sami izbirati neodvisne spremenljivke Najpomembnejši princip načrtovanja eksperimentov je, da izberemo vrednosti neodvisnih spremenljivk 𝑥 , tako, da so odvisne spremenljivke y take, da je model dober. Dober model? To pomeni, da so koeficienti modela ustrezni na način, da je varianca 𝜎2 majhna. Standardni odklon iziroma standardna deviacija je 𝜎.

𝑦 = 𝑓 𝑥 ; 𝛽 + 𝜀

𝜎2 = 𝑥𝑖 − 𝑥 2𝑛

𝑖=1

𝑛

Page 6: Eksperimentalno modeliranje - lab.fs.uni-lj.silab.fs.uni-lj.si/kes/eksperimentalno_modeliranje_v_eps/EMvEPS9C.pdf · Eksperimentalno modeliranje - sistemov iz realnega sveta pogosto

Načrtovanje eksperimentov

... Dober model? To pomeni, da so koeficienti modela ustrezni na način, da je varianca modela majhna. - npr. za preprosto prileganje/fitanje lahko po LSM določimo optimalne parametre za množico izmerkov 𝑥 , toda morda obstaja izbira spremenljivk 𝑥 , ki da boljše ujemanje z drugimi parametri . Neujemanje množice modelirane spremenljivke y lahko zmanjšamo. Imamo 5 možnih izbir vrednosti x, če imamo 10 izmerkov (pa še kakšna bi se našla): 1) ekvidistantno 2) 5 dvojnih izmerkov ekvidistantno 3) 5 vrednosti na levi in 5 na desni 4) 1 vrednost na levi, 8 v sredini in 1 na desni 5) 4 vrednosti na levi, 2 na sredini in 2 na desni Za vsako od gornjih izbir izmerimo vrednosti y. Izkaže se, da je varianca parametrov za linearni model Najprimernejši je matematično tip 3, ker maksimizira imenovalec. Za linearni model je najslabša četrta možnost, pa še za kakšen drug model tudi.

𝑉𝑎𝑟 𝛽 1 𝛼1

𝑥𝑖 − 𝑥 𝑛𝑖=1

Page 7: Eksperimentalno modeliranje - lab.fs.uni-lj.silab.fs.uni-lj.si/kes/eksperimentalno_modeliranje_v_eps/EMvEPS9C.pdf · Eksperimentalno modeliranje - sistemov iz realnega sveta pogosto

7

Načrtovanje eksperimentov

najprimernejši so: - tip 3, če je model linearen - tip 5, če je model kvadratičen - tip 2, če je model četrtega reda - tip 1, če je model petega reda ali višji - za tip 4 ne vem 1) ekvidistantno 2) 5 dvojnih izmerkov ekvidistantno 3) 5 vrednosti na levi in 5 na desni 4) 1 vrednost na levi, 8 v sredini in 1 na desni 5) 4 vrednosti na levi, 2 na sredini in 2 na desni

Page 8: Eksperimentalno modeliranje - lab.fs.uni-lj.silab.fs.uni-lj.si/kes/eksperimentalno_modeliranje_v_eps/EMvEPS9C.pdf · Eksperimentalno modeliranje - sistemov iz realnega sveta pogosto

8

Načrtovanje eksperimentov

Osnovna pravila eksperimentalnega modeliranja, ki se tičejo DOF: 1) primerne lastnosti modela in rezervnega modela (scenarij B) 2) minimalna varianca koeficientov 3) meri tam, kjer moraš 4) ponavljanje 5) randomizacija Add.1) Primerne lastnosti modela so, da dobro določi koeficiente modela , da npr. lahko modelira podatke 4. reda (npr. je polinom 4. reda) ali pa da je dovolj robusten (npr. 1. reda) ali da ima asimptoto ali pa kaj četrtega. Pomisli tudi na scenarij B, to je drug model, npr. racionalna funkcija. Add.2) Pri minimalni varianci moramo zagotoviti, da jo bomo lahko izračunali, pri modelih, kjer je 𝑥 vektor, to ni vedno samoumevno. Izraz za varianco je zapleten za vektorske 𝑥 , varianca je matrika. Add.3) Meri tam, kjer je varianca velika Ne glede na to, kako dobro merimo in modeliramo, so določeni deli bolj zašumljeni kot drugi. Npr. turbulentne fluktuacije tlaka so večje pri večji hitrosti kot pri nizki. Na tem delu zato želimo imeti več točk oz. bolj zgoščene točke. Običajno varianco a-priori ugibamo/določamo.

𝑦 = 𝑓 𝑥 ; 𝛽 + 𝜀

Page 9: Eksperimentalno modeliranje - lab.fs.uni-lj.silab.fs.uni-lj.si/kes/eksperimentalno_modeliranje_v_eps/EMvEPS9C.pdf · Eksperimentalno modeliranje - sistemov iz realnega sveta pogosto

9

Načrtovanje eksperimentov

Add.3) (se nadaljuje) Meri tam, kjer so spremembe velike Kjer so spremembe y velike za majhne spremembe x, moramo zgostiti merilne točke (primer kavitacija, prva laboratorijska vaja). Praktičen odgovor, kako izbrati točke je: skiciraj si potek merjene spremenljivke iz a-priori znanja in razdeli y skalo na izbrano število enakih intervalov. Sredine intervalov so kandidatki za izbiro neodvisne spremenljivke. Add.4) Če je mogoče, naj bo ponavljanje del meritev. Ponovljivost omogoča, da določimo od modela neodvisno standardno deviacijo procesa. Nekaj ponovite točk je nujno, vse ponovljene točke so dobrodošle. Kako bi sicer ugotovil, če si kakšno izmed pomembnih spremenljivk izpustil? Add.5) Randomizacija lahko odkrije počasna spreminjanja - drift. Čeprav imajo spremenljivke neko naravno usmeritev, lahko merimo z obeh strani. Npr. merimo karakteristiko ventilatorja, če začnemo z najmanjšim tlakom in končamo z največjim, morda ne upoštevamo vpliv segrevanja elektromotorja ventilatorja.

Page 10: Eksperimentalno modeliranje - lab.fs.uni-lj.silab.fs.uni-lj.si/kes/eksperimentalno_modeliranje_v_eps/EMvEPS9C.pdf · Eksperimentalno modeliranje - sistemov iz realnega sveta pogosto

10

Načrtovanje eksperimentov

Kaj so to optimalni modeli eksperimenta? - nekateri namreč trdijo, da brez njih ne moremo meriti in eksperimentalno modelirati - paziti moramo, da model eksperimenta ne postane pomembnejši od modela samega Poznamo: - full factorial desgn - fractional factorial design - Latin square design - Box-Behnken design in druge Vsak izmed navedenih optimalnih modelov eksperimenta je optimalen na svoj način.

Slika: kateri DOE je boljši?

Page 11: Eksperimentalno modeliranje - lab.fs.uni-lj.silab.fs.uni-lj.si/kes/eksperimentalno_modeliranje_v_eps/EMvEPS9C.pdf · Eksperimentalno modeliranje - sistemov iz realnega sveta pogosto

11

Načrtovanje eksperimentov

DOE: Full factorial design Je lahko 22, 23, 33, itd. (število meritev = izbor vrednosti spremenljivka) primer: Trdilna komora za kameno volno, imamo štiri spremenljivke, torej 34 - temperatura (visoka, srednja, nizka) - pretok obtočnega zraka (visok, srednji, nizek) - pretok dovedenega zraka (visok, srednji, nizek) - doveden masni tok materiala (visok, srednji, nizek) Za določanje različnih nivojev (visok, srednji nizek) imamo v proizvodnji problem. Ločeno modeliramo porabljeno energijo in čas, ki sta potrebna, posušimo izbrano količino kamene volne. Naredimo tabelo kombinacij 34 = 81 teh vrednosti in izvedemo eksperiment. To ni malo dela, zato bi radi zmanjšali število eksperimentov. Drug primer - rezkanje: globina, vrtilna hitrost, hitrost podajanja (23 ali 33)

Slika: 23

Page 12: Eksperimentalno modeliranje - lab.fs.uni-lj.silab.fs.uni-lj.si/kes/eksperimentalno_modeliranje_v_eps/EMvEPS9C.pdf · Eksperimentalno modeliranje - sistemov iz realnega sveta pogosto

12

Načrtovanje eksperimentov

DOF: Fractional factorial design - število eksperimentov lahko hitro naraste preko razumne meje - nekatere delovne točke izpustimo, npr. obdržimo polovico, četrtino točk ... - super, samo katere? - to lahko izvedemo na različne načine ... - samo kateri način je pravi? - pravi fractional factorial design reprezentativno popiše merjeni/modelirani pojav .. - še vedno ne vem, kako to narediti?

Slika: štiri meritve izmed 22

Page 13: Eksperimentalno modeliranje - lab.fs.uni-lj.silab.fs.uni-lj.si/kes/eksperimentalno_modeliranje_v_eps/EMvEPS9C.pdf · Eksperimentalno modeliranje - sistemov iz realnega sveta pogosto

13

Zajemanje podatkov

Zajemanje podatkov

- izbira spremenljivk (kaj merimo, pa ne samo DOF, temveč kako izberemo in katere spremenljivke izberemo ) - izbira merilne opreme, slika spodaj desno in v sredini - način vzbujanja sistema (stimulus) ali izbira delovnih (obratovalnih) točk, slika zgoraj - izbira časa posnemanja in frekvence posnemanja (10x tako hitro, kot je pasovna širina merjenega signala), preprečevanje anti-aliasinga (podvzorčenje), - izbira in uporaba sistema za pretvorbo signalov: linearizacija (primer meritev pretoka z zaslonko), ojačanje, napajanje, ločevanje - filtriranje, zaznavalo ali ojačevalnik ali filter filtrirajo frekvenčno območje pred posnemanjem, slika podaj levo

Page 14: Eksperimentalno modeliranje - lab.fs.uni-lj.silab.fs.uni-lj.si/kes/eksperimentalno_modeliranje_v_eps/EMvEPS9C.pdf · Eksperimentalno modeliranje - sistemov iz realnega sveta pogosto

14

Zajemanje podatkov

- izbira spremenljivk (kaj merimo, pa ne samo DOF, temveč kako izberemo in katere spremenljivke izberemo ) - izbira merilne opreme, - način vzbujanja sistema (stimulus) ali izbira delovnih (obratovalnih) točk - izbira časa posnemanja in frekvence posnemanja (10x tako hitro, kot je pasovna širina merjenega signala), preprečevanje anti-aliasinga (podvzorčenje), sliki spodaj, levo 1D, desno 2D - izbira in uporaba sistema za pretvorbo signalov: linearizacija (primer meritev pretoka z zaslonko), ojačanje, napajanje, ločevanje - filtriranje, zaznavalo ali ojačevalnik ali filter filtrirajo frekvenčno območje pred posnemanjem

Page 15: Eksperimentalno modeliranje - lab.fs.uni-lj.silab.fs.uni-lj.si/kes/eksperimentalno_modeliranje_v_eps/EMvEPS9C.pdf · Eksperimentalno modeliranje - sistemov iz realnega sveta pogosto

15

Predobdelava podatkov

Predobdelava podatkov

- vizualni pregled - brisanje napačnih vrednosti (outliers) - odstranjevanje naklona (nizkofrekvenčne komponente) - odstranjevanje premika - filtriranje in zmanjševanje velikosti (downsampling) - normiranje podatkov

Page 16: Eksperimentalno modeliranje - lab.fs.uni-lj.silab.fs.uni-lj.si/kes/eksperimentalno_modeliranje_v_eps/EMvEPS9C.pdf · Eksperimentalno modeliranje - sistemov iz realnega sveta pogosto

16

Predobdelava podatkov

- brisanje napačnih vrednosti (outliers) - odstranjevanje naklona (nizkofrekvenčne komponente, 50 ali 60 Hz, -dnevno/nočno delovanje elektrarne), to je visokopasovno filtriranje (high pass) - odstranjevanje premika - filtriranje in zmanjševanje velikosti (downsampling)

Page 17: Eksperimentalno modeliranje - lab.fs.uni-lj.silab.fs.uni-lj.si/kes/eksperimentalno_modeliranje_v_eps/EMvEPS9C.pdf · Eksperimentalno modeliranje - sistemov iz realnega sveta pogosto

17

Predobdelava podatkov

- Downsampling se uporablja, če je frekvenca vzorčenja dosti višja od pasovne širine pojava. Velika količina podatkov pa lahko v določenih primerih oteži kasnejše (uporabiti je potrebno antialiasing filter) vrednotenje in modeliranje - Normiranje podatkov (data scaling), to se lahko naredi na interval [0-1] ali [-1 – 1] ali najpogostejše tako, da je povprečna vrednost 0 in standardni odklon 1. To je še posebej pomembno v MIMO sistemih, ventila na sliki se odpirata v območju 0-100% in 50-60% SISO - Single Input Single Output SIMO - Single Input Multiple output MISO - Multiple Input Single Output MIMO - Multiple Input multiple Output

Page 18: Eksperimentalno modeliranje - lab.fs.uni-lj.silab.fs.uni-lj.si/kes/eksperimentalno_modeliranje_v_eps/EMvEPS9C.pdf · Eksperimentalno modeliranje - sistemov iz realnega sveta pogosto

18

Parametrični modeli

(Ne)parametrični modeli

- Ukvarjali se bomo s časovno invariantnimi sistemi, to so sistemi, pri katerih izhod eksplicitno ni odvisen od časa. To pomeni, da prenosna funkcija ni odvisna od časa, razen tistega, ki se skriva v vhodih x in izhodih y.

- časovno invariantne sisteme lahko predstavimo tudi s prenosno funkcijo (ne bomo je obravnavali, običajno samo en vhod in en izhod) oz. z impulznim ali s frekvenčnim odzivom (sliki desno)

- Parametrični modeli: funkcija f preslika spremenljivke 𝑥 v spremenljivko y. Z eksperimentalnim modeliranjem se na podlagi izmerkov 𝑥 in y določi (nauči) funkcija f. Za določanje funkcije f vključno z njenimi parametri (malo število) obstaja veliko različnih metod.

- Neparametrični modeli: funkcija f je lahko kakršnakoli, parametrov ima običajno zelo veliko, npr. nevronske mreže, metoda podpornih vektorjev (vector support machines), impulzni odziv, frekvenčni odziv. Pri tem naj bi neparametrični model še vedno znal dobro generalizirati vhodne podatke.

𝑦 𝑡 = 𝑡 ∙ 𝑥 𝑡

𝑦 𝑡 = 10 ∙ 𝑥 𝑡

Page 19: Eksperimentalno modeliranje - lab.fs.uni-lj.silab.fs.uni-lj.si/kes/eksperimentalno_modeliranje_v_eps/EMvEPS9C.pdf · Eksperimentalno modeliranje - sistemov iz realnega sveta pogosto

19

Parametrični modeli

- Parametrični modeli predstavijo sistem v obliki algebraičnih enačb ali diferencialnih enačb. V primerjavi z neparametričnimi modeli so bližje fizikalnim modelom. - Imajo manjše število parametrov kot neparametrični modeli ??????????????? Z diferencialnimi enačbami se ne bomo ukvarjali. Med parametrične modele sodijo: - polinomski modeli - logaritemski modeli - eksponentni modeli - potenčni modeli - linearni regresijski modeli - nelinearni regresijski modeli - itd. (kaj pa drugega) Regresija je statistično določanje povezave med spremenljivkami.

Page 20: Eksperimentalno modeliranje - lab.fs.uni-lj.silab.fs.uni-lj.si/kes/eksperimentalno_modeliranje_v_eps/EMvEPS9C.pdf · Eksperimentalno modeliranje - sistemov iz realnega sveta pogosto

20

Parametrični modeli

Linearni regresijski modeli (linearna regresija) Vzemimo pogost primer, ko imamo veliko vhodnih spremenljivk 𝑥𝑖 (teh je p) in eno izhodno spremenljivko y (enostavna vs. večkratna/multipla linearna regresija). Z več enostavnimi modeli lahko simuliramo več izhodnih spremenljivk. Vzorci (posamezne meritve) v eksperimentalne modelu so za i = 1 do n naslednji Enačbo zapišemo (to še ni linearna regresija, ta del samo opisuje meritve) Za vsak i (izmerek) imamo p funkcij Zgornja enačba je "točna", ker ima dodano napako i-tega izmerka 𝜀𝑖. 𝜀𝑖 je napaka i-tega izmerka, 𝜀𝑖 so naključni

𝑦𝑖 = 𝛽0 + 𝛽1Φ1 𝑥𝑖1 + 𝛽2Φ2 𝑥𝑖2 + ⋯ + 𝛽𝑝Φ𝑝 𝑥𝑖𝑝 + 𝜀𝑖

𝑦𝑖 , 𝑥𝑖1, 𝑥𝑖2 , … , 𝑥𝑖𝑝 𝑖=1…𝑛

Page 21: Eksperimentalno modeliranje - lab.fs.uni-lj.silab.fs.uni-lj.si/kes/eksperimentalno_modeliranje_v_eps/EMvEPS9C.pdf · Eksperimentalno modeliranje - sistemov iz realnega sveta pogosto

21

Eksperimentalno modeliranje

Linearni regresijski modeli (linearna regresija) - linearnost/nelinearnost in pomen parametrov Funkcije, ki nastopajo v modelu, so lahko nelinearne funkcije. Linearni morajo biti koeficienti 𝛽. Ker predpostavimo fiksne vrednosti regresorjev, to ni problem. Če imamo opravka z modeliranjem na testni množici podatkov, takrat napak 𝜀 ne poznamo, zato zapišemo model na naslednji način (strešica nad odvisno spremenljivki pomeni, da gre za ocenjeno, modelirano spremenljivko) Ta del že prestavlja modeliranje, to je uporabo modela. Parametre modela β1, β 2, ..., β p razložimo na naslednji način, npr. sprememba βj se kaže v spremembi y za neko enotsko spremembo v xj, ko ostale regresorje držimo konstantne. To je nekaj podobnega kot parcialni odvod y glede na xj. To je možno uporabiti pri modeliranju, da se ugotovi pomen posameznega regresorja na regresand.

Φ1, Φ2 , … , Φ𝑝

𝑦 𝑖 = 𝛽0 + 𝛽1Φ1 𝑥𝑖1 + 𝛽2Φ2 𝑥𝑖2 + ⋯ + 𝛽𝑝Φ𝑝 𝑥𝑖𝑝

Page 22: Eksperimentalno modeliranje - lab.fs.uni-lj.silab.fs.uni-lj.si/kes/eksperimentalno_modeliranje_v_eps/EMvEPS9C.pdf · Eksperimentalno modeliranje - sistemov iz realnega sveta pogosto

22

Eksperimentalno modeliranje

Lastnosti linearnih regresijskih modelov - spremenljivke yi imenujemo regresand, merjena spremenljivka, odvisna spremenljivka itd. - spremenljivke xi1, xi2, ..., xip imenujemo regresorji, vhodne spremenljivke, neodvisne spremenljivke, prediktorji itd. - običajno je kot ena izmed regresorjev vključena konstanta, npr. xi1=1, če je presečišče z y osjo različno od nič. - včasih je ena ali več regresorjev nelinearna funkcija, kot npr. pri polinomski regresiji, model pa ostaja linearen, dokler so linearni parametri β1, β 2, ..., β p - regresorje xi1, xi2, ..., xip lahko obravnavamo kot naključne ali fiksne spremenljivke, kot naključne spremenljivke jih zgolj merimo, kot fiksne spremenljivke pa jih izberemo in krmilimo - vektor β1, β 2, ..., β p imenujemo parametri modela - vektor 𝜀𝑖 imenujemo napako, motnjo ali šum

Page 23: Eksperimentalno modeliranje - lab.fs.uni-lj.silab.fs.uni-lj.si/kes/eksperimentalno_modeliranje_v_eps/EMvEPS9C.pdf · Eksperimentalno modeliranje - sistemov iz realnega sveta pogosto

Parametrični modeli

Linearni regresijski modeli (linearna regresija) - predpostavke Standardni linearni regresijski modeli so omejeni s kopico predpostavk o merjenih spremenljivkah (regresorjih), modeliranih spremenljivkah (regresandih) in povezavi med spremenljivkami. Predpostavke so: - fiksne vrednosti regresorjev: izmerjene spremenljivke lahko obravnavamo kot fiksne vrednosti in ne kot naključne spremenljivke (se pretvarjamo, kot da nimajo merilne negotovosti) - linearnost, to pomeni, da je povprečen odziv regresanda linearna kombinacija parametrov in regresorjev. Ta predpostavka je v resnici mnogo manj omejujoča, kot se zdi. Ker prediktorje obravnavamo kot fiksne vrednosti (prva alineja), je linearnost v resnici zgolj omejena na parametre β1, β 2, ..., β p. Prediktorje lahko zato poljubno transformiramo in to večkrat in na različne načine (npr. t2), kar se uporablja pri polinomski regresiji. To naredi linearno regresijo zelo močno orodje za modeliranje, včasih še preveč (overfiting, od npr. tretjega reda dalje ...). - konstantna varianca, to pomeni, da imajo različne vrednosti regresanda enako varianco (regresandi so enakomerno raztreseni okrog "krivulje najboljšega ujemanja"), kar pa v praksi pri širokem intervalu vhodnih spremenljivk zagotovo ne drži - neodvisnost merilnih pogreškov, to pomeni da so napake v regresandih nekorelirane med seboj - nekoreliranost regresorjev (posamezna vhodna spremenljivka ni odvisna od druge spremenljivke), če so korelirane, vektor parametrov ni enoznačno določen

Page 24: Eksperimentalno modeliranje - lab.fs.uni-lj.silab.fs.uni-lj.si/kes/eksperimentalno_modeliranje_v_eps/EMvEPS9C.pdf · Eksperimentalno modeliranje - sistemov iz realnega sveta pogosto

Parametrični modeli

Linearni regresijski modeli (linearna regresija) - določanje koeficientov 𝜷 Na podlagi meritev moramo določiti koeficiente 𝛽. To večinoma naredimo po metodi najmanjših kvadratov Pri tem minimiziramo funkcijo S. Določanje koeficientov 𝛽 po metodi najmanjših kvadratov ni edina možnost, je pa najbolj običajna. Čeprav linearne regresijske modele v praksi pogosto povezujemo z metodo najmanjših kvadratov, ne gre za eno in isto stvar. Npr. metodo najmanjših kvadratov lahko uporabimo za nelinearne modele.

𝑆 = 𝑦𝑖 − 𝛽0 − 𝛽1Φ1 𝑥𝑖1 − 𝛽2Φ2 𝑥𝑖2 − ⋯ − 𝛽𝑝Φ𝑝 𝑥𝑖𝑝2

𝑛

𝑖=1

Page 25: Eksperimentalno modeliranje - lab.fs.uni-lj.silab.fs.uni-lj.si/kes/eksperimentalno_modeliranje_v_eps/EMvEPS9C.pdf · Eksperimentalno modeliranje - sistemov iz realnega sveta pogosto

25

Parametrični modeli

Linearni regresijski modeli (linearna regresija) - linearnost Kako vemo, da je model linearen? Določamo samo parametre 𝛽, medtem ko funkcije Φ izberemo. To pomeni, da funkcije Φ v fazi učenja modela ne spreminjamo - funkcija 𝑆, ki jo minimiziramo, je kvadratna ... - odvodi funkcije 𝑆 so linearno odvisni od parametrov 𝛽 - parametri 𝛽, ki jih določamo, so linearni v funkciji 𝑦 - parametri 𝛽, ki jih določamo, so linearno odvisni od napak 𝜀 - natačno gledano, bi morale biti tudi neodvisne (merjene) spremenljivke 𝑥 linearne. Neodvisne spremenljivke lahko transformiramo in jih tako dodajamo (npr. polinomska regresija) Linearna regresija zato lahko aproksimira funkcije, ki so močno nelinearne.

𝑦𝑖 = 𝛽0 + 𝛽1Φ1 𝑥𝑖1 + 𝛽2Φ2 𝑥𝑖2 + ⋯ + 𝛽𝑝Φ𝑝 𝑥𝑖𝑝 + 𝜀𝑖

𝑆 = 𝑦𝑖 − 𝛽1Φ1 𝑥𝑖1 − 𝛽2Φ2 𝑥𝑖2 − ⋯ − 𝛽𝑝Φ𝑝 𝑥𝑖𝑝2

𝑛

𝑖=1

Page 26: Eksperimentalno modeliranje - lab.fs.uni-lj.silab.fs.uni-lj.si/kes/eksperimentalno_modeliranje_v_eps/EMvEPS9C.pdf · Eksperimentalno modeliranje - sistemov iz realnega sveta pogosto

26

Parametrični modeli

Linearni regresijski modeli (linearna regresija) - linearnost Če za funkcije Φ uporabimo nelinearne funkcije, postane model pogosto celo preveč odziven (overfitting) Zato moramo uporabiti neke vrste generalizacijo (regularizacijo).

𝑦 𝑖 = 𝛽0 + 𝛽1Φ1 𝑥𝑖1 + 𝛽2Φ2 𝑥𝑖2 + ⋯ + 𝛽𝑝Φ𝑝 𝑥𝑖𝑝

Page 27: Eksperimentalno modeliranje - lab.fs.uni-lj.silab.fs.uni-lj.si/kes/eksperimentalno_modeliranje_v_eps/EMvEPS9C.pdf · Eksperimentalno modeliranje - sistemov iz realnega sveta pogosto

Parametrični modeli

Linearni regresijski modeli (linearna regresija) - poenostavljena oblika V zapisu izpustimo funkcijo, to prevzame posamezen parameter Učenje in modeliranje Izpustimo funkcijo Φ, saj jo lahko zamenjamo z ustrezno izbiro spremenljivke 𝑥. Overfitting: potrebujemo nek način regularizacije modela, npr. ridge regresija (metoda sedelnega spusta) in lasso regresija.

𝑦 𝑖 = 𝛽0 + 𝛽1𝑥𝑖1 + 𝛽2𝑥𝑖2 + ⋯ + 𝛽𝑝𝑥𝑖𝑝

𝑦𝑖 = 𝛽0 + 𝛽1𝑥𝑖1 + 𝛽2𝑥𝑖2 + ⋯ + 𝛽𝑝𝑥𝑖𝑝 + 𝜖𝑖

Page 28: Eksperimentalno modeliranje - lab.fs.uni-lj.silab.fs.uni-lj.si/kes/eksperimentalno_modeliranje_v_eps/EMvEPS9C.pdf · Eksperimentalno modeliranje - sistemov iz realnega sveta pogosto

28

Parametrični modeli

Linearni regresijski modeli (linearna regresija) - interpretacija vsi modeli na desni imajo enako regresijsko krivuljo 1. reda (premico), so pa zelo različni - regresijsko krivuljo ocenimo z regresijskim koeficientom - model uporabljamo za določanje povezave med merjenimi in modeliranimi spremenljivkami - merjene spremenljivke "fiksiramo", toda to ni vedno mogoče (npr. čas v modelu na naslednji strani, spremeni se tudi 𝑡𝑖

2) - pomen in vrednost posameznega 𝛽 - parcialni odvod y po 𝑥𝑗

- problem nepravih spremenljivk (dummy)

Page 29: Eksperimentalno modeliranje - lab.fs.uni-lj.silab.fs.uni-lj.si/kes/eksperimentalno_modeliranje_v_eps/EMvEPS9C.pdf · Eksperimentalno modeliranje - sistemov iz realnega sveta pogosto

29

Parametrični modeli

Dream job

Linearni regresijski modeli (linearna regresija) - linearnost, tudi če ni Poglejmo si primer spuščanja krogle ta model je nelinearen v času, odvisen je samo od časa. Iz tega bi sklepali, da bo v modelu samo ena spremenljivka 𝑥𝑖 Toda če ga "predelamo" dobimo ...

ℎ𝑖 = 𝛽0 + 𝛽1𝑡𝑖 + 𝛽2𝑡𝑖2 + 𝜀𝑖

𝑡𝑖 → 𝑥𝑖1

𝑡𝑖2 → 𝑥𝑖2

ℎ𝑖 = 𝛽0 + 𝛽1𝑥𝑖1 + 𝛽2𝑥𝑖2 + 𝜀𝑖

Page 30: Eksperimentalno modeliranje - lab.fs.uni-lj.silab.fs.uni-lj.si/kes/eksperimentalno_modeliranje_v_eps/EMvEPS9C.pdf · Eksperimentalno modeliranje - sistemov iz realnega sveta pogosto

30

Parametrični modeli

Potenčni modeli (power regression) Potenčna regresija je v EPS zelo pogosta, saj je podprta z zakoni podobnosti. Poznamo števila Re, Fr, We, itd. Merilne negotovosti 𝜖𝑖 posamezne meritve ne upoštevamo Logaritmiramo, tako kot pri linearni regresiji dobimo sistem linearnih enačb, pri čimer je število enačb enako številu meritev 𝑦𝑖 in 𝑥𝑖 so izmerki, z npr. metodo LSE določimo parametre 𝛽. Strogo matematično gledano, potenčni zakon ne more biti porazdelitev ... Podobno modeliramo tudi eksponentne modele.

𝑦𝑖 = 𝛽0 ∙ 𝑥𝑖1𝛽1 ∙ 𝑥𝑖2

𝛽2 ∙ ⋯ ∙ 𝑥𝑖𝑝

𝛽𝑝

ln 𝑦𝑖 = ln 𝛽0 + 𝛽1ln 𝑥𝑖1 + 𝛽2ln 𝑥𝑖2 … + 𝛽𝑝ln 𝑥𝑖𝑝

Page 31: Eksperimentalno modeliranje - lab.fs.uni-lj.silab.fs.uni-lj.si/kes/eksperimentalno_modeliranje_v_eps/EMvEPS9C.pdf · Eksperimentalno modeliranje - sistemov iz realnega sveta pogosto

31

Parametrični modeli

Kako izbrati najboljši parametrični model? Z zdravo pametjo in s poskušanjem. Pri oceni si pomagam s korelacijskim koeficientom 𝑅2 (rečemo običajno kar R kvadrat) 𝑅2 je 1- (vsota vseh napak)/varianca. Korelacijski koeficient ni idealno merilo za ocenjevanje ujemanja, ampak za silo gre.

𝑅2 = 1 − 𝜀𝑖

2𝑛𝑖=1

𝑦𝑖 − 𝑦 2𝑛𝑖=1

Page 32: Eksperimentalno modeliranje - lab.fs.uni-lj.silab.fs.uni-lj.si/kes/eksperimentalno_modeliranje_v_eps/EMvEPS9C.pdf · Eksperimentalno modeliranje - sistemov iz realnega sveta pogosto

32

Neparametrični modeli

Neparametrični modeli

- impulzni odziv - frekvenčni odziv - nevronske mreže - metoda podpornih vektorjev So uporabni za dinamične spremenljivke, pa tudi za statične (nevronske mreže)