RAPORT ŞTIINŢIFIC ŞI TEHNIC Etapa IV (Ianuarie-Iunie 2017) Titlu proiect: INFRASTRUCTURA DE SUPORT PENTRU DIAGNOSTIC IMAGISTIC INTELIGENT Contractul de finanțare nr: 209/2014 Director: Prof. Univ. Dr. Cristin Constantin Vere REZUMAT ETAPĂ: A patra etapă a proiectului – Finalizarea aplicatiei INDISIO s-a întins pe 6 luni (ianuarie‐ Iunie 2017) şi a inclus sase activități: Includere pacienti, investigatii si monitorizare (activitatea 4.1), Finalizarea si testarea modelului ANN (activitatea 4.2), Finalizare clasificator leziuni (activitatea 4.3), Finalizare sistem INDISIO (activitatea 4.4), Diseminare (activitatea 4.5) și Urmărire patent (activitatea 4.6). În cadrul primei activități (activitatea 4.1), unitatea coordonatoare și partenerul medical SCJU Craiova au continuat includerea în studiu a pacienților și a fost finalizată baza de date securizată conținând filmeleWCE. A fost finalizat modulul de inteligență artificială bazat pe rețele neuronale (ANN), conform activității 4.2. Clasificatorul lezional (activitatea 4.3) a fost finalizat în colaborare cu Aptus Software SRL, partenerul comercial, care a folosit imaginile obținute în urma investigațiilor pentru antrenarea sistemului de recunoaștere a imaginilor. Prin interacțiunea celor două, combinate cu interfața grafică și baza de date complexă deja dezvoltate, a fost finalizat sistemul INDISIO, conform activității 4.4. Au fost astfel obținute livrabilele corespunzătoare etapei: baza de date securizata cu filmele WCE, software-ul INDISIO și manualul aferent acestuia, cât și un articol științific original. Rezultatele au fost diseminate (activitatea 4.5) prin publicarea unei monografii într-o editură internațională și a unui articol într-o revistă indexată ISI. A fost urmărită cererea de acordare a unui brevet de invenție de către OSIM, care a fost re-introdusă, conform activității 4.6.
20
Embed
Titlu proiect: INFRASTRUCTURA DE SUPORT PENTRU … INDISIO Etapa IV (2017... · Perceptronul Multinivel (Multilayer Perceptron) ... date a sistemului creat, cat si in alte formate
This document is posted to help you gain knowledge. Please leave a comment to let me know what you think about it! Share it to your friends and learn new things together.
Transcript
RAPORT ŞTIINŢIFIC ŞI TEHNIC
Etapa IV (Ianuarie-Iunie 2017)
Titlu proiect: INFRASTRUCTURA DE SUPORT PENTRU
DIAGNOSTIC IMAGISTIC INTELIGENT
Contractul de finanțare nr: 209/2014
Director: Prof. Univ. Dr. Cristin Constantin Vere
REZUMAT ETAPĂ: A patra etapă a proiectului – Finalizarea aplicatiei INDISIO s-a întins pe 6 luni
(ianuarie‐ Iunie 2017) şi a inclus sase activități: Includere pacienti, investigatii si monitorizare
(activitatea 4.1), Finalizarea si testarea modelului ANN (activitatea 4.2), Finalizare
clasificator leziuni (activitatea 4.3), Finalizare sistem INDISIO (activitatea 4.4), Diseminare
(activitatea 4.5) și Urmărire patent (activitatea 4.6).
În cadrul primei activități (activitatea 4.1), unitatea coordonatoare și partenerul medical
SCJU Craiova au continuat includerea în studiu a pacienților și a fost finalizată baza de date
securizată conținând filmeleWCE. A fost finalizat modulul de inteligență artificială bazat pe
rețele neuronale (ANN), conform activității 4.2. Clasificatorul lezional (activitatea 4.3) a fost
finalizat în colaborare cu Aptus Software SRL, partenerul comercial, care a folosit imaginile
obținute în urma investigațiilor pentru antrenarea sistemului de recunoaștere a imaginilor. Prin
interacțiunea celor două, combinate cu interfața grafică și baza de date complexă deja
dezvoltate, a fost finalizat sistemul INDISIO, conform activității 4.4.
Au fost astfel obținute livrabilele corespunzătoare etapei: baza de date securizata cu
filmele WCE, software-ul INDISIO și manualul aferent acestuia, cât și un articol științific
original.
Rezultatele au fost diseminate (activitatea 4.5) prin publicarea unei monografii într-o
editură internațională și a unui articol într-o revistă indexată ISI. A fost urmărită cererea de
acordare a unui brevet de invenție de către OSIM, care a fost re-introdusă, conform activității
4.6.
A4.1 Includere pacienti, investigatii si monitorizare
Am continuat recrutarea pacienților care îndeplinesc criteriile de includere enunțate în
etapele anterioare. Datorită întârzierii finanțării au fost achiziționate 15 videocapsule
endoscopice în cursul lunii Iulie, pacienții fiind în curs de investigare. Am folosit pentru
includerea caracteristicilor acestora baza de date securizată, cu capacitate de stocare multimedia
a filmelor WCE.
Baza de date securizata cu filmele WCE
Baza de date este funcțională și cuprinde datele clinice, paraclinice și imagistice ale
pacienților incluși în studiu. Nu conține informații de identificare directă și este protejată prin
sisteme de autentificare cu dublă cheie și criptare pe 64 de biți.
Au fost adăugate o serie de facilități, cum ar fi posibilitatea adăugării diagnosticelor dintr-
o listă standardizată, conform codificării internaționale ICD-10 (codificare standardizată a
denumirilor de boală, adoptată la nivelul României și internațional – majoritar în spațiul UE).
De asemenea, se poate controla înregistrarea video încărcată – selectată în mod automat de
către aplicație din înregistrarea WCE – și se pot revizui manual cadrele de interes, procesate de
către software-ul INDISIO cu ajutorul analizatorului de imagine.
A4.2 Finalizarea si testarea modelului ANN
Modelul ANN a fost creat in contextual domeniului stiintei calculatoarelor si al tehnologiei
informatiei, pornind de la modelul creierului uman, care are multe caracteristici de procesare
incredibile, cum ar fi paralelismul masiv, reprezentarea distribuită și calculul, abilitatea
capacității de învățare, abilitatea generalizării, adaptivitatea, care par a fi simple, dar în realitate
sunt extrem de complicate. Ca atare, acesta a fost de fapt dintotdeauna un vis pentru specialistii
din domeniul științei calculatoarelor, anume acela de a crea componente computerizate care sa
poata rezolva probleme perceptuale complexe la fel de rapid.
Modelele ANN au reprezentat un astfel de efort, de a aplica aceleași metode pe care le utilizează
creierul uman, pentru a rezolva problemele perceptuale complexe.
In cee ace priveste etapizarea dezvoltarii modelelor ANN, exista trei perioade importante:
- 1940: Mcculloch si Pitts: Cercetari/lucrari initiale
- 1960: Rosenblatt: Teorema de convergență pentru algoritmul de antrenare a perceptronului;
Minsky si Papert: realizarea unor rezultate care arata/demonstreaza limitarile pe care le
genereaza abordarile bazate pe un perceptron simplu
- 1980: Hopfield/Werbos si Rumelhart: Abordarea lui Hopfield bazata pe
energie/algoritmul de invatare back-propagation
Detalierea principiilor modelului ANN - Modelul Computaţional al Neuronului Artificial
ANN Overview: Network Architecture
Procesul de Invatare (Learning Process): consta in actualizarea arhitecturii rețelei și a
ponderilor de conectare, astfel încât rețeaua să poată efectua eficient o anumita sarcină, bine
precizata.
Sursa (intrarile) procesului de invatare a modelului ANN o reprezinta sabloanele de
antrenare specifice task-ului care este de indeplinit; se ia in considerare abilitatea ANN de a
învața automat din exemple sau din relațiile intrare-ieșire. Proiectarea unui proces de invatare
presupune cunoasterea tuturor informatiilor disponibile despre task-ul specific care este de
indeplinit, cee ace include cunoasterea in toate detaliile a unui model din realitate. Proiectarea
regulilor de invatare presupune descrierea procesului de actualizare a ponderilor, iar proiectarea
algoritmilor de invatare presupune identificarea unei proceduri de ajustare a ponderilor prin
învățarea regulilor.
Legaturi/trasee: Axoni şi Dendride
Ponderi de conexiune: Sinapse
Funcția prag (threshold function): Chintesenta
activitatii neuronale de delimitare a claselor
Paradigme de Invatare (Learning Paradigm)
Invatare Supervizata: (a) răspunsul corect este furnizat rețelei pentru fiecare sablon de
intrare; (b)ponderile sunt ajustate conform răspunsului correct; (c) in procesul de consolidare a
învățării se oferă doar o optimizare a răspunsului correct.
Invatare nesupervizata: (a) nu este nevoie sa se furnizeze retelei raspunsul corect; (b)
sistemul însusi sine recunoaște corelația și modelează în mod corespunzător sabloanele în
categorii.
Invatare hibrida: (a) este o combinatie intre invatarea supervizata si cea nesupervizata; (b)
unele dintre ponderi sunt furnizate cu ieșirea corectă, în timp ce celelalte sunt corectate
automat.
Regulile de invatare (Learning Rules) Exista patru tipuri fundamentale de reguli de
invatare:
(1) reguli corectoare de erori; (2) reguli de invatare Boltzmann (3) reguli de invatare
Hebbian; (4)invatare Competitiva.Toate pot fi antrenate cu sau fara interventia unui teacher.
Toate au arhitecturi si algoritmi de invatare specifici.
1.4.1. Reguli corectoare de erori: o eroare este calculate pentru o ieșire și se utilizează pentru
a modifica ponderea conexiunii; erorile sunt reduse gradual; regula de antrenare a
perceptronului se bazeaza pe acest principiu de corectare graduala a erorilor; un perceptron este
format dintr-un singur neuron, cu ponderea si pragul ajustabile – in cazul in care apare o eroare,
ponderile sunt actualizate iterative, pana cand se ajunge la zero erori.
Regulile de invatare Boltzman se utilizeaza in retelele simetrice recurente, constand in unitati
binare (+1 pentru on, -1 pentru off). Neuronii sunt impartiti in doua grupe: ascunsi si vizibili.
Ieșirile sunt produse conform mecanicii statistice Boltzmann. Invatarea Boltzman ajusteaza
ponderile până când unitățile vizibile ajung sa satisfaca o distribuție probabilistică dorită.
Regulile de invatare Hebbian sunt unele dintre cele mai vechi reguli, initiate pe baza unor
experimente neurobiologice. Conceptul de bază al învățării Hebbian consta in urmatoarele:
atunci când neuronul A se activează și apoi determină activarea neuronului B, intensitatea
conexiunii dintre cei doui neuroni este crescută și va fi mai ușor pentru A să activeze B în viitor.
Învățarea este efectuata local, cee ace înseamnă că ponderea unei conexiuni este legată doar de
neuronii conectați la aceasta.
1.4.4 Invatarea Competitiva se bazeaza pe principiul “winner take all” (invingatorul ia tot)
inspirat din retelele neuronale biologice. Toate unitățile de intrare sunt conectate împreună și
toate unitățile de ieșire sunt, de asemenea, conectate prin intermediul unor ponderi inhibitoare,
dar feed back-ul este oferit cu ponderea de excitație. Numai una dintre unitățile cu cea mai mare
sau cea mai mică intrare este activată și ponderea sa este ajustată. Ca urmare a procesului de
învățare, modelul din unitatea câștigătoare (ponderea) se apropie de modelul de intrare
Modul de utilizare a componentei de diagnoza imagistica
Lansarea aplicatiei
Lansarea aplicatiei se face de pe platforma INDISIO, prin intermediul meniului „Operational”
– submeniul „Pacienti” - „Diagnoza Imagistica”. Acesta ne conduce in ecranul principal al
aplicatiei, in fereastra MainFrame.
Specificarea fisierelor de configurare a aplicatiei
Din meniul File se alege optiunea „Choose specification file”, asa cum este ilustrat in figura de
mai jos.
Fig. 6. Meniul “File”
Fig.7. Caseta de dialog pentru specificarea fisierelor de lucru
In caseta de dialog rezultata, se actioneaza butoanele de Browse si se alege calea catre:
Baza de date „Specificatii.mdb”, continand specificatiile privind selectiile utilizatorului cu
privire la trasaturile de lucru, la pacientii si la parametrii imaginilor specificati de utilizator.
Calea catre baza de date continand datele medicale ale pacientilor, imaginile ecografice ale
acestora, date privind formatiunile focale, regiuni de interes marcate ce urmeaza a fi analizate,
precum si informatiile referitoare la modelul imagistic.
Meniul pentru generarea si validarea modelului imagistic
In fereastra principala a aplicatiei (MainFrame) se gaseste meniul pentru generarea si validarea
modelului imagistic.
Selectia optiunii “Imagistic data generation” declanseaza afisarea casetei de dialog
destinata generarii datelor imagistice ce urmeaza a fi exploatate in generarea modelului
imagistic specific formatiunilor extrase din imaginea endoscopica. Aceste date se genereaza
prin analiza imaginilor pacientilor existente in baza de date, respectiv a regiunilor de interes
marcate pe aceste imagini. In casuta de editare din partea superioara, este afisata calea catre
baza de date, conform specificatiilor initiale ale utilizatorului („Initial specifications”). Alaturi
(in dreapta) se gaseste lista derulanta din care utilizatorul isi poate selecta clasa de patologii
pentru care doreste generarea datelor imagistice.
Fig. 8. Meniul pentru generarea si validarea modelului imagistic
In sectiunea „Feature selection” exista posibilitatea de a selecta acele tarasturi imagistice
(texturale) cu care lucreaza utilizatorul. Acesta poate selecta toate trasaturile imagistice - bifand
casuta „All features”, poate selecta doar trasaturile relevante - bifand casuta „Relevant features”
sau poate adauga cate o trasatura - selectand trasatura respectiva din lista derulanta „Choose
features” si adaugand-o in cea de-a doua lista, prin apasarea butonului „+”. Fiecare trasatura
selectata poate fi stearsa din cea de-a doua lista, apasandu-se butonul „x”. In sectiunea „Patient
selection” utilizatorul poate specifica pacientii pentru care doreste sa genereze datele
imagistice, intr-o maniera similara cu cea in care specifica trasaturile.
Datele generate se pot exporta in urmatoarele formate:
In baza principala de date a sistemului (format Access ), prin bifarea optiunii „Export
to Access Database”
In format Excel („.xls”), prin bifarea optiunii „Export to Excel Database” si prin
selectarea fisierului „.xls” corespunzator.
In formatul „.arff”, specific functiilor bibliotecii Weka (Waikato Environment for
Knowledge Analysis) , prin bifarea optiunii „Export to Excel Database” si prin
selectarea fisierului „.arff” corespunzator. Daca acesta nu exista, va trebui creat prin
apasare pe butonul „Create new .arff file”.
In scopul selectiei trasaturilor relevante prin metode specifice, utilizatorul trebuie sa
aleaga optiunea Relevant Feature Selection din meniul Imagistic Model. In caseta de dialog
rezultata, utilizatorul trebuie sa specifice calea catre fisierul „.arff” continand datele de
antrenare („Training set File”), clasa a carei caracterizare se doreste, metoda dorita de selectie
a trasaturilor (CFS+BestFirst Search, CFS+Genetic Search, Wrapper+Decision Trees + Best
First Search). Apoi, prin actionarea butonului Select, actiunea devine efectiva. Rezultatul se
afiseaza in zona de text „Selection result”. Trasaturile relevante rezultate pot fi salvate in baza
de date prin bifarea optiunii „Save relevant features into the database” si prin actionarea
butonului OK.
Pentru a vizualiza valorile specifice ale trasaturilor relevante, se alege din meniu
optiunea Specific Parameter Estimation. Se afiseaza caseta de dialog corespunzatoare valorilor
specifice trasaturilor relevante (media si varianta) si intervalelor de incredere. Utilizatorul
trebuie sa specifice calea catre baza de date, clasa pentru care se doreste vizualizarea valorilor
caracteristice – prin selectie din lista derulanta corespunzatoare, precum si trasatura relevanta
pentru care se doreste vizualizarea valorilor specifice. Aceste valori pot fi salvate in baza de
date prin actionarea butonului Save.
Fig. 9. Caseta de dialog pentru generarea si exportul datelor imagistice
Fig. 10. Caseta de dialog pentru selectia trasaturilor imagistice relevante
Figura 11. Caseta de dialog pentru calculul si salvarea intervalelor de incredere
Pentru a realiza antrenarea clasificatorului se alege optiunea Imagistic Model/ Classifier
Training/Multilayer Perceptron.
In caseta de dialog „Classifier training” se selecteaza fisierul de tip „.arff” care contine
datele de antrenare, calea pentru salvarea modelului (clasificatorului antrenat) pentru o
utilizare ulterioara, se specifica daca setul de antrenament contine toate trasaturile, sau doar
trasaturile relevante, prin bifarea casutelor de text corespunzatoare, apoi se actioneaza butonul
„Train MLP” pentru antrenarea clasificatorului. Modelul generat (structura retelei neuronale)
este afisat in caseta de text („Generated model”).
Figura 12. Meniul pentru declansarea functiei de antrenare a clasificatorului
Fig. 13. Caseta de dialog pentru antrenarea clasificatorului
Pentru a evalua clasificatorul antrenat, se alege optiunea Imagistic Model/ Classifier
Evaluation/ Multilayer Perceptron (MLP).
Fig. 14. Meniul pentru declansarea functiei de evaluare a clasificatorului
In caseta de dialog „Classifier Evaluation(MLP)” se specifica calea catre setul de test, in
format „.arff”, calea catre modelul salvat (clasificatorul antrenat, dupa care se apasa butonul
„Evaluate”. Parametrii de performanta se afiseaza in caseta de text „Evaluation results”.
Meniul pentru determinarea si vizualizarea valorilor trasaturilor texturale si a efectelor
aplicarii metodelor de analiza a imaginilor:
Deschiderea unei imagini:
Pentru a selecta o imagine de pe disc si a o deschide in contextul aplicatiei se
alege, din meniul File, comanda Open, apoi se alege fisierul dorit.
Selectarea unei regiuni de interes in imaginea ecografica:
Pentru a selecta o regiune de interes, se seteaza, din meniul ROI, “Select rectangle with mouse”.
Pentru a determina valorile trasaturilor texturale, din meniul Texture analysis, se alege
metoda dorita pentru analiza texturii. Valorile trasaturilor texturale se pot vizualiza in casete de
dialog.
Fig. 15. Caseta de dialog pentru evaluarea clasificatorului
Figura 16. Meniul pentru selectia regiunii de interes
Fig. 17. Meniul pentru determinarea trasaturilor texturale
Efectele aplicarii metodelor destinate analizei texturii sunt vizibile pe intreaga imagine, sau pe
regiunea de interes selectata.
Meniul pentru vizualizarea modelului imagistic:
Dupa deschiderea unei imagini, si selectarea unei regiuni de interes, din meniul Imagistic
model, se poate selecta une din optiunile: Specific parameters and confidence intervals sau
Probability Distribution. Aceste valori specifice rezultate din modelul imagistic pot fi
vizualizate simultan cu valorile trasaturilor texturale determinate pe regiunea de interes si
comparate cu acestea.
Fig. 18. Meniul pentru vizualizarea modelului imagistic
In fereastra „Probability distributions” se pot vizualiza distributiile de probabilitate asociate
trasaturilor texturale relevante. Acesteea apar sub forma unor intervale de valori, care au
asociata o valoare a probabilitatii pentru fiecare clasa.
Fig. 19. Vizualizarea distributiilor de probabilitate
Meniul destinat clasificarii automate si stabilirii naturii tesutului din ROI Dupa deschiderea unei imagini si selectia unei regiuni de interes, al carei tesut
se doreste a fi clasificat, se apeleaza optiunea Multilayer Perceptron, din meniul
Classification. Se apeleaza functia de clasificare a Perceptronului Multinivel din
biblioteca Weka.
Fig. 20 Meniul pentru recunoasterea (clasificarea) automata
Rezultatul clasificarii este afisat in caseta de dialog „MLP Classification”. Daca acest
rezultat este unul incorect (clasa nu corespunde cu cea reala), atunci utilizatorul are posibilitatea
de a salva instanta (valorile trasaturilor texturale corespunzatoare regiunii de ineters selectate)
in setul de antrenament, acesteia asociindu-i-se valoarea reala a clasei, selectata din lista
derulanta (Class).
Evaluarea si validarea modelului imagistic
Evaluare
Modelul imagistic a fost evaluat, asa cum s-a mentionat mai sus, prin intermediul
clasificatorilor supervizati, carora li s-au furnizat la intrare valorile trasaturilor relevante. Indicii
de evaluare au fost reprezentati prin parametrii de performanta ai clasificatorului – rata valorilor
pozitive (True Positive Rate – TP), rata valorilor negative (True Negative Rate – TN), rata de
clasificare corecta, aria de sub curba ROC (Receiver Operating Characteristic).
Validare
Modelul imagistic a fost validat prin confirmarea unor rate crescute de recunoastere
ale clasificatorilor ce utilizeaza la intrare trasaturile imagistice relevante, in urma unor
experimente multiple, pe seturi diferite de date, precum si prin compararea valorilor
caracteristice ale trasaturilor relevante din modelul imagistic cu valori ale trasaturilor imagistice
calculate pe regiunile de interes selectate, in cazuri multiple.
Trasaturi considerate:
Trasaturi texturale clasice: Matricea de Coocurenta a Nivelurilor de Gri (GLCM);
indicele de autocorelatie; indicele fractal Hurst; statistici bazate pe muchii: orientarea medie a
muchiilor, frecventa muchiilor, contrastul mediu al muchiilor; statistici determinate dupa
aplicarea nucleelor de convolutie Laws; entropia Shannon determinate dupa aplicarea
transformatei Wavelet
Trasaturi texturale originale: variabilitatea in orientarea muchiilor, variabitatea
gradientului directional, GLCM de ordinul 3 si parametrii Haralick asociati: omogenitatea,
energia, entropia, corelatia, contrastul, varianta; matricea de coocurenta a orientarilor muchiilor
(Edge Orientation Cooccurrence Matrix – EOCM) si parametrii Haralick asociati