Top Banner
La struttura modulare della corteccia visiva Giovanna Citti Università degli studi di Bologna Lavoro in collaborazione con A. Sarti CAMS EHESS Paris
52

La struttura modulare della corteccia visivafioresi/2018/dl/bologna_seminario.pdf · Riassunto 1^ parte: Fenomenologia della percezione Struttura della corteccia visiva 2^ parte:

Feb 18, 2019

Download

Documents

ngodang
Welcome message from author
This document is posted to help you gain knowledge. Please leave a comment to let me know what you think about it! Share it to your friends and learn new things together.
Transcript
Page 1: La struttura modulare della corteccia visivafioresi/2018/dl/bologna_seminario.pdf · Riassunto 1^ parte: Fenomenologia della percezione Struttura della corteccia visiva 2^ parte:

La struttura modulare della

corteccia visiva

Giovanna Citti

Università degli studi di Bologna

Lavoro in collaborazione con

A. Sarti – CAMS EHESS Paris

Page 2: La struttura modulare della corteccia visivafioresi/2018/dl/bologna_seminario.pdf · Riassunto 1^ parte: Fenomenologia della percezione Struttura della corteccia visiva 2^ parte:

Riassunto1^ parte:

Fenomenologia della percezione

Struttura della corteccia visiva

2^ parte:

Corteccia visiva e apprendimento

Page 3: La struttura modulare della corteccia visivafioresi/2018/dl/bologna_seminario.pdf · Riassunto 1^ parte: Fenomenologia della percezione Struttura della corteccia visiva 2^ parte:

Immagini e percezioneUn'immagine è una funzione definita su un rettangolo che

viene descritta in toni di grigio. E un dato non strutturato.

Eppure noi percepiamo oggetti, e forme. Il problema è quindi

individuare la forma rispetto allo sfondo. Prima ancora di

classificarla

Page 4: La struttura modulare della corteccia visivafioresi/2018/dl/bologna_seminario.pdf · Riassunto 1^ parte: Fenomenologia della percezione Struttura della corteccia visiva 2^ parte:
Page 5: La struttura modulare della corteccia visivafioresi/2018/dl/bologna_seminario.pdf · Riassunto 1^ parte: Fenomenologia della percezione Struttura della corteccia visiva 2^ parte:

La psicologia della percezione:

percepiamo differenze

Page 6: La struttura modulare della corteccia visivafioresi/2018/dl/bologna_seminario.pdf · Riassunto 1^ parte: Fenomenologia della percezione Struttura della corteccia visiva 2^ parte:

Le leggi della Gestalt:

aspetti locali

Vicinanza, somiglianza

buona continuazione convessità

Page 7: La struttura modulare della corteccia visivafioresi/2018/dl/bologna_seminario.pdf · Riassunto 1^ parte: Fenomenologia della percezione Struttura della corteccia visiva 2^ parte:

Aspetti globali

Articolazione senza resti

Gaetano Kanizsa – grammatica del vedere - 1997

Page 8: La struttura modulare della corteccia visivafioresi/2018/dl/bologna_seminario.pdf · Riassunto 1^ parte: Fenomenologia della percezione Struttura della corteccia visiva 2^ parte:

Modelli di corteccia visiva

[W. C. Hoffmann '89] [Petitot Tondut '99]

[Sarti C. '03], [Zucker '05] [Sarti C. Peitot '08]

[Duits van Almsick Franchen, ter Haar Roomeny '06]

[Hladky Pausl '08]

Page 9: La struttura modulare della corteccia visivafioresi/2018/dl/bologna_seminario.pdf · Riassunto 1^ parte: Fenomenologia della percezione Struttura della corteccia visiva 2^ parte:

Campo profilo recettore

L'insieme dei recettori retinici che portano informazioni ad una

specifica cellula cella corteccia visiva

Il profilo recettore è una funzione definito sul campo recettore

e descrive l'intensità della risposta ad uno stimolo

visivo [Hubel Wiesel]

Page 10: La struttura modulare della corteccia visivafioresi/2018/dl/bologna_seminario.pdf · Riassunto 1^ parte: Fenomenologia della percezione Struttura della corteccia visiva 2^ parte:

Profili recettori in LGN

\

Profili isotropi, modellati da laplaciano di Gaussiana

Tutte le cellule sono ottenute da una cellula fissata per

traslazione

Page 11: La struttura modulare della corteccia visivafioresi/2018/dl/bologna_seminario.pdf · Riassunto 1^ parte: Fenomenologia della percezione Struttura della corteccia visiva 2^ parte:

Azione delle cellule dell'LGN

In presenza di un'immagine I

Page 12: La struttura modulare della corteccia visivafioresi/2018/dl/bologna_seminario.pdf · Riassunto 1^ parte: Fenomenologia della percezione Struttura della corteccia visiva 2^ parte:

Connettività in LGN

Si modella con un nucleo isotropo.

Scegliamo per semplicità la soluzione

Fondamentale del Laplaciano

L’operatore più semplice associato a questo nucleo è

quello lineare:

Page 13: La struttura modulare della corteccia visivafioresi/2018/dl/bologna_seminario.pdf · Riassunto 1^ parte: Fenomenologia della percezione Struttura della corteccia visiva 2^ parte:

Un modello lineare- [C. Sarti]

Non si recupera l’immagine iniziale, ma

è armonica

Page 14: La struttura modulare della corteccia visivafioresi/2018/dl/bologna_seminario.pdf · Riassunto 1^ parte: Fenomenologia della percezione Struttura della corteccia visiva 2^ parte:

Barbieri Citti Cocci Sarti

Consideriamo l’insieme delle cellule che hanno Output

positivo.

L’operatore può essere ristretto a funzioni definite su

questo insieme

I suoi autovettori sono un modello delle unità percettive

In colore sono rappresentati

Gli autovettori associati ai primi

3 autovalori

Page 15: La struttura modulare della corteccia visivafioresi/2018/dl/bologna_seminario.pdf · Riassunto 1^ parte: Fenomenologia della percezione Struttura della corteccia visiva 2^ parte:

L’output di LGN è l’input delle

cellule di V1

Page 16: La struttura modulare della corteccia visivafioresi/2018/dl/bologna_seminario.pdf · Riassunto 1^ parte: Fenomenologia della percezione Struttura della corteccia visiva 2^ parte:

Profili recettori in V1Profili direzionali (de angelis, Hubel e Wiesel) – modellati

da derivate prima di Gaussiana

Ogni altra cellula è ottenuta per rotazione e traslazione

Page 17: La struttura modulare della corteccia visivafioresi/2018/dl/bologna_seminario.pdf · Riassunto 1^ parte: Fenomenologia della percezione Struttura della corteccia visiva 2^ parte:

Azione delle cellule semplici

step non-lineare

un filtraggio lineare

Il punto di Massimo ndica l'orientazione del bordo

Page 18: La struttura modulare della corteccia visivafioresi/2018/dl/bologna_seminario.pdf · Riassunto 1^ parte: Fenomenologia della percezione Struttura della corteccia visiva 2^ parte:

Lifting dei bordi

Ogni level line è liftata ad una curva integrale dei due campi

Verificano la condizione di Hormander. La propagazione del segnale avviene lungo queste curve?

Page 19: La struttura modulare della corteccia visivafioresi/2018/dl/bologna_seminario.pdf · Riassunto 1^ parte: Fenomenologia della percezione Struttura della corteccia visiva 2^ parte:

La struttura a pinwheels

Il modello è un’idealizzazione – ispirata al cubo di ghiaccio di Hubel e Wiesel. La corteccia visive implementa in 2D questa struttura: la dimensione spaziale è discretizzata e attorno ad ogni puntoci sono tutte le orientazioni in una struttura detta piinwhells

Page 20: La struttura modulare della corteccia visivafioresi/2018/dl/bologna_seminario.pdf · Riassunto 1^ parte: Fenomenologia della percezione Struttura della corteccia visiva 2^ parte:

Modello dei nuclei di connettività

La connettività è fortemente direzionale. Si modella con la soluzione fondamentale della Fokker Plank in SE(2) ristretta allo spazio dei pinwheels

Page 21: La struttura modulare della corteccia visivafioresi/2018/dl/bologna_seminario.pdf · Riassunto 1^ parte: Fenomenologia della percezione Struttura della corteccia visiva 2^ parte:

Queste cellule giustificano un esperimento di Field, Hayes, Hess

Page 22: La struttura modulare della corteccia visivafioresi/2018/dl/bologna_seminario.pdf · Riassunto 1^ parte: Fenomenologia della percezione Struttura della corteccia visiva 2^ parte:

Possiamo ripetere la selezione di un insieme di cellule attive

Restringere la soluzione fondamentale di V1 a questo nuovo insieme

E riproiettiamo sul piano 2D retinico. Gli autovettori definiscono unità

percettive che tengono conto di posizione e orientazione

Page 23: La struttura modulare della corteccia visivafioresi/2018/dl/bologna_seminario.pdf · Riassunto 1^ parte: Fenomenologia della percezione Struttura della corteccia visiva 2^ parte:

Feedforward and feedbackLe cellule di LGN determinano intensità di colore, le

cellule semplici determinano (e completano) bordi. Le

due informazioni devono essere compatibili

Page 24: La struttura modulare della corteccia visivafioresi/2018/dl/bologna_seminario.pdf · Riassunto 1^ parte: Fenomenologia della percezione Struttura della corteccia visiva 2^ parte:

La struttura modulare della corteccia

●Scala – invarianza per dilatazioni

●Colore

●Movimento:gruppo galileiano

●Le invarianze delle immagini caratterizzano gli spazi di cellule

●Spazio delle fasi e spazi di cellule

Page 25: La struttura modulare della corteccia visivafioresi/2018/dl/bologna_seminario.pdf · Riassunto 1^ parte: Fenomenologia della percezione Struttura della corteccia visiva 2^ parte:
Page 26: La struttura modulare della corteccia visivafioresi/2018/dl/bologna_seminario.pdf · Riassunto 1^ parte: Fenomenologia della percezione Struttura della corteccia visiva 2^ parte:

Grazie dell’attenzione

Page 27: La struttura modulare della corteccia visivafioresi/2018/dl/bologna_seminario.pdf · Riassunto 1^ parte: Fenomenologia della percezione Struttura della corteccia visiva 2^ parte:

La struttura modulare della

corteccia visive – Part II

Giovanna Citti

Università degli studi di Bologna

Lavoro in collaborazione con

A. Sarti – CAMS EHESS Paris

Page 28: La struttura modulare della corteccia visivafioresi/2018/dl/bologna_seminario.pdf · Riassunto 1^ parte: Fenomenologia della percezione Struttura della corteccia visiva 2^ parte:

Riassunto

- famiglie di cellule e gruppi di Lie (richiami della volta scorsa)

- Il deeplearning è ispirato alla struttura corticale, ma i nuclei sono

appresi. I nuclei corticali sono appresi?

- Principio di indeterminazione

Page 29: La struttura modulare della corteccia visivafioresi/2018/dl/bologna_seminario.pdf · Riassunto 1^ parte: Fenomenologia della percezione Struttura della corteccia visiva 2^ parte:

La corteccia visiva ha una struttura modulare

Page 30: La struttura modulare della corteccia visivafioresi/2018/dl/bologna_seminario.pdf · Riassunto 1^ parte: Fenomenologia della percezione Struttura della corteccia visiva 2^ parte:

Nel nostro modello ogni famiglia di

cellule è descritta da un gruppo

L’insieme dei profili recettori delle cellule è un gruppo di Lie

La propagazione è nella direzione dell’algebra di Lie associata. Ma

questo non definisce completamente la struttura

I profili recettori operano sul segnale retinico

Output delle cellule è una funzione

Selezione del massimo

Page 31: La struttura modulare della corteccia visivafioresi/2018/dl/bologna_seminario.pdf · Riassunto 1^ parte: Fenomenologia della percezione Struttura della corteccia visiva 2^ parte:

Geometria dell’insieme dei recettori

Ex gruppo di rotazione e traslazione

Nel nucleo della forma abbiamo i campi

E induce la condizione

Definisce formalmente la 1-forma

L’azione delle cellule seleziona l’orientazione:

L’algebra di Lie è generata dai campi:

Legge di gruppo:

Page 32: La struttura modulare della corteccia visivafioresi/2018/dl/bologna_seminario.pdf · Riassunto 1^ parte: Fenomenologia della percezione Struttura della corteccia visiva 2^ parte:

Propagazione nel gruppoL’output è sottoposto a propagazione mediante equazioni

espresse in termini dei campi. I modelli piu semplici sono lineari

Le relative soluzioni fondamentali modellano i nuclei di connettività

Piu in generale sono stati

proposti algoritmi a due passi,

uno lineare, uno no, che

danno luogo ad equazioni

non lineari, per esempio di

curvatura.

Page 33: La struttura modulare della corteccia visivafioresi/2018/dl/bologna_seminario.pdf · Riassunto 1^ parte: Fenomenologia della percezione Struttura della corteccia visiva 2^ parte:

La struttura modulare della corteccia

Scala

Movimento: sottogruppo del gruppo galileiano

Per ciascuna di queste famiglie abbiamo delle verifiche sperimentali

Spazio delle fasi generalizzato

Page 34: La struttura modulare della corteccia visivafioresi/2018/dl/bologna_seminario.pdf · Riassunto 1^ parte: Fenomenologia della percezione Struttura della corteccia visiva 2^ parte:

deeplearning e corteccia

Gli algoritmi di deeplearning emulano la struttura della corteccia

Page 35: La struttura modulare della corteccia visivafioresi/2018/dl/bologna_seminario.pdf · Riassunto 1^ parte: Fenomenologia della percezione Struttura della corteccia visiva 2^ parte:

Nuclei appresi con IMAGENET

Modello di T.Poggio

Page 36: La struttura modulare della corteccia visivafioresi/2018/dl/bologna_seminario.pdf · Riassunto 1^ parte: Fenomenologia della percezione Struttura della corteccia visiva 2^ parte:

- I filtri corticali sono misurati o appresi?

- Come possono misurare posizione e

orientazione?

Page 37: La struttura modulare della corteccia visivafioresi/2018/dl/bologna_seminario.pdf · Riassunto 1^ parte: Fenomenologia della percezione Struttura della corteccia visiva 2^ parte:

I nuclei sono appresi

Sanguinetti Citti Sarti

Page 38: La struttura modulare della corteccia visivafioresi/2018/dl/bologna_seminario.pdf · Riassunto 1^ parte: Fenomenologia della percezione Struttura della corteccia visiva 2^ parte:
Page 39: La struttura modulare della corteccia visivafioresi/2018/dl/bologna_seminario.pdf · Riassunto 1^ parte: Fenomenologia della percezione Struttura della corteccia visiva 2^ parte:
Page 40: La struttura modulare della corteccia visivafioresi/2018/dl/bologna_seminario.pdf · Riassunto 1^ parte: Fenomenologia della percezione Struttura della corteccia visiva 2^ parte:
Page 41: La struttura modulare della corteccia visivafioresi/2018/dl/bologna_seminario.pdf · Riassunto 1^ parte: Fenomenologia della percezione Struttura della corteccia visiva 2^ parte:
Page 42: La struttura modulare della corteccia visivafioresi/2018/dl/bologna_seminario.pdf · Riassunto 1^ parte: Fenomenologia della percezione Struttura della corteccia visiva 2^ parte:

3D

Page 43: La struttura modulare della corteccia visivafioresi/2018/dl/bologna_seminario.pdf · Riassunto 1^ parte: Fenomenologia della percezione Struttura della corteccia visiva 2^ parte:

Soluzione fondamentale della Fokker Plank e istogramma

Page 44: La struttura modulare della corteccia visivafioresi/2018/dl/bologna_seminario.pdf · Riassunto 1^ parte: Fenomenologia della percezione Struttura della corteccia visiva 2^ parte:

I nuclei dipendono dalla famiglia di immagini scelta

Page 45: La struttura modulare della corteccia visivafioresi/2018/dl/bologna_seminario.pdf · Riassunto 1^ parte: Fenomenologia della percezione Struttura della corteccia visiva 2^ parte:

Il principio di indeterminazione

Page 46: La struttura modulare della corteccia visivafioresi/2018/dl/bologna_seminario.pdf · Riassunto 1^ parte: Fenomenologia della percezione Struttura della corteccia visiva 2^ parte:

Consideriamo la funzione

I filtri di Gabor come minimi

Indichiamo i filtri ottenuti da una traslazione e rotazione del filtro nel punto (x,y) e di un angolo

E’ una verifica diretta che siano minimi del principio di indeterminazione rispetto ai campi

La stessa proprietà vale anche negli altri gruppi considerati

Page 47: La struttura modulare della corteccia visivafioresi/2018/dl/bologna_seminario.pdf · Riassunto 1^ parte: Fenomenologia della percezione Struttura della corteccia visiva 2^ parte:

Il cambio di variabile è un automorfismo di

E l’azione dei filtri è una trasformata Bargmann

Page 48: La struttura modulare della corteccia visivafioresi/2018/dl/bologna_seminario.pdf · Riassunto 1^ parte: Fenomenologia della percezione Struttura della corteccia visiva 2^ parte:

I pinwheels

Page 49: La struttura modulare della corteccia visivafioresi/2018/dl/bologna_seminario.pdf · Riassunto 1^ parte: Fenomenologia della percezione Struttura della corteccia visiva 2^ parte:

I campi vettoriali diventano

Il principio di indeterminazione

Page 50: La struttura modulare della corteccia visivafioresi/2018/dl/bologna_seminario.pdf · Riassunto 1^ parte: Fenomenologia della percezione Struttura della corteccia visiva 2^ parte:

Sembra che I pinwheels si formino in assenza di stimuli, ma solo di onde random

Minimi del principio di indeterminazione

Page 51: La struttura modulare della corteccia visivafioresi/2018/dl/bologna_seminario.pdf · Riassunto 1^ parte: Fenomenologia della percezione Struttura della corteccia visiva 2^ parte:
Page 52: La struttura modulare della corteccia visivafioresi/2018/dl/bologna_seminario.pdf · Riassunto 1^ parte: Fenomenologia della percezione Struttura della corteccia visiva 2^ parte: