Enfoque Geometrico

1

Curso de Reconocimiento de Patrones

CENATAVLa Habana, 2004

Edel García Reyes

Enfoque Geométrico de Reconocimiento de Patrones

2

Problemas fundamentales del diseño de un sistema de reconocimiento de patrones

1. Representación de los datos de entrada (medidas de los objetos que serán reconocidos

2. Extracción de rasgos y reducción de la dimensionalidad del vector de los patrones

3. Determinación de un procedimiento de decisión óptimo

3

Representación de los datos de entrada

R1: Conjunto de jugadores profesionales de football

R2: Conjunto de jugadores profesionales de jockey

Patrones: X=(x1,x2)’

x1: altura

x2: peso

4

Representación de los datos de entrada

En situaciones prácticas no siempre es posible especificar rasgos que resulten en conjuntos claramente disjuntos.

Ejemplo: Sería considerable el solape entre las clases de jugadores profesionales de football y de basketball, si se toman como criterios de discriminación la altura y el peso

5

Extracción de rasgos y reducción de la dimensionalidad del vector de los patrones

Propiedades intraconjunto: atributos comunes a todos los patrones que pertenecen a esa clase. No aportan información discriminatoria y pueden ser ignoradas.

Propiedades interconjuntos: atributos que representan las diferencias entre clases de patrones.

Si se encuentra un conjunto completo de características discriminatorias para cada una de las clases de patrones, el reconocimiento tendrá pocas dificultades. El reconocimiento automático se reduce a un simple proceso de macheo o un esquema de tabla de búsqueda.

6

Determinación de un procedimiento de decisión óptimo

Después que los datos observados de los patrones a ser reconocidos fueron expresados en forma de vectores de rasgos, se desea que la máquina decida a que clase pertenecen.

7

Determinación de un procedimiento de decisión óptimo

Asumiendo que la máquina es diseñada para reconocer K clases de patrones diferentes. Entonces, el espacio de los patrones puede ser considerado que consiste de K regiones, cada una de las cuales encierra los puntos patrones de una clase.

El problema de reconocimiento puede ser ahora visto como el de generar fronteras de decisión que separan las K clases de patrones sobre la base de los vectores de rasgos observados.

Las fronteras de decisión pueden ser definida por funciones de decisión o funciones discriminantes, de la forma d1(x), d2(x),…,dK(x).

Si di(x) > dj(x) para i,j=1,2,..K, i <> i, el patrón x pertenece a la clase Ki

8

Funciones de decisión

Se puede observar que las clases pueden ser convenientemente separadas por una línea recta

Si d(x) > 0 x pertenece a R1

Si d(x) < 0 x pertenece a R2

Si d(x) = 0 indeterminado

9

El éxito del esquema de clasificación anterior depende de dos factores:

1. La forma de d(x)

2. Los coeficientes

10

Funciones de Decisión Lineal .

Caso n-dimensional d(x) = w1 x1 + w2 x2 + …+ wn xn + wn+1

= W’0 x + wn+1

donde W0 = ( W 1, W2, …, Wn )’ . Este es el vector de pesos o parámetros

Forma de la Función de decisión lineal con el vector de patrón aumentado

d(x) = W’ x (producto escalar)

donde X = ( X1, X2, …, Xn, 1 )’ y W = ( W1, W2, …, Wn, Wn+1 )’

11

Función de decisión – 2 clases R1 y R2

d(x) = W’X > 0 si x pertenece a R1

d(x) = W’X < 0 si x pertenece a R2

12

Función de decisión – m clases R1, R2 , …, Rm

Caso 1: Cada clase es separable de las otras por una superficie de decisión simple

di(x) = W’i X > 0 si x pertenece a Ri

di(x) = W’i X < 0 otro caso

Wi = (Wi1, Wi2, … , Win, Wi n+1)’ es el vector de pesos asociado con la función de decisión i

13


Ejemplo de funciones de decisión :

d1(x) = -x1 + x2 d2(x) = x1 + x2 – 5 d3(x) = -x2 +1

Superficies de decisión: -x1 + x2 =0 , x1 + x2 – 5 = 0, -x2 + 1 = 0

Clasificar el patrón

X=(6,5)’

d1(X) = -1, d2(X) = 6, d3(X)= - 4

X es asignado a R2

Ya que

d2(X) > 0 mientras

d1(X) < 0 y d3(X) < 0

A pesar de que la clase Ri ocupa una región relativamente pequeña, la región de decisión es infinitamente extendida

14


Caso 2: Cada clase es separable de las otras por distintas superficies de decisión. Las clases son separables dos a dos.

En este caso hay K(K-1)/2 superficies de decisión de forma tal que

dij(x) = W’ij X > 0 si x pertenece a Ri para todo j<>i

Estas funciones tienen la propiedad de que dij(x) = - dji (x)

15


Ejemplo de funciones de decisión :

Ninguna clase es separable de las otras por una superficie de decisión simple.

Cada frontera es capaz de separar justo dos clases

16


Las regiones de decisión en este caso están dadas por el lado positivo de las múltiples superficies de decisión

Como en el caso1 las regiones de decisión son extendidas infinitas y hay indeterminaciones

Clasificar el patrón X=(4,3)’

d12(X) = -2, d13(X) =-1, d23(X) = - 1

Entonces:d21(x) = 2, d31(x) = 1, d32(x) = 1

X es asignado a R3

Ya que d3j(X) > 0 para j=1,2

17


Caso 3: Existen K funciones de decisión

dk(x) = Wk’X, k=1,2,…,K

con la propiedad de que si x pertenece a la clase Ri

di(x) > dj(x) para todo j<> i

Esta es una situación particular del Caso 2 ya que puede ser definido

dij(x) = di(x) - dj(x) = (Wi – Wj)’ x = Wij’ x

Si di(x) > dj(x) para todo j<>i entonces dij > 0 para todo j<>i

18

Funciones de Decisión Generalizadas

Donde f i(x) , i=1,2,…,K funciones reales del patrón x

Forma de la Función de decisión con el vector de patrón aumentado

d(x) = W’ x* (producto escalar)

donde W = ( W1, W2, …, Wk, Wk+1 )’ y

x* =(f1(x) , f2(x) , …, fk(x),1 )

wfwfwfw kkkxxxxd

12211)(...)()()(

19


Una vez evaluadas todas las funciones f i (x) , i=1,2,…,K se tiene un conjunto de valores numéricos.

x* es un vector K-dimensional aumentado por 1.

Aquí k puede ser considerablemente mayor que n.

La dimensión depende de la cantidad de funciones evaluadas en x que se combinan para formar la función de decisión

20


Una de las funciones f i (x) , i=1,2,…,K más comúnmente usadas son las de forma polinomial

En el caso más simple las funciones de decisión son lineales:

Si x=(x1,x2,..,xn)’ y f i (x) =x i con K=n

d(x) = W’ x + w n+1

21


wxwxwxwxxwxwxd32211

2

2222112

2

111)(

En el caso bidimensional x=(x1,x2)’ se tiene la siguiente función de decisión:

wxwxxwxw n

n

jjjk

n

j

n

jkjjkj

n

jjj

xd1

1

1

1 1

2

1

)(

El próximo nivel de complejidad son funciones de segundo grado o cuadráticas:

22


wxwxxwxw n

n

jjjk

n

j

n

jkjjkj

n

jjj

xd1

1

1

1 1

2

1

)(

wfwfwfw kkkxxxxd

12211)(...)()()(

Comparando con la formula general de la función de decisión

Se observa que

xxf t

q

s

pix )(

donde p, q=1,2,…, n; s, t=0,1

23


xxxf sp

sp

sp

x r

ri

...)( 2

2

1

1

npppr

,...,2,1,...,,21

1,0,...,,21

sss r

La función polinomial de orden r con n variables es formada de la siguiente manera:

xp pp pp

ppppppx dxxxwdr

n n nr

rr

rr

1

1...

1 12 1

2121

......

Las funciones )(xfi

se definen de la forma

wd nx

1

0)(

donde r es el grado de no linealidad y

24


xp pp

ppppx dxxwd1

2

1

22

1 12

2121

Ejemplo: r=2 y n=2

wxwxwdxwd xp

ppx32211

02

1

1)()(

1

11

25


)()(12

2222112

2

111

2xx dxwxxwxwd

wxwxwxwxxwxw 32211

2

2222112

2

111

26


!!!

nrrn

CNrn

rw

El número de términos que se necesitan para describir una función de decisión polinómica crece rápidamente como una función de r y n

r=1 r=2 r=3 r=4

n=1 2 3 4 5

n=2 3 6 10 15

n=3 4 10 20 35

n=4 5 15 35 70

27


wxwxxwxw n

n

jjjk

n

j

n

jkjjkj

n

jjj

xd1

1

1

1 1

2

1

)(

aw jjjj aw jkjk 2

Con referencia a la ecuación cuadrática en n variables:

Si ponemos:

bw jj cwn

1

Podemos escribir

cxd bxxAx '')(

28

Regiones de decisión

a) Lineales

b) Cuadráticas

c) General

a) b) c)

29

Distribución normal multivariada

30

Funciones Discriminantes

Se define una función discriminante para la clase j

XPX kd jj|()(

Seleccionar Kj si P( Kj | X ) > P( ki | X ) Para todo j<>i

Probabilidad a posteriori

31

Usando Fórmula de Bayes

xppxp

xpkk

k jj

j

|)|(

Regla de Bayes

P(X | Kj)

P( Kj)

X

P( Kj | X)

kk jj

jpxpxp

2

1

|

32

Estrategia de clasificación

Seleccionar Kj si p(X | Kj) P(Kj) > p(x | Ki) p(Ki) para todo i <> j

33

Formas Cuadráticas y Matrices

Veremos algunos conceptos básicos sobre este tema porque son necesarios para entender:

1. La forma de la frontera de decisión cuadrática

2. La distancia de Mahalanobis

3. La regla de Máxima Verosimilitud

4. La trasformación de componentes principales

5. Otras aplicaciones de la formas cuadráticas en el procesamiento digital de imágenes (descriptores geométricos invariantes, ejes de simetría, etc.)

34


Sea el polinomio homogéneo (formado solo por términos de segundo grado)

yx CBxyA22

2

Este polinomio se llama forma cuadrática de dos variables x e y

35


yx CBxyA22

2

y

x

CB

BAyx

yCyBxxByAxy

xCyBxByAx

Representación matricial

=

yxyx CBxyACBxyByxA2222

2

=

=

36


Reducción de la forma cuadrática a la forma canónica:

Esencia del problema: Hay que girar los ejes coordenados de tal forma, que después que se representa la forma cuadrática en los nuevos ejes coordenados, desaparece

el termino que contiene el producto de las coordenadas.

''2

2

2

1

222 yxyx CBxyA

El segundo miembro se llama forma canónica

37

Ecuación característica de la Forma Cuadrática

0

CB

BA

1Las raíces 2

y

se llaman raíces características de la forma cuadrática. Estas serán los coeficientes de la forma canónica

38

Ejemplo

208121722 yx xy

2086

617

y

xyx

01002586

617 2

Reducir a la forma canónica la ecuación

Resolución:

Forma matricial

5220

1

Ecuación característica

Raíces características

39

Ejemplo

20520 ''22 yxEcuación canónica

141

''22

yxo

40

Valores y Vectores propios de la matriz

y

x

y

x

CB

BA

y

x

Valor Propio

Vector Propio

41

Discriminante de la forma cuadrática

CB

BAAC B 2

1 2

Denotado generalmente por

Según el teorema de Vietta

21

donde y

son las raíces características de la forma cuadrática

42

Clasificación de las Formas Cuadráticas

0

0

• Elíptica

• Hiperbólica

• Parabólica 0

43

Ecuación general de una curva de segundo

orden en x e y

yx CBxyA22

2

022222 FEyDxCBxyA yx

EyDx 22

Esta formada por:

1. La forma cuadrática de los términos de mayor grado

2. La forma lineal de los términos de primer grado

3. El término independiente F

44

Espacio de patrones

0xd

0xd

XX1

2

1

1,

Función de decisión para un problema de 2 clases

Para todos los patrones de una clase

Para todos los patrones de la otra clase

Asumiendo que cada clase tiene solo 2 patrones:

XX2

2

2

1,

Clase 1

Clase 2

45

Espacio de patrones

wwww321

,,

03

1

122

1

111 wxwxw

03

2

122

2

111 wxwxw

Si las clases son linealmente separables, el problema es encontrar

Tal que:

03

1

222

1

211 wxwxw

03

2

222

2

211 wxwxw

46

Espacio de patrones

03

1

122

1

111 wxwxw

03

2

122

2

111 wxwxw

Multiplicando los patrones de la clase 2 por -1

03

1

222

1

211 wxwxw

03

2

222

2

211 wxwxw

Enfoque Geometrico

Documents