Boolean Reasoning for Feature Extraction Problems

7/29/2019 Boolean Reasoning for Feature Extraction Problems

1/11

B o o l e a n R e a s o n i n g f o r F e a t u r e E x t r a c t i o n

P r o b l e m s

H u n g S o n N g u y e n , A n d r z e j S k o w r o n

I n s t i t u t e o f M a t h e m a t i c s , W a r s a w U n i v e r s i t y

B a n a c h a 2 , W a r s a w P o l a n d

e m a i l : s o n @ a l f a . m i m u w . e d u . p l ; s k o w r o n @ m i m u w . e d u . p l

A b s t r a c t . W e r e c a l l s e v e r a l a p p l i c a t i o n s o f B o o l e a n r e a s o n i n g f o r f e a -

t u r e e x t r a c t i o n a n d w e p r o p o s e a n a p p r o a c h b a s e d o n B o o l e a n r e a s o n i n g

f o r n e w f e a t u r e e x t r a c t i o n f r o m d a t a t a b l e s w i t h s y m b o l i c ( n o m i n a l , q u a l -

i t a t i v e ) a t t r i b u t e s . N e w f e a t u r e s a r e o f t h e f o r m a 2 V , w h e r e V V

a

a n d V

a

i s t h e s e t o f v a l u e s o f a t t r i b u t e a . W e e m p h a s i z e t h a t B o o l e a n

r e a s o n i n g i s a l s o a g o o d f r a m e w o r k f o r c o m p l e x i t y a n a l y s i s o f t h e a p -

p r o x i m a t e s o l u t i o n s o f t h e d i s c u s s e d p r o b l e m s .

1 I n t r o d u c t i o n

" F e a t u r e E x t r a c t i o n " a n d " F e a t u r e S e l e c t i o n " a r e i m p o r t a n t p r o b l e m s i n M a -

c h i n e L e a r n i n g a n d D a t a M i n i n g ( s e e e . g . 6 , 3 , 4 ] ) . I n p r e v i o u s p a p e r s w e h a v e

c o n s i d e r e d p r o b l e m s l i k e : s h o r t r e d u c t n d i n g p r o b l e m 1 6 ] , r u l e i n d u c t i o n p r o b -

l e m 1 7 ] , o p t i m a l d i s c r e t i z a t i o n p r o b l e m 1 2 ] , l i n e a r f e a t u r e ( h y p e r p l a n e ) s e a r c h i n g

p r o b l e m 1 3 ] . O u r s o l u t i o n s o f t h e s e p r o b l e m s a r e b a s e d o n B o o l e a n r e a s o n i n g

s c h e m a 2 ] .

I n t h i s p a p e r w e d i s c u s s a p r o b l e m o f s e a r c h i n g f o r n e w f e a t u r e s f r o m a

d a t a t a b l e w i t h s y m b o l i c ( q u a l i t a t i v e ) v a l u e s o f a t t r i b u t e s . T h i s p r o b l e m , c a l l e d

s y m b o l i c v a l u e p a r t i t i o n p r o b l e m d i e r s f r o m t h e d i s c r e t i z a t i o n p r o b l e m . W e d o

n o t a s s u m e a n y p r e - d e n e d o r d e r o n v a l u e s o f a t t r i b u t e s . O n c e a g a i n , w e a p p l y

r o u g h s e t m e t h o d a n d B o o l e a n r e a s o n i n g t o c o n s t r u c t h e u r i s t i c s s e a r c h i n g f o r

r e l e v a n t f e a t u r e s o f t h e f o r m a 2 V V

a

g e n e r a t e d b y p a r t i t i o n s o f s y m b o l i c

v a l u e s o f c o n d i t i o n a l a t t r i b u t e s i n t o a s m a l l n u m b e r o f v a l u e s e t s .

W e a l s o p o i n t o u t t h a t B o o l e a n r e a s o n i n g c a n b e u s e d a s a t o o l t o m e a s u r e

t h e c o m p l e x i t y o f a p p r o x i m a t e s o l u t i o n o f a g i v e n p r o b l e m . A s a c o m p l e x i t y

m e a s u r e o f a g i v e n p r o b l e m w e p r o p o s e t h e c o m p l e x i t y o f t h e c o r r e s p o n d i n g t o

t h a t p r o b l e m B o o l e a n f u n c t i o n ( r e p r e s e n t e d b y t h e n u m b e r o f v a r i a b l e s , n u m b e r

o f c l a u s e s , e t c . ) . I t i s k n o w n t h a t f o r s o m e N P - h a r d p r o b l e m s i t i s e a s i e r t o

c o n s t r u c t e c i e n t h e u r i s t i c s t h a n f o r t h e o t h e r o n e s . T h e p r o b l e m o f s y m b o l i c

v a l u e p a r t i t i o n i s i n t h i s s e n s e h a r d e r t h a n t h e p r o b l e m o f o p t i m a l d i s c r e t i z a t i o n

p r o b l e m .

2 P r e l i m i n a r i e s

W e c o n s i d e r t h e B o o l e a n a l g e b r a o v e r B = f 0 ; 1 g a n d n - v a r i a b l e B o o l e a n f u n c -

t i o n f : B

n

! B , w h e r e n 1 .


2/11

F o r a n y s e q u e n c e a = ( a 1 ] ; : : : ; a n ] ) 2 B

n

a n d a n y v e c t o r o f B o o l e a n

v a r i a b l e s x = ( x

1

; : : : ; x

n

) w e d e n e t h e m i n t e r m m

a

a n d t h e m a x t e r m s

a

b y

m

a

( x ) = x

a 1 ]

1

x

a 2 ]

2

: : : x

a n ]

n

a n d s

a

( x ) = x

: a 1 ]

1

_ x

: a 2 ]

2

_ : : : _ x

: a n ]

n

w h e r e x

1

= x a n d x

0

= x :

T h e o r e m 1 . ( s e e 1 8 ] ) f ( x ) =

W

a 2 f

? 1

( 1 )

m

a

( x ) =

V

b 2 f

? 1

( 0 )

s

b

( x )

T h e s e t w o r e p r e s e n t a t i o n s a r e c a l l e d d i s j u n c t i v e ( D N F ) a n d c o n j u n c t i v e n o r -

m a l f o r m s ( C N F ) o f t h e f u n c t i o n f , r e s p e c t i v e l y .

L e t u = ( u

1

; : : : ; u

n

) ; v = ( v

1

; : : : ; v

n

) 2 f 0 ; 1 g

n

. W e u s e t h e c o o r d i n a t e - w i s e

o r d e r i n g , i . e . u v i f a n d o n l y i f u

i

v

i

f o r a l l i . A B o o l e a n f u n c t i o n f i s c a l l e d

m o n o t o n e i u v i m p l i e s f ( u ) f ( v ) . O n e c a n s h o w t h a t a B o o l e a n f u n c t i o n

i s m o n o t o n e i f a n d o n l y i f i t c a n b e d e n e d w i t h o u t n e g a t i o n 1 8 ] .

G i v e n a s e t o f v a r i a b l e s S f x

1

; : : : ; x

n

g w e d e n e t h e m o n o m i a l m

S

b y

m

S

( x ) =

V

x

i

2 S

x

i

: T h e s e t S o f v a r i a b l e s i s c a l l e d a n i m p l i c a n t o f t h e m o n o t o n e

B o o l e a n f u n c t i o n f i f a n d o n l y i f m

? 1

S

( 1 ) f

? 1

( 1 ) . T h e s e t S o f v a r i a b l e s i s

c a l l e d a p r i m e i m p l i c a n t o f a m o n o t o n e B o o l e a n f u n c t i o n f i f S i s a n i m p l i c a n t

o f f a n d a n y p r o p e r s u b s e t o f S i s n o t a n i m p l i c a n t o f f . W e u s e t h e f o l l o w i n g

p r o p e r t i e s o f t w o p r o b l e m s r e l a t e d t o m o n o t o n e B o o l e a n f u n c t i o n s 2 ] :

T h e o r e m 2 . 1 2 ] F o r a g i v e n m o n o t o n e B o o l e a n f u n c t i o n f o f n v a r i a b l e s i n

C N F a n d a n i n t e g e r k . T h e d e c i s i o n p r o b l e m f o r c h e c k i n g i f t h e r e e x i s t s a p r i m e

i m p l i c a n t o f f w i t h a t m o s t k v a r i a b l e s i s N P - c o m p l e t e . T h e p r o b l e m o f s e a r c h i n g

f o r m i n i m a l p r i m e i m p l i c a n t o f f i s N P - h a r d .

A n i n f o r m a t i o n s y s t e m 1 5 ] i s a p a i r A = ( U ; A ) , w h e r e U i s a n o n - e m p t y ,

n i t e s e t c a l l e d t h e u n i v e r s e a n d A i s a n o n - e m p t y , n i t e s e t o f a t t r i b u t e s , i . e .

a : U ! V

a

f o r a 2 A , w h e r e V

a

i s c a l l e d t h e v a l u e s e t o f a . E l e m e n t s o f U a r e

c a l l e d o b j e c t s .

A n y i n f o r m a t i o n s y s t e m A = ( U ; A ) a n d a n o n - e m p t y s e t B A d e n e a

B - i n f o r m a t i o n f u n c t i o n b y I n f

B

( x ) = f ( a ; a ( x ) ) : a 2 B f o r x 2 U g . T h e s e t

f I n f

A

( x ) : x 2 U g i s c a l l e d t h e A ? i n f o r m a t i o n s e t a n d d e n o t e d b y I N F ( A ) .

A n y i n f o r m a t i o n s y s t e m o f t h e f o r m A = ( U ; A f d g ) i s c a l l e d d e c i s i o n t a b l e

w h e r e d =2 A i s c a l l e d d e c i s i o n a n d t h e e l e m e n t s o f A a r e c a l l e d c o n d i t i o n s .

L e t V

d

= f 1 ; : : : ; r ( d ) g . T h e d e c i s i o n d d e t e r m i n e s t h e p a r t i t i o n f C

1

; : : : ; C

r ( d )

g

o f t h e u n i v e r s e U , w h e r e C

k

= f x 2 U : d ( x ) = k g f o r 1 k r ( d ) . T h e s e t C

k

i s c a l l e d t h e k ? t h d e c i s i o n c l a s s o f A .

W i t h a n y s u b s e t o f a t t r i b u t e s B A , a n e q u i v a l e n c e r e l a t i o n c a l l e d t h e

B - i n d i s c e r n i b i l i t y r e l a t i o n 1 5 ] , d e n o t e d b y I N D ( B ) , i s d e n e d b y

I N D ( B ) = f ( x ; y ) 2 U U : 8

a 2 B

( a ( x ) = a ( y ) ) g

O b j e c t s x ; y s a t i s f y i n g r e l a t i o n I N D ( B ) a r e i n d i s c e r n i b l e b y a t t r i b u t e s f r o m

B . B y x ]

I N D ( B )

w e d e n o t e t h e e q u i v a l e n c e c l a s s o f I N D ( B ) d e n e d b y x . A

m i n i m a l s u b s e t B o f A s u c h t h a t I N D ( A ) = I N D ( B ) i s c a l l e d a r e d u c t o f A .


3/11

I f A = ( U ; A f d g ) i s a d e c i s i o n t a b l e a n d B A t h e n w e d e n e a f u n c t i o n

@

B

: U ! 2

f 1 ; : : ; r ( d ) g

, c a l l e d t h e g e n e r a l i z e d d e c i s i o n i n A , b y

@

B

( x ) = f i : 9

x

0

2 U

( x

0

I N D ( B ) x ) ( d ( x

0

) = i ) ] g = d

x ]

I N D ( B )

A d e c i s i o n t a b l e A i s c a l l e d c o n s i s t e n t ( d e t e r m i n i s t i c ) i f c a r d ( @

A

( x ) ) = 1 f o r

a n y x 2 U , o t h e r w i s e A i s i n c o n s i s t e n t ( n o n - d e t e r m i n i s t i c ) .

3 S o m e o p t i m i z a t i o n p r o b l e m s i n r o u g h s e t t h e o r y

3 . 1 M i n i m a l R e d u c t p r o b l e m

L e t A b e a n i n f o r m a t i o n s y s t e m w i t h n o b j e c t s a n d k a t t r i b u t e s . B y M ( A ) 1 6 ]

w e d e n o t e a n n n m a t r i x ( c

i j

) , c a l l e d t h e d i s c e r n i b i l i t y m a t r i x o f A s u c h t h a t

c

i j

= f a 2 A : a ( x

i

) 6= a ( x

j

) g f o r i ; j = 1 ; : : : ; n :

A d i s c e r n i b i l i t y f u n c t i o n f

A

f o r t h e i n f o r m a t i o n s y s t e m A i s a B o o l e a n f u n c -

t i o n o f k B o o l e a n v a r i a b l e s a

1

; : : : ; a

k

c o r r e s p o n d i n g t o t h e a t t r i b u t e s a

1

; : : : ; a

k

r e s p e c t i v e l y , a n d d e n e d b y

f

A

( a

1

; : : : ; a

k

) =

d f

V

c

i j

6= ;

W

c

i j

w h e r e c

i j

= f a

: a 2 c

i j

g :

T h e s e t o f a l l p r i m e i m p l i c a n t s o f f

A

d e t e r m i n e s t h e s e t o f a l l r e d u c t s o f

A 1 6 ] . I n t h e s e q u e l , t o s i m p l i f y t h e n o t a t i o n , w e o m i t t h e s t a r s u p e r s c r i p t s .

O b s e r v e t h a t t h e B o o l e a n f u n c t i o n f

A

c o n s i s t s o f k v a r i a b l e s a n d O

?

n

2

c l a u s e s .

A s u b s e t B o f t h e s e t A o f a t t r i b u t e s o f d e c i s i o n t a b l e A = ( U ; A f d g ) i s a

r e l a t i v e r e d u c t o f A i B i s a m i n i m a l s e t w i t h r e s p e c t t o t h e f o l l o w i n g p r o p e r t y :

@

B

= @

A

. T h e s e t o f a l l r e l a t i v e r e d u c t s i n A i s d e n o t e d b y R E D ( A ; d ) .

T h e o r e m 3 . 1 6 ] T h e d e c i s i o n p r o b l e m f o r c h e c k i n g i f t h e r e e x i s t a ( r e l a t i v e )

r e d u c t o f l e n g t h < k i s N P - c o m p l e t e . T h e s e a r c h i n g p r o b l e m f o r r e d u c t o f m i n i -

m a l l e n g t h i s N P - h a r d .

3 . 2 D i s c r e t i z a t i o n m a k i n g

L e t A = ( U ; A f d g ) b e a d e c i s i o n t a b l e w h e r e U = f x

1

; x

2

; : : : ; x

n

g ; A =

f a

1

; : : : ; a

k

g a n d d : U ! f 1 ; : : : ; r g . W e a s s u m e V

a

= l

a

; r

a

)


4/11

T w o s e t s o f c u t s P

0

; P a r e e q u i v a l e n t , i . e . P

0

A

P , i A

P

= A

P

0

. T h e e q u i v -

a l e n c e r e l a t i o n

A

h a s a n i t e n u m b e r o f e q u i v a l e n c e c l a s s e s . I n t h e s e q u e l w e

w i l l n o t d i s c e r n b e t w e e n e q u i v a l e n t f a m i l i e s o f p a r t i t i o n s .

W e s a y t h a t t h e s e t o f c u t s P i s A - c o n s i s t e n t i f @

A

= @

A

P

, w h e r e @

A

a n d @

A

P

a r e g e n e r a l i z e d d e c i s i o n s o f A a n d A

P

, r e s p e c t i v e l y . T h e A - c o n s i s t e n t s e t o f c u t s

P

i r r

i s A - i r r e d u c i b l e i f P i s n o t A - c o n s i s t e n t f o r a n y P P

i r r

. T h e A - c o n s i s t e n t

s e t o f c u t s P

o p t

i s A - o p t i m a l i f c a r d ( P

o p t

) c a r d ( P ) f o r a n y A - c o n s i s t e n t s e t

o f c u t s P .

T h e o r e m 4 . 1 2 ] T h e d e c i s i o n p r o b l e m o f c h e c k i n g i f f o r a g i v e n d e c i s i o n t a b l e

A a n d a n i n t e g e r k t h e r e e x i s t s a n i r r e d u c i b l e s e t o f c u t s P i n A s u c h t h a t

c a r d ( P ) < k i s N P - c o m p l e t e . T h e p r o b l e m o f s e a r c h i n g f o r a n o p t i m a l s e t o f

c u t s P i n a g i v e n d e c i s i o n t a b l e A i s N P - h a r d .

L e t u s d e n e a n e w d e c i s i o n t a b l e A

= ( U

; A

f d

g ) w h e r e

{ U

=

( u ; v ) 2 U

2

: d ( u ) 6= d ( v )

f g

{ A

= f c : c i s a c u t o n A g . c ( ) = 0 ; c ( ( u ; v ) ) =

1 i f c d i s c e r n s u ; v

0 o t h e r w i s e

{ d ( ) = 0 ; d

( u

i

; u

j

) = 1 f o r ( u ; v ) 2 U

.

I t h a s b e e n s h o w n 1 2 ] t h a t a n y r e l a t i v e r e d u c t o f A

i s a n i r r e d u c i b l e s e t o f

c u t s f o r A a n d a n y m i n i m a l r e l a t i v e r e d u c t o f A

i s a n o p t i m a l s e t o f c u t s f o r

A . T h e B o o l e a n f u n c t i o n c o r r e s p o n d i n g t o t h e m i n i m a l r e l a t i v e r e d u c t p r o b l e m

f

A

h a s O ( n k ) v a r i a b l e s ( c u t s ) a n d O

?

n

2

c l a u s e s .

3 . 3 D i s c r e t i z a t i o n d e n e d b y H y p e r p l a n e s

L e t A = ( U ; A f d g ) b e a d e c i s i o n t a b l e , w h e r e U = f u

1

; : : : ; u

n

g , A = f f

1

; : : : ; f

k

g

a n d d : U ! f 1 ; : : : ; m g a n d l e t C

i

= f u 2 U : d ( u ) = i g f o r i = 1 ; : : : ; m . A s s u m i n g

t h a t o b j e c t s u

i

2 U a r e d e s c r i b e d b y c o n d i t i o n a l a t t r i b u t e s , w e c a n c h a r a c t e r i z e

t h e m a s p o i n t s : P

i

= ( f

1

( u

i

) ; : : : ; f

k

( u

i

) ) i n k - d i m e n s i o n a l a n e s p a c e


5/11

4 A p p r o x i m a t e A l g o r i t h m s

4 . 1 J o h n s o n s t r a t e g y

I n g e n e r a l , t h e J o h n s o n g r e e d y a l g o r i t h m s e a r c h i n g f o r s h o r t e s t p r i m e i m p l i c a n t

o f a g i v e n B o o l e a n f u n c t i o n o f k v a r i a b l e s V = f x

1

; : : : ; x

k

g i n C N F :

f = ( x

1 ; 1

_ x

1 ; 2

: : : _ x

1 ; i

1

) : : : ( x

N ; 1

_ x

N ; 2

: : : _ x

N ; i

N

)

w h e r e x

i ; j

2 V , i s d e s c r i b e d a s f o l l o w s :

J o h n s o n s t r a t e g y : G r e e d y a l g o r i t h m

S t e p 1 : C h o o s e t h e v a r i a b l e x 2 V m o s t f r e q u e n t l y o c c u r r i n g i n f .

S t e p 2 : R e m o v e f r o m f a l l c l a u s e s c o n t a i n i n g t h e v a r i a b l e x .

S t e p 3 : I f f 6= 0 t h e n g o t o S t e p 1 e l s e g o t o S t e p 4 .

S t e p 4 : F r o m t h e s e t o f c h o s e n v a r i a b l e s r e m o v e s u p e r u o u s v a r i a b l e s . T h e

o b t a i n e d s e t o f v a r i a b l e s i s r e t u r n e d a s t h e r e s u l t o f t h e a l g o r i t h m .

I n g e n e r a l , t h e t i m e c o m p l e x i t y o f t h e p r e s e n t e d a l g o r i t h m d e p e n d s o n t h e

t i m e c o m p l e x i t y o f S t e p 1 . I f t h e r e a r e k v a r i a b l e s a n d N c l a u s e s , S t e p 1 t a k e s

O ( k N ) c o m p u t i n g s t e p s . I n s o m e p a r t i c u l a r c a s e s o n e c a n r e d u c e t h e t i m e c o m -

p l e x i t y o f t h i s a l g o r i t h m , b u t u s u a l l y t h e n u m b e r o f v a r i a b l e s a n d t h e n u m b e r

o f c l a u s e s d e t e r m i n e t h e c o m p l e x i t y o f t h e p r o b l e m .

4 . 2 M i n i m a l r e d u c t n d i n g

W e a p p l y t h e J o h n s o n s t r a t e g y f o r t h e d i s c e r n i b i l i t y f u n c t i o n f

A

( a

1

; : : : ; a

k

) .

T h e m a i n t a s k o f t h e a l g o r i t h m i s t o n d a n a t t r i b u t e a 2 A d i s c e r n i n g t h e

l a r g e s t n u m b e r o f p a i r s o f o b j e c t s i . e . a t t r i b u t e m o s t o f t e n o c c u r r i n g i n e n t r i e s

c

i j

o f t h e d i s c e r n i b i l i t y m a t r i x M ( A ) . T h e a t t r i b u t e a i s t h e n a d d e d t o t h e

t e m p o r a r y r e d u c t a n d a l l o f t h e c e l l s c

i j

c o n t a i n i n g a a r e r e p l a c e d b y t h e e m p t y

s e t ; . T h e p r o c e d u r e i s r e p e a t e d u n t i l a l l e n t r i e s o f t h e m a t r i x M ( A ) b e c o m e

e m p t y . I t i s e a s y t o c o n s t r u c t a n a l g o r i t h m f o r c o m p u t i n g o f t h e s e m i - m i n i m a l

r e d u c t i n O

?

k n

2

s p a c e a n d O

?

k n

2

j R j

t i m e , w h e r e R i s a r e d u c t c o n s t r u c t e d

b y t h e a l g o r i t h m . T h i s r e s u l t c a n b e i m p r o v e d . I t h a s b e e n s h o w n i n 1 4 ] t h a t

o n e c a n n d t h e b e s t a t t r i b u t e i n O ( k n l o g n ) s t e p s u s i n g O ( n k ) s p a c e .

4 . 3 E c i e n t d i s c r e t i z a t i o n a l g o r i t h m

T h e a l g o r i t h m b a s e d o n J o h n s o n ' s s t r a t e g y d e s c r i b e d i n t h e p r e v i o u s s e c t i o n

i s s e a r c h i n g f o r a c u t c 2 A

w h i c h d i s c e r n s t h e l a r g e s t n u m b e r o f p a i r s o f

o b j e c t s ( M D - h e u r i s t i c ) . T h e n w e m o v e t h e c u t c f r o m A

t o t h e r e s u l t i n g s e t o f

c u t s P a n d r e m o v e f r o m U

a l l p a i r s o f o b j e c t s d i s c e r n e d b y c . O u r a l g o r i t h m

i s c o n t i n u e d u n t i l U

= f n e w g . L e t n b e t h e n u m b e r o f o b j e c t s a n d l e t k b e

t h e n u m b e r o f a t t r i b u t e s o f d e c i s i o n t a b l e A . T h e n c a r d ( A

) ( n ? 1 ) k a n d

c a r d ( U

)

n ( n ? 1 )

2

. I t i s e a s y t o o b s e r v e t h a t f o r a n y c u t c 2 A

w e n e e d

O

?

n

2

s t e p s t o n d t h e n u m b e r o f a l l p a i r s o f o b j e c t s d i s c e r n e d b y c . H e n c e t h e


6/11

s t r a i g h t f o r w a r d r e a l i z a t i o n o f t h i s a l g o r i t h m r e q u i r e s O

?

k n

2

o f m e m o r y s p a c e

a n d O ( k n

3

) s t e p s t o d e t e r m i n e o n e c u t , s o i t i s n o t f e a s i b l e i n p r a c t i c e . T h e M D -

h e u r i s t i c p r e s e n t e d i n 1 4 ] d e t e r m i n e s t h e b e s t c u t i n O ( k n ) s t e p s u s i n g O ( k n )

s p a c e o n l y .

4 . 4 S e a r c h i n g f o r b e s t h y p e r p l a n e s u s i n g g e n e t i c a l g o r i t h m s

L e t u s n o t e t h a t t h e n u m b e r o f d i e r e n t p a r t i t i o n s o f a g i v e n s e t o f o b j e c t s t h a t

c a n b e i n d u c e d w i t h a s i n g l e o b l i q u e h y p e r p l a n e i s O

?

n

k

. T h i s o b s e r v a t i o n

h e l p s t o e v a l u a t e t h e c o m p l e x i t y o f t h e " b e s t h y p e r p l a n e " n d i n g .

L e t H b e a g i v e n h y p e r p l a n e . W e s e t L

i

= c a r d ( C

L ; H

i

) a n d R

i

= c a r d ( C

R ; H

i

)

f o r i = 1 ; : : : ; r ; R = R

1

+ + R

r

; L = L

1

+ + L

r

. I t h a s b e e n s h o w n i n 7 ]

t h a t t h e p r o b l e m o f s e a r c h i n g f o r o p t i m a l o b l i q u e h y p e r p l a n e u s i n g s u m - m i n o r i t y

m e a s u r e i s N P - c o m p l e t e ( o r N P - h a r d ) . T h e s u m - m i n o r i t y m e a s u r e i s d e n e d b y :

S u m M i n o r ( H ) = m i n

i 2 f 1 ; : : ; r g

f L

i

g + m i n

i 2 f 1 ; : : ; r g

f R

i

g . O n e c a n a p p l y a n o t h e r

m e a s u r e t o e s t i m a t e t h e q u a l i t y o f h y p e r p l a n e s 1 2 ] :

a w a r d ( H ) =

X

i 6= j

c a r d

?

C

R

i

( H )

c a r d

?

C

L

j

( H )

= L R ?

r

X

i = 1

( L

i

R

i

)

I f a w a r d ( H ) > a w a r d ( H

0

) t h e n t h e n u m b e r o f d i s c e r n i b l e p a i r s o f o b j e c t s f r o m

d i e r e n t d e c i s i o n c l a s s e s b y t h e h y p e r p l a n e H i s g r e a t e r t h a n t h e c o r r e s p o n d i n g

n u m b e r d e n e d b y t h e h y p e r p l a n e H

0

. T h i s f u n c t i o n h a s b e e n a p p l i e d i n t h e

M D - h e u r i s t i c t o m e a s u r e t h e n u m b e r o f d i s c e r n i b l e p a i r s o f o b j e c t s .

S i n c e t h e p r o b l e m s o f s e a r c h i n g f o r t h e h y p e r p l a n e s a r e h a r d s o m e h e u r i s t i c s

a r e u s e d t o s o l v e i t 1 3 ] . W e a l s o u s e t h e p e n a l t y ( H ) f u n c t i o n :

p e n a l t y ( H ) =

r

X

i = 1

c a r d

C

U ; H

i

c a r d

C

L ; H

i

=

r

X

i = 1

( L

i

R

i

)

o r m o r e a d v a n c e d f u n c t i o n s t o m e a s u r e t h e q u a l i t y o f o b l i q u e h y p e r p l a n e s :

p o w e r

1

( H ) =

w

1

a w a r d ( H )

p e n a l t y ( H ) + w

2

;

p o w e r

2

( H ) = w

1

a w a r d ( H ) ? w

2

p e n a l t y ( H ) :

T h e r e a r e n u m e r o u s m e t h o d s o f s e a r c h i n g f o r o p t i m a l h y p e r p l a n e s ( s e e e . g .

7 ] b a s e d o n v a r i o u s h e u r i s t i c s l i k e " s i m u l a t e d a n n e a l i n g " 7 ] , " r a n d o m i z e d i n -

d u c t i o n " . . . I n 1 3 ] w e p r o p o s e d a g e n e r a l m e t h o d ( b a s e d o n g e n e t i c s t r a t e g y ) o f

s e a r c h i n g f o r o p t i m a l s e t o f h y p e r p l a n e s b y u s i n g g e n e t i c a l g o r i t h m .

5 S y m b o l i c v a l u e a t t r i b u t e p a r t i t i o n p r o b l e m

W e h a v e c o n s i d e r e d t h e r e a l v a l u e a t t r i b u t e d i s c r e t i z a t i o n p r o b l e m . I t i s a s e a r c h -

i n g p r o b l e m f o r a p a r t i t i o n o f r e a l v a l u e s i n t o i n t e r v a l s ( t h e n a t u r a l l i n e a r o r d e r

"


7/11

I n c a s e o f s y m b o l i c v a l u e a t t r i b u t e s ( i . e . w i t h o u t a n y p r e - a s s u m e d o r d e r i n

t h e v a l u e s e t s o f a t t r i b u t e s ) t h e p r o b l e m o f s e a r c h i n g f o r p a r t i t i o n s o f v a l u e

s e t s i n t o a " s m a l l " n u m b e r o f s u b s e t s i s , i n a s e n s e , m o r e c o m p l i c a t e d t h a n

f o r c o n t i n u o u s a t t r i b u t e s . O n c e a g a i n , w e a p p l y B o o l e a n r e a s o n i n g a p p r o a c h t o

c o n s t r u c t a p a r t i t i o n o f s y m b o l i c v a l u e s e t s i n t o s m a l l n u m b e r o f s u b s e t s .

L e t A = ( U ; A f d g ) b e a d e c i s i o n t a b l e w h e r e A = f a

i

: U ! V

a

i

g a n d V

a

i

=

v

a

i

1

; v

a

i

2

; : : : ; v

a

i

n

i

, f o r i 2 f 1 ; : : : ; k g . A n y f u n c t i o n P

a

i

: V

a

i

! f 1 ; : : : ; m

i

g ( w h e r e

m

i

n

i

) i s c a l l e d a p a r t i t i o n o f V

a

i

. T h e r a n k o f P

a

i

i s t h e v a l u e r a n k ( P

i

) =

c a r d ( P

a

i

( V

a

i

) ) . T h e f u n c t i o n P

a

i

d e n e s a n e w p a r t i t i o n a t t r i b u t e b

i

= P

a

i

a

i

i . e . b

i

( u ) = P

a

i

( a

i

( u ) ) f o r a n y o b j e c t u 2 U :

T h e f a m i l y o f p a r t i t i o n s f P

a

g

a 2 B

i s B ? c o n s i s t e n t i

8

u ; v 2 U

d ( u ) 6= d ( v ) ( u ; v ) =2 I N D ( B ) ] ) 9

a 2 B

P

a

( a ( u ) ) 6= P

a

( a ( v ) ) ] ( 1 )

I t m e a n s t h a t i f t w o o b j e c t s u ; u

0

a r e d i s c e r n e d b y B a n d d , t h e n t h e y m u s t

b e d i s c e r n e d b y t h e p a r t i t i o n a t t r i b u t e d e n e d b y f P

a

g

a 2 B

. W e c o n s i d e r t h e

f o l l o w i n g o p t i m i z a t i o n p r o b l e m c a l l e d t h e s y m b o l i c v a l u e p a r t i t i o n p r o b l e m :

S Y M B O L I C V A L U E P A R T I T I O N P R O B L E M :

F o r a g i v e n d e c i s i o n t a b l e A = ( U ; A f d g ) , a n d a s e t o f n o m i n a l a t t r i b u t e s

B A , s e a r c h f o r a m i n i m a l B ? c o n s i s t e n t f a m i l y o f p a r t i t i o n s ( i . e . B -

c o n s i s t e n t f a m i l y f P

a

g

a 2 B

w i t h t h e m i n i m a l v a l u e o f

P

a 2 B

r a n k ( P

a

) ) .

T h i s c o n c e p t i s u s e f u l w h e n w e w a n t t o r e d u c e t h e a t t r i b u t e v a l u e s e t s o f

a t t r i b u t e s w i t h l a r g e c a r d i n a l i t i e s . T h e d i s c r e t i z a t i o n p r o b l e m c a n b e d e r i v e d

f r o m t h e p a r t i t i o n p r o b l e m b y a d d i n g t h e m o n o t o n i c i t y c o n d i t i o n f o r f a m i l y

f P

a

g

a 2 A

: 8

v

1

; v

2

2 V

a

v

1

v

2

) P

a

( v

1

) P

a

( v

2

) ]

W e p r o p o s e t w o a p p r o a c h e s f o r s o l v i n g t h i s p r o b l e m , n a m e l y t h e l o c a l p a r t i -

t i o n m e t h o d a n d t h e g l o b a l p a r t i t i o n m e t h o d . T h e f o r m e r a p p r o a c h i s b a s e d o n

g r o u p i n g t h e v a l u e s o f e a c h a t t r i b u t e i n d e p e n d e n t l y w h e r e a s t h e l a t e r a p p r o a c h

i s b a s e d o n g r o u p i n g o f a t t r i b u t e v a l u e s s i m u l t a n e o u s l y f o r a l l a t t r i b u t e s .

5 . 1 L o c a l p a r t i t i o n

T h e l o c a l p a r t i t i o n s t r a t e g y i s q u i t e s i m i l a r t o " H o l t e ' s 1 R d i s c r e t i z e r " 8 ] . F o r

a n y x e d a t t r i b u t e a 2 A , w e w a n t t o n d s u c h a p a r t i t i o n P

a

t h a t k e e p s

c o n s i s t e n c y c o n d i t i o n ( 1 ) f o r t h e a t t r i b u t e a ( i . e . B = f a g ) .

F o r a n y p a r t i t i o n P

a

t h e e q u i v a l e n c e r e l a t i o n

P

a

i s d e n e d b y : v

1

P

a

v

2

,

P

a

( v

1

) = P

a

( v

2

) f o r a l l v

1

; v

2

2 V

a

.

W e c o n s i d e r t h e r e l a t i o n U N I

a

d e n e d o n V

a

a s f o l l o w s :

v

1

U N I

a

v

2

, 8

u ; u

0

2 U

( a ( u ) = v

1

a ( u

0

) = v

2

) ) d ( u ) = d ( u

0

) ] ( 2 )

T h e o r e m 5 . I f P

a

i s a - c o n s i s t e n t t h e n

P

a

U N I

a

. T h e e q u i v a l e n c e r e l a t i o n

U N I

a

d e n e s a m i n i m a l a ? c o n s i s t e n t p a r t i t i o n o n a .


8/11

5 . 2 G l o b a l p a r t i t i o n

W e c o n s i d e r t h e d i s c e r n i b i l i t y m a t r i x 1 6 ] o f t h e d e c i s i o n t a b l e A : M ( A ) =

m

i ; j

]

n

i ; j = 1

w h e r e m

i ; j

i s t h e s e t o f a l l a t t r i b u t e s h a v i n g d i e r e n t v a l u e s o n o b j e c t s

u

i

; u

j

i . e . m

i ; j

= f a 2 A : a ( u

i

) 6= a ( u

j

) g . O b s e r v e t h a t i f w e w a n t t o d i s c e r n

b e t w e e n o b j e c t s u

i

a n d u

j

w e h a v e t o k e e p o n e o f t h e a t t r i b u t e s f r o m m

i ; j

. F o r

t h e n e e d o f o u r p r o b l e m w e w o u l d l i k e t o h a v e m o r e r e l e v a n t f o r m u l a t i o n : t o

d i s c e r n o b j e c t s u

i

; u

j

w e h a v e t o d i s c e r n f o r s o m e a 2 m

i ; j

b e t w e e n v a l u e s o f t h e

v a l u e p a i r ( a ( u

i

) ; a ( u

j

) ) .

H e n c e i n s t e a d o f c u t s u s e d f o r c o n t i n u o u s v a l u e s ( d e n e d b y p a i r s ( a

i

; c

j

) ) ,

o n e c a n d i s c e r n o b j e c t s b y t r i p l e s

?

a

i

; v

a

i

i

1

; v

a

i

i

2

c a l l e d c h a i n s , w h e r e a

i

2 A f o r

i = 1 ; : : : ; k a n d i

1

; i

2

2 f 1 ; : : : ; n

i

g :

O n e c a n b u i l d a n e w d e c i s i o n t a b l e A

+

= ( U

+

; A

+

f d

+

g ) ( a n a l o g o u s l y t o t h e

t a b l e A

( s e e S e c t i o n 3 . 2 ) ) a s s u m i n g U

+

= U

; d

+

= d

a n d A

+

= f ( a ; v

1

; v

2

) :

( a 2 A ) ( v

1

; v

2

2 V

a

) g . A g a i n o n e c a n a p p l y t o A

+

e . g . t h e J o h n s o n h e u r i s t i c

t o s e a r c h f o r a m i n i m a l s e t o f c h a i n s d i s c e r n i n g a l l p a i r s o f o b j e c t s f r o m d i e r e n t

d e c i s i o n c l a s s e s .

O n e c a n s e e t h a t o u r p r o b l e m c a n b e s o l v e d b y e c i e n t h e u r i s t i c s o f g r a p h

c o l o r i n g . T h e " g r a p h k ? c o l o r a b i l i t y " p r o b l e m i s f o r m u l a t e d a s f o l l o w s :

i n p u t : G r a p h G = ( V ; E ) , p o s i t i v e i n t e g e r k j V j

o u t p u t : 1 i f G i s k ? c o l o r a b l e , ( i . e . i f t h e r e e x i s t a f u n c t i o n f : V ! f 1 ; : : : ; k g

s u c h t h a t f ( v ) 6= f ( v

0

) w h e n e v e r ( v ; v

0

) 2 E ) a n d 0 o t h e r w i s e .

T h i s p r o b l e m i s s o l v a b l e i n p o l y n o m i a l t i m e f o r k = 2 , b u t i s N P - c o m p l e t e

f o r a l l k 3 . H o w e v e r , s i m i l a r l y t o d i s c r e t i z a t i o n , o n e c a n a p p l y s o m e e c i e n t

h e u r i s t i c s e a r c h i n g f o r o p t i m a l g r a p h c o l o r i n g d e t e r m i n i n g o p t i m a l p a r t i t i o n s o f

a t t r i b u t e v a l u e s e t s .

F o r a n y a t t r i b u t e a

i

i n a s e m i - m i n i m a l s e t X o f c h a i n s r e t u r n e d f r o m t h e

a b o v e h e u r i s t i c w e c o n s t r u c t a g r a p h ?

a

i

= h V

a

i

; E

a

i

i , w h e r e E

a

i

i s e q u a l t o t h e

s e t o f a l l c h a i n s i n X o f t h e a t t r i b u t e a

i

. A n y c o l o r i n g o f a l l g r a p h s ?

a

i

d e n e s

a n A - c o n s i s t e n t p a r t i t i o n o f v a l u e s e t s . H e n c e h e u r i s t i c s s e a r c h i n g f o r m i n i m a l

g r a p h c o l o r i n g r e t u r n a l s o s u b - o p t i m a l p a r t i t i o n s o f a t t r i b u t e v a l u e s e t s .

O n e c a n s e e t h a t t h i s t i m e t h e c o n s t r u c t e d B o o l e a n f o r m u l a h a s O ( k n l

2

)

v a r i a b l e s a n d O ( n

2

) c l a u s e s , w h e r e l i s t h e m a x i m a l v a l u e o f c a r d ( V

a

) f o r a 2 A .

L e t u s n o t e a l s o t h a t i f p r i m e i m p l i c a n t s h a v e b e e n c o n s t r u c t e d a h e u r i s t i c f o r

g r a p h c o l o r i n g s h o u l d b e a p p l i e d t o g e n e r a t e n e w f e a t u r e s .

5 . 3 E x a m p l e

L e t u s c o n s i d e r t h e d e c i s i o n t a b l e p r e s e n t e d i n F i g u r e 1 a n d a r e d u c e d f o r m o f

i t s d i s c e r n i b i l i t y m a t r i x .

F i r s t l y , f r o m t h e B o o l e a n f u n c t i o n f

A

w i t h B o o l e a n v a r i a b l e s o f t h e f o r m a

v

2

v

1

( c o r r e s p o n d i n g t o t h e c h a i n ( a ; v

1

; v

2

) d e s c r i b e d i n S e c t i o n 5 . 2 ) w e n d a s h o r t e s t

p r i m e i m p l i c a n t : a

a

1

a

2

a

a

2

a

3

a

a

1

a

4

a

a

3

a

4

b

a

1

a

4

b

a

2

a

4

b

a

2

a

3

b

a

1

a

3

b

a

3

a

5

] , w h i c h c a n

b e r e p r e s e n t e d b y g r a p h s ( F i g u r e 2 ) . N e x t w e a p p l y a h e u r i s t i c t o c o l o r v e r t i c e s


9/11

o f t h o s e g r a p h s a s i t i s s h o w n i n F i g u r e 2 . T h e c o l o r s a r e c o r r e s p o n d i n g t o t h e

p a r t i t i o n s :

P

a

( a

1

) = P

a

( a

3

) = 1 ; P

a

( a

2

) = P

a

( a

4

) = 2

P

b

( b

1

) = P

b

( b

2

) = P

b

( b

5

) = 1 ; P

b

( b

3

) = P

b

( b

4

) = 2

a n d a t t h e s a m e t i m e o n e c a n c o n s t r u c t t h e n e w d e c i s i o n t a b l e ( F i g u r e 1 ) .

A a b d

u

1

a

1

b

1

0

u

2

a

1

b

2

0 M ( A ) u

1

u

2

u

3

u

4

u

3

a

2

b

3

0 u

5

b

b

1

b

4

b

b

2

b

4

a

a

1

a

2

, b

b

3

b

4

a

a

1

a

3

, b

b

1

b

4

a

P

a

b

P

b

d

u

4

a

3

b

1

0 u

6

a

a

1

a

2

, b

b

1

b

2

a

a

1

a

2

b

b

2

b

3

a

a

2

a

3

, b

b

1

b

2

1 1 0

u

5

a

1

b

4

1 ! u

7

a

a

1

a

2

a

a

1

a

2

, b

b

1

b

2

b

b

1

b

3

a

a

2

a

3

! 2 2 0

u

6

a

2

b

2

1 u

8

a

a

1

a

4

, b

b

1

b

2

a

a

1

a

4

a

a

2

a

4

, b

b

2

b

3

a

a

3

a

4

, b

b

1

b

2

1 2 1

u

7

a

2

b

1

1 u

9

a

a

1

a

3

, b

b

1

b

4

a

a

1

a

3

, b

b

2

b

4

a

a

2

a

3

, b

b

3

b

4

b

b

1

b

4

2 1 1

u

8

a

4

b

2

1 u

1 0

a

a

1

a

2

, b

b

1

b

5

a

a

1

a

2

, b

b

2

b

5

b

b

3

b

5

a

a

2

a

3

, b

b

1

b

5

u

9

a

3

b

4

1

u

1 0

a

2

b

5

1

F i g . 1 . T h e d e c i s i o n t a b l e a n d t h e c o r r e s p o n d i n g d i s c e r n i b i l i t y m a t r i x .

x

x h

h

@

@

@

@

@

@

@ ?

?

?

?

?

?

?

h

h

x

x x

a

1

a

3

a

2

a

4

b

5

b

1

b

2

b

3

b

4

B

B

B

B

B

B

Q

Q

Q

Q

Q

Q

Q

Q

Q

B

B

B

B

B

B

B

B

B

a

b

F i g . 2 . C o l o r i n g o f a t t r i b u t e v a l u e g r a p h s .

6 C o n c l u s i o n s

W e h a v e p r e s e n t e d a p p l i c a t i o n s o f B o o l e a n r e a s o n i n g m e t h o d s f o r d i e r e n t p r o b -

l e m s l i k e : m i n i m a l r e d u c t n d i n g , o p t i m a l d i s c r e t i z a t i o n m a k i n g , s e a r c h i n g f o r

b e s t h y p e r p l a n e s , m i n i m a l p a r t i t i o n . T h e s e e x a m p l e s a r e s h o w i n g t h e p o w e r o f


10/11

t h i s t o o l i n s e a r c h i n g f o r n e w f e a t u r e s . I n o u r s y s t e m f o r d a t a a n a l y s i s w e h a v e

i m p l e m e n t e d e c i e n t h e u r i s t i c s b a s e d o n t h o s e m e t h o d s . T h e t e s t s a r e s h o w i n g

t h a t t h e y a r e v e r y e c i e n t f r o m t h e p o i n t o f v i e w o f t i m e c o m p l e x i t y . T h e y a l s o

a s s u r e h i g h q u a l i t y o f r e c o g n i t i o n o f n e w u n s e e n c a s e s ( 1 3 , 1 4 ] ) . T h e h e u r i s t i c s

f o r s y m b o l i c v a l u e p a r t i t i o n a l l o w t o o b t a i n m o r e c o m p r e s s e d f o r m o f d e c i s i o n

a l g o r i t h m . H e n c e , f r o m t h e m i n i m u m d e s c r i p t i o n l e n g t h p r i n c i p l e , o n e c a n e x -

p e c t t h a t t h e y w i l l r e t u r n d e c i s i o n a l g o r i t h m s w i t h h i g h q u a l i t y o f u n s e e n o b j e c t

c l a s s i c a t i o n .

A c k n o w l e d g e m e n t : T h i s w o r k w a s s u p p o r t e d b y t h e S t a t e C o m m i t t e e f o r

S c i e n t i c R e s e a r c h ( g r a n t K B N 8 T 1 1 C 0 1 0 1 1 ) .

R e f e r e n c e s

1 . A l m u a l l i m H . , D i e t t e r i c h T . G . ( 1 9 9 4 ) . L e a r n i n g B o o l e a n C o n c e p t s i n T h e P r e s e n c e

o f M a n y I r r e l e v a n t F e a t u r e s . A r t i c i a l I n t e l l i g e n c e , 6 9 ( 1 - 2 ) , p p . 2 7 9 - 3 0 5 .

2 . B r o w n F . M . , B o o l e a n r e a s o n i n g , K l u w e r , D o r d r e c h t 1 9 9 0 .

3 . C a t l e t t J . ( 1 9 9 1 ) . O n c h a n g i n g c o n t i n u o s a t t r i b u t e s i n t o o r d e r e d d i s c r e t e a t t r i b u t e s .

I n Y . K o d r a t o , ( e d . ) , M a c h i n e L e a r n i n g - E W S L - 9 1 , P r o c . o f t h e E u r o p e a n W o r k i n g

S e s s i o n o n L e a r n i n g , P o r t o , P o r t u g a l , M a r c h 1 9 9 1 , L N A I , p p . 1 6 4 - 1 7 8 .

4 . C h m i e l e w s k i M . R . , G r z y m a l a - B u s s e J . W . ( 1 9 9 4 ) . G l o b a l D i s c r e t i z a t i o n o f A t -

t r i b u t e s a s P r e p r o c e s s i n g f o r M a c h i n e L e a r n i n g . P r o c . o f t h e I I I I n t e r n a t i o n a l

W o r k s h o p o n R S S C 9 4 N o v e m b e r 1 9 9 4 , p p . 2 9 4 - 3 0 1 .

5 . D o u g h e r t y J . , K o h a v i R . , S a h a m i M . ( 1 9 9 5 ) . S u p e r v i s e d a n d U n s u p e r v i s e d D i s -

c r e t i z a t i o n o f C o n t i n u o u s F e a t u r e s , P r o c e e d i n g s o f t h e T w e l f t h I n t e r n a t i o n a l C o n -

f e r e n c e o n M a c h i n e L e a r n i n g , M o r g a n K a u f m a n n , S a n F r a n c i s c o , C A , p p . 1 9 4 - 2 0 2 .

6 . F a y y a d U . M . , I r a n i K . B . ( 1 9 9 2 ) . T h e a t t r i b u t e s e l e c t i o n p r o b l e m i n d e c i s i o n t r e e

g e n e r a t i o n . P r o c . o f A A A I - 9 2 , J u l y 1 9 9 2 , S a n J o s e , C A . M I T P r e s s , p p . 1 0 4 - 1 1 0 .

7 . H e a t h D . , K a s i f S . , S a l z b e r g S . ( 1 9 9 3 ) . I n d u c t i o n o f O b l i q u e D e c i s i o n T r e e s . P r o c .

1 3 t h I n t e r n a t i o n a l J o i n t C o n f . o n A I . C h a m b e r y , F r a n c e , p p . 1 0 0 2 - 1 0 0 7 .

8 . H o l t R . C . ( 1 9 9 3 ) , V e r y s i m p l e c l a s s i c a t i o n r u l e s p e r f o r m w e l l o n m o s t c o m m o n l y

u s e d d a t a s e t s , M a c h i n e L e a r n i n g 1 1 , p p . 6 3 - 9 0 .

9 . J o h n G . , K o h a v i R . , P e g e r K . ( 1 9 9 4 ) . I r r e l e v a n t f e a t u r e s a n d s u b s e t s e l e c t i o n

p r o b l e m . P r o c e e d i n g s o f t h e T w e l f t h I n t e r n a t i o n a l C o n f e r e n c e o n M a c h i n e L e a r n -

i n g , M o r g a n K a u f m a n n , p p . 1 2 1 - 1 2 9 .

1 0 . K e r b e r R . ( 1 9 9 2 ) , C h i m e r g e : D i s c r e t i z a t i o n o f n u m e r i c a t t r i b u t e s . P r o c . o f t h e

T e n t h N a t i o n a l C o n f e r e n c e o n A r t i c i a l I n t e l l i g e n c e , M I T P r e s s , p p . 1 2 3 - 1 2 8 .

1 1 . K o d r a t o Y . , M i c h a l s k i R . ( 1 9 9 0 ) : M a c h i n e l e a r n i n g : A n A r t i c i a l I n t e l l i g e n c e a p -

p r o a c h , v o l . 3 , M o r g a n K a u f m a n n , 1 9 9 0 .

1 2 . N g u y e n H . S . , S k o w r o n A . ( 1 9 9 5 ) . Q u a n t i z a t i o n o f r e a l v a l u e s a t t r i b u t e s , R o u g h s e t

a n d B o o l e a n R e a s o n i n g A p p r o a c h e s . P r o c . o f t h e S e c o n d J o i n t A n n u a l C o n f e r e n c e

o n I n f o r m a t i o n S c i e n c e s , W r i g h t s v i l l e B e a c h , N C , 1 9 9 5 , U S A , p p . 3 4 - 3 7 .

1 3 . N g u y e n H . S . , N g u y e n S . H . , S k o w r o n A . ( 1 9 9 6 ) . S e a r c h i n g f o r F e a t u r e s d e n e d b y

H y p e r p l a n e s . i n : Z . W . R a s , M . M i c h a l e w i c z ( e d s . ) , P r o c . o f t h e I X I n t e r n a t i o n a l

S y m p o s i u m o n M e t h o d o l o g i e s f o r I n f o r m a t i o n S y s t e m s I S M I S ' 9 6 , J u n e 1 9 9 6 , Z a -

k o p a n e , P o l a n d . L e c t u r e N o t e s i n A I 1 0 7 9 , B e r l i n , S p r i n g e r V e r l a g , p p . 3 6 6 - 3 7 5 .

1 4 . N g u y e n S . H . , N g u y e n H . S . ( 1 9 9 6 ) , S o m e E c i e n t A l g o r i t h m s f o r R o u g h S e t M e t h -

o d s . P r o c . o f t h e C o n f e r e n c e o f I n f o r m a t i o n P r o c e s s i n g a n d M a n a g e m e n t o f U n -

c e r t a i n t y i n K n o w l e d g e - B a s e d S y s t e m s , 1 9 9 6 , G r a n a d a , S p a i n , p p . 1 4 5 1 - 1 4 5 6 .


11/11

1 5 . P a w l a k Z . ( 1 9 9 1 ) : R o u g h s e t s : T h e o r e t i c a l a s p e c t s o f r e a s o n i n g a b o u t d a t a , K l u w e r

D o r d r e c h t .

1 6 . S k o w r o n A . , R a u s z e r C . ( 1 9 9 2 ) , T h e D i s c e r n i b i l i t y M a t r i c e s a n d F u n c t i o n s i n I n -

f o r m a t i o n S y s t e m s . I n : I n t e l l i g e n t D e c i s i o n S u p p o r t - H a n d b o o k o f A p p l i c a t i o n s a n d

A d v a n c e s o f t h e R o u g h S e t s T h e o r y , S l o w i n s k i R . ( e d . ) , K l u w e r D o r d r e c h t 1 9 9 2 ,

3 3 1 - 3 6 2 .

1 7 . S k o w r o n A . , P o l k o w s k i L . , S y n t h e s i s o f D e c i s i o n S y s t e m s f r o m D a t a T a b l e s . I n T . Y

L i n & N . C e r c o n e ( e d s . ) , R o u g h S e t s a n d D a t a M i n i n g , A n a l y s i s o f I m p r e c i s e D a t a

K l u w e r , D o r d r e c h t , p p . 2 5 9 - 3 0 0 .

1 8 . W e g e n e r I . ( 1 9 8 7 ) . T h e C o m p l e x i t y o f B o o l e a n F u n c t i o n s . S t u t t g a r t : J o h n W i l e y

& S o n s .

T h i s a r t i c l e w a s p r o c e s s e d u s i n g t h e L

A

T

E

X m a c r o p a c k a g e w i t h L L N C S s t y l e

Boolean Reasoning for Feature Extraction Problems

Documents