Boolean Reasoning for Feature Extraction Problems
Post on 14-Apr-2018
229 Views
Preview:
Transcript
7/29/2019 Boolean Reasoning for Feature Extraction Problems
1/11
B o o l e a n R e a s o n i n g f o r F e a t u r e E x t r a c t i o n
P r o b l e m s
H u n g S o n N g u y e n , A n d r z e j S k o w r o n
I n s t i t u t e o f M a t h e m a t i c s , W a r s a w U n i v e r s i t y
B a n a c h a 2 , W a r s a w P o l a n d
e m a i l : s o n @ a l f a . m i m u w . e d u . p l ; s k o w r o n @ m i m u w . e d u . p l
A b s t r a c t . W e r e c a l l s e v e r a l a p p l i c a t i o n s o f B o o l e a n r e a s o n i n g f o r f e a -
t u r e e x t r a c t i o n a n d w e p r o p o s e a n a p p r o a c h b a s e d o n B o o l e a n r e a s o n i n g
f o r n e w f e a t u r e e x t r a c t i o n f r o m d a t a t a b l e s w i t h s y m b o l i c ( n o m i n a l , q u a l -
i t a t i v e ) a t t r i b u t e s . N e w f e a t u r e s a r e o f t h e f o r m a 2 V , w h e r e V V
a
a n d V
a
i s t h e s e t o f v a l u e s o f a t t r i b u t e a . W e e m p h a s i z e t h a t B o o l e a n
r e a s o n i n g i s a l s o a g o o d f r a m e w o r k f o r c o m p l e x i t y a n a l y s i s o f t h e a p -
p r o x i m a t e s o l u t i o n s o f t h e d i s c u s s e d p r o b l e m s .
1 I n t r o d u c t i o n
" F e a t u r e E x t r a c t i o n " a n d " F e a t u r e S e l e c t i o n " a r e i m p o r t a n t p r o b l e m s i n M a -
c h i n e L e a r n i n g a n d D a t a M i n i n g ( s e e e . g . 6 , 3 , 4 ] ) . I n p r e v i o u s p a p e r s w e h a v e
c o n s i d e r e d p r o b l e m s l i k e : s h o r t r e d u c t n d i n g p r o b l e m 1 6 ] , r u l e i n d u c t i o n p r o b -
l e m 1 7 ] , o p t i m a l d i s c r e t i z a t i o n p r o b l e m 1 2 ] , l i n e a r f e a t u r e ( h y p e r p l a n e ) s e a r c h i n g
p r o b l e m 1 3 ] . O u r s o l u t i o n s o f t h e s e p r o b l e m s a r e b a s e d o n B o o l e a n r e a s o n i n g
s c h e m a 2 ] .
I n t h i s p a p e r w e d i s c u s s a p r o b l e m o f s e a r c h i n g f o r n e w f e a t u r e s f r o m a
d a t a t a b l e w i t h s y m b o l i c ( q u a l i t a t i v e ) v a l u e s o f a t t r i b u t e s . T h i s p r o b l e m , c a l l e d
s y m b o l i c v a l u e p a r t i t i o n p r o b l e m d i e r s f r o m t h e d i s c r e t i z a t i o n p r o b l e m . W e d o
n o t a s s u m e a n y p r e - d e n e d o r d e r o n v a l u e s o f a t t r i b u t e s . O n c e a g a i n , w e a p p l y
r o u g h s e t m e t h o d a n d B o o l e a n r e a s o n i n g t o c o n s t r u c t h e u r i s t i c s s e a r c h i n g f o r
r e l e v a n t f e a t u r e s o f t h e f o r m a 2 V V
a
g e n e r a t e d b y p a r t i t i o n s o f s y m b o l i c
v a l u e s o f c o n d i t i o n a l a t t r i b u t e s i n t o a s m a l l n u m b e r o f v a l u e s e t s .
W e a l s o p o i n t o u t t h a t B o o l e a n r e a s o n i n g c a n b e u s e d a s a t o o l t o m e a s u r e
t h e c o m p l e x i t y o f a p p r o x i m a t e s o l u t i o n o f a g i v e n p r o b l e m . A s a c o m p l e x i t y
m e a s u r e o f a g i v e n p r o b l e m w e p r o p o s e t h e c o m p l e x i t y o f t h e c o r r e s p o n d i n g t o
t h a t p r o b l e m B o o l e a n f u n c t i o n ( r e p r e s e n t e d b y t h e n u m b e r o f v a r i a b l e s , n u m b e r
o f c l a u s e s , e t c . ) . I t i s k n o w n t h a t f o r s o m e N P - h a r d p r o b l e m s i t i s e a s i e r t o
c o n s t r u c t e c i e n t h e u r i s t i c s t h a n f o r t h e o t h e r o n e s . T h e p r o b l e m o f s y m b o l i c
v a l u e p a r t i t i o n i s i n t h i s s e n s e h a r d e r t h a n t h e p r o b l e m o f o p t i m a l d i s c r e t i z a t i o n
p r o b l e m .
2 P r e l i m i n a r i e s
W e c o n s i d e r t h e B o o l e a n a l g e b r a o v e r B = f 0 ; 1 g a n d n - v a r i a b l e B o o l e a n f u n c -
t i o n f : B
n
! B , w h e r e n 1 .
7/29/2019 Boolean Reasoning for Feature Extraction Problems
2/11
F o r a n y s e q u e n c e a = ( a 1 ] ; : : : ; a n ] ) 2 B
n
a n d a n y v e c t o r o f B o o l e a n
v a r i a b l e s x = ( x
1
; : : : ; x
n
) w e d e n e t h e m i n t e r m m
a
a n d t h e m a x t e r m s
a
b y
m
a
( x ) = x
a 1 ]
1
x
a 2 ]
2
: : : x
a n ]
n
a n d s
a
( x ) = x
: a 1 ]
1
_ x
: a 2 ]
2
_ : : : _ x
: a n ]
n
w h e r e x
1
= x a n d x
0
= x :
T h e o r e m 1 . ( s e e 1 8 ] ) f ( x ) =
W
a 2 f
? 1
( 1 )
m
a
( x ) =
V
b 2 f
? 1
( 0 )
s
b
( x )
T h e s e t w o r e p r e s e n t a t i o n s a r e c a l l e d d i s j u n c t i v e ( D N F ) a n d c o n j u n c t i v e n o r -
m a l f o r m s ( C N F ) o f t h e f u n c t i o n f , r e s p e c t i v e l y .
L e t u = ( u
1
; : : : ; u
n
) ; v = ( v
1
; : : : ; v
n
) 2 f 0 ; 1 g
n
. W e u s e t h e c o o r d i n a t e - w i s e
o r d e r i n g , i . e . u v i f a n d o n l y i f u
i
v
i
f o r a l l i . A B o o l e a n f u n c t i o n f i s c a l l e d
m o n o t o n e i u v i m p l i e s f ( u ) f ( v ) . O n e c a n s h o w t h a t a B o o l e a n f u n c t i o n
i s m o n o t o n e i f a n d o n l y i f i t c a n b e d e n e d w i t h o u t n e g a t i o n 1 8 ] .
G i v e n a s e t o f v a r i a b l e s S f x
1
; : : : ; x
n
g w e d e n e t h e m o n o m i a l m
S
b y
m
S
( x ) =
V
x
i
2 S
x
i
: T h e s e t S o f v a r i a b l e s i s c a l l e d a n i m p l i c a n t o f t h e m o n o t o n e
B o o l e a n f u n c t i o n f i f a n d o n l y i f m
? 1
S
( 1 ) f
? 1
( 1 ) . T h e s e t S o f v a r i a b l e s i s
c a l l e d a p r i m e i m p l i c a n t o f a m o n o t o n e B o o l e a n f u n c t i o n f i f S i s a n i m p l i c a n t
o f f a n d a n y p r o p e r s u b s e t o f S i s n o t a n i m p l i c a n t o f f . W e u s e t h e f o l l o w i n g
p r o p e r t i e s o f t w o p r o b l e m s r e l a t e d t o m o n o t o n e B o o l e a n f u n c t i o n s 2 ] :
T h e o r e m 2 . 1 2 ] F o r a g i v e n m o n o t o n e B o o l e a n f u n c t i o n f o f n v a r i a b l e s i n
C N F a n d a n i n t e g e r k . T h e d e c i s i o n p r o b l e m f o r c h e c k i n g i f t h e r e e x i s t s a p r i m e
i m p l i c a n t o f f w i t h a t m o s t k v a r i a b l e s i s N P - c o m p l e t e . T h e p r o b l e m o f s e a r c h i n g
f o r m i n i m a l p r i m e i m p l i c a n t o f f i s N P - h a r d .
A n i n f o r m a t i o n s y s t e m 1 5 ] i s a p a i r A = ( U ; A ) , w h e r e U i s a n o n - e m p t y ,
n i t e s e t c a l l e d t h e u n i v e r s e a n d A i s a n o n - e m p t y , n i t e s e t o f a t t r i b u t e s , i . e .
a : U ! V
a
f o r a 2 A , w h e r e V
a
i s c a l l e d t h e v a l u e s e t o f a . E l e m e n t s o f U a r e
c a l l e d o b j e c t s .
A n y i n f o r m a t i o n s y s t e m A = ( U ; A ) a n d a n o n - e m p t y s e t B A d e n e a
B - i n f o r m a t i o n f u n c t i o n b y I n f
B
( x ) = f ( a ; a ( x ) ) : a 2 B f o r x 2 U g . T h e s e t
f I n f
A
( x ) : x 2 U g i s c a l l e d t h e A ? i n f o r m a t i o n s e t a n d d e n o t e d b y I N F ( A ) .
A n y i n f o r m a t i o n s y s t e m o f t h e f o r m A = ( U ; A f d g ) i s c a l l e d d e c i s i o n t a b l e
w h e r e d =2 A i s c a l l e d d e c i s i o n a n d t h e e l e m e n t s o f A a r e c a l l e d c o n d i t i o n s .
L e t V
d
= f 1 ; : : : ; r ( d ) g . T h e d e c i s i o n d d e t e r m i n e s t h e p a r t i t i o n f C
1
; : : : ; C
r ( d )
g
o f t h e u n i v e r s e U , w h e r e C
k
= f x 2 U : d ( x ) = k g f o r 1 k r ( d ) . T h e s e t C
k
i s c a l l e d t h e k ? t h d e c i s i o n c l a s s o f A .
W i t h a n y s u b s e t o f a t t r i b u t e s B A , a n e q u i v a l e n c e r e l a t i o n c a l l e d t h e
B - i n d i s c e r n i b i l i t y r e l a t i o n 1 5 ] , d e n o t e d b y I N D ( B ) , i s d e n e d b y
I N D ( B ) = f ( x ; y ) 2 U U : 8
a 2 B
( a ( x ) = a ( y ) ) g
O b j e c t s x ; y s a t i s f y i n g r e l a t i o n I N D ( B ) a r e i n d i s c e r n i b l e b y a t t r i b u t e s f r o m
B . B y x ]
I N D ( B )
w e d e n o t e t h e e q u i v a l e n c e c l a s s o f I N D ( B ) d e n e d b y x . A
m i n i m a l s u b s e t B o f A s u c h t h a t I N D ( A ) = I N D ( B ) i s c a l l e d a r e d u c t o f A .
7/29/2019 Boolean Reasoning for Feature Extraction Problems
3/11
I f A = ( U ; A f d g ) i s a d e c i s i o n t a b l e a n d B A t h e n w e d e n e a f u n c t i o n
@
B
: U ! 2
f 1 ; : : ; r ( d ) g
, c a l l e d t h e g e n e r a l i z e d d e c i s i o n i n A , b y
@
B
( x ) = f i : 9
x
0
2 U
( x
0
I N D ( B ) x ) ( d ( x
0
) = i ) ] g = d
x ]
I N D ( B )
A d e c i s i o n t a b l e A i s c a l l e d c o n s i s t e n t ( d e t e r m i n i s t i c ) i f c a r d ( @
A
( x ) ) = 1 f o r
a n y x 2 U , o t h e r w i s e A i s i n c o n s i s t e n t ( n o n - d e t e r m i n i s t i c ) .
3 S o m e o p t i m i z a t i o n p r o b l e m s i n r o u g h s e t t h e o r y
3 . 1 M i n i m a l R e d u c t p r o b l e m
L e t A b e a n i n f o r m a t i o n s y s t e m w i t h n o b j e c t s a n d k a t t r i b u t e s . B y M ( A ) 1 6 ]
w e d e n o t e a n n n m a t r i x ( c
i j
) , c a l l e d t h e d i s c e r n i b i l i t y m a t r i x o f A s u c h t h a t
c
i j
= f a 2 A : a ( x
i
) 6= a ( x
j
) g f o r i ; j = 1 ; : : : ; n :
A d i s c e r n i b i l i t y f u n c t i o n f
A
f o r t h e i n f o r m a t i o n s y s t e m A i s a B o o l e a n f u n c -
t i o n o f k B o o l e a n v a r i a b l e s a
1
; : : : ; a
k
c o r r e s p o n d i n g t o t h e a t t r i b u t e s a
1
; : : : ; a
k
r e s p e c t i v e l y , a n d d e n e d b y
f
A
( a
1
; : : : ; a
k
) =
d f
V
c
i j
6= ;
W
c
i j
w h e r e c
i j
= f a
: a 2 c
i j
g :
T h e s e t o f a l l p r i m e i m p l i c a n t s o f f
A
d e t e r m i n e s t h e s e t o f a l l r e d u c t s o f
A 1 6 ] . I n t h e s e q u e l , t o s i m p l i f y t h e n o t a t i o n , w e o m i t t h e s t a r s u p e r s c r i p t s .
O b s e r v e t h a t t h e B o o l e a n f u n c t i o n f
A
c o n s i s t s o f k v a r i a b l e s a n d O
?
n
2
c l a u s e s .
A s u b s e t B o f t h e s e t A o f a t t r i b u t e s o f d e c i s i o n t a b l e A = ( U ; A f d g ) i s a
r e l a t i v e r e d u c t o f A i B i s a m i n i m a l s e t w i t h r e s p e c t t o t h e f o l l o w i n g p r o p e r t y :
@
B
= @
A
. T h e s e t o f a l l r e l a t i v e r e d u c t s i n A i s d e n o t e d b y R E D ( A ; d ) .
T h e o r e m 3 . 1 6 ] T h e d e c i s i o n p r o b l e m f o r c h e c k i n g i f t h e r e e x i s t a ( r e l a t i v e )
r e d u c t o f l e n g t h < k i s N P - c o m p l e t e . T h e s e a r c h i n g p r o b l e m f o r r e d u c t o f m i n i -
m a l l e n g t h i s N P - h a r d .
3 . 2 D i s c r e t i z a t i o n m a k i n g
L e t A = ( U ; A f d g ) b e a d e c i s i o n t a b l e w h e r e U = f x
1
; x
2
; : : : ; x
n
g ; A =
f a
1
; : : : ; a
k
g a n d d : U ! f 1 ; : : : ; r g . W e a s s u m e V
a
= l
a
; r
a
)
7/29/2019 Boolean Reasoning for Feature Extraction Problems
4/11
T w o s e t s o f c u t s P
0
; P a r e e q u i v a l e n t , i . e . P
0
A
P , i A
P
= A
P
0
. T h e e q u i v -
a l e n c e r e l a t i o n
A
h a s a n i t e n u m b e r o f e q u i v a l e n c e c l a s s e s . I n t h e s e q u e l w e
w i l l n o t d i s c e r n b e t w e e n e q u i v a l e n t f a m i l i e s o f p a r t i t i o n s .
W e s a y t h a t t h e s e t o f c u t s P i s A - c o n s i s t e n t i f @
A
= @
A
P
, w h e r e @
A
a n d @
A
P
a r e g e n e r a l i z e d d e c i s i o n s o f A a n d A
P
, r e s p e c t i v e l y . T h e A - c o n s i s t e n t s e t o f c u t s
P
i r r
i s A - i r r e d u c i b l e i f P i s n o t A - c o n s i s t e n t f o r a n y P P
i r r
. T h e A - c o n s i s t e n t
s e t o f c u t s P
o p t
i s A - o p t i m a l i f c a r d ( P
o p t
) c a r d ( P ) f o r a n y A - c o n s i s t e n t s e t
o f c u t s P .
T h e o r e m 4 . 1 2 ] T h e d e c i s i o n p r o b l e m o f c h e c k i n g i f f o r a g i v e n d e c i s i o n t a b l e
A a n d a n i n t e g e r k t h e r e e x i s t s a n i r r e d u c i b l e s e t o f c u t s P i n A s u c h t h a t
c a r d ( P ) < k i s N P - c o m p l e t e . T h e p r o b l e m o f s e a r c h i n g f o r a n o p t i m a l s e t o f
c u t s P i n a g i v e n d e c i s i o n t a b l e A i s N P - h a r d .
L e t u s d e n e a n e w d e c i s i o n t a b l e A
= ( U
; A
f d
g ) w h e r e
{ U
=
( u ; v ) 2 U
2
: d ( u ) 6= d ( v )
f g
{ A
= f c : c i s a c u t o n A g . c ( ) = 0 ; c ( ( u ; v ) ) =
1 i f c d i s c e r n s u ; v
0 o t h e r w i s e
{ d ( ) = 0 ; d
( u
i
; u
j
) = 1 f o r ( u ; v ) 2 U
.
I t h a s b e e n s h o w n 1 2 ] t h a t a n y r e l a t i v e r e d u c t o f A
i s a n i r r e d u c i b l e s e t o f
c u t s f o r A a n d a n y m i n i m a l r e l a t i v e r e d u c t o f A
i s a n o p t i m a l s e t o f c u t s f o r
A . T h e B o o l e a n f u n c t i o n c o r r e s p o n d i n g t o t h e m i n i m a l r e l a t i v e r e d u c t p r o b l e m
f
A
h a s O ( n k ) v a r i a b l e s ( c u t s ) a n d O
?
n
2
c l a u s e s .
3 . 3 D i s c r e t i z a t i o n d e n e d b y H y p e r p l a n e s
L e t A = ( U ; A f d g ) b e a d e c i s i o n t a b l e , w h e r e U = f u
1
; : : : ; u
n
g , A = f f
1
; : : : ; f
k
g
a n d d : U ! f 1 ; : : : ; m g a n d l e t C
i
= f u 2 U : d ( u ) = i g f o r i = 1 ; : : : ; m . A s s u m i n g
t h a t o b j e c t s u
i
2 U a r e d e s c r i b e d b y c o n d i t i o n a l a t t r i b u t e s , w e c a n c h a r a c t e r i z e
t h e m a s p o i n t s : P
i
= ( f
1
( u
i
) ; : : : ; f
k
( u
i
) ) i n k - d i m e n s i o n a l a n e s p a c e
7/29/2019 Boolean Reasoning for Feature Extraction Problems
5/11
4 A p p r o x i m a t e A l g o r i t h m s
4 . 1 J o h n s o n s t r a t e g y
I n g e n e r a l , t h e J o h n s o n g r e e d y a l g o r i t h m s e a r c h i n g f o r s h o r t e s t p r i m e i m p l i c a n t
o f a g i v e n B o o l e a n f u n c t i o n o f k v a r i a b l e s V = f x
1
; : : : ; x
k
g i n C N F :
f = ( x
1 ; 1
_ x
1 ; 2
: : : _ x
1 ; i
1
) : : : ( x
N ; 1
_ x
N ; 2
: : : _ x
N ; i
N
)
w h e r e x
i ; j
2 V , i s d e s c r i b e d a s f o l l o w s :
J o h n s o n s t r a t e g y : G r e e d y a l g o r i t h m
S t e p 1 : C h o o s e t h e v a r i a b l e x 2 V m o s t f r e q u e n t l y o c c u r r i n g i n f .
S t e p 2 : R e m o v e f r o m f a l l c l a u s e s c o n t a i n i n g t h e v a r i a b l e x .
S t e p 3 : I f f 6= 0 t h e n g o t o S t e p 1 e l s e g o t o S t e p 4 .
S t e p 4 : F r o m t h e s e t o f c h o s e n v a r i a b l e s r e m o v e s u p e r u o u s v a r i a b l e s . T h e
o b t a i n e d s e t o f v a r i a b l e s i s r e t u r n e d a s t h e r e s u l t o f t h e a l g o r i t h m .
I n g e n e r a l , t h e t i m e c o m p l e x i t y o f t h e p r e s e n t e d a l g o r i t h m d e p e n d s o n t h e
t i m e c o m p l e x i t y o f S t e p 1 . I f t h e r e a r e k v a r i a b l e s a n d N c l a u s e s , S t e p 1 t a k e s
O ( k N ) c o m p u t i n g s t e p s . I n s o m e p a r t i c u l a r c a s e s o n e c a n r e d u c e t h e t i m e c o m -
p l e x i t y o f t h i s a l g o r i t h m , b u t u s u a l l y t h e n u m b e r o f v a r i a b l e s a n d t h e n u m b e r
o f c l a u s e s d e t e r m i n e t h e c o m p l e x i t y o f t h e p r o b l e m .
4 . 2 M i n i m a l r e d u c t n d i n g
W e a p p l y t h e J o h n s o n s t r a t e g y f o r t h e d i s c e r n i b i l i t y f u n c t i o n f
A
( a
1
; : : : ; a
k
) .
T h e m a i n t a s k o f t h e a l g o r i t h m i s t o n d a n a t t r i b u t e a 2 A d i s c e r n i n g t h e
l a r g e s t n u m b e r o f p a i r s o f o b j e c t s i . e . a t t r i b u t e m o s t o f t e n o c c u r r i n g i n e n t r i e s
c
i j
o f t h e d i s c e r n i b i l i t y m a t r i x M ( A ) . T h e a t t r i b u t e a i s t h e n a d d e d t o t h e
t e m p o r a r y r e d u c t a n d a l l o f t h e c e l l s c
i j
c o n t a i n i n g a a r e r e p l a c e d b y t h e e m p t y
s e t ; . T h e p r o c e d u r e i s r e p e a t e d u n t i l a l l e n t r i e s o f t h e m a t r i x M ( A ) b e c o m e
e m p t y . I t i s e a s y t o c o n s t r u c t a n a l g o r i t h m f o r c o m p u t i n g o f t h e s e m i - m i n i m a l
r e d u c t i n O
?
k n
2
s p a c e a n d O
?
k n
2
j R j
t i m e , w h e r e R i s a r e d u c t c o n s t r u c t e d
b y t h e a l g o r i t h m . T h i s r e s u l t c a n b e i m p r o v e d . I t h a s b e e n s h o w n i n 1 4 ] t h a t
o n e c a n n d t h e b e s t a t t r i b u t e i n O ( k n l o g n ) s t e p s u s i n g O ( n k ) s p a c e .
4 . 3 E c i e n t d i s c r e t i z a t i o n a l g o r i t h m
T h e a l g o r i t h m b a s e d o n J o h n s o n ' s s t r a t e g y d e s c r i b e d i n t h e p r e v i o u s s e c t i o n
i s s e a r c h i n g f o r a c u t c 2 A
w h i c h d i s c e r n s t h e l a r g e s t n u m b e r o f p a i r s o f
o b j e c t s ( M D - h e u r i s t i c ) . T h e n w e m o v e t h e c u t c f r o m A
t o t h e r e s u l t i n g s e t o f
c u t s P a n d r e m o v e f r o m U
a l l p a i r s o f o b j e c t s d i s c e r n e d b y c . O u r a l g o r i t h m
i s c o n t i n u e d u n t i l U
= f n e w g . L e t n b e t h e n u m b e r o f o b j e c t s a n d l e t k b e
t h e n u m b e r o f a t t r i b u t e s o f d e c i s i o n t a b l e A . T h e n c a r d ( A
) ( n ? 1 ) k a n d
c a r d ( U
)
n ( n ? 1 )
2
. I t i s e a s y t o o b s e r v e t h a t f o r a n y c u t c 2 A
w e n e e d
O
?
n
2
s t e p s t o n d t h e n u m b e r o f a l l p a i r s o f o b j e c t s d i s c e r n e d b y c . H e n c e t h e
7/29/2019 Boolean Reasoning for Feature Extraction Problems
6/11
s t r a i g h t f o r w a r d r e a l i z a t i o n o f t h i s a l g o r i t h m r e q u i r e s O
?
k n
2
o f m e m o r y s p a c e
a n d O ( k n
3
) s t e p s t o d e t e r m i n e o n e c u t , s o i t i s n o t f e a s i b l e i n p r a c t i c e . T h e M D -
h e u r i s t i c p r e s e n t e d i n 1 4 ] d e t e r m i n e s t h e b e s t c u t i n O ( k n ) s t e p s u s i n g O ( k n )
s p a c e o n l y .
4 . 4 S e a r c h i n g f o r b e s t h y p e r p l a n e s u s i n g g e n e t i c a l g o r i t h m s
L e t u s n o t e t h a t t h e n u m b e r o f d i e r e n t p a r t i t i o n s o f a g i v e n s e t o f o b j e c t s t h a t
c a n b e i n d u c e d w i t h a s i n g l e o b l i q u e h y p e r p l a n e i s O
?
n
k
. T h i s o b s e r v a t i o n
h e l p s t o e v a l u a t e t h e c o m p l e x i t y o f t h e " b e s t h y p e r p l a n e " n d i n g .
L e t H b e a g i v e n h y p e r p l a n e . W e s e t L
i
= c a r d ( C
L ; H
i
) a n d R
i
= c a r d ( C
R ; H
i
)
f o r i = 1 ; : : : ; r ; R = R
1
+ + R
r
; L = L
1
+ + L
r
. I t h a s b e e n s h o w n i n 7 ]
t h a t t h e p r o b l e m o f s e a r c h i n g f o r o p t i m a l o b l i q u e h y p e r p l a n e u s i n g s u m - m i n o r i t y
m e a s u r e i s N P - c o m p l e t e ( o r N P - h a r d ) . T h e s u m - m i n o r i t y m e a s u r e i s d e n e d b y :
S u m M i n o r ( H ) = m i n
i 2 f 1 ; : : ; r g
f L
i
g + m i n
i 2 f 1 ; : : ; r g
f R
i
g . O n e c a n a p p l y a n o t h e r
m e a s u r e t o e s t i m a t e t h e q u a l i t y o f h y p e r p l a n e s 1 2 ] :
a w a r d ( H ) =
X
i 6= j
c a r d
?
C
R
i
( H )
c a r d
?
C
L
j
( H )
= L R ?
r
X
i = 1
( L
i
R
i
)
I f a w a r d ( H ) > a w a r d ( H
0
) t h e n t h e n u m b e r o f d i s c e r n i b l e p a i r s o f o b j e c t s f r o m
d i e r e n t d e c i s i o n c l a s s e s b y t h e h y p e r p l a n e H i s g r e a t e r t h a n t h e c o r r e s p o n d i n g
n u m b e r d e n e d b y t h e h y p e r p l a n e H
0
. T h i s f u n c t i o n h a s b e e n a p p l i e d i n t h e
M D - h e u r i s t i c t o m e a s u r e t h e n u m b e r o f d i s c e r n i b l e p a i r s o f o b j e c t s .
S i n c e t h e p r o b l e m s o f s e a r c h i n g f o r t h e h y p e r p l a n e s a r e h a r d s o m e h e u r i s t i c s
a r e u s e d t o s o l v e i t 1 3 ] . W e a l s o u s e t h e p e n a l t y ( H ) f u n c t i o n :
p e n a l t y ( H ) =
r
X
i = 1
c a r d
C
U ; H
i
c a r d
C
L ; H
i
=
r
X
i = 1
( L
i
R
i
)
o r m o r e a d v a n c e d f u n c t i o n s t o m e a s u r e t h e q u a l i t y o f o b l i q u e h y p e r p l a n e s :
p o w e r
1
( H ) =
w
1
a w a r d ( H )
p e n a l t y ( H ) + w
2
;
p o w e r
2
( H ) = w
1
a w a r d ( H ) ? w
2
p e n a l t y ( H ) :
T h e r e a r e n u m e r o u s m e t h o d s o f s e a r c h i n g f o r o p t i m a l h y p e r p l a n e s ( s e e e . g .
7 ] b a s e d o n v a r i o u s h e u r i s t i c s l i k e " s i m u l a t e d a n n e a l i n g " 7 ] , " r a n d o m i z e d i n -
d u c t i o n " . . . I n 1 3 ] w e p r o p o s e d a g e n e r a l m e t h o d ( b a s e d o n g e n e t i c s t r a t e g y ) o f
s e a r c h i n g f o r o p t i m a l s e t o f h y p e r p l a n e s b y u s i n g g e n e t i c a l g o r i t h m .
5 S y m b o l i c v a l u e a t t r i b u t e p a r t i t i o n p r o b l e m
W e h a v e c o n s i d e r e d t h e r e a l v a l u e a t t r i b u t e d i s c r e t i z a t i o n p r o b l e m . I t i s a s e a r c h -
i n g p r o b l e m f o r a p a r t i t i o n o f r e a l v a l u e s i n t o i n t e r v a l s ( t h e n a t u r a l l i n e a r o r d e r
"
7/29/2019 Boolean Reasoning for Feature Extraction Problems
7/11
I n c a s e o f s y m b o l i c v a l u e a t t r i b u t e s ( i . e . w i t h o u t a n y p r e - a s s u m e d o r d e r i n
t h e v a l u e s e t s o f a t t r i b u t e s ) t h e p r o b l e m o f s e a r c h i n g f o r p a r t i t i o n s o f v a l u e
s e t s i n t o a " s m a l l " n u m b e r o f s u b s e t s i s , i n a s e n s e , m o r e c o m p l i c a t e d t h a n
f o r c o n t i n u o u s a t t r i b u t e s . O n c e a g a i n , w e a p p l y B o o l e a n r e a s o n i n g a p p r o a c h t o
c o n s t r u c t a p a r t i t i o n o f s y m b o l i c v a l u e s e t s i n t o s m a l l n u m b e r o f s u b s e t s .
L e t A = ( U ; A f d g ) b e a d e c i s i o n t a b l e w h e r e A = f a
i
: U ! V
a
i
g a n d V
a
i
=
v
a
i
1
; v
a
i
2
; : : : ; v
a
i
n
i
, f o r i 2 f 1 ; : : : ; k g . A n y f u n c t i o n P
a
i
: V
a
i
! f 1 ; : : : ; m
i
g ( w h e r e
m
i
n
i
) i s c a l l e d a p a r t i t i o n o f V
a
i
. T h e r a n k o f P
a
i
i s t h e v a l u e r a n k ( P
i
) =
c a r d ( P
a
i
( V
a
i
) ) . T h e f u n c t i o n P
a
i
d e n e s a n e w p a r t i t i o n a t t r i b u t e b
i
= P
a
i
a
i
i . e . b
i
( u ) = P
a
i
( a
i
( u ) ) f o r a n y o b j e c t u 2 U :
T h e f a m i l y o f p a r t i t i o n s f P
a
g
a 2 B
i s B ? c o n s i s t e n t i
8
u ; v 2 U
d ( u ) 6= d ( v ) ( u ; v ) =2 I N D ( B ) ] ) 9
a 2 B
P
a
( a ( u ) ) 6= P
a
( a ( v ) ) ] ( 1 )
I t m e a n s t h a t i f t w o o b j e c t s u ; u
0
a r e d i s c e r n e d b y B a n d d , t h e n t h e y m u s t
b e d i s c e r n e d b y t h e p a r t i t i o n a t t r i b u t e d e n e d b y f P
a
g
a 2 B
. W e c o n s i d e r t h e
f o l l o w i n g o p t i m i z a t i o n p r o b l e m c a l l e d t h e s y m b o l i c v a l u e p a r t i t i o n p r o b l e m :
S Y M B O L I C V A L U E P A R T I T I O N P R O B L E M :
F o r a g i v e n d e c i s i o n t a b l e A = ( U ; A f d g ) , a n d a s e t o f n o m i n a l a t t r i b u t e s
B A , s e a r c h f o r a m i n i m a l B ? c o n s i s t e n t f a m i l y o f p a r t i t i o n s ( i . e . B -
c o n s i s t e n t f a m i l y f P
a
g
a 2 B
w i t h t h e m i n i m a l v a l u e o f
P
a 2 B
r a n k ( P
a
) ) .
T h i s c o n c e p t i s u s e f u l w h e n w e w a n t t o r e d u c e t h e a t t r i b u t e v a l u e s e t s o f
a t t r i b u t e s w i t h l a r g e c a r d i n a l i t i e s . T h e d i s c r e t i z a t i o n p r o b l e m c a n b e d e r i v e d
f r o m t h e p a r t i t i o n p r o b l e m b y a d d i n g t h e m o n o t o n i c i t y c o n d i t i o n f o r f a m i l y
f P
a
g
a 2 A
: 8
v
1
; v
2
2 V
a
v
1
v
2
) P
a
( v
1
) P
a
( v
2
) ]
W e p r o p o s e t w o a p p r o a c h e s f o r s o l v i n g t h i s p r o b l e m , n a m e l y t h e l o c a l p a r t i -
t i o n m e t h o d a n d t h e g l o b a l p a r t i t i o n m e t h o d . T h e f o r m e r a p p r o a c h i s b a s e d o n
g r o u p i n g t h e v a l u e s o f e a c h a t t r i b u t e i n d e p e n d e n t l y w h e r e a s t h e l a t e r a p p r o a c h
i s b a s e d o n g r o u p i n g o f a t t r i b u t e v a l u e s s i m u l t a n e o u s l y f o r a l l a t t r i b u t e s .
5 . 1 L o c a l p a r t i t i o n
T h e l o c a l p a r t i t i o n s t r a t e g y i s q u i t e s i m i l a r t o " H o l t e ' s 1 R d i s c r e t i z e r " 8 ] . F o r
a n y x e d a t t r i b u t e a 2 A , w e w a n t t o n d s u c h a p a r t i t i o n P
a
t h a t k e e p s
c o n s i s t e n c y c o n d i t i o n ( 1 ) f o r t h e a t t r i b u t e a ( i . e . B = f a g ) .
F o r a n y p a r t i t i o n P
a
t h e e q u i v a l e n c e r e l a t i o n
P
a
i s d e n e d b y : v
1
P
a
v
2
,
P
a
( v
1
) = P
a
( v
2
) f o r a l l v
1
; v
2
2 V
a
.
W e c o n s i d e r t h e r e l a t i o n U N I
a
d e n e d o n V
a
a s f o l l o w s :
v
1
U N I
a
v
2
, 8
u ; u
0
2 U
( a ( u ) = v
1
a ( u
0
) = v
2
) ) d ( u ) = d ( u
0
) ] ( 2 )
T h e o r e m 5 . I f P
a
i s a - c o n s i s t e n t t h e n
P
a
U N I
a
. T h e e q u i v a l e n c e r e l a t i o n
U N I
a
d e n e s a m i n i m a l a ? c o n s i s t e n t p a r t i t i o n o n a .
7/29/2019 Boolean Reasoning for Feature Extraction Problems
8/11
5 . 2 G l o b a l p a r t i t i o n
W e c o n s i d e r t h e d i s c e r n i b i l i t y m a t r i x 1 6 ] o f t h e d e c i s i o n t a b l e A : M ( A ) =
m
i ; j
]
n
i ; j = 1
w h e r e m
i ; j
i s t h e s e t o f a l l a t t r i b u t e s h a v i n g d i e r e n t v a l u e s o n o b j e c t s
u
i
; u
j
i . e . m
i ; j
= f a 2 A : a ( u
i
) 6= a ( u
j
) g . O b s e r v e t h a t i f w e w a n t t o d i s c e r n
b e t w e e n o b j e c t s u
i
a n d u
j
w e h a v e t o k e e p o n e o f t h e a t t r i b u t e s f r o m m
i ; j
. F o r
t h e n e e d o f o u r p r o b l e m w e w o u l d l i k e t o h a v e m o r e r e l e v a n t f o r m u l a t i o n : t o
d i s c e r n o b j e c t s u
i
; u
j
w e h a v e t o d i s c e r n f o r s o m e a 2 m
i ; j
b e t w e e n v a l u e s o f t h e
v a l u e p a i r ( a ( u
i
) ; a ( u
j
) ) .
H e n c e i n s t e a d o f c u t s u s e d f o r c o n t i n u o u s v a l u e s ( d e n e d b y p a i r s ( a
i
; c
j
) ) ,
o n e c a n d i s c e r n o b j e c t s b y t r i p l e s
?
a
i
; v
a
i
i
1
; v
a
i
i
2
c a l l e d c h a i n s , w h e r e a
i
2 A f o r
i = 1 ; : : : ; k a n d i
1
; i
2
2 f 1 ; : : : ; n
i
g :
O n e c a n b u i l d a n e w d e c i s i o n t a b l e A
+
= ( U
+
; A
+
f d
+
g ) ( a n a l o g o u s l y t o t h e
t a b l e A
( s e e S e c t i o n 3 . 2 ) ) a s s u m i n g U
+
= U
; d
+
= d
a n d A
+
= f ( a ; v
1
; v
2
) :
( a 2 A ) ( v
1
; v
2
2 V
a
) g . A g a i n o n e c a n a p p l y t o A
+
e . g . t h e J o h n s o n h e u r i s t i c
t o s e a r c h f o r a m i n i m a l s e t o f c h a i n s d i s c e r n i n g a l l p a i r s o f o b j e c t s f r o m d i e r e n t
d e c i s i o n c l a s s e s .
O n e c a n s e e t h a t o u r p r o b l e m c a n b e s o l v e d b y e c i e n t h e u r i s t i c s o f g r a p h
c o l o r i n g . T h e " g r a p h k ? c o l o r a b i l i t y " p r o b l e m i s f o r m u l a t e d a s f o l l o w s :
i n p u t : G r a p h G = ( V ; E ) , p o s i t i v e i n t e g e r k j V j
o u t p u t : 1 i f G i s k ? c o l o r a b l e , ( i . e . i f t h e r e e x i s t a f u n c t i o n f : V ! f 1 ; : : : ; k g
s u c h t h a t f ( v ) 6= f ( v
0
) w h e n e v e r ( v ; v
0
) 2 E ) a n d 0 o t h e r w i s e .
T h i s p r o b l e m i s s o l v a b l e i n p o l y n o m i a l t i m e f o r k = 2 , b u t i s N P - c o m p l e t e
f o r a l l k 3 . H o w e v e r , s i m i l a r l y t o d i s c r e t i z a t i o n , o n e c a n a p p l y s o m e e c i e n t
h e u r i s t i c s e a r c h i n g f o r o p t i m a l g r a p h c o l o r i n g d e t e r m i n i n g o p t i m a l p a r t i t i o n s o f
a t t r i b u t e v a l u e s e t s .
F o r a n y a t t r i b u t e a
i
i n a s e m i - m i n i m a l s e t X o f c h a i n s r e t u r n e d f r o m t h e
a b o v e h e u r i s t i c w e c o n s t r u c t a g r a p h ?
a
i
= h V
a
i
; E
a
i
i , w h e r e E
a
i
i s e q u a l t o t h e
s e t o f a l l c h a i n s i n X o f t h e a t t r i b u t e a
i
. A n y c o l o r i n g o f a l l g r a p h s ?
a
i
d e n e s
a n A - c o n s i s t e n t p a r t i t i o n o f v a l u e s e t s . H e n c e h e u r i s t i c s s e a r c h i n g f o r m i n i m a l
g r a p h c o l o r i n g r e t u r n a l s o s u b - o p t i m a l p a r t i t i o n s o f a t t r i b u t e v a l u e s e t s .
O n e c a n s e e t h a t t h i s t i m e t h e c o n s t r u c t e d B o o l e a n f o r m u l a h a s O ( k n l
2
)
v a r i a b l e s a n d O ( n
2
) c l a u s e s , w h e r e l i s t h e m a x i m a l v a l u e o f c a r d ( V
a
) f o r a 2 A .
L e t u s n o t e a l s o t h a t i f p r i m e i m p l i c a n t s h a v e b e e n c o n s t r u c t e d a h e u r i s t i c f o r
g r a p h c o l o r i n g s h o u l d b e a p p l i e d t o g e n e r a t e n e w f e a t u r e s .
5 . 3 E x a m p l e
L e t u s c o n s i d e r t h e d e c i s i o n t a b l e p r e s e n t e d i n F i g u r e 1 a n d a r e d u c e d f o r m o f
i t s d i s c e r n i b i l i t y m a t r i x .
F i r s t l y , f r o m t h e B o o l e a n f u n c t i o n f
A
w i t h B o o l e a n v a r i a b l e s o f t h e f o r m a
v
2
v
1
( c o r r e s p o n d i n g t o t h e c h a i n ( a ; v
1
; v
2
) d e s c r i b e d i n S e c t i o n 5 . 2 ) w e n d a s h o r t e s t
p r i m e i m p l i c a n t : a
a
1
a
2
a
a
2
a
3
a
a
1
a
4
a
a
3
a
4
b
a
1
a
4
b
a
2
a
4
b
a
2
a
3
b
a
1
a
3
b
a
3
a
5
] , w h i c h c a n
b e r e p r e s e n t e d b y g r a p h s ( F i g u r e 2 ) . N e x t w e a p p l y a h e u r i s t i c t o c o l o r v e r t i c e s
7/29/2019 Boolean Reasoning for Feature Extraction Problems
9/11
o f t h o s e g r a p h s a s i t i s s h o w n i n F i g u r e 2 . T h e c o l o r s a r e c o r r e s p o n d i n g t o t h e
p a r t i t i o n s :
P
a
( a
1
) = P
a
( a
3
) = 1 ; P
a
( a
2
) = P
a
( a
4
) = 2
P
b
( b
1
) = P
b
( b
2
) = P
b
( b
5
) = 1 ; P
b
( b
3
) = P
b
( b
4
) = 2
a n d a t t h e s a m e t i m e o n e c a n c o n s t r u c t t h e n e w d e c i s i o n t a b l e ( F i g u r e 1 ) .
A a b d
u
1
a
1
b
1
0
u
2
a
1
b
2
0 M ( A ) u
1
u
2
u
3
u
4
u
3
a
2
b
3
0 u
5
b
b
1
b
4
b
b
2
b
4
a
a
1
a
2
, b
b
3
b
4
a
a
1
a
3
, b
b
1
b
4
a
P
a
b
P
b
d
u
4
a
3
b
1
0 u
6
a
a
1
a
2
, b
b
1
b
2
a
a
1
a
2
b
b
2
b
3
a
a
2
a
3
, b
b
1
b
2
1 1 0
u
5
a
1
b
4
1 ! u
7
a
a
1
a
2
a
a
1
a
2
, b
b
1
b
2
b
b
1
b
3
a
a
2
a
3
! 2 2 0
u
6
a
2
b
2
1 u
8
a
a
1
a
4
, b
b
1
b
2
a
a
1
a
4
a
a
2
a
4
, b
b
2
b
3
a
a
3
a
4
, b
b
1
b
2
1 2 1
u
7
a
2
b
1
1 u
9
a
a
1
a
3
, b
b
1
b
4
a
a
1
a
3
, b
b
2
b
4
a
a
2
a
3
, b
b
3
b
4
b
b
1
b
4
2 1 1
u
8
a
4
b
2
1 u
1 0
a
a
1
a
2
, b
b
1
b
5
a
a
1
a
2
, b
b
2
b
5
b
b
3
b
5
a
a
2
a
3
, b
b
1
b
5
u
9
a
3
b
4
1
u
1 0
a
2
b
5
1
F i g . 1 . T h e d e c i s i o n t a b l e a n d t h e c o r r e s p o n d i n g d i s c e r n i b i l i t y m a t r i x .
x
x h
h
@
@
@
@
@
@
@ ?
?
?
?
?
?
?
h
h
x
x x
a
1
a
3
a
2
a
4
b
5
b
1
b
2
b
3
b
4
B
B
B
B
B
B
Q
Q
Q
Q
Q
Q
Q
Q
Q
B
B
B
B
B
B
B
B
B
a
b
F i g . 2 . C o l o r i n g o f a t t r i b u t e v a l u e g r a p h s .
6 C o n c l u s i o n s
W e h a v e p r e s e n t e d a p p l i c a t i o n s o f B o o l e a n r e a s o n i n g m e t h o d s f o r d i e r e n t p r o b -
l e m s l i k e : m i n i m a l r e d u c t n d i n g , o p t i m a l d i s c r e t i z a t i o n m a k i n g , s e a r c h i n g f o r
b e s t h y p e r p l a n e s , m i n i m a l p a r t i t i o n . T h e s e e x a m p l e s a r e s h o w i n g t h e p o w e r o f
7/29/2019 Boolean Reasoning for Feature Extraction Problems
10/11
t h i s t o o l i n s e a r c h i n g f o r n e w f e a t u r e s . I n o u r s y s t e m f o r d a t a a n a l y s i s w e h a v e
i m p l e m e n t e d e c i e n t h e u r i s t i c s b a s e d o n t h o s e m e t h o d s . T h e t e s t s a r e s h o w i n g
t h a t t h e y a r e v e r y e c i e n t f r o m t h e p o i n t o f v i e w o f t i m e c o m p l e x i t y . T h e y a l s o
a s s u r e h i g h q u a l i t y o f r e c o g n i t i o n o f n e w u n s e e n c a s e s ( 1 3 , 1 4 ] ) . T h e h e u r i s t i c s
f o r s y m b o l i c v a l u e p a r t i t i o n a l l o w t o o b t a i n m o r e c o m p r e s s e d f o r m o f d e c i s i o n
a l g o r i t h m . H e n c e , f r o m t h e m i n i m u m d e s c r i p t i o n l e n g t h p r i n c i p l e , o n e c a n e x -
p e c t t h a t t h e y w i l l r e t u r n d e c i s i o n a l g o r i t h m s w i t h h i g h q u a l i t y o f u n s e e n o b j e c t
c l a s s i c a t i o n .
A c k n o w l e d g e m e n t : T h i s w o r k w a s s u p p o r t e d b y t h e S t a t e C o m m i t t e e f o r
S c i e n t i c R e s e a r c h ( g r a n t K B N 8 T 1 1 C 0 1 0 1 1 ) .
R e f e r e n c e s
1 . A l m u a l l i m H . , D i e t t e r i c h T . G . ( 1 9 9 4 ) . L e a r n i n g B o o l e a n C o n c e p t s i n T h e P r e s e n c e
o f M a n y I r r e l e v a n t F e a t u r e s . A r t i c i a l I n t e l l i g e n c e , 6 9 ( 1 - 2 ) , p p . 2 7 9 - 3 0 5 .
2 . B r o w n F . M . , B o o l e a n r e a s o n i n g , K l u w e r , D o r d r e c h t 1 9 9 0 .
3 . C a t l e t t J . ( 1 9 9 1 ) . O n c h a n g i n g c o n t i n u o s a t t r i b u t e s i n t o o r d e r e d d i s c r e t e a t t r i b u t e s .
I n Y . K o d r a t o , ( e d . ) , M a c h i n e L e a r n i n g - E W S L - 9 1 , P r o c . o f t h e E u r o p e a n W o r k i n g
S e s s i o n o n L e a r n i n g , P o r t o , P o r t u g a l , M a r c h 1 9 9 1 , L N A I , p p . 1 6 4 - 1 7 8 .
4 . C h m i e l e w s k i M . R . , G r z y m a l a - B u s s e J . W . ( 1 9 9 4 ) . G l o b a l D i s c r e t i z a t i o n o f A t -
t r i b u t e s a s P r e p r o c e s s i n g f o r M a c h i n e L e a r n i n g . P r o c . o f t h e I I I I n t e r n a t i o n a l
W o r k s h o p o n R S S C 9 4 N o v e m b e r 1 9 9 4 , p p . 2 9 4 - 3 0 1 .
5 . D o u g h e r t y J . , K o h a v i R . , S a h a m i M . ( 1 9 9 5 ) . S u p e r v i s e d a n d U n s u p e r v i s e d D i s -
c r e t i z a t i o n o f C o n t i n u o u s F e a t u r e s , P r o c e e d i n g s o f t h e T w e l f t h I n t e r n a t i o n a l C o n -
f e r e n c e o n M a c h i n e L e a r n i n g , M o r g a n K a u f m a n n , S a n F r a n c i s c o , C A , p p . 1 9 4 - 2 0 2 .
6 . F a y y a d U . M . , I r a n i K . B . ( 1 9 9 2 ) . T h e a t t r i b u t e s e l e c t i o n p r o b l e m i n d e c i s i o n t r e e
g e n e r a t i o n . P r o c . o f A A A I - 9 2 , J u l y 1 9 9 2 , S a n J o s e , C A . M I T P r e s s , p p . 1 0 4 - 1 1 0 .
7 . H e a t h D . , K a s i f S . , S a l z b e r g S . ( 1 9 9 3 ) . I n d u c t i o n o f O b l i q u e D e c i s i o n T r e e s . P r o c .
1 3 t h I n t e r n a t i o n a l J o i n t C o n f . o n A I . C h a m b e r y , F r a n c e , p p . 1 0 0 2 - 1 0 0 7 .
8 . H o l t R . C . ( 1 9 9 3 ) , V e r y s i m p l e c l a s s i c a t i o n r u l e s p e r f o r m w e l l o n m o s t c o m m o n l y
u s e d d a t a s e t s , M a c h i n e L e a r n i n g 1 1 , p p . 6 3 - 9 0 .
9 . J o h n G . , K o h a v i R . , P e g e r K . ( 1 9 9 4 ) . I r r e l e v a n t f e a t u r e s a n d s u b s e t s e l e c t i o n
p r o b l e m . P r o c e e d i n g s o f t h e T w e l f t h I n t e r n a t i o n a l C o n f e r e n c e o n M a c h i n e L e a r n -
i n g , M o r g a n K a u f m a n n , p p . 1 2 1 - 1 2 9 .
1 0 . K e r b e r R . ( 1 9 9 2 ) , C h i m e r g e : D i s c r e t i z a t i o n o f n u m e r i c a t t r i b u t e s . P r o c . o f t h e
T e n t h N a t i o n a l C o n f e r e n c e o n A r t i c i a l I n t e l l i g e n c e , M I T P r e s s , p p . 1 2 3 - 1 2 8 .
1 1 . K o d r a t o Y . , M i c h a l s k i R . ( 1 9 9 0 ) : M a c h i n e l e a r n i n g : A n A r t i c i a l I n t e l l i g e n c e a p -
p r o a c h , v o l . 3 , M o r g a n K a u f m a n n , 1 9 9 0 .
1 2 . N g u y e n H . S . , S k o w r o n A . ( 1 9 9 5 ) . Q u a n t i z a t i o n o f r e a l v a l u e s a t t r i b u t e s , R o u g h s e t
a n d B o o l e a n R e a s o n i n g A p p r o a c h e s . P r o c . o f t h e S e c o n d J o i n t A n n u a l C o n f e r e n c e
o n I n f o r m a t i o n S c i e n c e s , W r i g h t s v i l l e B e a c h , N C , 1 9 9 5 , U S A , p p . 3 4 - 3 7 .
1 3 . N g u y e n H . S . , N g u y e n S . H . , S k o w r o n A . ( 1 9 9 6 ) . S e a r c h i n g f o r F e a t u r e s d e n e d b y
H y p e r p l a n e s . i n : Z . W . R a s , M . M i c h a l e w i c z ( e d s . ) , P r o c . o f t h e I X I n t e r n a t i o n a l
S y m p o s i u m o n M e t h o d o l o g i e s f o r I n f o r m a t i o n S y s t e m s I S M I S ' 9 6 , J u n e 1 9 9 6 , Z a -
k o p a n e , P o l a n d . L e c t u r e N o t e s i n A I 1 0 7 9 , B e r l i n , S p r i n g e r V e r l a g , p p . 3 6 6 - 3 7 5 .
1 4 . N g u y e n S . H . , N g u y e n H . S . ( 1 9 9 6 ) , S o m e E c i e n t A l g o r i t h m s f o r R o u g h S e t M e t h -
o d s . P r o c . o f t h e C o n f e r e n c e o f I n f o r m a t i o n P r o c e s s i n g a n d M a n a g e m e n t o f U n -
c e r t a i n t y i n K n o w l e d g e - B a s e d S y s t e m s , 1 9 9 6 , G r a n a d a , S p a i n , p p . 1 4 5 1 - 1 4 5 6 .
7/29/2019 Boolean Reasoning for Feature Extraction Problems
11/11
1 5 . P a w l a k Z . ( 1 9 9 1 ) : R o u g h s e t s : T h e o r e t i c a l a s p e c t s o f r e a s o n i n g a b o u t d a t a , K l u w e r
D o r d r e c h t .
1 6 . S k o w r o n A . , R a u s z e r C . ( 1 9 9 2 ) , T h e D i s c e r n i b i l i t y M a t r i c e s a n d F u n c t i o n s i n I n -
f o r m a t i o n S y s t e m s . I n : I n t e l l i g e n t D e c i s i o n S u p p o r t - H a n d b o o k o f A p p l i c a t i o n s a n d
A d v a n c e s o f t h e R o u g h S e t s T h e o r y , S l o w i n s k i R . ( e d . ) , K l u w e r D o r d r e c h t 1 9 9 2 ,
3 3 1 - 3 6 2 .
1 7 . S k o w r o n A . , P o l k o w s k i L . , S y n t h e s i s o f D e c i s i o n S y s t e m s f r o m D a t a T a b l e s . I n T . Y
L i n & N . C e r c o n e ( e d s . ) , R o u g h S e t s a n d D a t a M i n i n g , A n a l y s i s o f I m p r e c i s e D a t a
K l u w e r , D o r d r e c h t , p p . 2 5 9 - 3 0 0 .
1 8 . W e g e n e r I . ( 1 9 8 7 ) . T h e C o m p l e x i t y o f B o o l e a n F u n c t i o n s . S t u t t g a r t : J o h n W i l e y
& S o n s .
T h i s a r t i c l e w a s p r o c e s s e d u s i n g t h e L
A
T
E
X m a c r o p a c k a g e w i t h L L N C S s t y l e
top related