Schuster Granularity

8/3/2019 Schuster Granularity

1/5

D i s t r i b u t e d S h a r e d M e m o r y : B r i d g i n g t h e G r a n u l a r i t y G a p

p o s i t i o n p a p e r

A y a l I t z k o v i t z

D e p a r t m e n t o f C o m p u t e r S c i e n c e , C I M S

N e w Y o r k U n i v e r s i t y

a y a l i @ c s . n y u . e d u

A s s a f S c h u s t e r

C o m p u t e r S c i e n c e D e p a r t m e n t

T e c h n i o n I s r a e l I n s t i t u t e o f T e c h n o l o g y

a s s a f @ c s . t e c h n i o n . a c . i l

A b s t r a c t

I n t h i s p o s i t i o n p a p e r w e e x p l o r e a v e r y r e c e n t t e c h n i q u e ,

c a l l e d M u l t i V i e w , i t s a p p l i c a t i o n s , a n d i t s i m p l i c a t i o n s o n

t h e d e s i g n a n d u s a g e o f d i s t r i b u t e d s h a r e d m e m o r y s y s t e m s

d s m s 6 . M u l t i V i e w c a n b e u s e d t o b r i d g e t h e g a p b e -

t w e e n t h e l a r g e , x e d - s i z e m e m o r y p a g e s h a n d l e d b y t h e

h a r d w a r e a n d o p e r a t i n g s y s t e m , a n d t h e r e l a t i v e l y - s m a l l ,

v a r y i n g - s i z e m i n i p a g e s t h a t a r e u s e d b y a p p l i c a t i o n s . U s -

i n g M u l t i V i e w , t h e d i s t r i b u t e d s h a r e d m e m o r y s y s t e m c a n

a d a p t t o t h e n a t i v e g r a n u l a r i t y o f t h e a p p l i c a t i o n i n a n a t -

u r a l w a y . W h i l e o r i g i n a l l y p r o p o s e d f o r s u p p o r t i n g n e -

g r a n u l a r i t y s h a r i n g , M u l t i V i e w c a n a l s o b e u s e d b y a l l t h e

a c c o m p a n y i n g d s m s e r v i c e s , i n c l u d i n g s h a r i n g a c r o s s m a -

c h i n e s , p r o t e c t i o n a n d c o n s i s t e n c y m a n i p u l a t i o n , d e t e c t i n g

r a c i n g a c c e s s e s , c o l l e c t i n g g a r b a g e , t r a c i n g t r u e s h a r i n g b y

a p p l i c a t i o n t h r e a d s , e t c . T h u s , M u l t i V i e w s i m p l i e s t h e

d e s i g n a n d u s a g e o f d s m s y s t e m s i n a s i g n i c a n t s t e p t o -

w a r d s m a k i n g t h e m a p o p u l a r t e c h n o l o g y .

1 I n t r o d u c t i o n

C o n s i d e r t h e s e r v i c e s t h a t a r e s u p p o r t e d b y a d i s t r i b u t e d

s h a r e d m e m o r y s y s t e m d s m , i n c l u d i n g s h a r i n g a c r o s s m a -

c h i n e s , p r o t e c t i o n a n d c o n s i s t e n c y m a n i p u l a t i o n , d e t e c t i n g

r a c i n g a c c e s s e s , g a r b a g e c o l l e c t i o n , t r a c i n g t r u e s h a r i n g b y

d i e r e n t t h r e a d s , e t c . C l e a r l y , t h e s e s e r v i c e s u s e t h e a p p l i -

c a t i o n n a t i v e g r a n u l a r i t y ; i . e . , a l l t h e s e s e r v i c e s m a n i p u l a t e

f r a g m e n t s o f d a t a t h a t a r e b e i n g u s e d b y t h e a p p l i c a t i o n

a s i n t e g r a l u n i t s e . g . , v a r i a b l e s , o b j e c t s , d a t a - s t r u c t u r e s .

U n f o r t u n a t e l y , t h e h a r d w a r e a n d o p e r a t i n g s y s t e m s ' m e m -

o r y m a n a g e r s a r e b a s e d i n h e r e n t l y o n l a r g e , x e d - s i z e p a g e s ,

a n d d o n o t a d a p t t o t h e a p p l i c a t i o n n a t i v e g r a n u l a r i t y .

T h e b a s i c m e c h a n i s m p r o p o s e d i n I v y , t h e r s t d s m 1 1 ,

m a k e s u s e o f t h e p r o t e c t i o n m e c h a n i s m w h i c h i s p r o v i d e d p e r

M u c h o f t h i s w o r k w a s d o n e w h i l e t h e a u t h o r w a s w i t h t h e C o m -

p u t e r S c i e n c e D e p a r t m e n t a t t h e T e c h n i o n , I s r a e l .

m e m o r y p a g e b y a c o o p e r a t i o n o f t h e h a r d w a r e a n d t h e o p -

e r a t i n g s y s t e m . T h e l a r g e a n d i n c r e a s i n g p a g e s i z e d e n e s

t h e u n i t o f s h a r i n g t h a t c a n b e s u p p o r t e d u s i n g t h e p r o t e c -

t i o n m e c h a n i s m s . I n a d i s t r i b u t e d c l u s t e r , t h e p e n a l t y f o r

s h a r i n g i n g r a n u l a r i t y d i e r e n t f r o m t h a t o f t h e a p p l i c a t i o n

v a r i a b l e s a n d o b j e c t s i s v e r y h i g h , r e s u l t i n g i n f a l s e s h a r i n g ,

c o n s i s t e n c y c o m p l i c a t i o n s , i n a t e d c o m m u n i c a t i o n v o l u m e ,

a n d h i g h o v e r h e a d o n a c c o m p a n y i n g s e r v i c e s .

T h u s , s i n c e t h e i n t r o d u c t i o n o f I v y , m o s t o f t h e w o r k i n

t h e e v o l u t i o n o f d s m s a t t e m p t e d t o o v e r c o m e t h e o b s t a c l e s

p u t f o r t h b y t h i s p r o b l e m . D e s p i t e t h e l a r g e a m o u n t o f

w o r k t h a t w a s i n v e s t e d a n d t h e r e s u l t i n g p r o g r e s s s e e f o r

i n s t a n c e 1 , 3 , 1 2 , 1 4 , t h e p r o b l e m w a s n e v e r c o m p l e t e l y

s o l v e d . B e c a u s e o f t h i s r e a s o n m a n y s t i l l c o n s i d e r d s m s a s

d o o m e d , a n d i t w a s c l a i m e d t h a t m o s t w o r k i n t h i s e l d i s

i n c r e m e n t a l 4 .

W e p r e s e n t h e r e a s i m p l e a p p r o a c h , c a l l e d M u l t i V i e w ,

t h a t c a n b e u s e d t o b r i d g e t h e g a p b e t w e e n t h e n a t i v e m e m -

o r y e l e m e n t s o f t h e a p p l i c a t i o n a n d t h e x e d o p e r a t i n g s y s -

t e m p a g e s i z e . W e s h o w t h a t a n o n c o n v e n t i o n a l m e m o r y

l a y o u t e l i m i n a t e s f a l s e s h a r i n g , p r o v i d e s e c i e n t s u p p o r t f o r

s t r i c t c o n s i s t e n c y , r e d u c e s c o m m u n i c a t i o n t o m i n i m u m , a n d

a l l o w s n a t u r a l i n t e g r a t i o n w i t h s a t e l l i t e s e r v i c e s , s u c h a s

g a r b a g e c o l l e c t i o n a n d d a t a r a c e d e t e c t i o n . I n d e e d , u s i n g

M u l t i V i e w r e s u l t s i n a s u b s t a n t i a l s i m p l i c a t i o n o f p r o t o -

c o l s a n d a c o r r e s p o n d i n g r e d u c t i o n o f o v e r h e a d , t h u s m a k i n g

d s m s a t t h e s a m e t i m e b o t h s i m p l e r a n d m o r e e c i e n t .

W e s k i p i n t h i s p o s i t i o n p a p e r t h e p r e s e n t a t i o n o f M u l -

t i V i e w , w h i c h m a y b e f o u n d i n 6 , r e s t r i c t i n g o u r s e l f t o

m e n t i o n i n g b a s i c c o n c e p t s a n d c o n c l u s i o n s f r o m o u r e x p e -

r i e n c e i n i m p l e m e n t i n g M u l t i V i e w i n a d s m s y s t e m c a l l e d

m i l l i p a g e . W e d i s c u s s a n a v e n u e o f p o t e n t i a l d e v e l o p m e n t s

e x t e n d i n g f r o m t h e b a s i c i d e a o f M u l t i V i e w . I n t e r e s t i n g l y ,

m u c h o f t h e r e s e a r c h c a n b e v i e w e d a s B a c k t o t h e F u -

t u r e " , r e v i s i t i n g p r e v i o u s w o r k s t h a t w e r e h a n d i c a p p e d b y

t h e x e d , l a r g e p a g e a s s u m p t i o n , r e p e a t i n g t h e s e s t u d i e s

u n d e r t h e n e w m o d e l w h e r e t h i s i s a n o n - i s s u e .

2 B r i d g i n g t h e G a p : F r o m P a g e s t o M i n i p a g e s

T h e b a s i c i d e a u n d e r l y i n g M u l t i V i e w i s a s f o l l o w s . C o n -

s i d e r a s e t o f v a r i a b l e s w h o s e t o t a l s i z e i s s m a l l e r t h a n t h a t o f

a p a g e . T h e p a g e c o n t a i n i n g t h o s e v a r i a b l e s m a y b e m a p p e d

t o d i e r e n t , n o n - o v e r l a p p i n g , v i r t u a l a d d r e s s r e g i o n s , c a l l e d


2/5

v i e w s , w h i c h c a n b e u s e d t o a c c e s s t h e v a r i a b l e s e x c l u s i v e l y .

I t i s n o w p o s s i b l e t o m a n a g e a s e p a r a t e a c c e s s p r i v i l e g e f o r

e a c h v a r i a b l e u s i n g i t s r e s p e c t i v e v i e w . M o r e o v e r , a n i n d e -

p e n d e n t c o n s i s t e n c y p r o t o c o l c a n b e i m p l e m e n t e d f o r e a c h

v a r i a b l e . B e c a u s e e a c h m e m o r y e l e m e n t m e m o r y o b j e c t ,

v a r i a b l e c a n n o w b e m a n a g e d i n d e p e n d e n t l y r e g a r d l e s s o f

i t s s i z e , w e c a l l i t a m i n i p a g e . M i n i p a g e s i z e s v a r y ; t h e y c a n

b e a s l a r g e a s t h e v i r t u a l p a g e s i z e o r a s s m a l l a s t h e b a s i c

m e m o r y a d d r e s s i n g u n i t .

A n a d d i t i o n a l , s e p a r a t e v i e w m a y b e c o n s t r u c t e d , c a l l e d

t h e p r i v i l e g e d v i e w , w h o s e p r o t e c t i o n i s x e d a n d s e t t o

R e a d W r i t e . T h e d s m s e r v e r t h r e a d s m a y u s e i t a t a l l t i m e s

t o a c c e s s t h e m e m o r y , a n d a r e t h u s n o t c o n s t r a i n e d b y t h e

d s m m e m o r y p r o t e c t i o n s , a s d e t e r m i n e d b y t h e c o n s i s t e n c y

g u a r a n t e e s i m p o s e d o n t h e a p p l i c a t i o n v i e w s . T h e p r i v i l e g e d

v i e w m a y a l s o b e u s e d b y z e r o - c o p y c o m m u n i c a t i o n p r o -

t o c o l s t o d i r e c t l y s e n d r e c e i v e m i n i p a g e s f r o m t o t h e u s e r

s p a c e .

F i g u r e 1 d e p i c t s a s a m p l e m e m o r y l a y o u t o f a g e n e r a l

d s m s y s t e m t h a t u s e s M u l t i V i e w .

Virtual Address Space

w = malloc(1024)

z = malloc(1024)

y = malloc(1024)

x = malloc(1024)

applicationpointers

y

z

x

w

MemoryObject

View 1

x

View 2

y

zView 3

wView 4

update variable y

y

x

z

w

PrivilegedView

system threads

F i g u r e 1 : T h e b a s i c m e m o r y l a y o u t o f a n a p p l i c a t i o n u s i n g

M u l t i V i e w a n d f o u r v a r i a b l e x , y , z , a n d w . A p p l i c a t i o n

t h r e a d s a c c e s s t h e v a r i a b l e s t h r o u g h f o u r d i e r e n t a p p l i c a t i o n

v i e w s w h i l e s y s t e m t h r e a d s d s m s e r v e r t h r e a d s a c c e s s t h o s e

v a r i a b l e s t h r o u g h t h e p r i v i l e g e d v i e w .

3 S i m p l i c i t y a n d E c i e n c y : T h e T h i n P r o t o c o l L a y e r

O v e r c o m i n g f a l s e s h a r i n g a n d t h e s t r u g g l e t o p r o v i d e p e r -

v a r i a b l e c o h e r e n c y g u a r a n t e e s l e d t o t e c h n i q u e s w h i c h t r a d e

a d d i t i o n a l m e m o r y r e s o u r c e s a n d c o m p u t a t i o n a l o v e r h e a d

w i t h h i g h e r p e r f o r m a n c e o f t h e d s m . O n e o f t h e m o s t p o p -

u l a r i d e a s i n t h i s d i r e c t i o n i s t h e r e l e a s e c o n s i s t e n c y R C

p r o t o c o l s .

R C s y s t e m s p r o v i d e m u l t i - w r i t e r s c o n s i s t e n c y , b y a l l o w -

i n g c o n c u r r e n t w r i t e s t o v a r i a b l e s r e s i d i n g i n t h e s a m e p a g e .

R C i s c l a i m e d t o o v e r c o m e f a l s e s h a r i n g t h a n k s t o t h e p r o -

t o c o l l a y e r , w h i c h , i n t u r n , p a y s i n m e m o r y a n d c o m p u t i n g

o v e r h e a d s . H o w e v e r , f a l s e s h a r i n g i s n o t r e a l l y e l i m i n a t e d ,

b u t a p p e a r s i n a d i e r e n t c u s t o m : p r o c e s s o r s a r e b u s y i n

c r e a t i n g t w i n s a n d a p p l y i n g d i s t o s e c t i o n s o f p a g e s t h a t

c o n t a i n v a r i a b l e s w h i c h t h e y d o n o t a c c e s s a t a l l !

T h e m a j o r b e n e t o f u s i n g t h e R C p r o t o c o l a p p e a r s t o

b e t h e r e l a t i v e r e s i l i e n c e o f t h e m e m o r y l a y o u t t o s h a r i n g

p a t t e r n s . W e b e l i e v e , h o w e v e r , t h a t d s m s y s t e m s s h o u l d

r a t h e r f o c u s o n t h e p r o t o c o l l a y e r , t o p r o v i d e a t h i n - l a y e r

t h a t c o n s u m e a s l i t t l e m e m o r y a n d c o m p u t a t i o n a l o v e r h e a d

a s p o s s i b l e . U s i n g M u l t i V i e w , a s t r i c t c o n s i s t e n c y p r o t o c o l

c a n b e i m p l e m e n t e d i n a s t r a i g h t f o r w a r d w a y c o m p l y i n g t o

t h e s i n g l e - w r i t e r m u l t i p l e - r e a d e r S W M R s e m a n t i c s .

C o n s i d e r a s y s t e m w h i c h u s e s M u l t i V i e w , w h e r e v a r i -

a b l e s a r e d i s t r i b u t e d a m o n g d i s t i n c t m i n i p a g e s . W h e n t h e

p r o g r a m c o n t a i n s n o d a t a r a c e s t h e n n o c o n c u r r e n t c o n i c t -

i n g a c c e s s e s w h i c h i n c l u d e w r i t e s a r e e x p e c t e d . H e n c e ,

s e q u e n t i a l c o n s i s t e n c y e . g . , t h r o u g h t h e S W M R p r o t o c o l

i s p e r f e c t l y s u i t e d t o t h i s s i t u a t i o n : i t g u a r a n t e e s c o n s i s t e n t

m o d i c a t i o n s w h i l e a v o i d i n g p r o t o c o l - r e l a t e d o v e r h e a d s . I n -

d e e d , o u r i m p l e m e n t a t i o n , a s r e p o r t e d i n 6 , s h o w s i n i t i a l

p e r f o r m a n c e r e s u l t s t h a t s u p p o r t t h i s c l a i m .

3 . 1 T h e D S M S y s t e m P r o t o t y p e

W e h a v e i m p l e m e n t e d a p r o t o t y p e d s m s y s t e m c a l l e d m i l -

l i p a g e . T h e m a i n g o a l s i n b u i l d i n g m i l l i p a g e w e r e e x p e r -

i m e n t i n g w i t h M u l t i V i e w a n d e x p l o r i n g t h e u s e o f a t h i n

p r o t o c o l l a y e r .

T h e p r o g r a m m i n g m o d e l i n m i l l i p a g e i s s e q u e n t i a l c o n -

s i s t e n c y , w h i c h i s i m p l e m e n t e d t h r o u g h t h e S W M R p r o t o -

c o l . A s i d e f r o m t h e i n i t i a l s e t t i n g o f t h e m a x i m a l n u m b e r

o f v i e w s a n d t h e s i z e o f t h e s h a r e d - m e m o r y , t h e a l l o c a t i o n

p r o c e s s i s t r a n s p a r e n t f r o m t h e p r o g r a m m e r ' s p o i n t o f v i e w .

T h e m a l l o c - l i k e a p i r e t u r n s a p o i n t e r w h i c h m a y p o i n t t o

a n y o f t h e a p p l i c a t i o n v i e w s b u t n e v e r t o t h e p r i v i l e g e d

o n e .

T h e t h i n p r o t o c o l l a y e r i m p l e m e n t s t h e d s m f u n c t i o n a l i t y

i n a s t r a i g h t f o r w a r d w a y . O n e a c h h o s t a s i n g l e m i l l i p a g e

p r o c e s s i s s t a r t e d , r u n n i n g b o t h t h e a p p l i c a t i o n a n d s e r v e r

t h r e a d s . O n e o f t h e p r o c e s s e s i s t h e m a n a g e r , w h o s e r o l e

i s t o m a i n t a i n t h e m i n i p a g e - t a b l e , c o n t a i n i n g d i r e c t o r y i n -

f o r m a t i o n o f m i n i p a g e c o p y l o c a t i o n s , m i n i p a g e s i z e s , a n d

t h e a s s o c i a t i o n o f v i e w a d d r e s s e s w i t h t h e i r m i n i p a g e s . O n

a n a c c e s s f a u l t , a r e q u e s t m e s s a g e i s s e n t t o t h e m a n a g e r ,

w h i c h r e s o l v e s t h e m i n i p a g e b o u n d a r i e s o s e t a n d s i z e , a n d

r e r o u t e s t h e r e q u e s t t o t h e a p p r o p r i a t e t a r g e t h o s t . T h e d e -

s i g n e n s u r e s t h a t b u e r i n g o f r e q u e s t s i s o n l y d o n e a t t h e

m a n a g e r , r e s u l t i n g i n f u r t h e r s i m p l i c a t i o n o f t h e p r o t o c o l .

4 O b s e r v a t i o n s o n U s i n g M u l t i V i e w

C l e a r l y , w h i l e t h e r e a r e m a n y a d v a n t a g e s i n u s i n g M u l -

t i V i e w , t h e l i m i t a t i o n s o f t h i s t e c h n i q u e a n d i t s b e h a v i o r

s h o u l d b e f u r t h e r u n d e r s t o o d .

4 . 1 P e r f o r m a n c e I s s u e s a n d L i m i t a t i o n s

M u l t i V i e w h e a v i l y u s e s t h e v i r t u a l - t o - p h y s i c a l m e m o r y t r a n s -

l a t i o n m e c h a n i s m . L o o s e l y s p e a k i n g , M u l t i V i e w a t t a c h e s

a s e p a r a t e P T E t o e a c h i n d i v i d u a l m i n i p a g e .


3/5

W e h a v e s t u d i e d t h i s i s s u e w i t h m i l l i p a g e . F o r l e s s

t h a n 3 2 v i e w s i . e . l e s s t h a n 3 2 m i n i p a g e s p e r p a g e a n d

f o r a m o d e r a t e s i z e o f m e m o r y o b j e c t s u p t o 3 2 M B t h e r e

i s a m i n o r s l o w d o w n o f 1 - 4 , a t t r i b u t e d t o t h e h i g h r a t e

o f T L B m i s s e s . A t c e r t a i n b r e a k i n g p o i n t s , w h i c h a p p e a r

p r e c i s e l y w h e n t h e L 2 c a c h e b e c o m e s c o n g e s t e d w i t h P T E s

a n d r e g a r d l e s s o f t h e d a t a m i s s e s , t h e s l o w d o w n s b e c o m e

s i g n i c a n t .

W e t h u s g e t a t r a d e o . F o r a n a p p l i c a t i o n w i t h a r e a s o n -

a b l y l o c a l m e m o r y a c c e s s p a t t e r n , t h e a d v a n t a g e s o f M u l -

t i V i e w d o m i n a t e t h e n e g l i g i b l e o v e r h e a d c o m i n g f r o m t h e

e x c e s s i v e T L B m i s s e s . H o w e v e r , w h e n t h e a p p l i c a t i o n a t -

t e m p t s t o a c c e s s t o o m a n y m i n i p a g e s a t t h e s a m e t i m e m o r e

t h a n 1 2 8 K f o r o u r P e n t i u m I I h a v i n g 1 2 M B L 2 c a c h e , t h e

t r a n s l a t i o n a n d p r o t e c t i o n i n f o r m a t i o n e x h a u s t t h e c a c h e ,

i m p o s i n g o v e r h e a d w h i c h i s t o o h i g h .

4 . 2 L o c a l i t y a n d V i r t u a l L o c a l i t y

T h e p r i n c i p l e o f l o c a l i t y i m p l i e s t h a t i n m a n y c a s e s n e a r l y

a l l o c a t e d m i n i p a g e s a r e a l s o a c c e s s e d t o g e t h e r . H o w e v e r ,

t h e s e m i n i p a g e s w i l l b e a c c e s s e d t h r o u g h p a g e s w h i c h b e l o n g

t o d i e r e n t v i e w s . T h u s , t h e P T E s c o r r e s p o n d i n g t o t h e s e

p a g e s d o n o t r e s i d e c o n t i g u o u s l y i n m e m o r y , r e s u l t i n g i n

f e t c h i n g i r r e l e v a n t P T E s a n d f a i l i n g t o f e t c h t h e r e l e v a n t

o n e s w h e n a c a c h e m i s s o c c u r s . W e c a l l t h e l o c a l i t y o f a c c e s s

i n t h e p a g e t a b l e v i r t u a l l o c a l i t y .

A s d i s c u s s e d e a r l i e r , r e d u c i n g t h e v i r t u a l l o c a l i t y h a s a

m a j o r p e r f o r m a n c e i m p l i c a t i o n w h e n m a n y v i e w s a r e u s e d .

O n e w a y i n w h i c h w e c o u l d i m p r o v e t h e v i r t u a l l o c a l i t y i s t o

i n t e r l e a v e t h e v i r t u a l p a g e s w h i c h b e l o n g t o d i e r e n t v i e w s .

A l t e r n a t i v e l y , t h e P T E s i n t h e p a g e t a b l e i t s e l f c o u l d b e

i n t e r l e a v e d .

4 . 3 A d a p t i n g t o A p p l i c a t i o n G r a n u l a r i t y v i a C o m p o s e d

V i e w s

A n a t u r a l e x t e n s i o n o f M u l t i V i e w i s t o o v e r l a p v i e w s a n d

c o m p o s i t i o n s o f v i e w s . A m i n i p a g e c a n b e a s s o c i a t e d w i t h

a s e t o f v i e w s , e a c h r e p r e s e n t i n g a d i e r e n t c o n s i s t e n c y o r a

d i e r e n t s h a r i n g g r a n u l a r i t y 5 . A c c e s s i n g t h e s a m e v a r i a b l e

t h r o u g h d i e r e n t v i e w s i n v o k e s d i e r e n t p r o t o c o l s , w h i c h i n

t u r n , m a y i m p l y a d i e r e n t b e h a v i o r .

T h i s c a n a l s o i m p r o v e t h e p e r f o r m a n c e o f n e - g r a i n d s m

s y s t e m s w h i c h s u e r f r o m p o o r p e r f o r m a n c e d u r i n g c o a r s e

p r o g r a m p h a s e s 2 . F o r e x a m p l e , c o n s i d e r a m a t r i x w h o s e

r o w s a r e a s s o c i a t e d w i t h m i n i p a g e s . A t c e r t a i n p o i n t s i n

t h e p r o g r a m , i t m i g h t b e d e s i r a b l e t o r e a d t h e e n t i r e m a -

t r i x , b r i n g i n g i n a l l t h e m i n i p a g e s m a t r i x r o w s a t o n c e . I n

o r d e r t o d o s o , a n a d d i t i o n a l , l a r g e m i n i p a g e c o u l d b e d e -

n e d , w h i c h o v e r l a p s w i t h a l l t h e m i n i p a g e s a s s o c i a t e d w i t h

t h e m a t r i x r o w s . W h e n t h e l a r g e m i n i p a g e i s a c c e s s e d , t h e

d s m s y s t e m e n s u r e s i t i s b r o u g h t i n , w h i c h i m p l i c i t l y m e a n s

a g g r e g a t i n g a n d p r e f e t c h i n g a l l t h e s u b - m i n i p a g e s .

F i g u r e 2 d e m o n s t r a t e d t h e u s e o f c o m p o s e d v i e w s t o p r o -

v i d e m u l t i p l e s h a r i n g g r a n u l a r i t i e s t h a t c a n d y n a m i c a l l y b e

e m p l o y e d f o r a r u n n i n g a p p l i c a t i o n .

Virtual Address Space

w

z

y

x

applicationpointers

y

z

x

w

MemoryObject

View 1

x

View 2

y

z View 3

wView 4

View 5

y

x

w

zView 6

View 7

y

x

z

w

F i g u r e 2 : U s i n g c o m p o s e d v i e w s f o r p r o v i d i n g a d a p t i v e s h a r -

i n g g r a n u l a r i t y . A p p l i c a t i o n p o i n t e r s a r e m a n i p u l a t e d t o u s e

d i e r e n t s e t s o f v i e w s t o a r b i t r a t e b e t w e e n d i e r e n t s h a r i n g

g r a n u l a r i t y l e v e l s .

4 . 4 T h e I m p o r t a n c e o f R e l a x e d C o n s i s t e n c i e s

A s w e s t a t e d b e f o r e , r e l a x e d c o n s i s t e n c i e s a r e c o n s i d e r e d

v e r y u s e f u l i n o v e r c o m i n g p r o b l e m s l i k e f a l s e s h a r i n g a n d

u n n e c e s s a r y p a g e s h u t t l i n g . H o w e v e r , r e l a x e d c o n s i s t e n -

c i e s i n v o l v e n o n t r i v i a l c o m p u t a t i o n a n d m e m o r y o v e r h e a d s .

A l o n g t h e g o o d p e r f o r m a n c e w e g o t i n o u r s e q u e n t i a l c o n -

s i s t e n c y i m p l e m e n t a t i o n , t h e b e n e t s o f u s i n g r e l a x e d c o n -

s i s t e n c y s h o u l d f u r t h e r b e e x p l o r e d .

A n e a r l i e r s t u d y 1 5 s h o w e d t h a t s e q u e n t i a l c o n s i s t e n c y

w i t h a r e l a t i v e l y n e g r a i n a c c e s s c o n t r o l 2 5 6 b y t e s p e r -

f o r m s a s w e l l a s r e l a x e d c o n s i s t e n c y p r o t o c o l s w i t h c o a r s e

g r a i n m e m o r y a c c e s s c o n t r o l m o r e s p e c i c a l l y , h o m e - b a s e

l a z y r e l e a s e c o n s i s t e n c y , h o w e v e r , t h i s s t u d y w a s d o n e f o r

x e d - s i z e n e - g r a i n a c c e s s c o n t r o l . W e p r e d i c t t h a t s i n c e

a c c e s s c o n t r o l c a n n o w b e c u s t o m i z e d a n d a d j u s t e d t o t h e

a p p l i c a t i o n n a t i v e n e e d s , t h e p e r f o r m a n c e a d v a n t a g e s m i g h t

f u r t h e r l e a n t o w a r d s t h e s t r i c t p r o t o c o l s .

5 R e l a t i o n s t o O t h e r d s m S e r v i c e s

T h e d i s c u s s i o n a b o v e c o n c e n t r a t e d o n t h e d s m m a j o r t a s k ,

n a m e l y , t o s h a r e m e m o r y a m o n g h o s t s . A s i t t u r n e d o u t ,

u s i n g M u l t i V i e w m a y i m p r o v e o t h e r a p p l i c a t i o n s a n d d s m

s e r v i c e s a s w e l l . W e m e n t i o n s o m e o f t h e s e b e l o w .


4/5

5 . 1 D a t a R a c e D e t e c t i o n

P r o g r a m m i n g e r r o r s i n p a r a l l e l p r o g r a m s c o m m o n l y s h o w

t h e m s e l v e s i n u n s y n c h r o n i z e d a c c e s s e s t o d a t a , c a l l e d d a t a -

r a c e s . U n f o r t u n a t e l y , t h e c o m p l e x i t y o f d i s c o v e r i n g s u c h

b u g s i s v e r y h i g h , w h i c h g a v e r i s e t o r u n - t i m e d e t e c t i o n t e c h -

n i q u e s . I n r u n - t i m e m e t h o d s t h e d e t e c t i o n o v e r h e a d m a y

b e c o m e v e r y l a r g e w h e n a p p l i e d t o m e m o r y f r a g m e n t s t h a t

a r e i r r e l e v a n t t o t h e c h e c k e d p r o g r a m v a r i a b l e s , a s i s t h e

c a s e i n p a g e - b a s e d d s m s .

I n c o n t r a s t , u s i n g M u l t i V i e w w e c a n e n s u r e t h a t o n l y

t h e r e l e v a n t m i n i p a g e i s c h e c k e d , b y m a n i p u l a t i n g t h e p r o -

t e c t i o n o f t h e a s s o c i a t e d p a g e . S i n c e t h e m i n i p a g e s a c c e s s

p a t t e r n r e p r e s e n t s t h e v a r i a b l e s a c c e s s p a t t e r n b y t h e a p -

p l i c a t i o n , d a t a r a c e d e t e c t i o n i s e c i e n t l y i n t e g r a t e d i n t h e

d s m b y e m b e d d i n g a d e t e c t i o n p r o t o c o l i n t h e m i n i p a g e c o n -

s i s t e n c y m a n a g e m e n t .

W e h a v e r e c e n t l y u s e d M u l t i V i e w f o r t h i s p u r p o s e a n d

f o u n d a p o t e n t i a l f o r d r a m a t i c p e r f o r m a n c e i m p r o v e m e n t

7 .

5 . 2 D i s t r i b u t e d G a r b a g e C o l l e c t i o n

M u l t i V i e w c a n h e l p c o l l e c t i n g g a r b a g e d i s t r i b u t i v e l y i n n a -

t i v e a p p l i c a t i o n g r a n u l a r i t y , a t t h e l e v e l o f a s t a n d a r d d s m

s e r v i c e . T h e m a i n c o n t r i b u t i o n o f M u l t i V i e w h e r e i s t h a t

m a r s h a l i n g a n d t r a c i n g p o i n t e r a s s i g n m e n t s a r e e a s y w h e n

d i e r e n t o b j e c t s a r e p o i n t e d v i a d i e r e n t p a g e s . T h u s , i m -

p l e m e n t i n g c o u n t i n g m e t h o d s , w h i c h a r e b e s t s u i t e d f o r d i s -

t r i b u t e d g a r b a g e c o l l e c t i o n , b e c o m e a l o t e a s i e r a n d e m p l o y

l e s s p e n a l t y .

W e i n t e g r a t e d a d i s t r i b u t e d g a r b a g e c o l l e c t o r i n o u r s y s -

t e m m i l l i p a g e u s i n g t h e m e t h o d d e v e l o p e d i n 1 0 .

5 . 3 T r a c i n g T r u e S h a r i n g - C o l l e c t i n g M e m o r y A c c e s s I n -

f o r m a t i o n

A s w a s m e n t i o n e d f o r d a t a r a c e d e t e c t i o n m e c h a n i s m s , t r a c -

i n g a n d c o l l e c t i n g i n f o r m a t i o n r e g a r d i n g a c c e s s e s t o a p p l i c a t i o n -

l e v e l s h a r e d v a r i a b l e s b e c o m e s a n a t u r a l s e r v i c e o f t h e d s m .

O n c e a g a i n , t h e b a s i c p r o p e r t y i s t h a t t h e m i n i p a g e s a c c e s s

p a t t e r n a l s o r e p r e s e n t s t h e v a r i a b l e s a c c e s s p a t t e r n . T h u s ,

i t i s r e l a t i v e l y s i m p l e t o i m p l e m e n t a l i g h t - w e i g h t r e m o t e

a c c e s s l o g g i n g m e c h a n i s m , m a i n t a i n i n g a c c e s s h i s t o r i e s p e r

v a r i a b l e . T h i s g i v e s r i s e t o a l l k i n d s o f o p t i m i z a t i o n t e c h -

n i q u e s , w h i c h , f o r i n s t a n c e , m a y r e l o c a t e t h r e a d s a n d b a l -

a n c e t h e l o a d a c c o r d i n g t o t h e t r u e - s h a r i n g p a t t e r n 1 3 o r

d e a l w i t h a u t o m a t i c p r e f e t c h i n g a n d r e c o r d i n g r e p l a y i n g o f

m e m o r y a c c e s s e s f o r i m p r o v i n g v a r i o u s r e l a x e d c o n s i s t e n c y

i m p l e m e n t a t i o n s 9 .

5 . 4 G l o b a l M e m o r y S y s t e m s

R e c e n t l y , t h e r e h a s b e e n a l o t o f i n t e r e s t i n h a r n e s s i n g r e -

m o t e m e m o r i e s f o r s t o r i n g m e m o r y p a g e s , t h u s e s t a b l i s h -

i n g a n a d d i t i o n a l l e v e l i n t h e m e m o r y h i e r a r c h y . I t w a s

s h o w n t h a t u s i n g s u b p a g e s a s t h e b a s i c t r a n s f e r u n i t l e a d s

t o s u b s t a n t i a l p e r f o r m a n c e b o o s t 8 . C l e a r l y , M u l t i V i e w

c a n b e u s e d f o r i m p l e m e n t i n g s u b p a g e s m i n i p a g e s i n M u l -

t i V i e w t e r m i n o l o g y i n g l o b a l m e m o r y s y s t e m s . F u r t h e r -

m o r e , p r e f e t c h i n g c a n b e i m p l e m e n t e d , b y r e f e r e n c i n g l a r g e ,

c o m p o s e d m i n i p a g e s . T h e s u b - m i n i p a g e s m a y b e p i p e l i n e d

t h r o u g h t h e c o m m u n i c a t i o n l a y e r , s o t h a t w h e n t h e r s t a r -

r i v e s i t c a n b e i n s t a n t l y u s e d w h i l e t h e o t h e r s a r e s t i l l o w i n g

i n .

6 C o n c l u s i o n s

I n t h i s p a p e r w e p r e s e n t e d a n e w l y i n t r o d u c e d t e c h n i q u e

c a l l e d M u l t i V i e w a n d s u r v e y e d i t s u s e b o t h f o r b u i l d i n g

e c i e n t n e - g r a i n d s m s y s t e m s a n d f o r o t h e r s a t e l l i t e s e r -

v i c e s . W e b r i e y d e s c r i b e d M u l t i V i e w a n d t h e w a y s i t c a n

b e u s e d t o b r i d g e t h e g a p b e t w e e n t h e m e m o r y u n i t s , m a n -

a g e d b y t h e o p e r a t i n g s y s t e m , a n d t h e n a t u r a l s h a r i n g u n i t s

o f t h e a p p l i c a t i o n s i n a d s m s y s t e m . I n a d d i t i o n , w e m e n -

t i o n e d a r e a s o f r e s e a r c h i n w h i c h w e s u g g e s t e d t h e e m p l o y -

m e n t o f M u l t i V i e w t o e n h a n c e c a p a b i l i t i e s a n d i m p r o v e

t h e p e r f o r m a n c e .

R e f e r e n c e s

1 C . A m z a , A . L . C o x , S . D w a r k a d a s , P . K e l e h e r , H . L u , R . R a j a -

m o n y , W . Y u , a n d W . Z w a e n e p o e l . T r e a d M a r k s : S h a r e d M e m -

o r y C o m p u t i n g o n N e t w o r k s o f W o r k s t a t i o n s . I E E E C o m p u t e r ,

2 9 2 : 1 8 2 8 , F e b . 1 9 9 6 .

2 C . A m z a , A . L . C o x , K . R a m a j a m n i , a n d W . Z w a e n e p o e l . T r a d e -

o s b e t w e e n f a l s e s h a r i n g a n d a g g r e g a t i o n i n s o f t w a r e d i s t r i b u t e d

s h a r e d m e m o r y . I n P r o c . o f t h e S i x t h A C M S I G P L A N S y m p . o n

P r i n c i p l e s a n d P r a c t i c e o f P a r a l l e l P r o g r a m m i n g P P O P P ' 9 7 ,

p a g e s 9 0 9 9 , J u n e 1 9 9 7 .

3 J . K . B e n n e t t , J . B . C a r t e r , a n d W . Z w a e n e p o e l . M u n i n : D i s -

t r i b u t e d S h a r e d M e m o r y U s i n g M u l t i - P r o t o c o l R e l e a s e C o n s i s -

t e n c y . I n A . I . K a r s h m e r a n d J . N e h m e r , e d i t o r s , O p e r a t i n g

S y s t e m s o f t h e 9 0 s a n d B e y o n d , p a g e s 5 6 6 0 . S p r i n g e r - V e r l a g

L e c t u r e N o t e s i n C o m p u t e r S c i e n c e 5 6 3 , J u l y 1 9 9 1 .

4 J . B . C a r t e r , D . K h a n d e k a r , a n d L . K a m b . D i s t r i b u t e d s h a r e d

m e m o r y : W h e r e w e a r e a n d w h e r e w e s h o u l d b e h e a d e d ? I n

F i f t h W o r k s h o p o n H o t T o p i c s i n O p e r a t i n g S y s t e m s H o t O S -

V , p a g e s 1 1 9 1 2 2 , M a y 1 9 9 5 .

5 A . I t z k o v i t z , N . N i v , a n d A . S c h u s t e r . D y n a m i c A d a p t a t i o n o f

S h a r i n g G r a n u l a r i t y i n D S M S y s t e m s . I n P r o c . o f t h e 1 9 9 9 I n t ' l

C o n f . o n P a r a l l e l P r o c e s s i n g I C P P ' 9 9 , S e p t . 1 9 9 9 . T o a p p e a r .

6 A . I t z k o v i t z a n d A . S c h u s t e r . M u l t i V i e w a n d M i l l i p a g e | F i n e -

G r a i n S h a r i n g i n P a g e - B a s e d D S M s . I n P r o c . o f t h e 3 r d S y m p .

o n O p e r a t i n g S y s t e m s D e s i g n a n d I m p l e m e n t a t i o n O S D I ' 9 9 ,

p a g e s 2 1 5 2 2 8 , N e w O r l e a n s , F e b . 1 9 9 9 .

7 A . I t z k o v i t z , A . S c h u s t e r , a n d O . Z e e v - B e n - M o r d e c h a i . T o w a r d s

I n t e g r a t i o n o f O n - t h e - y D a t a R a c e D e t e c t i o n i n D S M S y s t e m s .

T e c h n i c a l R e p o r t C S - 0 9 4 8 , T e c h n i o n , O c t o b e r 1 9 9 8 .

8 H . A . J a m r o z i k , M . J . F e e l e y , G . M . V o e l k e r , J . E v a n s I I , A . R .

K a r l i n , H . M . L e v y , a n d M . K . V e r n o n . R e d u i n g N e t w o r k L a -

t e n c y U s i n g S u b p a g e s i n a G l o b a l M e m o r y E n v i r o n m e n t . I n

P r o c . o f t h e 7 t h S y m p . o n A r c h i t e c t u r a l S u p p o r t f o r P r o g r a m -

m i n g L a n g u a g e s a n d O p e r a t i n g S y s t e m s A S P L O S V I I , p a g e s

2 5 8 2 6 7 , O c t . 1 9 9 6 .

9 P . K e l e h e r . T a p e w o r m : H i g h - l e v e l a b s t r a c t i o n s o f s h a r e d a c -

c e s s e s . I n P r o c . o f t h e 3 r d S y m p . o n O p e r a t i n g S y s t e m s D e s i g n

a n d I m p l e m e n t a t i o n O S D I ' 9 9 , F e b . 1 9 9 9 .

1 0 D . K o g a n a n d A . S c h u s t e r . C o l l e c t i n g G a r b a g e P a g e s w i t h R e -

d u c e d M e m o r y a n d C o m m u n i c a t i o n O v e r h e a d . I n P r o c . 5 t h

E u r o p e a n S y m p o s i u m o n A l g o r i t h m s , p a g e s 3 0 8 3 2 5 , G r a z ,

S e p t e m b e r 1 9 9 7 .

1 1 K . L i a n d P . H u d a k . M e m o r y c o h e r e n c e i n s h a r e d v i r t u a l m e m -

o r y s y s t e m s . I n P r o c . o f t h e 5 t h A n n u a l A C M S y m p . o n P r i n -

c i p l e s o f D i s t r i b u t e d C o m p u t i n g P O D C ' 8 6 , p a g e s 2 2 9 2 3 9 ,

A u g . 1 9 8 6 .


5/5

1 2 S . K . R e i n h a r d t , J . R . L a r u s , a n d D . A . W o o d . T e m p e s t a n d

T y p h o o n : U s e r - L e v e l S h a r e d M e m o r y . I n P r o c . o f t h e 2 1 t h A n -

n u a l I n t ' l S y m p . o n C o m p u t e r A r c h i t e c t u r e I S C A ' 9 4 , p a g e s

3 2 5 3 3 6 , A p r . 1 9 9 4 .

1 3 A . S c h u s t e r a n d L . S h a l e v . U s i n g R e m o t e A c c e s s H i s t o r i e s f o r

T h r e a d S c h e d u l i n g i n D i s t r i b u t e d S h a r e d M e m o r y S y s t e m s . I n

1 2 t h I n t l . S y m p . o n D i s t r i b u t e d C o m p u t i n g , p a g e s 3 4 7 3 6 2 , A n -

d r o s , S e p t e m b e r 1 9 9 8 .

1 4 E . S p e i g h t a n d J . B e n n e t t . B r a z o s : A T h i r d G e n e r a t i o n D S M

S y s t e m . I n F i r s t U s e n i x - N T W o r k s h o p , p a g e s 9 5 1 0 6 , A u g .

1 9 9 7 .

1 5 Y . Z h o u , L . I f t o d e , K . L i , J . P . S i n g h , B . R . T o o n e n , I . S c h o i n a s ,

M . D . H i l l , a n d D . A . W o o d . R e l a x e d c o n s i s t e n c y a n d c o h e r -

e n c e g r a n u l a r i t y i n d s m s y s t e m s : A p e r f o r m a n c e e v a l u a t i o n . I n

P r o c . o f t h e S i x t h A C M S I G P L A N S y m p . o n P r i n c i p l e s a n d

P r a c t i c e o f P a r a l l e l P r o g r a m m i n g P P O P P ' 9 7 , p a g e s 1 9 3 2 0 5 ,

J u n e 1 9 9 7 .

Schuster Granularity

Documents