Formal Languages Al

Formal languages alFrom Wikipedia, the free encyclopedia

Contents

1 Abstract family of acceptors 11.1 Formal denitions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1

1.1.1 AFA Schema . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 11.1.2 Abstract family of acceptors . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1

1.2 Informal discussion . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 21.2.1 AFA Schema . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 21.2.2 Abstract family of acceptors . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 2

1.3 Results from AFL theory . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 21.4 Origins . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 21.5 References . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 2

2 Abstract family of languages 32.1 Formal denitions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 32.2 Some families of languages . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 32.3 Origins . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 42.4 Notes . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 42.5 References . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 4

3 Abstract rewriting system 53.1 Denition . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 53.2 Example 1 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 53.3 Basic notions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 63.4 Normal forms and the word problem . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 63.5 Joinability and the ChurchRosser property . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 63.6 Notions of conuence . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 63.7 Termination and convergence . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 83.8 Notes . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 83.9 Further reading . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 93.10 External links . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 9

4 Abstract semantic graph 104.1 See also . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 104.2 References . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 10

i

ii CONTENTS

4.3 External links . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 11

5 Abstract syntax tree 125.1 Application in compilers . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 12

5.1.1 Motivation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 125.1.2 Design . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 145.1.3 Design patterns . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 145.1.4 Usage . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 14

5.2 See also . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 145.3 References . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 155.4 Further reading . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 155.5 External links . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 15

6 Action algebra 166.1 Denition . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 166.2 Examples . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 176.3 See also . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 176.4 References . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 17

7 Adaptive grammar 187.1 Overview . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 18

7.1.1 Early history . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 187.1.2 Collaborative eorts . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 187.1.3 Terminology and taxonomy . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 18

7.2 Adaptive formalisms in the literature . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 197.2.1 Adaptive grammar formalisms . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 197.2.2 Adaptive machine formalisms . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 21

7.3 See also . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 217.4 References and notes . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 217.5 External links . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 22

8 Ax grammar 238.1 Example . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 238.2 Types of ax grammars . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 248.3 See also . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 248.4 References . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 24

9 Agent Communications Language 259.1 References . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 25

10 Algorithmic learning theory 2610.1 Distinguishing Characteristics . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 2610.2 Learning in the limit . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 2610.3 Other Identication Criteria . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 27

CONTENTS iii

10.4 See also . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 2710.5 References . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 2710.6 External links . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 28

11 Alphabet (formal languages) 2911.1 See also . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 2911.2 References . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 2911.3 Literature . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 29

12 Ambiguous grammar 3012.1 Examples . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 30

12.1.1 Trivial language . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3012.1.2 Unary string . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3112.1.3 Addition and subtraction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3112.1.4 Dangling else . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 31

12.2 Recognizing ambiguous grammars . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3212.3 Inherently ambiguous languages . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3212.4 See also . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3212.5 References . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3212.6 External links . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 33

13 Antimatroid 3413.1 Denitions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3513.2 Examples . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3513.3 Paths and basic words . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3613.4 Convex geometries . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3713.5 Join-distributive lattices . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3713.6 Supersolvable antimatroids . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3813.7 Join operation and convex dimension . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3813.8 Enumeration . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3913.9 Applications . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3913.10Notes . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3913.11References . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 40

14 Aperiodic nite state automaton 4114.1 Properties . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 4114.2 References . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 41

15 Ardens Rule 4215.1 Background . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 4215.2 Statement of Ardens rule . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 4215.3 See also . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 4215.4 Notes . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 42

iv CONTENTS

15.5 References . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 42

16 Artin group 4316.1 Classes of Artin groups . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 43

16.1.1 Artin groups of nite type . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 4316.1.2 Right-angled Artin groups . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 44

16.2 Other Artin Groups . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 4416.3 See also . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 4416.4 Notes . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 4416.5 References . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 45

17 Attribute grammar 4617.1 Example . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 4617.2 Synthesized attributes . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 4617.3 Inherited attributes . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 4717.4 Special types of attribute grammars . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 4717.5 See also . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 4717.6 External links . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 47

18 Augmented BackusNaur Form 4818.1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 4818.2 Terminal values . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 4818.3 Operators . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 48

18.3.1 White space . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 4918.3.2 Comment . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 4918.3.3 Concatenation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 4918.3.4 Alternative . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 4918.3.5 Incremental alternatives . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 4918.3.6 Value range . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 5018.3.7 Sequence group . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 5018.3.8 Variable repetition . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 5018.3.9 Specic repetition . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 5018.3.10 Optional sequence . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 5018.3.11 Operator precedence . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 5118.3.12 Core rules . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 51

18.4 Example . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 5118.5 Pitfalls . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 5118.6 See also . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 5118.7 References . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 51

19 BackusNaur Form 5319.1 History . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 5319.2 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 55

CONTENTS v

19.3 Example . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 5519.4 Further examples . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 5619.5 Variants . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 5619.6 See also . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 57

19.6.1 Software using BNF . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 5719.7 References . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 5719.8 External links . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 58

19.8.1 Language grammars . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 59

20 Bigram 6020.1 Applications . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 6020.2 Bigram frequency in the English language . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 6020.3 See also . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 6020.4 References . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 61

21 Boolean grammar 6221.1 References . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 6221.2 See also . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 6321.3 External links . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 63

22 Brzozowski derivative 6422.1 Derivative of a regular expression . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 6422.2 Properties . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 6422.3 References . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 65

23 Categorial grammar 6623.1 Basics . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 6623.2 Lambek calculus . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 67

23.2.1 Relation to context-free grammars . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 6823.2.2 Notation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 68

23.3 Historical notes . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 6923.4 Some denitions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 6923.5 Renements of categorial grammar . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 69

23.5.1 Features and subcategories . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 6923.5.2 Function composition . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 6923.5.3 Conjunction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 6923.5.4 Discontinuity . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 70

23.6 See also . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 7023.7 References . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 7023.8 Further reading . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 7023.9 External links . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 70

24 Chomsky hierarchy 71

vi CONTENTS

24.1 Formal grammars . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 7124.2 The hierarchy . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 72

24.2.1 Summary . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 7424.3 References . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 74

25 Chomsky normal form 7525.1 Converting a grammar to Chomsky normal form . . . . . . . . . . . . . . . . . . . . . . . . . . . 75

25.1.1 START: Eliminate the start symbol from right-hand sides . . . . . . . . . . . . . . . . . . 7525.1.2 TERM: Eliminate rules with nonsolitary terminals . . . . . . . . . . . . . . . . . . . . . . 7525.1.3 BIN: Eliminate right-hand sides with more than 2 nonterminals . . . . . . . . . . . . . . . 7625.1.4 DEL: Eliminate -rules . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 7625.1.5 UNIT: Eliminate unit rules . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 7725.1.6 Order of transformations . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 77

25.2 Example . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 7725.3 Alternative denition . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 78

25.3.1 Chomsky reduced form . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 7825.3.2 Floyd normal form . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 79

25.4 Application . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 7925.5 See also . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 7925.6 Notes . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 7925.7 References . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 8025.8 Further reading . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 80

26 ChomskySchtzenberger enumeration theorem 8126.1 Statement . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 8126.2 Usage . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 82

26.2.1 Asymptotic estimates . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 8226.2.2 Inherent ambiguity . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 82

26.3 References . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 82

27 ChomskySchtzenberger representation theorem 8427.1 References . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 84

28 Closest string 8528.1 Formal denition . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 8528.2 Motivation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 8528.3 Simplications and data reductions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 85

28.3.1 Normalizing the input . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 8528.4 Approximability . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 8628.5 Fixed-parameter tractability . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 8628.6 Relations to other problems . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 8728.7 References . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 87

CONTENTS vii

29 Compact semigroup 8829.1 Examples . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 8829.2 Properties . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 8829.3 Varieties . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 8829.4 References . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 89

30 Compiler Description Language 9030.1 Design . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 9030.2 Use . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 9130.3 References . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 9130.4 Further reading . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 91

31 Concatenation 9331.1 Syntax . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 9331.2 Implementation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 9331.3 Concatenation of sets of strings . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 9331.4 Algebraic properties . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 9431.5 Applications . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 94

31.5.1 Audio/telephony . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 9431.5.2 Database theory . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 94

31.6 References . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 95

32 Cone (formal languages) 9632.1 Denition . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 9632.2 Relation to Transducers . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 9632.3 See also . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 9732.4 Notes . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 9732.5 References . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 9732.6 External links . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 97

33 Conference on Implementation and Application of Automata 9833.1 Topics of the Conference . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 9833.2 Recent History of the Conference . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 9933.3 See also . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 9933.4 References . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 9933.5 External links . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 99

34 Conjunctive grammar 10034.1 References . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 10034.2 External links . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 101

35 Context change potential 10235.1 See also . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 10235.2 Notes and references . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 103

viii CONTENTS

35.3 Bibliography . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 10335.4 External links . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 103

36 Context-free grammar 10436.1 Background . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 10436.2 Formal denitions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 105

36.2.1 Production rule notation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 10536.2.2 Rule application . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 10536.2.3 Repetitive rule application . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 10636.2.4 Context-free language . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 10636.2.5 Proper CFGs . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 10636.2.6 Example . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 106

36.3 Examples . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 10636.3.1 Well-formed parentheses . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 10636.3.2 Well-formed nested parentheses and square brackets . . . . . . . . . . . . . . . . . . . . 10736.3.3 A regular grammar . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 10736.3.4 Matching pairs . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 10836.3.5 Algebraic expressions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 10836.3.6 Further examples . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 10936.3.7 Derivations and syntax trees . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 110

36.4 Normal forms . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 11136.5 Closure properties . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 11136.6 Decidable problems . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 11236.7 Undecidable problems . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 112

36.7.1 Universality . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 11236.7.2 Language equality . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 11236.7.3 Language inclusion . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 11236.7.4 Being in a lower or higher level of the Chomsky hierarchy . . . . . . . . . . . . . . . . . . 11236.7.5 Grammar ambiguity . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 11236.7.6 Language disjointness . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 112

36.8 Extensions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 11336.9 Subclasses . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 11336.10Linguistic applications . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 11436.11See also . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 114

36.11.1 Parsing algorithms . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 11436.12Notes . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 11436.13References . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 115

37 Context-free language 11637.1 Examples . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 11637.2 Languages that are not context-free . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 11637.3 Closure properties . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 117

CONTENTS ix

37.3.1 Nonclosure under intersection, complement, and dierence . . . . . . . . . . . . . . . . . 11737.4 Decidability properties . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 11737.5 Parsing . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 11837.6 See also . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 11837.7 Notes . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 11837.8 References . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 118

38 Context-sensitive grammar 12038.1 Formal denition . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 12038.2 Examples . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 12138.3 Kuroda normal form . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 12238.4 Properties and uses . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 122

38.4.1 Equivalence to linear bounded automaton . . . . . . . . . . . . . . . . . . . . . . . . . . 12238.4.2 Closure properties . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 12238.4.3 Computational problems . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 12238.4.4 As model of natural languages . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 122

38.5 See also . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 12338.6 Notes . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 12338.7 References . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 12338.8 Further reading . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 12438.9 External links . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 124

39 Context-sensitive language 12539.1 Computational properties . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 12539.2 Examples . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 12539.3 Properties of context-sensitive languages . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 12539.4 See also . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 12639.5 References . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 126

40 Controlled grammar 12740.1 Control by prescribed sequences . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 127

40.1.1 Language controlled grammars . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 12740.1.2 Matrix grammars . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 12940.1.3 Vector grammars . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 13040.1.4 Programmed grammars . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 130

40.2 Control by context conditions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 13140.2.1 Conditional grammars . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 13140.2.2 Semi-conditional grammars . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 13240.2.3 Random context grammars . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 13240.2.4 Ordered grammars . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 133

40.3 Grammars with parallelism . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 13440.3.1 Indian parallel grammars . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 134

x CONTENTS

40.3.2 K-grammars . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 13540.3.3 Russian parallel grammars . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 13640.3.4 Scattered context grammars . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 136

40.4 References . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 136

41 Convolution (computer science) 13741.1 Example . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 13741.2 Denition . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 13741.3 In programming languages . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 13841.4 Language comparison . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 13841.5 See also . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 13841.6 References . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 138

42 Critical exponent of a word 14042.1 Examples . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 14042.2 Properties . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 14042.3 Repetition threshold . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 14042.4 See also . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 14042.5 Notes . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 14142.6 References . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 141

43 Cross-serial dependencies 14243.1 Example . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 14243.2 Why languages containing cross-serial dependencies are non-context-free . . . . . . . . . . . . . . 14343.3 Treatment . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 14343.4 References . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 143

44 Denite clause grammar 14444.1 History . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 14444.2 Example . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 14544.3 Translation into denite clauses . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 145

44.3.1 Dierence lists . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 14544.4 Non-context-free grammars . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 14544.5 Representing features . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 14544.6 Parsing with DCGs . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 14644.7 Other uses . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 14744.8 Extensions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 14744.9 See also . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 14744.10Notes . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 14744.11External links . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 148

45 DershowitzManna ordering 14945.1 References . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 149

CONTENTS xi

46 Descriptional Complexity of Formal Systems 15046.1 Topics of the workshop . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 15046.2 Signicance . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 15146.3 History of the workshop . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 15146.4 See also . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 15246.5 Notes . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 15246.6 References . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 15246.7 External links . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 153

47 Descriptive interpretation 15447.1 Examples . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 15447.2 Sources . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 155

48 Deterministic context-free grammar 15648.1 History . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 15648.2 See also . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 15648.3 References . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 156

49 Deterministic context-free language 15849.1 Description . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 15849.2 Properties . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 15849.3 Importance . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 15849.4 See also . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 15949.5 References . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 159

50 Deterministic pushdown automaton 16050.1 Formal denition . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 16050.2 Languages recognized . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 16150.3 Properties . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 161

50.3.1 Closure . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 16150.3.2 Equivalence problem . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 161

50.4 Notes . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 16150.5 References . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 16150.6 Further reading . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 162

51 di utility 16351.1 History . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 16351.2 Algorithm . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 16451.3 Usage . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 16451.4 Variations . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 164

51.4.1 Edit script . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 16451.4.2 Context format . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 16551.4.3 Unied format . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 165

xii CONTENTS

51.4.4 Others . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 16651.5 Free le comparison tools . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 16751.6 See also . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 16751.7 Notes . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 16851.8 External links . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 169

52 Discontinuous-constituent phrase structure grammar 17052.1 Description . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 17052.2 Example . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 17052.3 References . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 171

53 Dyck language 17253.1 Formal denition . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 17253.2 Properties . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 17253.3 See also . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 17353.4 References . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 174

54 Finite state transducer 17554.1 Overview . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 17554.2 Formal construction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 175

54.2.1 Weighted automata . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 17654.3 Operations on nite state transducers . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 17654.4 Additional properties of nite state transducers . . . . . . . . . . . . . . . . . . . . . . . . . . . . 17754.5 Applications . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 17754.6 See also . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 17854.7 Notes . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 17854.8 References . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 17854.9 External links . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 17954.10Further reading . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 179

55 Finite thickness 18055.1 The related notion of M-nite thickness . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 180

56 Finite-state machine 18156.1 Example: coin-operated turnstile . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 18156.2 Concepts and terminology . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 18256.3 Representations . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 182

56.3.1 State/Event table . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 18256.3.2 UML state machines . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 18456.3.3 SDL state machines . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 18456.3.4 Other state diagrams . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 184

56.4 Usage . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 18456.5 Classication . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 185

CONTENTS xiii

56.5.1 Acceptors and recognizers . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 18756.5.2 Transducers . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 18856.5.3 Generators . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 18956.5.4 Determinism . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 189

56.6 Alternative semantics . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 18956.7 FSM logic . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 18956.8 Mathematical model . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 18956.9 Optimization . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 19056.10Implementation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 190

56.10.1 Hardware applications . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 19056.10.2 Software applications . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 19156.10.3 Finite automata and compilers . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 191

56.11See also . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 19156.12References . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 19256.13Further reading . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 193

56.13.1 General . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 19356.13.2 Finite state machines (automata theory) in theoretical computer science . . . . . . . . . . . 19356.13.3 Abstract state machines in theoretical computer science . . . . . . . . . . . . . . . . . . . 19456.13.4 Machine learning using nite-state algorithms . . . . . . . . . . . . . . . . . . . . . . . . 19456.13.5 Hardware engineering: state minimization and synthesis of sequential circuits . . . . . . . . 19456.13.6 Finite Markov chain processes . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 194

56.14External links . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 195

57 Formal grammar 19857.1 Introductory example . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 19857.2 Formal denition . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 199

57.2.1 The syntax of grammars . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 19957.2.2 The semantics of grammars . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 19957.2.3 Example . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 200

57.3 The Chomsky hierarchy . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 20057.3.1 Context-free grammars . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 20057.3.2 Regular grammars . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 20157.3.3 Other forms of generative grammars . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 20157.3.4 Recursive grammars . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 201

57.4 Analytic grammars . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 20257.5 See also . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 20257.6 References . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 20257.7 External links . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 203

58 Formal language 20458.1 History . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 20558.2 Words over an alphabet . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 205

xiv CONTENTS

58.3 Denition . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 20558.4 Examples . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 206

58.4.1 Constructions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 20658.5 Language-specication formalisms . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 20658.6 Operations on languages . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 20758.7 Applications . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 207

58.7.1 Programming languages . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 20758.7.2 Formal theories, systems and proofs . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 208

58.8 See also . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 20958.9 References . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 209

58.9.1 Citation footnotes . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 20958.9.2 General references . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 209

58.10External links . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 210

59 Formal proof 21159.1 Background . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 211

59.1.1 Formal language . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 21159.1.2 Formal grammar . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 21159.1.3 Formal systems . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 21159.1.4 Interpretations . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 212

59.2 See also . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 21259.3 References . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 21259.4 External links . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 212

60 Formal system 21360.1 Related subjects . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 213

60.1.1 Logical system . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 21360.1.2 Deductive system . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 21460.1.3 Formal proofs . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 21460.1.4 Formal language . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 21460.1.5 Formal grammar . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 214

60.2 See also . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 21560.3 References . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 21560.4 Further reading . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 21560.5 External links . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 215

61 Formation rule 21661.1 Formal language . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 21661.2 Formal systems . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 21661.3 Propositional and predicate logic . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 21661.4 See also . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 217

62 Free monoid 218

CONTENTS xv

62.1 Examples . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 21862.1.1 Natural numbers . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 21862.1.2 Kleene star . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 218

62.2 Conjugate words . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 21962.2.1 Equidivisibility . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 219

62.3 Free generators and rank . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 21962.3.1 Codes . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 220

62.4 Free hull . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 22062.5 Morphisms . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 220

62.5.1 Test sets . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 22062.6 Endomorphisms . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 220

62.6.1 String projection . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 22062.6.2 Sturmian endomorphisms . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 221

62.7 The free commutative monoid . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 22162.8 Generalization . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 22262.9 Free monoids and computing . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 22262.10See also . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 22262.11Notes . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 22262.12References . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 223

63 Generalized context-free grammar 22563.1 Description . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 22563.2 Example . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 22563.3 Linear Context-free Rewriting Systems (LCFRSs) . . . . . . . . . . . . . . . . . . . . . . . . . . 22663.4 See also . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 22663.5 References . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 226

64 Generalized star height problem 22764.1 See also . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 22764.2 References . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 22764.3 External links . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 228

65 Gesture Description Language 229

66 Global index grammar 23166.1 Rule Description . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 23166.2 Example . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 23166.3 Computational Power . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 23266.4 trGIGs . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 232

66.4.1 Example . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 23266.5 References . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 232

67 Grammar systems theory 233

xvi CONTENTS

67.1 See also . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 23467.2 References . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 234

68 Greibach normal form 23568.1 See also . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 23568.2 References . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 235

69 Greibachs theorem 23769.1 Denitions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 23769.2 Formal statement of the theorem . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 237

69.2.1 Proof . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 23869.3 Applications . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 23869.4 Notes . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 23869.5 References . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 238

70 Growing context-sensitive grammar 23970.1 See also . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 23970.2 References . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 23970.3 External links . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 240

71 Head grammar 24171.1 Operations on Headed Strings . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 241

71.1.1 Wrapping . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 24171.1.2 Concatenation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 24171.1.3 Form of Rules . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 241

71.2 Example . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 24271.3 Formal Properties . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 242

71.3.1 Equivalencies . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 24271.4 References . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 243

72 History monoid 24472.1 Product monoids and projection . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 24472.2 Histories . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 24572.3 Connection to computer science . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 24572.4 Properties . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 24672.5 Notes . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 24672.6 References . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 246

73 Indexed grammar 24773.1 Denition . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 247

73.1.1 Modern denition by Hopcroft and Ullman . . . . . . . . . . . . . . . . . . . . . . . . . . 24773.1.2 Original denition by Aho . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 248

73.2 Examples . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 24873.3 Properties . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 249

CONTENTS xvii

73.4 Linear indexed grammars . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 24973.4.1 Example . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 24973.4.2 Computational Power . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 24973.4.3 Relation to other formalism . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 250

73.5 Distributed Index (DI) grammars . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 25073.6 See also . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 25173.7 Notes . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 25173.8 References . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 25173.9 External links . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 252

74 Indexed language 25374.1 Examples . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 25374.2 Properties . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 25374.3 See also . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 25474.4 References . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 25474.5 External links . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 254

75 Induction of regular languages 25575.1 Example . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 25575.2 Lattice of automata . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 25675.3 Approaches . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 256

75.3.1 k-reversible languages . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 25675.3.2 Successor automata . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 25675.3.3 Early approaches . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 25775.3.4 Cover automata . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 25775.3.5 Residual automata . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 25775.3.6 Reduced regular expressions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 257

75.4 Applications . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 25875.5 Notes . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 25875.6 References . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 258

76 International Conference on Developments in Language Theory 26076.1 Topics of the conference . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 26076.2 Recent History of the Conference . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 26076.3 See also . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 26176.4 References . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 26176.5 External links . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 262

77 Interpretation (logic) 26377.1 Formal languages . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 263

77.1.1 Example . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 26377.1.2 Logical constants . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 264

77.2 General properties of truth-functional interpretations . . . . . . . . . . . . . . . . . . . . . . . . . 264

xviii CONTENTS

77.2.1 Logical connectives . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 26477.3 Interpretation of a theory . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 26577.4 Interpretations for propositional logic . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 26577.5 First-order logic . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 265

77.5.1 Formal languages for rst-order logic . . . . . . . . . . . . . . . . . . . . . . . . . . . . 26577.5.2 Interpretations of a rst-order language . . . . . . . . . . . . . . . . . . . . . . . . . . . 26677.5.3 Example of a rst-order interpretation . . . . . . . . . . . . . . . . . . . . . . . . . . . . 26677.5.4 Non-empty domain requirement . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 26777.5.5 Interpreting equality . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 26777.5.6 Many-sorted rst-order logic . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 267

77.6 Higher-order predicate logics . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 26877.7 Non-classical interpretations . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 26877.8 Intended interpretations . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 268

77.8.1 Example . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 26977.9 Other concepts of interpretation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 26977.10See also . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 26977.11References . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 27077.12External links . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 270

78 Introduction to Automata Theory, Languages, and Computation 27178.1 Nickname . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 27178.2 Edition History and Reception . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 27178.3 See also . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 27378.4 References . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 27378.5 External links . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 273

79 Junction Grammar 27479.1 Prefatory Note . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 27479.2 Background . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 27479.3 Action and Reaction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 27579.4 Advent of Junction Grammar . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 275

79.4.1 Transformations and Their Representations Are Superseded in JG . . . . . . . . . . . . . . 27579.4.2 J-rules . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 27679.4.3 Operators . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 27679.4.4 Operands . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 27779.4.5 Coding Grammars . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 27779.4.6 Nature of JG Analysis . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 277

79.5 Early Application . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 27779.6 Early Literature . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 27879.7 Early NLP Application . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 27879.8 Junction Phonology . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 27879.9 Pedagogy . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 278

CONTENTS xix

79.10Educational software . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 27979.11Sample J-tree . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 28079.12Review of Theoretical and Practical Highlights . . . . . . . . . . . . . . . . . . . . . . . . . . . . 28079.13Cross-Fertilization . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 28179.14JG Upgrade Model . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 281

79.14.1 Orders of Specicity . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 28179.14.2 `LANGUAGE, THOUGHT, and REALITY' . . . . . . . . . . . . . . . . . . . . . . . . . 28179.14.3 MIND over MATTER . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 28279.14.4 Linking to REALITY . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 28279.14.5 Versatility of the Notation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 28279.14.6 JG 'Signatures as Scientic Classiers . . . . . . . . . . . . . . . . . . . . . . . . . . . . 28379.14.7 Recent Literature . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 283

79.15References . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 283

80 Kleene algebra 28680.1 Denition . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 28680.2 Examples . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 28780.3 Properties . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 28780.4 History . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 28880.5 Generalization (or relation to other structures) . . . . . . . . . . . . . . . . . . . . . . . . . . . . 28880.6 See also . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 28880.7 Notes and references . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 28980.8 Further reading . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 289

81 Kleene star 29081.1 Denition and notation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 29081.2 Kleene plus . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 29181.3 Examples . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 29181.4 Generalization . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 29181.5 References . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 29181.6 Further reading . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 292

82 Kleenes algorithm 29382.1 Algorithm description . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 29382.2 Example . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 29482.3 See also . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 29582.4 References . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 295

83 L-attributed grammar 296

84 L-system 29784.1 Origins . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 29884.2 L-system structure . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 298

xx CONTENTS

84.3 Examples of L-systems . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 29984.3.1 Example 1: Algae . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 29984.3.2 Example 2: Pythagoras tree . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 30084.3.3 Example 3: Cantor dust . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 30084.3.4 Example 4: Koch curve . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 30084.3.5 Example 5: Sierpinski triangle . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 30184.3.6 Example 6: Dragon curve . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 30284.3.7 Example 7: Fractal plant . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 303

84.4 Variations . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 30384.4.1 Stochastic grammars . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 30384.4.2 Context sensitive grammars . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 30484.4.3 Parametric grammars . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 305

84.5 Open problems . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 30584.6 Types of L-systems . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 30684.7 Books . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 30684.8 See also . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 30684.9 Notes . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 30684.10External links . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 306

85 Language equation 30885.1 See also . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 30885.2 External links . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 308

86 Language identication in the limit 30986.1 Learnability . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 30986.2 Examples . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 30986.3 Learnability characterization . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 31086.4 Language classes learnable in the limit . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 31086.5 Sucient conditions for learnability . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 310

86.5.1 Finite thickness . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 31086.5.2 Finite elasticity . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 311

86.6 Mind change bound . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 31186.7 Other concepts . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 311

86.7.1 Innite cross property . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 31186.8 Relations between concepts . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 31186.9 Open questions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 31186.10Notes . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 31286.11References . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 312

87 Left quotient 313

88 Lexical grammar 31488.1 Examples . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 314

CONTENTS xxi

88.2 See also . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 31488.3 References . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 31588.4 External links . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 315

89 Linear grammar 31689.1 Example . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 31689.2 Relationship with regular grammars . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 31689.3 Expressive power . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 31789.4 Closure properties . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 31789.5 References . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 317

90 List of formal language and literal string topics 31890.1 Formal languages . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 31890.2 Literal strings . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 31990.3 Classical cryptography . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 319

91 Literal movement grammar 32191.1 Description . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 32191.2 Example . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 32191.3 Computational Power . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 32291.4 References . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 322

92 LL grammar 32392.1 Relation to LL parsers . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 32392.2 Relation to other grammar classes . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 323

92.2.1 Simple deterministic languages . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 32492.3 Applications . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 32492.4 See also . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 32492.5 References . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 32492.6 Further reading . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 324

93 Local language (formal language) 32593.1 Examples . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 32593.2 Properties . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 32593.3 References . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 325

94 Locally catenative sequence 32794.1 Examples . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 32794.2 References . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 327

95 Longest increasing subsequence 32895.1 Example . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 32895.2 Relations to other algorithmic problems . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 32895.3 Ecient algorithms . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 329

xxii CONTENTS

95.4 Length bounds . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 32995.5 Online algorithms . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 32995.6 See also . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 33095.7 References . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 33095.8 External links . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 331

96 Longest repeated substring problem 33296.1 External links . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 332

97 LR-attributed grammar 33397.1 External links . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 333

98 Semigroup with involution 33498.1 Formal denition . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 33498.2 Examples . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 33498.3 Basic concepts and properties . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 335

98.3.1 Examples . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 33598.4 Notions of regularity . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 335

98.4.1 Regular *-semigroups (Nordahl & Scheiblich) . . . . . . . . . . . . . . . . . . . . . . . . 33698.4.2 *-regular semigroups (Drazin) . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 336

98.5 Free semigroup with involution . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 33798.6 Baer *-semigroups . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 338

98.6.1 Examples and applications . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 33898.7 See also . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 33898.8 Notes . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 33898.9 References . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 33998.10Text and image sources, contributors, and licenses . . . . . . . . . . . . . . . . . . . . . . . . . . 340

98.10.1 Text . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 34098.10.2 Images . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 34798.10.3 Content license . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 350

Chapter 1

Abstract family of acceptors

An abstract family of acceptors (AFA) is a grouping of generalized acceptors. Informally, an acceptor is a devicewith a nite state control, a nite number of input symbols, and an internal store with a read and write function. Eachacceptor has a start state and a set of accepting states. The device reads a sequence of symbols, transitioning fromstate to state for each input symbol. If the device ends in an accepting state, the device is said to accept the sequenceof symbols. A family of acceptors is a set of acceptors with the same type of internal store. The study of AFA ispart of AFL (abstract families of languages) theory. [1]

1.1 Formal denitions

1.1.1 AFA Schema

An AFA Schema is an ordered 4-tuple (; I; f; g) , where

1. and I are nonempty abstract sets.

2. f is the write function: f : I ! [ f;g (N.B. * is the Kleene star operation).

3. g is the read function, a mapping from into the nite subsets of , such that g() = fg and is in g()if and only if = . (N.B. is the empty word).

4. For each in g() , there is an element 1 in I satisfying f(0; 1) = 0 for all 0 such that is in g(0) .

5. For each u in I, there exists a nite set u , such that if 1 , is in 1 , and f(; u) 6= ; , then f(; u)is in (1 [ u) .

1.1.2 Abstract family of acceptors

An abstract family of acceptors (AFA) is an ordered pair (;D) such that:

1. is an ordered 6-tuple ( K , , , I , f , g ), where

(a) ( , I , f , g ) is an AFA schema; and(b) K and are innite abstract sets

2. D is the family of all acceptors D = ( K1 , 1 , , q0 , F ), where

(a) K1 and 1 are nite subsets of K , and respectively, F K1 , and q0 is in K1 ; and(b) (called the transition function) is a mapping from K1 (1 [ fg) g() into the nite subsets of

K1 I such that the set GD = f | (q; a; ) for some q and ag is nite.

1

2 CHAPTER 1. ABSTRACT FAMILY OF ACCEPTORS

For a given acceptor, let ` be the relation on K1 1 dened by: For a in 1 [ fg , (p; aw; ) ` (p0; w; 0)if there exists a and u such that is in g() , (p0; u) is in (p; a; ) and f(; u) = 0 . Let ` denote the transitiveclosure of ` .Let (;D) be an AFA and D = ( K1 , 1 , , q0 , F ) be in D . Dene L(D) to be the set fw 2 1j9q 2F:(q0; w; ) ` (q; ; )g . For each subset E of D , let L(E) = fL(D)jD 2 Eg .Dene Lf (D) to be the set fw 2 1j9(q 2 F )9( 2 ):(q0; w; ) ` (q; ; )g . For each subset E of D , letLf (E) = fLf (D)jD 2 Eg .

1.2 Informal discussion

1.2.1 AFA SchemaAn AFA schema denes a store or memory with read and write function. The symbols in are called storage symbolsand the symbols in I are called instructions. The write function f returns a new storage state given the current storagestate and an instruction. The read function g returns the current state of memory. Condition (3) insures the emptystorage conguration is distinct from other congurations. Condition (4) requires there be an identity instruction thatallows the state of memory to remain unchanged while the acceptor changes state or advances the input. Condition(5) assures that the set of storage symbols for any given acceptor is nite.

1.2.2 Abstract family of acceptorsAn AFA is the set of all acceptors over a given pair of state and input alphabets which have the same storage mech-anism dened by a given AFA schema. The ` relation denes one step in the operation of an acceptor. Lf (D) isthe set of words accepted by acceptor D by having the acceptor enter an accepting state. L(D) is the set of wordsaccepted by acceptor D by having the acceptor simultaneously enter an accepting state and having an empty storage.The abstract acceptors dened by AFA are generalizations of other types of acceptors (e.g. nite state automata,pushdown automata, etc.). They have a nite state control like other automata, but their internal storage may varywidely from the stacks and tapes used in classical automata.

1.3 Results from AFL theoryThe main result from AFL theory is that a family of languages L is a full AFL if and only if L = L(D) for someAFA (;D) . Equally important is the result that L is a full semi-AFL if and only if L = Lf (D) for some AFA(;D) .

1.4 OriginsSeymour Ginsburg of the University of Southern California and Sheila Greibach of Harvard University rst presentedtheir AFL theory paper at the IEEE Eighth Annual Symposium on Switching and Automata Theory in 1967.[2]

1.5 References[1] Seymour Ginsburg, Algebraic and automata theoretic properties of formal languages, North-Holland, 1975, ISBN 0-7204-

2506-9.

[2] IEEE conference record of 1967 Eighth Annual Symposium on Switching and Automata Theory : papers presented at theEighth Annual Symposium, University of Texas, October 18-20, 1967.

Chapter 2

Abstract family of languages

In computer science, in particular in the eld of formal language theory, the term abstract family of languages refersto an abstract mathematica