Architectures of parallel computers

Daniel Schulze Zumkley

Architectures of parallel computers

Parallel Programming and Parallel Algorithms


Agenda

Motivation Grundinformationen

o Flynn‘s Taxonomy: Ideeo TOP500

Drei parallele Computer-Architektureno Processor Arrayo Multiprocessorso Multicomputers

Flynn‘s Taxonomy: Einordnung Ausblick

1


Agenda






Notwendigkeit

Wissenschaftlicher Bereich:o Erste parallele Rechner in den 1960ero Universitäten, Wissenschaftliche Labore, Militäro Simulationen (Klima, Flugzeuge und Windtunnel, Nuklear-Waffen…)o Hoch komplizierte Berechnungeno Supercomputer

Privater Bereich:o Dual-Core, Quad-Core Prozessoren

2


Agenda






Flynn’s Taxonomy

MIMDMIMD

SISDSISD SIMD

MISD

SingleSi

ngle

MultipleM

ultip

leData Stream

Inst

ructi

on s

trea

m

Klassifikation von Rechnerstrukturen:

3


Agenda






TOP500

Idee: Liste der 500 schnellsten Computersysteme der Welt Verfasser: Organisation TOP500

o Universitäten Mannheimo University of Tennesseeo National Research Scientific Computing Center

Erstellung: Seit 2003; zweimal pro Jahr Messung: Linpack-Benchmarking

o Programmbibliothek zum Lösen von linearen Gleichungssystemeno Angabe der Ergebnisse in Gleitkommaoperationen pro Sekunde (FLOPS)

Website: http://www.top500.org

4


Agenda






Processor Arrays – Aufbau

Interconnection networkInterconnection network

PP PP PP PPPP

MM MM MM MMMM

CPUCPU MemoryMemory I/O processorsI/O processors

Front-end computer

ProcessorArray

I/O devices

Parallel I/O devices

Global result bus

Instruction broadcast busScalar memory bus

5 Quelle: Quinn 04


Processor Array - Bewertung

Vorteile:o Skalierbarkeit (hoch)o Einzelne Prozesse sind unabhängig

Nachteile:o Skalierbarkeit (runter) o Keine bzw. ineffiziente Ausführung bei parallelem Codeo Gewöhnlich Single-User Syteme

Verlust eines Vorteils:o Kosten der Control Units ist stark gesunken

5


Processor Array & Flynn’s Taxonomy

MIMDMIMD

SISDSISD SIMD

MISD

SingleSi

ngle

MultipleM

ultip

leData Stream

Inst

ructi

on s

trea

m

Processor arrays

6


Processor Array & TOP500

Bekanntes System: Earth Simulatoro Ermöglicht die Simulation des Erdklimaso Über 2 Jahre Nr. 1 der TOP500 (2002-2004)o 35,86 Terapflops; 5120 Prozessoren

Heutige Situation:o Nur noch ein System in den TOP500, welches auf diesem Ansatz basiert

7


Agenda






Multiprocessors

Gemeinsamer Adressraum: Die gleiche Adresse zwei verschiedener CPUs bezieht sich auf die selbe Stelle im Speicher

2 Arteno UMA Multiprocessors (Uniform Memory Architecture)

• Ein zentraler Speicher für alle Prozessoren• Einheitliche Zugriffszeiten

o NUMA Multiprocessors (Non-Uniform Memory Architecture)

• Jeder Prozessor besitzt eigenen Speicher• Unterschiedliche Zugriffszeiten

8


UMA Multiprocessor - Aufbau

BusBus

Cache

memory

Cache

memory

CPUCPU

Cache

memory

Cache

memory

CPUCPU

Cache

memory

Cache

memory

CPUCPU

Cache

memory

Cache

memory

CPUCPU

Primary

memory

Primary

memoryI/O

devices

I/O

devices

Quelle: Quinn 049


UMA Multiprocessor - Bewertung

Weitere Bezeichnungen:o centralized multiprocessoro symmetric multiprocessor (SMP)

Vorteile:o 1 Bus => Keine Netzwerkverbindung notwendigo Jeder Prozessor hat eigenen Cache => schnelle Zugriffszeiten

Nachteile:o 1 Bus => schlechte Skalierbarkeit (Flaschenhals) o Cache-Inkohärenz

9


UMA-Multiprocessors & Cache - Inkohärenz

BusBus

CPU

P1

CPU

P1CPU

P2

CPU

P2

PrimarymemoryPrimarymemory

BusBus

CPU

P1

CPU

P1CPU

P2

CPU

P2

Cachememory

Cachememory


X Y

X

BusBus

CPU

P1

CPU

P1CPU

P2

CPU

P2


X

Cachememory

Cachememory

Cachememory

Cachememory

Cachememory

Cachememory

Cachememory

Cachememory

X X

Cachememory

Cachememory

Y

10


UMA-Multiprocessors & Cache - Inkohärenz

Cache Kohähernz durch Snooping:

Jeder Prozessor “schnüffelt” konstant am Bus Vergleicht Information mit eigenem Cache Reagiert entsprechend der Snoop-Logik (Lese- und

Schreibzugriffsrechte)

11


NUMA Multiprocessors: Aufbau

Interconnection networkInterconnection network

Cache

memory

Cache

memory

CPUCPU

I/O

devices

I/O

devicesMemor

yMemor

y

Cache

memory

Cache

memory

CPUCPU

I/O

devices

I/O

devicesMemor

yMemor

y

Cache

memory

Cache

memory

CPUCPU

I/O

devices

I/O

devicesMemor

yMemor

y

12 Quelle: Quinn 04


NUMA Multiprocessors: Bewertung

Vorteile:o Skalierbarkeito Meist kürzere Zugriffszeit als bei UMA

Nachteile:o Kosteno Cache-Inkohärenz

12


NUMA-Multiprocessors & Cache - Inkohärenz

Directory-based coherence:

Directory = Liste mit jeweiligem Status aller gecachten Blöcke Bei jeder Anfrage eines Prozessors wird der Status überprüft Reaktion entsprechend des Protokols (Lese- und Schreibzugriffe)

13


Multiprocessors & Flynn’s Taxonomy

MIMDMIMD

SISDSISD SIMD

Processor arrays

MISD

SingleSi

ngle

MultipleM

ultip

leData Stream

Inst

ructi

on s

trea

m

Multiprocessors

14


Multiprocessors & TOP500

UMA:o Keine Berücksichtigung dieser Architektur beim Bau von Supercomputern

(schlechte Skalierbarkeit)o Häufiger Einsatz dieser Technik in PCs (Multi-Core Prozessoren)

NUMA:o Bsp.: SGI HLRB-II-Altix 4700

• Platz 82 in Nov. 2009• 62 Teraflops; 9728 CPUs

15


Agenda






Multicomputers

Verteilter Adressraum: Die gleiche Adresse zwei verschiedener CPUs bezieht sich auf verschiedene Stellen in unterschiedlichen Speichern

2 Arteno Asymmetrischo Symmetrisch

16


Asymmetrical Multicomputers - Aufbau

ComputerComputer

ComputerComputer

ComputerComputer

ComputerComputer

Interconnection network


Front-end computerFront-end computerInternetInternet

UserUser

File serverFile server

Multicomputer

17 Quelle: Quinn 04


Asymmetrical Multicomputers - Bewertung

Vorteile:o Einfacher Aufbauo Keine Cache-Inkohärenzo Nur Front-End Computer benötigt volle Funktionalität

Nachteile:o Front-End Computer ist Flaschenhalso Bei Ausfall des Front-End Computers fällt das ganze System auso Die Back-End Computer können nicht direkt mit dem User kommunizieren

17


Symmetrical Multicomputers - Aufbau

ComputerComputer ComputerComputer ComputerComputer

ComputerComputer



InternetInternet

UserUser

File serverFile serverComputerComputer

MulticomputerMulticomputer

18 Quelle: Quinn 04


Symmetrical Multicomputers - Bewertung

Vorteile:o Keine Cache-Inkohärenzo Keine Abhängigkeit von einem Front-End Computero Alle Computer können mit dem User kommunizieren

Nachteile:o Alle Computer brauchen volle Funktionalitäto Komplexe Struktur (Vision eines Einzelcomputers, Balance der Auslastung)

18


Multicomputers & Flynn’s Taxonomy

MIMD

Multiprocessors

MIMD

Multiprocessors

SISDSISD SIMD

Processor arrays

MISD

SingleSi

ngle

MultipleM

ultip

leData Stream

Inst

ructi

on s

trea

m

Multicomputers

19


Multicomputers & TOP500

Fast alle Systeme in den TOP500 sind Multicomputer

Schnellste Computer der Welt (Stand Nov. 2009): Cray XT5-HE Opteron Six Core 2.6 GHzo 1,75 Petaflops; 224162 CPUs

20


Agenda






Flynn’s Taxonomy

MIMDMIMD

SISDSISD SIMD

MISD

SingleSi

ngle

MultipleM

ultip

leData Stream

Inst

ructi

on s

trea

m

Uniprocessor

Systolic arrays

Processor arrays

MultiprocessorsMulticomputers

21


Agenda






Ausblick

“Moore’s law” stark vereinfacht: “Computer chips get twice as fast every year or two”.o Entspricht nicht ganz der Realitäto Prinzip gilt noch immer

Trend ist und bleibt paralelles Rechneno Hauptsächlich MIMD Systemeo Technischer Fortschritt senkt Kosten => Technik auch im PC

22


Vielen Dank für Eure Aufmerksamkeit!

Fragen?


Dual Core

Architectures of parallel computers

Documents