Architectures of parallel computers

Daniel Schulze Zumkley

Parallel Programming and Parallel Algorithms

Agenda

Motivation Grundinformationen

o Flynn‘s Taxonomy: Ideeo TOP500

Drei parallele Computer-Architektureno Processor Arrayo Multiprocessorso Multicomputers

Flynn‘s Taxonomy: Einordnung Ausblick

Agenda

Notwendigkeit

Wissenschaftlicher Bereich:o Erste parallele Rechner in den 1960ero Universitäten, Wissenschaftliche Labore, Militäro Simulationen (Klima, Flugzeuge und Windtunnel, Nuklear-Waffen…)o Hoch komplizierte Berechnungeno Supercomputer

Privater Bereich:o Dual-Core, Quad-Core Prozessoren

Agenda

Flynn’s Taxonomy

MIMDMIMD

SISDSISD SIMD

SingleSi

MultipleM

leData Stream

Klassifikation von Rechnerstrukturen:

Agenda

TOP500

Idee: Liste der 500 schnellsten Computersysteme der Welt Verfasser: Organisation TOP500

o Universitäten Mannheimo University of Tennesseeo National Research Scientific Computing Center

Erstellung: Seit 2003; zweimal pro Jahr Messung: Linpack-Benchmarking

o Programmbibliothek zum Lösen von linearen Gleichungssystemeno Angabe der Ergebnisse in Gleitkommaoperationen pro Sekunde (FLOPS)

Website: http://www.top500.org

Agenda

Processor Arrays – Aufbau

Interconnection networkInterconnection network

PP PP PP PPPP

MM MM MM MMMM

CPUCPU MemoryMemory I/O processorsI/O processors

Front-end computer

ProcessorArray

I/O devices

Parallel I/O devices

Global result bus

Instruction broadcast busScalar memory bus

5 Quelle: Quinn 04

Processor Array - Bewertung

Vorteile:o Skalierbarkeit (hoch)o Einzelne Prozesse sind unabhängig

Nachteile:o Skalierbarkeit (runter) o Keine bzw. ineffiziente Ausführung bei parallelem Codeo Gewöhnlich Single-User Syteme

Verlust eines Vorteils:o Kosten der Control Units ist stark gesunken

Processor Array & Flynn’s Taxonomy

MIMDMIMD

SISDSISD SIMD

SingleSi

MultipleM

leData Stream

Processor arrays

Processor Array & TOP500

Bekanntes System: Earth Simulatoro Ermöglicht die Simulation des Erdklimaso Über 2 Jahre Nr. 1 der TOP500 (2002-2004)o 35,86 Terapflops; 5120 Prozessoren

Heutige Situation:o Nur noch ein System in den TOP500, welches auf diesem Ansatz basiert

Agenda

Multiprocessors

Gemeinsamer Adressraum: Die gleiche Adresse zwei verschiedener CPUs bezieht sich auf die selbe Stelle im Speicher

2 Arteno UMA Multiprocessors (Uniform Memory Architecture)

• Ein zentraler Speicher für alle Prozessoren• Einheitliche Zugriffszeiten

o NUMA Multiprocessors (Non-Uniform Memory Architecture)

• Jeder Prozessor besitzt eigenen Speicher• Unterschiedliche Zugriffszeiten

UMA Multiprocessor - Aufbau

BusBus

memory

CPUCPU

memory

CPUCPU

memory

CPUCPU

memory

CPUCPU

Primary

memory

Primary

memoryI/O

devices

Quelle: Quinn 049

UMA Multiprocessor - Bewertung

Weitere Bezeichnungen:o centralized multiprocessoro symmetric multiprocessor (SMP)

Vorteile:o 1 Bus => Keine Netzwerkverbindung notwendigo Jeder Prozessor hat eigenen Cache => schnelle Zugriffszeiten

Nachteile:o 1 Bus => schlechte Skalierbarkeit (Flaschenhals) o Cache-Inkohärenz

UMA-Multiprocessors & Cache - Inkohärenz

BusBus

PrimarymemoryPrimarymemory

BusBus

Cachememory

BusBus

Cachememory

UMA-Multiprocessors & Cache - Inkohärenz

Cache Kohähernz durch Snooping:

Jeder Prozessor “schnüffelt” konstant am Bus Vergleicht Information mit eigenem Cache Reagiert entsprechend der Snoop-Logik (Lese- und

Schreibzugriffsrechte)

NUMA Multiprocessors: Aufbau

Interconnection networkInterconnection network

memory

CPUCPU

devices

devicesMemor

yMemor

memory

CPUCPU

devices

devicesMemor

yMemor

memory

CPUCPU

devices

devicesMemor

yMemor

12 Quelle: Quinn 04

NUMA Multiprocessors: Bewertung

Vorteile:o Skalierbarkeito Meist kürzere Zugriffszeit als bei UMA

Nachteile:o Kosteno Cache-Inkohärenz

NUMA-Multiprocessors & Cache - Inkohärenz

Directory-based coherence:

Directory = Liste mit jeweiligem Status aller gecachten Blöcke Bei jeder Anfrage eines Prozessors wird der Status überprüft Reaktion entsprechend des Protokols (Lese- und Schreibzugriffe)

Multiprocessors & Flynn’s Taxonomy

MIMDMIMD

SISDSISD SIMD

Processor arrays

SingleSi

MultipleM

leData Stream

Multiprocessors

Multiprocessors & TOP500

UMA:o Keine Berücksichtigung dieser Architektur beim Bau von Supercomputern

(schlechte Skalierbarkeit)o Häufiger Einsatz dieser Technik in PCs (Multi-Core Prozessoren)

NUMA:o Bsp.: SGI HLRB-II-Altix 4700

• Platz 82 in Nov. 2009• 62 Teraflops; 9728 CPUs

Agenda

Multicomputers

Verteilter Adressraum: Die gleiche Adresse zwei verschiedener CPUs bezieht sich auf verschiedene Stellen in unterschiedlichen Speichern

2 Arteno Asymmetrischo Symmetrisch

Asymmetrical Multicomputers - Aufbau

ComputerComputer

Interconnection network

Front-end computerFront-end computerInternetInternet

UserUser

File serverFile server

Multicomputer

17 Quelle: Quinn 04

Asymmetrical Multicomputers - Bewertung

Vorteile:o Einfacher Aufbauo Keine Cache-Inkohärenzo Nur Front-End Computer benötigt volle Funktionalität

Nachteile:o Front-End Computer ist Flaschenhalso Bei Ausfall des Front-End Computers fällt das ganze System auso Die Back-End Computer können nicht direkt mit dem User kommunizieren

Symmetrical Multicomputers - Aufbau

ComputerComputer ComputerComputer ComputerComputer

ComputerComputer

Interconnection network

InternetInternet

UserUser

File serverFile serverComputerComputer

MulticomputerMulticomputer

18 Quelle: Quinn 04

Symmetrical Multicomputers - Bewertung

Vorteile:o Keine Cache-Inkohärenzo Keine Abhängigkeit von einem Front-End Computero Alle Computer können mit dem User kommunizieren

Nachteile:o Alle Computer brauchen volle Funktionalitäto Komplexe Struktur (Vision eines Einzelcomputers, Balance der Auslastung)

Multicomputers & Flynn’s Taxonomy

Multiprocessors

SISDSISD SIMD

Processor arrays

SingleSi

MultipleM

leData Stream

Multicomputers

Multicomputers & TOP500

Fast alle Systeme in den TOP500 sind Multicomputer

Schnellste Computer der Welt (Stand Nov. 2009): Cray XT5-HE Opteron Six Core 2.6 GHzo 1,75 Petaflops; 224162 CPUs

Agenda

Flynn’s Taxonomy

MIMDMIMD

SISDSISD SIMD

SingleSi

MultipleM

leData Stream

Uniprocessor

Systolic arrays

Processor arrays

MultiprocessorsMulticomputers

Agenda

Ausblick

“Moore’s law” stark vereinfacht: “Computer chips get twice as fast every year or two”.o Entspricht nicht ganz der Realitäto Prinzip gilt noch immer

Trend ist und bleibt paralelles Rechneno Hauptsächlich MIMD Systemeo Technischer Fortschritt senkt Kosten => Technik auch im PC

Vielen Dank für Eure Aufmerksamkeit!

Fragen?

Dual Core

Architectures of parallel computers

Documents

Understanding Parallel Computers Parallel Processing EE 613.

Massively Parallel Architectures

Parallel Architectures

Multicores and Parallel Architectures

Parallel Systolic FFT Architectures

Different parallel processing architectures

CSE 661 - Parallel and Vector ArchitecturesVector Computers....

Computing Parallel Architectures

CS267 L3 Programming Models.1 Demmel Sp 1999 CS 267...

Parallel Architectures & Performance Analysis

Real Parallel Computers

Parallel Architectures - unipv · Parallel Architectures...

Super Computers Parallel Computers_2

Instruction-Level Parallel Processor Architectures ...

Parallel Computers

Parallel and Multiprocessor Architectures