This document is posted to help you gain knowledge. Please leave a comment to let me know what you think about it! Share it to your friends and learn new things together.
Transcript
Tanenbaum, Structured Computer Organization, Fifth Edition, (c) 2006 Pearson Education, Inc. All rights reserved. 0-13-148521-0
Αρχιτεκτονική Υπολογιστών
Παραλληλισμός
Βασικές Πηγές:
Αρχιτεκτονική Υπολογιστών: μια Δομημένη Προσέγγιση, Α. Tanenbaum, Vrije Universiteit, Amsterdam.
Computer Architecture and Engineering, K. Asanovic, CS1/2-52, University of Berkeley.
Tanenbaum, Structured Computer Organization, Fifth Edition, (c) 2006 Pearson Education, Inc. All rights reserved. 0-13-148521-0
Hyperthreading στο Pentium 4
Κατανομή πόρων μεταξύ νημάτων στη μικροαρχιτεκτονικήPentium 4 NetBurst.
Tanenbaum, Structured Computer Organization, Fifth Edition, (c) 2006 Pearson Education, Inc. All rights reserved. 0-13-148521-0
Compaq Simultaneous Multi Threading (1)
Κάθε στάδιο της διοχέτευσης λειτουργεί σαν 4 σχετικά ανεξάρτητοι επεξεργαστές.Επέκταση της Υπερβαθμωτής Επεξεργασίας σε όλα τα στάδια διοχέτευσης.
Tanenbaum, Structured Computer Organization, Fifth Edition, (c) 2006 Pearson Education, Inc. All rights reserved. 0-13-148521-0
Compaq Simultaneous Multi Threading (2)
Tanenbaum, Structured Computer Organization, Fifth Edition, (c) 2006 Pearson Education, Inc. All rights reserved. 0-13-148521-0
Παραλληλισμός Επιπέδου Δεδομένων
(a) Massively Parallel Processors (MPPs): μια CPU πολλές ALUs σε διάταξη πίνακα 1 ή 2 διαστάσεων (Vectror - Array Processors).(b) Coprocessors, GPUs. Επίσης ειδικές εντολές σε Pentium, AMD, GPUs..
Tanenbaum, Structured Computer Organization, Fifth Edition, (c) 2006 Pearson Education, Inc. All rights reserved. 0-13-148521-0
Παραλληλισμός Επιπέδου Υπολογιστή
(α) Σύστημα μοιραζόμενης μνήμης (Multiprocessors, Multicores, SMPs).(β) Σύστημα κατανεμημένης μνήμης (Multicomputers, Clusters).
Network
Switch
computer
Tanenbaum, Structured Computer Organization, Fifth Edition, (c) 2006 Pearson Education, Inc. All rights reserved. 0-13-148521-0
Tanenbaum, Structured Computer Organization, Fifth Edition, (c) 2006 Pearson Education, Inc. All rights reserved. 0-13-148521-0
Ταξινόμηση Flynn
Flynn’s taxonomy of parallel computers.
Tanenbaum, Structured Computer Organization, Fifth Edition, (c) 2006 Pearson Education, Inc. All rights reserved. 0-13-148521-0
Google (1)
Επεξεργασία ερωτήματος στο Google.
Tanenbaum, Structured Computer Organization, Fifth Edition, (c) 2006 Pearson Education, Inc. All rights reserved. 0-13-148521-0
Google (2)
Τυπικό Googlecluster.
22/09/10
CS252-s06, Lec 01-intro
19
1. Η ενέργεια (ηλεκτρισμός) είναι φθηνή, το υλικό (ημιαγωγοί) είναι ακριβό.
Τώρα: “Power wall”: Η ενέργεια είναι ακριβή! Το υλικό φθηνό: Μπορούμε να χωρέσουμε περισσότερα transistors από όσα μπορούμε να τροφοδοτήσουμε/ψύξουμε αποδοτικά.
2. Επαρκής αύξηση της απόδοσης: Παραλληλισμός σε Επίπεδο Εντολής (ILP) με τη βοήθεια μεταγλωττιστών και αρχιτεκτονικών βελτιώσεων (pipelining, superscalar, out-of-order, speculation, VLIW, …)
Τώρα: “ILP wall”: μείωση του ρυθμού βελτίωσης της απόδοσης με τη πρόσθεση υλικού για περισσότερο ILP.
3. Οι πολλαπλασιασμοί είναι αργοί, η προσπέλαση μνήμης γρήγορη.
Τώρα: “Memory wall”: Οι μνήμες είναι πια πολύ πιο αργές από τους επεξεργαστές (200 κύκλοι μηχανής για τη πρόσβαση στη DRAM, 4 κύκλοι για το πολλαπλασιασμό).
4. Η απόδοση των επεξεργαστών διπλασιάζεται κάθε 1.5 χρόνο.
Τώρα: 'Ισως 5 χρόνια Power Wall + ILP Wall + Memory Wall = Brick Wall
'Κοινοί Τόποι' στην Αρχιτεκτονική Υπολογιστών
cslab@ntua 2007-2008
20
Κατανάλωση ισχύος επεξεργαστών σε watts/cm2
cslab@ntua 2007-2008
21
Power Wall: προβολή του Nόμου του Moore
Tanenbaum, Structured Computer Organization, Fifth Edition, (c) 2006 Pearson Education, Inc. All rights reserved. 0-13-148521-0
Απόδοση Επεξεργαστών
cslab@ntua 2007-2008
23
Συχνότητα ρολογιού Επεξεργαστή προς Ταχύτητα Διαύλου Μνήμης
cslab@ntua 2007-2008
24
Μemory Wall:Χάσμα Επεξεργαστή Μνήμης
20
00
processor60%/yr
memory7%/yr
1
10
100
1000
19
80
19
81
19
83
19
84
19
85
19
86
19
87
19
88
19
89
19
90
19
91
19
92
19
93
19
94
19
95
19
96
19
97
19
98
19
99
DRAM
CPU
19
82
processor-memoryperformance gap:(grows 50% / yr)
Time
“Moore’s Law”
Speed(MHz)
22/09/10
CS252-s06, Lec 01-intro
25
Τέλος Εποχής του Ενός Επεξεργαστή:
Πολλαπλοί 'Πυρήνες' (cores)Μια από τις μεγαλύτερες αλλαγές στην ιστορία των συστημάτων
υπολογιστών
Διπλασιασμός των επεξεργαστών (πυρήνων) ανά 2 χρόνια περίπου.
Επέκταση του Simultaneous Multithreading σε συνδυασμό με ιεραρχία από τοπικές (κρυφές) μνήμες.
2004: Παραλληλία σε πολλαπλά επίπεδα (πυρήνες, threads, επεξεργαστές, clusters, Grids)
22/09/10
CS252-s06, Lec 01-intro
30
Προβλήματα και προκλήσεις
Αλλαγή προγραμματιστικού μοντέλου
Αλγόριθμοι, Γλώσσες, Μεταγλωττιστές, Λειτουργικά Συστήματα, Αρχιτεκτονικές, Βιβλιοθήκες .. δεν είναι έτοιμα για Παραλληλισμό σε Επίπεδο Δεδομένων ή Διεργασίας(Νήματος).
Σε αντίθεση με το Παραλληλισμό σε Επίπεδο Ετολής (ILP) το πρόβλημα μάλλον δεν μπορεί να λυθεί από τους 'αρχιτέκτονες' και τους 'μηχανικούς συστημάτων' χωρίς συνεργασία των προγραμματιστών εφαρμογών.
Πιθανώς να χρειαστεί ανασχεδιασμός των επιπέδων αφαίρεσης (εικονικών μηχανών) στα σύγχρονα υπολογιστικά συστήματα.