GOOGLE CLUSTERGOOGLE CLUSTER
MULTIPROCESAMIENTO Leonardo Sarango Ruth Hidalgo ING. María del Carmen
IntroducciónIntroducción
Enorme capacidad de procesamiento.
Uso de clusters ejecutando Linux con sus correpondiente balance de carga.
Presencia de centros de datos en diferentes puntos geográficos.
EstacionesEstaciones
Más de 450.000 servidores Más de 450.000 servidores En Mountain View (California), Virginia, Atlanta y Dublín. En Mountain View (California), Virginia, Atlanta y Dublín. Instalaciones en construcción en The Dalles y Saint-Ghislain.Instalaciones en construcción en The Dalles y Saint-Ghislain.
Topología de redTopología de red
Cada cluster de Google tiene miles de servidores, Cada cluster de Google tiene miles de servidores, Los racks de Google están hechos a medida y pueden contener entre Los racks de Google están hechos a medida y pueden contener entre
40 y 80 servidores.40 y 80 servidores. Cada rack tiene una conexión ethernet a un router local que a su vez Cada rack tiene una conexión ethernet a un router local que a su vez
se conecta al router central utilizando una conexión de 1 Gigabit.se conecta al router central utilizando una conexión de 1 Gigabit.
Hardware originalHardware original
Sun Ultra II con procesador de 200MHz dual y 256 MB de RAM. Esta era la máquina principal del sistema original.
Dos servidores Pentium II duales a 300 MHz donados por Intel que incluían 512 MB de RAM y 9 discos de 9 GB entre los dos servidores.
F50 IBM RS/6000 donado por IBM que incluía cuatro procesadores, 512 MB de memoria y ocho discos duros de 9 GB.
Dos armarios adicionales incluían tres discos duros de 9 GB y seis de 4 GB respectivamente que estaban conectados al servidor Sun Ultra II.
Un armario de expansión de discos de IBM con otros ocho discos duros de 9 GB donados por IBM.
Armario de disco duros casero que contenía 10 discos duros de 9 GB SCSI.
Tipos de Servidores Tipos de Servidores Servidores web Servidores proxy Squid Servidores de recolección de
datos(googlebot) Servidores de índices Servidores de documentos Servidores de anuncios.
Hardware ActualHardware Actual
Cada cluster 359 racks 31.654 servidores63.184 CPUs(126.368 GHz) 64.184 GB memoria 2.527 Tbytes(2 PB aprox)
Cada cluster: 40 millones de peticiones diarias
Google tiene repartido más de 20 datacentes al rededor del mundo con al menos un clúster, se calcula que google esta soportado por más de 600.000 servidores
ARQUITECTURA DEL ARQUITECTURA DEL CLUSTER GOOGLECLUSTER GOOGLE
Cluster heterogéneo y muy escalable. cada tres meses se actualiza alguno de los componentes de los nodos de cómputo (procesador, memoria o disco) y entre un 2 y un 3% de los nodos son sustituidos cada año.
El cluster utiliza Gigabit Ethernet (cobre, cables de categoría 5) para la conexión entre los nodos, y los enlaces a Internet tienen un ancho de banda mayor (2 Gb/s en media).
Todos los nodos tienen instalado un sistema operativo Linux y herramientas a medida para instalación y actualización de software, para la monitorización (en media se reinician al día 20 nodos en remoto)
Google File SystemGoogle File System
El sistema está construido para que el fallo de un componente no le afecte.
El sistema almacena grandes archivos La mayoría del trabajo consiste en dos tipos de lecturas: grandes
lecturas de datos y pequeñas lecturas aleatorias El sistema debe ser diseñado para ofrecer concurrencia a
múltiples clientes que quieran el mismo archivo.
Google File SystemGoogle File System
cluster GFS consiste en un máster y múltiples chukserver que dan servicio a múltiples clientes.
El máster es el encargado de mantener todos los metadatos del sistema de archivos.
MASTER Tener un solo máster simplifica el diseño y permite tener
sofisticados métodos de emplazamiento y replicación de trozos usando un conocimiento global.
Los clientes nunca escriben datos a través del máster sino que el cliente le pregunta al máster que con qué chunkserver puede contactar.
Tamaño de los TrozosTamaño de los Trozos
GFS usa 64 MB
METADATOS Espacio de nombres de fichero y de trozos La correspondencia de archivos a trozos La localización de las réplicas de los trozos
BIBLIOGRAFÍABIBLIOGRAFÍA
http://es.wikipedia.org/wiki/Squid http://es.wikipedia.org/wiki/Plataforma_de_Google http://es.wikipedia.org/wiki/Cluster_%28inform%C3%A1tica
%29 http://es.wikipedia.org/wiki/PageRank http://es.wikipedia.org/wiki/Rack http://redindustria.blogspot.com/2009/10/la-arquitectura-
hardware-de-google.html