Manual de Instalacion de Rocks Viz SAGE

Instituto Tecnológico de Veracruz

Manuel Medina Carrillo

Karla Karen Ramírez Romero

Claudia Ivette Segura

38

ÍndiceINTRODUCCIÓN A UN CLÚSTER DE ALTO RENDIMIENTO 2

¿QUÉ ES UN CLÚSTER? 2ELEMENTOS DE UN CLÚSTER 2

Procesadores 2Comunicaciones 2Sistemas Operativos 3Software 3Recursos Humanos 3

INSTALACIÓN DE ROCKS 4

REQUERIMIENTOS Y PRERREQUISITOS 4INSTALACIÓN Y CONFIGURACIÓN DEL FRONTEND5INSTALACIÓN Y CONFIGURACIÓN DE LOS NODOS 21

INSTALACIÓN Y CONFIGURACIÓN DE VIZ ROLL 24

ACTUALIZACIÓN DE NVIDIA 32CONFIGURACIÓN DEL ARCHIVO XML 35

CONFIGURACIÓN DE SAGE 36

38

Introducción a un clúster de alto rendimiento

¿Qué es un clúster?Clúster es un sistema de procesamiento de tipo paralelo o distribuido,

que está formado de computadoras independientes, interconectadas entre

sí, trabajando juntas como un solo recurso de cómputo intensivo.

Elementos de un clúster

Procesadores

38

Se pueden utilizar prácticamente cualquier tipo de procesadores. La tecnología actual los procesadores de una maquina accesible nos da un rendimiento similar a los procesadores de una supercomputadora.

En donde cada procesador posee una gran cantidad de cache, así como de altas velocidades y bajo costo.

Comunicaciones

Existen soluciones que necesitan pocos recursos económicos parainterconectar los equipos que formaran parte del clúster. Se puedeutilizar cualquier tipo de tecnología para la interconexión entre losequipos ya sea la utilización de redes Ethernet, Myrinet, Gigabit. Con elque se obtiene un gran ancho de banda disponible para la comunicación conbajas latencias.

Sistemas Operativos

Se puede utilizar cualquier sistema operativo para la creación de unclúster sin embargo se recomienda el uso de linux ya que este posee unagran estabilidad aunado a un buen rendimiento en cuanto a manejo dememoria, así como de I/O eficiente, así como la posibilidad de hacer unajuste muy refinado a los parámetros de los dispositivos para un mejorrendimiento.

Software

Existe una gran cantidad de software que ya está listo para funcionar enun clúster, desde la aparición de los procesadores con HiperThreading(HT), la programación y la proliferación de software se ha desarrolladoexponencialmente, con lo que se tiene una mayor cantidad de posibilidadespara las diferentes disciplinas científicas.

Recursos Humanos

El elemento más importante para el funcionamiento de cualquier sistema esel elemento humano que capacitado en la administración y manejo necesariode recursos provee de un ambiente más amigable para aquellos usuarios quepretendan utilizar el clúster.

38

El clúster es fácilmente escalable a comparación de las supercomputadorasen donde la escalabilidad depende de una gran cantidad de recursoseconómicos. Con la facilidad de extender el clúster con equipo de bajocosto la escalabilidad no representa una gran limitante en el momento deagregar recursos necesarios para incrementar el poder de cómputo.

Existen además muchas herramientas en la actualidad para laadministración y manejo del clúster, tanto en herramientas de monitoreo,así como de herramientas para la administración de trabajos y recursos.

El soporte en librerías para programación en paralelo está altamentedesarrolladas, lo cual permite que la programación de nuevas aplicacionesque puedan funcionar en multiprocesamiento sea más sencillo.

Instalación de Rocks

Rocks es una distribución de Linux para clusters de computadores de altorendimiento. Rocks se basó inicialmente en la distribución Red Hat Linux,sin embargo las versiones más modernas de Rocks están basadas en CentOS,con un instalador anaconda modificado, que simplifica la instalación 'enmasa' en muchas computadoras.

Requerimientos y Prerrequisitos

Los requerimientos necesarios para instalar rocks son:

38

Un conjunto de máquinas de arquitectura similar (compute nodes),cada una con una interfaz de red, disco duro con capacidad para másde 7 GB y memoria RAM superior a 256 MB.

Un data switch (o varios) con un número de puertos mayor al dobledel número de máquinas disponibles (para darle escalabilidad).

Una máquina con 2 interfaces de red, capacidad en disco duro igual osuperior a 20 GB, y memoria RAM superior o igual a 512 MB(frontend).

Cables de red en número y longitud suficiente.

Mueble o Rack con espacio apropiado para los chasis de las máquinasy eventualmente para el frontend, con acceso apropiado a la parte deatrás de los equipos.

Una habitación con ventilación o refrigeración adecuada para losniveles de disipación de calor de todos los equipos combinados.

Una UPS para alimentar al menos una máquina (el frontend porejemplo) por más de 10 minutos.

Para la instalación del sistema operativo se debe disponer de lossiguientes medios (rolls) que puede ser descargados desde el sitio derocks clústers (http://www.rocksclusters.org/):

Kernel Roll Core Roll OS Roll, disk 1 OS Roll disk 2 Cualquier otro Roll que considere necesario (Condor, Bio, Viz, etc.)

Instalación y configuración del Frontend

38

Antes de proceder con la instalación del frontend es necesario asegurarseque las conexiones de la red externa y la red interna del clúster se hagan en la interfaz de red correcta. Rocks asume que la interfaz identificada como 'eth1' por el kernel será aquella que está conectada a la red externa y la 'eth0' a la red privada del clúster.

38

El proceso de instalación resulta muy sencillo:

1. Una vez que conectamos los equipos y los ponemos en red, hay queencender la máquina que será el nodo maestro (Frontend), colocamosel disco de arranque (Boot) en la unidad de CD y reiniciamos la

máquina para comenzar la instalación.

Una vez que aparece la pantalla de arriba, escribimos:

build

Después de escribir “build” el programa de instalación comenzara afuncionar.

38

2. Si aparece la siguiente pantalla:

1. Se habilitara el soporte de IPV4

2. Se seleccionara la configuración manual para el soporte IPV4

3. Desactivar el soporte IPV6

La pantalla debe quedar de esta forma:

38

Después de que la pantalla se vea como la de arriba, pulsamos "OK".Entonces veremos la pantalla "Manual TCP/IP Configuration":

En esta pantalla escribiremos la configuración de nuestra IPpública. Quedaría de la siguiente forma:

38

Después de llenar la información de nuestra IP pública, pulsamos"OK".

3. Inmediatamente nos aparecerá la siguiente pantalla.

38

En este procedimiento, sólo se va a utilizar el soporte de CD, porlo cual solo haremos clic en el botón “CD/DVD-based Roll”.

4. El CD se expulsará y verá la siguiente pantalla:

38

Una vez ahí, volvemos a insertar el disco y damos clic en Continuar.

38

5. Nos saldrá la siguiente pantalla. Desde esta, seleccionaremos losroles “base, ganglia, hpc, Kernel, viz y web-server” y daremos clic en “Submit”.

38

6. Nos aparecerá la siguiente pantalla donde se muestra que los rolesfueron seleccionado de manera correcta.

38

7. Entonces veremos una pantalla que nos muestra la información deClúster. Lo más importante aquí es el nombre del Host, los demáscampos son opcionales. Cuando se tengan llenos los datos, damos clicen “Next”.

38

8. La pantalla de configuración de la red privada del clúster permiteconfigurar los parámetros de red para la red ethernet que conecta lainterfaz para los nodos de computación.

Se pueden dejar los valores por defecto y damos clic en “Next”.

38

9. La pantalla de configuración de red de clúster pública le permiteconfigurar los parámetros de red para la red ethernet que conecta lainterfaz con la red exterior (por ejemplo, Internet).Cuando esteconfigurado damos clic en “Next”.

38

10. Configure las de puerta de enlace yentradasDNS:

38

11. Introduzca la contraseña de root:

38

12. Configuramos el tiempo, una vez terminado damos clic en “Next”.

38

13. La pantalla de particionado de disco le permiteseleccionar automática o manualmente el particionamiento del disco.

38

Seleccionamos la “Auto Partitioning” y damos clic en “Next”.

14. Se instalaran los paquetes.

38

Por último, se instalará el gestor de arranque y los scripts deconfiguración. Cuando se complete la instalación, el frontend sereiniciará.

Instalación y configuración de los nodos

1. Lo primero que hacemos es ingresar como root.2. Abrimos una terminal y escribimos lo siguiente:

# insert-ethers

Nos aparecerá la siguiente pantalla:

38

Seleccionamos la palabra “Compute” y damos clic en “OK”.

3. Entonces veremos lo siguiente:

Esto nos indica que elinsert-ethersestá esperando por un nuevo nodode computadora.

4. Encendemos la computadora que será nuestro primer nodo.

5. Cuando elfrontend recibe el requerimiento DHCP de la computadoranodo, veremos lo siguiente:

38

La pantalla de arriba se visualizara durante unos segundos, despuésveremos lo siguiente:

En esta pantalla deinsert-ethersha descubierto un nuevo nodo.

38

El “()” junto a “compute-0-0” indica que ese nodo aún no ha solicitadoun archivo kikstar. Este tipo de salida se muestra para cada nodo quees satisfactoriamente identificado por insert-ethers.

Instalación y configuración de Viz Roll

El Viz Roll puede ser seleccionado durante la instalación inicial delclúster. Tal como se muestra en la página 11 de este documento.

Se debe seleccionar el Viz al saber la lista de roles disponibles, ya queeste tiene precargado SAGE por defecto.

38

1. Después de que el frontend está instalado y arrancado, aparecerá unapantalla de inicio de sesión basado en X11, como se muestra acontinuación.

38

Entonces se inicia la sesión como “root” utilizando la contraseña quese proporcionó durante la instalación del frontend.

38

1. Una vez que iniciamos sesión como “root”, abrimos una terminal.

38

2. La primera vez que iniciamos sesión como root en modo gráfico,tenemos que configurar la clave ssh. Para esto abrimos una terminale ingresamos a la ruta /root/.ssh, en esta ruta encontraremos lossiguientes ficheros:

3. De los archivos anteriores únicamente vamos a crear el archivoauthorized_keys, copiando la clave pública que se encuentracontenida en el archivo id_rsa.pub, el cual se encuentra en la rutasiguiente:

/root/.ssh/id_rsa.pub

38

4. Después de lo anterior, procedemos a configurar los nodos para quecomiencen a trabajar como un muro, de modo que ingresamos en consolay tecleamos

# insert-ethers

Nos parecerá una pantalla como esta:

Y tal como lo indica la flecha roja, seleccionaremos “Tile” ydaremos clic en “OK”.

5. Cuando insert-ethers descubre el nuevo nodo, nos aparecerá lasiguientepantalla.

38

6. Una vez que el nodo ha completado la instalación, se debe reiniciarel sistema.

7. Después de que todas las filas de la primera columna se instalan,salimos insert-ethers pulsando la tecla "F8" y reiniciamos con elsiguiente comando:

# insert-ethers --cabinet=1 pendiente

8. Ahora repetimos el proceso anterior para cada nodo que quiera serinstalado.

Debemos tomar en cuenta que para poder usar el muro de visualización,es requisito tener tarjetas GPU NVIDIA con el driver actualizado.

9. En el primer inicio de sesión de los nodos que conforman el muro, nos aparecerá un fallo en la interfaz gráfica. El cual nos preguntará si deseamos ver la salida del servidor X para diagnosticar el problema. Damos clic en “No”.

38

10. Después nos aparecerá una pantalla que nos preguntará si nosgustaría tratar de configurar el servidor X. Damos clic en“Yes”.

38

Y de inmediato nos piden ingresar la contraseña de root.

11. Después de lo anterior, nos aparecerá la pantalla deconfiguraciones del display y es allí donde seleccionaremos laresolución de nuestra preferencia.

38

12. Una vez hecho esto, guardamoslos cambios y de inmediato nos aparecerá un aviso que nos indica quela configuración del display ha sido modificada. Damos clic en “OK”para confirmarlo.

Actualización de NVIDIA

1. Si está activo el servidor grafico X11 habrá que matar el procesomediante el comando init3, después de esto iremos a la ruta denuestro controlador y lo ejecutaremos.

2. Una vez cargado al 100% nos preguntara si deseamos instalar lasbibliotecas de compatibilidad NVIDIA de 32 bits, entoncesdaremos clic en “Yes”.

38

3. Luego nos notificarán que las librerías han sido instaladascorrectamente y daremos clic en “OK”.

38

4. Después nos aparecerá una pantalla que nos preguntará siqueremos ejecutar la utilidad NVIDIA-xconfig, con el fin deactualizar automáticamente el archivo de configuración queutilizará NVIDIA cuando se reinicie el servidor X, tomando encuenta que cualquier archivo de configuración del servidor Xserá respaldado. En este caso seleccionamos “Yes” para continuar.

38

5. Lo anterior nos generará una notificación, en la que se nosindica que el archivo de configuración del servidor X se haactualizado correctamente y que la instalación del AceleradorGrafico de NVIDIA ha sido completada. Damos clic en “Ok”.

6. Una vez terminada la actualización tendremos que reiniciar elservidor X11 con el comando init 5, los nodos se verán de lasiguiente manera.

38

Configuración del archivo XML

1. Ya que tenemos actualizado el driver de NVIDIA, procedemos aconfigurar el archivo XML, que es el que se va a encargar desincronizar los nodos. La sintaxis es muy simple y el propio XMLasigna las dimensiones del muro. Cada etiqueta col describe unacolumna vertical del muro, con los nodos enumerados de arriba aabajo.

38

2. Después de actualizar el archivo layout.xml, desde consola tecleamos el siguiente comando para guardar los cambios:

# rocksadd tile layout layout.xml

3. Finalmente, reconfiguramos las pantallas del muro con el comando siguiente:

# rockssync tile mode=meta

Configuración de SAGE

Como se vio anteriormente, el Viz Roll ya trae precargado SAGE; porlo tanto solo nos resta configurarlo.

38

1. Para iniciar debemos abrir una terminal y teclear el siguientecomando cd /.sage, para comenzar a editar nuestro archivofsManager.conf utilizando el editor de texto de nuestra preferencia.

Este archivo contiene el nombre y la dirección IP de la máquina enla que se ejecutará el freeSpaceManager. Se pueden especificar dosdirecciones IP, la primera dirección se utiliza para loscomponentes del sistema y la segunda se utilizará para lasconexiones de la interfaz de usuario.

38

2. Después procedemos a configurar el archivo stdtile.conf el cual contendrá:

Las dimensiones del muro La resolución de cada nodo El número de máquinas en el clúster La lista de todas las direcciones IP de los nodos

38

3. Por ultimo modificamos el archivo tileNodes.list que contiene las direcciones IP de los nodos

Una vez que nuestros archivos han sido modificados exitosamente, estaremos listos para arrancar con SAGE.

38