OAR Installation

Back to Job Scheduler OAR

Super Computación y Cálculo Científico

In this section we describe all the administration tasks for the job scheduler OAR

                                        ===OAR Installation===

1) Configure the Repository

curl http://oar-ftp.imag.fr/oar/oarmaster.asc | sudo apt-key add -

echo "deb http://oar-ftp.imag.fr/oar/2.5/debian squeeze main" > /etc/apt/sources.list.d/oar.list

2) Instalar dependencias

apt-get install mysql-server mysql-client libdbd-mysql-perl libdbi-perl libsort-versions-perl

3) Instalar software

apt-get install oar-server-mysql oar-user oar-server oar-user-mysql oar-web-status oar-admin oar-node

4) Configurar OAR. Edite el archivo /etc/oar/oar.conf y especifique todas las opciones

5) Inicializar la base de datos de OAR

oar-database --create --db-admin-user root --db-admin-pass 'XXXXXX'

6) Agregar los recursos a OAR. Edite un archivo /tmp/nodos con el nombre de los nodos (uno por línea) Ejemplo:

       guane09
       guane10
       ....

Luego, ejecute

oar_resources_init /tmp/nodos Despues, Si esta de acuerdo con los recursos ejecute {{Command|<nowiki>source /tmp/oar_resources_init.cmd

El contenido de este archivo debe ser algo parecido a:

       oarproperty -a cpu
       oarproperty -a core
       oarproperty -c -a host
       oarproperty -c -a cpuset
       oarproperty -a mem
       oarnodesetting -a -h guane09 -p host=guane09 -p cpu=1 -p core=1 -p cpuset=0 -p mem=103
       oarnodesetting -a -h guane09 -p host=guane09 -p cpu=1 -p core=2 -p cpuset=10 -p mem=103
       oarnodesetting -a -h guane09 -p host=guane09 -p cpu=1 -p core=3 -p cpuset=12 -p mem=103

NOTA: para configurar los recursos de GPU, edite un archivo de nombre oar_gpu_resources_init.cmd y agregue las siguientes líneas

       oarproperty -c -a gpu
       oarproperty -c -a gputype
       oarproperty -a gpunum

Luego, ejecute source oar_gpu_resources_init.cmd

Finalmente, asigne los GPUs a cada core de cada nodo. Edite un archivo de nombre GPUresources.cmd y agregue las siguientes líneas.

       oarnodesetting --sql "core=1" -p gpu=YES -p gpunum=1 -p gputype=M2075
       oarnodesetting --sql "core=2" -p gpu=YES -p gpunum=1 -p gputype=M2075
       oarnodesetting --sql "core=3" -p gpu=YES -p gpunum=1 -p gputype=M2075
       oarnodesetting --sql "core=4" -p gpu=YES -p gpunum=2 -p gputype=M2075
       oarnodesetting --sql "core=5" -p gpu=YES -p gpunum=2 -p gputype=M2075
       oarnodesetting --sql "core=6" -p gpu=YES -p gpunum=2 -p gputype=M2075
       oarnodesetting --sql "core=7" -p gpu=YES -p gpunum=3 -p gputype=M2075
       oarnodesetting --sql "core=8" -p gpu=YES -p gpunum=3 -p gputype=M2075
       oarnodesetting --sql "core=9" -p gpu=YES -p gpunum=3 -p gputype=M2075

NOTA: En los nodos nuevos activos del cluster Guane de la UIS se tienen 168 Cores y 56 GPUs (8 GPUs por nodo) Por lo tanto, la asignación se realizó fijando 1 GPU cada 3 cores (debe completar las líneas de acuerdo al número de GPUs y Cores que se tengan en todos los nodos)

Luego, ejecute el comando

source GPUresources.cmd

Compruebe que todo está en orden ejecutando

oarnodes | less

7) Configurar monika. Edite el archivo /etc/oar/monika.conf y fije las variables necesarias, parámetros de la base de datos entre otros.