OAR Installation

From Supercomputación y Cálculo Científico UIS
Revision as of 00:26, 19 February 2015 by Gilberto (talk | contribs)

Back to Job Scheduler OAR

Super Computación y Cálculo Científico

In this section we describe all the administration tasks for the job scheduler OAR


Installation

1) Configure the Repository

curl http://oar-ftp.imag.fr/oar/oarmaster.asc | sudo apt-key add -


echo "deb http://oar-ftp.imag.fr/oar/2.5/debian squeeze main" > /etc/apt/sources.list.d/oar.list


2) Instalar dependencias

apt-get install mysql-server mysql-client libdbd-mysql-perl libdbi-perl libsort-versions-perl


3) Instalar software

apt-get install oar-server-mysql oar-user oar-server oar-user-mysql oar-web-status oar-admin oar-node


4) Configurar OAR. Edite el archivo /etc/oar/oar.conf y especifique todas las opciones

5) Inicializar la base de datos de OAR

oar-database --create --db-admin-user root --db-admin-pass 'XXXXXX'


6) Agregar los recursos a OAR. Edite un archivo /tmp/nodos con el nombre de los nodos (uno por línea) Ejemplo:

       guane09
       guane10
       ....


Luego, ejecute

oar_resources_init /tmp/nodos Despues, Si esta de acuerdo con los recursos ejecute {{Command|<nowiki>source /tmp/oar_resources_init.cmd


El contenido de este archivo debe ser algo parecido a:

       oarproperty -a cpu
       oarproperty -a core
       oarproperty -c -a host
       oarproperty -c -a cpuset
       oarproperty -a mem
       oarnodesetting -a -h guane09 -p host=guane09 -p cpu=1 -p core=1 -p cpuset=0 -p mem=103
       oarnodesetting -a -h guane09 -p host=guane09 -p cpu=1 -p core=2 -p cpuset=10 -p mem=103
       oarnodesetting -a -h guane09 -p host=guane09 -p cpu=1 -p core=3 -p cpuset=12 -p mem=103

NOTA: para configurar los recursos de GPU, edite un archivo de nombre oar_gpu_resources_init.cmd y agregue las siguientes líneas

       oarproperty -c -a gpu
       oarproperty -c -a gputype
       oarproperty -a gpunum

Luego, ejecute source oar_gpu_resources_init.cmd

Finalmente, asigne los GPUs a cada core de cada nodo. Edite un archivo de nombre GPUresources.cmd y agregue las siguientes líneas.

       oarnodesetting --sql "core=1" -p gpu=YES -p gpunum=1 -p gputype=M2075
       oarnodesetting --sql "core=2" -p gpu=YES -p gpunum=1 -p gputype=M2075
       oarnodesetting --sql "core=3" -p gpu=YES -p gpunum=1 -p gputype=M2075
       oarnodesetting --sql "core=4" -p gpu=YES -p gpunum=2 -p gputype=M2075
       oarnodesetting --sql "core=5" -p gpu=YES -p gpunum=2 -p gputype=M2075
       oarnodesetting --sql "core=6" -p gpu=YES -p gpunum=2 -p gputype=M2075
       oarnodesetting --sql "core=7" -p gpu=YES -p gpunum=3 -p gputype=M2075
       oarnodesetting --sql "core=8" -p gpu=YES -p gpunum=3 -p gputype=M2075
       oarnodesetting --sql "core=9" -p gpu=YES -p gpunum=3 -p gputype=M2075

NOTA: En los nodos nuevos activos del cluster Guane de la UIS se tienen 168 Cores y 56 GPUs (8 GPUs por nodo) Por lo tanto, la asignación se realizó fijando 1 GPU cada 3 cores (debe completar las líneas de acuerdo al número de GPUs y Cores que se tengan en todos los nodos)

Luego, ejecute el comando

source GPUresources.cmd


Compruebe que todo está en orden ejecutando

oarnodes | less


7) Configurar monika. Edite el archivo /etc/oar/monika.conf y fije las variables necesarias, parámetros de la base de datos entre otros.