IBM iDataPlex/GPU

O sistema IBM GPU instalado no CENAPAD-SP é composto por 6 nodes. Cada node possui 2 CPU´s (8 cores e 16 Threads) Intel Xeon X5570 de 2,93GHz, 24 GB de memória RAM e 2 placas Nvidia Tesla M2050 (cada placa possui 448 núcleos CUDA e 3 GB de memória RAM). A capacidade de processamento teórica de cada placa Nvidia Tesla M2050 é de 515 Gflops em dupla precisão e de 1.03 Tflops em precisão simples no formato de ponto flutuante. No total são 48 cores / 96 threads, 144 GB de memória RAM e 12 placas Nvidia Tesla M2050. Para utilizar este recurso, observe as seguintes informações:

IBM GPU

O sistema IBM GPU instalado no CENAPAD-SP tem 6 nós, cada um com a seguinte configuração:

Sistema Operacional

Voltar ao topo

Compiladores e Bibliotecas

Importante:

Ao usar o Open MPI 1.10.2 compilado com gcc 4.8.5 todas as variáveis do gcc 4.8.5 serão configuradas. O mesmo ocorre com o Open MPI 1.10.2 compilado com gcc 8.3.0 e assim por diante.

Voltar ao topo

Usuários

A administração deste sistema está integrada ao ambiente do CENAPAD-SP: são mantidos os mesmos projetos e usuários do ambiente do CENAPAD-SP, com a mesma senha.

Voltar ao topo

Acesso

O acesso ao sistema IBM GPU deve ser feito através de um nó definido como front-end, usando o comando ssh. Para isto, uma vez conectado ao ambiente do CENAPAD-SP, o usuário deverá executar: ssh gpu (utilizando o mesmo usuário e a mesma senha do CENAPAD-SP)

Voltar ao topo

Diretórios HOME

Os diretórios home dos usuários do CENAPAD-SP não são compartilhados entre todos os ambientes existentes (IBM P750 e SGI Ice) devido à diferença de arquiteturas entre estes ambientes instalados no CENAPAD-SP, composto por máquinas IBM com processadores da família Power e sistema operacional AIX e máquinas SGI com processadores Intel Xeon e sistema operacional Linux. O padrão para a identificação do diretório home de um determinado usuário nas máquinas deste sistema é:

(onde login é a identificação da conta do usuário e projeto é a identificação do projeto a que a conta está vinculada); Observação: Atualmente, ainda não é feito backup de qualquer arquivo deste ambiente, portanto os usuários serão temporariamente responsáveis pela manutenção de seus arquivos.

Voltar ao topo

Área de Scratch

Existe nesse ambiente uma área scratch para gravação dos arquivos temporários gerados durante o processamento dos jobs. Essa área deve ser referenciada como : /work.

Voltar ao topo

Espaço em disco

Além do filesystem para o diretório home dos usuários, o filesystem /usr/local também é compartilhado por todo o ambiente IBM GPU. O filesystem:

As políticas de uso podem ser consultadas em www.cenapad.unicamp.br/politicas/espaco.shtml

Voltar ao topo

Contabilização de uso

A contabilização de uso deste sistema é feita de forma integrada à contabilização de uso de recursos do ambiente CENAPAD-SP descritas em www.cenapad.unicamp.br/portal-do-usuario/contabilizacao

Voltar ao topo

Execução de jobs

Os nós não permitem acesso interativo, pois são reservados para o processamento batch. O sistema gerenciador de filas, responsável pela execução de jobs, é o PBS. Alguns dos principais comandos do PBS são:

(As informações sobre estes comandos também estão disponíveis em suas manpages)

Comando Descrição
qsub jobscript submit jobscript to PBS
qsub -I submit an interactive-batch job
qsub -q queue submit job directly to specified queue
qstat list information about queues and jobs
qstat -q list all queues on system
qstat -Q list queue limits for all queues
qstat -Qf queue list all information known about specified queue
qstat -B list summary information about the PBS server
qdel jobid delete job jobid
qalter jobid modify the attributes of the job or jobs specified by jobid
pbsnodes -a indicates which nodes are currently up and some node characteristics.
pbsnodes -l indicates which nodes are currently offline

Para submeter um job:

Diretivas mais comuns:

Voltar ao topo

Filas

As filas, e restrições, definidas no PBS são:

Fila Num Max nodes por job Num Max jobs exec Num Max cpus por job Tempo Max (elapsed) Num Max jobs por user
gpu 1 6 16 360 hs 1
matlab 1 1 16 360 hs 1
serial 1 1 1 840 hs 1

Voltar ao topo

Submissão de jobs

Para submeter jobs nas filas é necessário criar um script de submissão que pode ser ligeiramente diferente dependendo do software que estiver utilizando. Criamos exemplos de scripts de submissão para os softwares instalados no ambiente IBM GPU que podem ser acessados através desse link: http://cenapad.unicamp.br/parque-computacional/software/ambiente-ibm-gpu/

Exemplo genérico de script de submissão de jobs para o ambiente IBM GPU:

#!/bin/bash
### Nome da fila de execucao ###
#PBS -q gpu

### Nome do job ###
#PBS -N testeGPU

### Nome do arquivo de saida ###
#PBS -o OUTPUT

### Nome do arquivo de erros ###
#PBS -e ERRO
### NAO ALTERE A LINHA ABAIXO, pois o scheduler nao deixara seu job ser enfileirado ###
#PBS -l nodes=1:ppn=16

cd $PBS_O_WORKDIR
echo "-----------------------------------------"
echo "Inicio do job:" `date`
### Variaveis de ambiente necessarias ###
### Veja opções em: Compiladores e Bibliotecas

### Programa ###
programa_executavel

Voltar ao topo