IBM Power 750 Express server

O sistema IBM Power 750 Express server instalado no CENAPAD-SP possui:

A capacidade de processamento teórica do sistema IBM P750 (1280 cores) é de aproximadamente 37 TFLOPs (Linpack Benchmark 28 TFLOPs, o que representa 77% do valor pico teórico). Para utilizar este recurso, observe as seguintes informações:

Nós

O sistema é composto por 43 nós dispostos em 5 frames:

Voltar ao topo

Sistema Operacional

Voltar ao topo

Compiladores e Bibliotecas

Voltar ao topo

Usuários

A administração deste sistema está integrada ao ambiente do CENAPAD-SP: são mantidos os mesmos projetos e usuários do ambiente do CENAPAD-SP, com a mesma senha.

Voltar ao topo

Acesso

O acesso ao sistema IBM deve ser feito através de um nó definido como front-end, usando o comando ssh. Para isto, uma vez conectado ao ambiente do CENAPAD-SP, o usuário deverá executar: ssh tyr (utilizando o mesmo usuário e a mesma senha do CENAPAD-SP)

Voltar ao topo

Diretórios HOME

Os diretórios home dos usuários do ambiente CENAPAD-SP são separados conforme o ambiente computacional devido à diferença de arquiteturas utilizadas no ambiente, composto por máquinas IBM com processadores da família Power e sistema operacional AIX, máquinas IBM com processadores Intel Xeon e sistema operacional Linux SUSE e máquinas SGI com processadores Intel Itanium2 e sistema operacional Linux SUSE. Neste ambiente IBM, os nós Power (P750 e P520) compartilham um filesystem de 32TB (/home/ibm) onde são mantidos os diretórios HOME de todos os usuários do ambiente CENAPAD-SP. O padrão para a identificação do diretório home de um determinado usuário nas máquinas deste sistema é:

(onde login é a identificação da conta do usuário e projeto é a identificação do projeto a que a conta está vinculada); O filesystem /home/ibm tem 32.0 TB de espaço. Este filesystem é compartilhado por todos os usuários, e com as mesmas regras de utilização do ambiente do CENAPAD-SP, ou seja, não são estabelecidas cotas de uso e a taxa de ocupação é monitorada para evitar problemas na execução de jobs. Importante: Não há procedimentos de backup definidos nesse ambiente. Os usuários são responsáveis pela manutenção de cópias de segurança de seus arquivos. As políticas de uso podem ser consultadas em Portal do Usuário / Guia do usuário / Uso de espaço em disco

Voltar ao topo

Contabilização de uso

A contabilização de uso deste sistema é feita de forma integrada à contabilização de uso de recursos do ambiente CENAPAD-SP.

Voltar ao topo

Execução de jobs

Consulte também o Guia de Referência do LoadLeveler

Para informações sobre as políticas de uso do ambiente, consultar: Abertura de contas

No ambiente IBM P750 (processadores Power) do CENAPAD-SP estão disponíveis máquinas para uso interativo e máquinas para processamento batch. Na máquina para uso interativo (tyr.cna.unicamp.br) os usuários podem efetuar login e executar comandos, compilar programas, etc. As máquinas para processamento batch (tyrno01 .. tyrno40) não permitem login pelos usuários, apenas processam os jobs submetidos por meio do LoadLeveler (Tivoli Workload Scheduler LoadLeveler V4.1).

Voltar ao topo

Software gerenciador do sistema de fila

LoadLeveler é o sistema gerenciador de filas,responsável pela execução de jobs. O manual Using and Administering, que contém informações para utilização deste software, está disponível em formato pdf no arquivo /usr/LL/manuais/Using_Administering.pdf da máquina tyr. Alguns dos principais comandos do LoadLeveler são:

Comando Descrição
llsubmit jobscript submit jobscript to LoadLeveler
llstatus Query machine status
llclass Query class information
llq Query job status
llcancel jobid Cancel a submitted job
llmodify jobid Change attributes of a submitted job step

O LoadLeveler está instalado em todas as máquinas do ambiente IBM com processadores Power e controla a submissão e a execução de jobs.

Voltar ao topo

Submissão de jobs

Para submeter um job para execução no ambiente IBM P750 do CENAPAD-SP o usuário deve:

  1. Logar no CENAPAD-SP
  2. Logar na máquina interativa deste ambiente por meio do comando:
    ssh tyr
    (utilizando o mesmo usuário e a mesma senha do CENAPAD-SP)
  3. Criar um arquivo com diretivas sobre o job a ser executado
  4. Submeter o job executar o comando
    llsubmit <flags> <script>

Voltar ao topo

Configuração do sistema de filas - LoadLeveler

Classes

O ambiente de processamento de jobs do CENAPAD-SP está dividido em dois grandes grupos:

Para atender as necessidades de cada um destes dois grupos existem seis tipos de classes, que foram definidas com o objetivo de distribuir da melhor forma possível os recursos do ambiente entre os usuários e, principalmente, otimizar o tempo de processamento e o tempo de espera na fila. As classes diferenciam-se por:

As classes disponíveis possuem a seguinte configuração:

Tipo Número de nós Classe Limite de uso de CPU Limite de tempo processamento Número máximo de processadores (cores) Número máximo de threads
Serial 23 pequena 2 horas 2:30 horas 1 1
media 5 dias 5 dias e 12 horas 1 1
grande 30 dias 31 dias 1 1
Paralela 23 paralela 256 dias 30 dias e 4 horas 64 256
8 exp512 512 dias 1 dia e 30 minutos 128 512
8 par128 896 dias 7 dias e 2 horas 32 128
1 gaussian 112 dias 10 dias 16 64

A configuração pode ser consultada sempre que necessário através do comando llclass.

Voltar ao topo

Máquinas

Os processadores IBM Power tem a capacidade de executar em modo SMT (Simultaneous Multi Threading), da mesma forma que os processadores Intel Xeon utilizam HyperThreading Technology. Os processadores Power7 podem processar 4 threads simultâneas em cada núcleo (core) e, desta forma, cada um dos nós P750 instalados no CENAPAD-SP pode executar 128 threads em seus 32 núcleos. O modo SMT pode proporcionar ganho de desempenho em aplicações paralelas por meio da exploração do paralelismo a nível de threads e, por esta razão, está habilitado nos nós que processam este tipo de jobs. A distribuição das classes pelas máquinas onde são executados jobs é feita conforme características das máquinas. Para cada máquina são definidos os seguintes parâmetros:

Classe Número tasks / nó
tyrno01 a tyrno20

tyrno29 e tyrno31
paralela 32
grande 16
media 15
pequena 1
tyrno21 a tyrno28 exp512 32
tyrno30 e tyrno32 a tyrno39 par128 32
tyrno40 gaussian 64

A configuração destes parâmetros para cada uma das máquinas pode ser consultada sempre que necessário através do comando llstatus. A utilização das máquinas também pode ser consulta por meio das informações em IBM Power 750 Express server / Status dos Máquinas. Áreas scratch As áreas scratch disponíveis, para gravação de arquivos temporários durante o processamento dos jobs são:

Filesystem Tamanho Uso
/work 200 GB local em cada um dos nós
/workpar 32 TB compartilhado pelos nós que executam jobs da fila paralela
/workgau 32 TB disponível no nó que executa jobs da fila gaussian

Voltar ao topo

Jobs - Limites

Um job LoadLeveler é composto por uma sequência de job steps. Em cada job step pode ser processado um programa executável diferente, e cada job step pode ser processado em uma máquina diferente. Na configuração do LoadLeveler são definidos parâmetros que limitam:

No CENAPAD-SP estes parâmetros estão definidos, para cada usuário, como:

Os jobs não enfileirados, por ultrapassarem estes limites, são mantidos no estado NotQueued.

Voltar ao topo

Filas

Os jobs em execução ou aguardando a disponibilidade de recursos para execução são mantidos em uma fila. Quando um usuário submete um job ao LoadLeveler este job é colocado nesta fila, que é uma base de dados com os jobs do sistema de filas. A fila de jobs pode ser consultada através do comando llq, ou então através das informações em IBM Power 750 Express server / Status dos Jobs

Voltar ao topo