Comunicados Técnicos

Acesso à ferramenta de submissão de Jobs via interface WEB - 10 de Julho de 2014

Estamos testando uma solução de submissão de Jobs via navegador e gostaríamos da sua opinião sobre essa ferramenta. Para acessá-la basta clicar no botão denominado “Portal do Usuário”, localizado à direita da página principal do CENAPAD: www.cenapad.unicamp.br. Feito isso você será redirecionado para o Portal do Usuário. Leia atentamente as instruções para a instalação do certificado ICPEdu, lembrando que o certificado só precisa ser configurado no primeiro acesso. Após a instalação do certificado, basta clicar em “Submissão de Jobs”, localizado à direita da página. Para acessar o software de submissão de jobs use seu login e senha, o mesmo utilizado para logar nas máquinas do CENAPAD.

Após efetuar o login na ferramenta, é preciso cadastrar o cluster que se deseja usar. Nesse primeiro momento apenas o ambiente “GPU” está disponível. Logo após o Login aparecerá uma página, vide figura abaixo, que é usada para cadastrar o Cluster. Nessa página vá em Servers e clique em GPU, selecione “Use CM Credentials” e finalmente clique em Save. Essa mensagem aparecerá apenas no primeiro acesso.

Para submeter jobs clique em “+ Job Submission” na lateral esquerda do software. Em “Applications” haverá duas filas “ gpuparalela” e “gpuserial”. Na gpuparalela é possível escolher de 2 a 10 processadores e de 0 (zero) a 4 GPUs. Já na gpuserial apenas a opção de 1 processador e nenhuma GPU é permitida, porém em “Batch Queue” é possível selecionar o tamanho das filas: “pequena”, “media” e “grande”. A pequena permite 2 horas de processamento, a media 120 horas, e grande 720 horas.

Na parte central da página, no campo “Job Name”, coloque um nome para seu job, sem isso ele não executará.

Após escolher os parâmetros de execução, basta adicionar o script que será executado. Para isso, você pode adicionar um script que já está no home da máquina GPU ou fazer o upload de um script que está na sua máquina local.

Para adicionar um script e/ou arquivo de input que se encontra no home da GPU basta clicar no ícone em forma de casa que se encontra na parte superior direita da ferramenta. Após achar a pasta de origem, o arquivo aparecerá na parte inferior direita do software. Feito isso, basta clicar no script e arrastar para a parte central da ferramenta para o campo chamado “Job Script”. E no caso do arquivo de input, no topo da parte central da ferramenta selecione “all” e aparecerá o campo “Job Files”. Basta clicar e arrastar o arquivo de input para esse campo.

Para adicionar um arquivo que se encontra em sua máquina local é necessário clicar em “Escolher Arquivo”, na parte central da página, no campo “Job Script”, e escolher o script desejado. Se for um arquivo de input basta seguir os passos descritos acima. Feito isso, clique em Submit.

O arquivo de input será copiado para o mesmo diretório do arquivo de script, portanto basta referenciar o arquivo de input no script de submissão. Se for um script em python, não coloque o shebang (#!/usr/local/bin/python), pois o python usado será o da ferramenta (python 2.5).

Exemplo de Script em Python:

f = open('input', 'r')
soma = 0
for line in f: soma += int(line)
     print soma

Arquivo de input: 1
2
3
4
10

Output:
start.py: No #! line detected in Job Script, defaulting to Python.
20

Exemplo de Script em bash:

#!/bin/bash
cat input | while read line; do
   echo "$line"
done

Arquivo de input:
1
2
3
4
10

Output:
1
2
3
4
10

No momento da submissão, todos os arquivos serão copiados pela ferramenta no diretório: /stage/user_name/nome_do_job, onde user_name é o nome do seu usuário e nome_do_job é o nome você atribuiu ao job. Se desejar realizar o download desse arquivo de output basta selecionar o arquivo de clicar no botão de download, desenho com a seta apontada para baixo.

Para monitorar seu job clique em “Monitoring”, na lateral esquerda da ferramenta. Na parte central da tela, basta clicar no seu job para selecioná-lo e clicar no botão “Reload”, logo abaixo. O reload não é feito automaticamente, logo, você precisará clicar no botão “Reload” para atualizar o status.

Quando o software terminar a execução ele gerará um arquivo em /stage/seu_usuario/nome_do_job. Para visualizar esse arquivo basta navegar em “Monitoring”, selecione seu job, no rodapé da página clique em “Files”. Nesse local você encontrará, após o término da execução, um arquivo com a extensão o.xxx, onde xxx é o ID do seu job. O arquivo de erro possui a extensão e.xxx. Ao dar um duplo clique nesse arquivo o conteúdo aparecerá na parte inferior direita do software. Se o arquivo for grande, basta selecioná-lo e clicar no ícone com uma seta para baixo para fazer o download do arquivo para a sua máquina local.

Sugerimos realizar primeiro um teste com um script simples antes de submeter scripts complexos. Um exemplo de script seria:
#!/bin/bash
/bin/hostname /bin/date
sleep 10

Qualquer dúvida entre em contato pelo e-mail

Obrigado,

Equipe do CENAPAD