Recursos individuais do Job do Array do Sun Grid Engine

Question

É possível que o Sun Grid Engine tenha tarefas de matriz em que cada subtarefa tenha um requisito exclusivo? Por exemplo, posso ter um trabalho de matriz para o qual cada tarefa tem um pequeno requisito exclusivo, mas não quero ter que iniciar cada trabalho separadamente.

    

Answer 1

Suponho que você esteja falando dos requisitos de recursos. Se sim (e provavelmente até mesmo se não), a resposta é não. A definição de uma tarefa de matriz é que ela é um conjunto de tarefas que compartilham uma definição de tarefa comum. Os requisitos de recursos são definidos no nível do trabalho.

Para referência, consulte a definição de uma tarefa (JB_Type: source / libs / sgeobj / sge_job_JB_L.h) versus a definição de uma tarefa (JAT_Type: origem / procurar / gridengine / fonte / libs / sgeobj / sge_ja_task_JAT_L.h) . O JB_Type é sobre a definição dos parâmetros do job, enquanto o JAT_Type é sobre o rastreamento da execução de uma tarefa.

Se você está procurando uma maneira conveniente de automatizar o envio e rastreamento de muitos trabalhos, dê uma olhada no DRMAA. Ligações de API para SGE estão disponíveis em C, Java, Python, Ruby e Perl.

Daniel

    

Answer 2

Cada sub tarefa sabe qual é o seu ID de trabalho. Isso pode ser extraído do ambiente (SGE_TASK_ID).

Ao trabalhar com tarefas de array, tenho um código de wrapper que lida com argumentos exclusivos para cada trabalho.

Começo gerando um arquivo simples dos argumentos para cada trabalho. Isso pode ser CSV, JSON, texto, o que você quiser, contanto que você possa fazer uma pesquisa com base no SGE_TASK_ID. Este arquivo é salvo em algum local comum.

O trabalho é enviado com o caminho para este arquivo. Quando cada trabalho é executado, ele sabe procurar neste arquivo e encontrar o pacote de argumentos para execução.