Estou escrevendo um aplicativo que poderia ser executado em qualquer agendador de recursos de cluster ( SGE , LSF ou SLURM para nomear alguns deles), usando funcionalidades muito básicas.
Gostaria de saber se existe uma camada de estrutura / abstração para interagir com essas ferramentas de maneira independente do produto?
A API DRMAA é suportada por todos os principais agendadores de recursos, diretamente ou por meio de uma biblioteca add-on. A v1 API é suportada pela maioria dos produtos, mas é bastante limitada no escopo, basicamente, apenas trata do envio de trabalhos e fornece apenas um subconjunto comum de funcionalidades. A API v2 fornece funções para controle e monitoramento de tarefas, mas, até onde eu sei, ainda não foi amplamente adotada.
Nenhum software de tipo de camada de abstração foi adotado no mainstream da computação distribuída, principalmente devido ao fato de que a maioria dos clusters não compartilha usuários e recursos entre eles. Há algumas exceções, por exemplo, algumas universidades e instituições acadêmicas empregam o Condor para aproveitar as máquinas de mesa espalhadas por todo o mundo. campus, mas não é particularmente adequado para alguns tipos de trabalhos.
Analisando um pouco mais, embora os agendadores possam às vezes se envolver bastante se você usar algo diferente de uma variante PBS e até mesmo entre esses agendadores, há algumas inconsistências estranhas que podem surgir ao tentar aproveitar certos recursos.
Tags scheduler cluster gridengine grid