Estou executando um sistema AWS EC2, com uma partição NFS compartilhada entre as instâncias (5x m3.medium). Estou fazendo upload de um arquivo binário em constante crescimento a uma taxa ~ 10x abaixo da minha largura de banda máxima (carregando 250kBs em um canal de 2,5MB), usando rsync --append . Simultaneamente, estou analisando o arquivo na partição NFS e distribuindo esses cálculos usando MPI.
Enquanto rsync não está em execução, a análise usando MPI funciona bem, levando aproximadamente 5 segundos para executar o arquivo binário. Enquanto rsync está em execução, a comunicação MPI entre as instâncias atinge um rastreamento, levando algumas horas para concluir a mesma tarefa. O script de análise demora mais tempo nos comandos MPI_File_read_at() , lendo o arquivo binário na partição compartilhada do NFS. Quando eu paro o rsync e execute novamente a análise, a velocidade é normal.
Eu tenho trabalhado nessa questão por alguns dias, e não fiz muito progresso. Não tenho certeza se o problema está usando MPI em um arquivo rsync ing, ou o arquivo sendo atualizado sobre NFS, ou o que. Limitei significativamente a largura de banda do rsync ( rsync --bwlimit=X ), e a lentidão ainda acontece.
Eu não tenho muita experiência com nenhuma dessas ferramentas, mas apenas tentando obter um sistema que funcione no momento. Se alguém souber o que estaria causando esse atraso ou outras incompatibilidades entre esses métodos que estou usando, agradeceria o conselho.