IOPS super baixa depois de criar o volume a partir do instantâneo (AWS)

Question

Estou usando instâncias do EC2 p2.xlarge para treinar um modelo de processamento de imagem. Minhas classes de destino para a tarefa de previsão são muito poucas (20) e, para obter a melhor precisão, vou treinar um modelo por alvo.

Então eu fiz um instantâneo do meu volume principal e criei 4 volumes duplicados (SSD de uso geral) para que eu possa executar mais 4 instâncias p2 simultaneamente. O problema é que, com exceção do volume principal, estou tendo um desempenho de IO extremamente baixo. Para dar um exemplo, uma época de treinamento que leva 200s na instância principal é 'estimada' para obter 10.000s em uma instância duplicada.

O que eu sinto falta?

    

Answer 1

Os instantâneos do EBS são armazenados no S3. Quando você cria um volume a partir de um instantâneo, os blocos são puxados primeiro de forma incremental de S3 para EBS na primeira operação de leitura e, a partir desse ponto, todas as leituras subseqüentes desse bloco específico são executadas na infra-estrutura de baixa latência do EBS.

Para garantir o desempenho ideal do EBS após a criação de volumes de snapshots, você deve "pré-aquecer" seus volumes executando uma leitura completa de todos os blocos de volume, para garantir que nenhuma outra operação de E / S requeira uma solicitação lenta ao S3. / p>

Volumes novos e frescos do EBS não sofrem esse comportamento porque "nascem" no EBS e não exigem pull de dados do S3.