scp O arquivo 9.2GB trava a instância do AWS EC2 t2.small consistentemente

Question

Eu tenho um arquivo de 9.2GB que desejo transferir para minha instância do AWS t2.small para fins de backup. Quando eu inicio o scp, ele copia o arquivo em cerca de 3,4 MB por segundo, o que resulta em cerca de 45 minutos de tempo de transferência esperado.

Algum tempo depois, a instância sempre trava. Não consigo mais digitar nada nas janelas do terminal, os sites estão parados (é um servidor da web) e não consigo me conectar a ele. A reinicialização da instância resolve o problema.

Eu investiguei os limites do EBS: Eu tenho 2 discos gp2 de 200GB RAID10 conectados. A partir desta documentação , não consigo ver que exceda IOPS ou taxa de transferência para o disco. Também verifiquei a largura de banda , mas não consigo ver nenhuma informação sobre instâncias t2 em lá. Por fim, analisei os créditos de CPU , mas presumivelmente não deve parar completamente?

Esta é uma transferência única, por isso estou querendo ter uma ideia do quanto tenho que atrasar a transferência para que isso aconteça com segurança. Ao mesmo tempo, gostaria de ter uma ideia dos limites de gerenciamento deste servidor da Web.

    

Answer 1

Se você quiser descobrir qual é o problema, instale alguns monitoring ou você também pode fazer várias conexões com o sistema e executar utilitários como top , vmstat , iostat , free etc (use watch(1) se necessário) para obter uma visão do que está acontecendo com os recursos do sistema. Reúna os dados e, em seguida, aplique Método científico - é a única maneira de ter certeza.

Se você quiser apenas transferir o arquivo, tente usar divisão para dividir o arquivo arquivar e transferir cada parte separadamente. você pode usar o cat para montar os pedaços de volta no arquivo inteiro novamente.

    

Answer 2

Uma possibilidade é o cache do sistema de arquivos. Normalmente, com grandes quantidades de cópia de dados, o cache do sistema de arquivos pode usar toda a memória disponível (t2.small possui apenas 2 GB), resultando em troca, o que pode fazer com que o sistema pare de responder. Não tenho certeza se existe uma maneira de ignorar o cache do sistema de arquivos com o scp.