Estamos executando alguns serviços de produção no Amazon EC2 há algum tempo, usando principalmente as instâncias t1.large e t1.xlarge (não-EBS). De vez em quando, um dos discos anexados (efêmeros) entrará em um estado 100% útil (conforme relatado por iostat -xtc).
Quando um disco fica nesse estado, ele é essencialmente completamente inutilizável. Uma reinicialização corrige o problema, aparentemente sem corrupção. As ocorrências são aparentemente aleatórias e acontecem a cada poucas semanas.
Não tenho certeza se algum software está relacionado, mas estamos atualizando o Ubuntu 10.04 (Lucid). Esses discos efêmeros operam atualmente com lvm (RAID0). Anteriormente estávamos usando o mdadm em conjunto com o lvm.
Alguém já viu esse comportamento antes (não tenho certeza se é específico do EC2) e alguma idéia de como evitá-lo ou corrigi-lo sem reinicializar?
Até mesmo o armazenamento efêmero em instâncias do EC2 está sujeito a problemas típicos de multilocação. Em vez de apenas reinicializar o servidor, [se sua configuração permitir] pare completamente e inicie a instância para que sua instância termine em um hypervisor diferente.
Aqui é um artigo sobre A estratégia da Netflix para lidar com questões de multi-locação no EC2.