Trabalhadores da construção encheram minha SAN com concreto e pó mineral

Question

Atualização: A EMC deixou cair nossa garantia e suporte, portanto, isso será um caso de seguro. A Dell diz que podemos conseguir uma agência de limpeza profissional para reformar os servidores e manter nossa garantia. Cisco diz "talvez". HP ainda está em silêncio: (

Atualização final: a EMC deu a volta e aprovou a limpeza de uma empresa certificada. O VNX foi enviado de volta para nós hoje e funciona muito bem. O resto da sala do servidor também está sendo limpo e nossas perdas estão limitadas a algumas unidades de fita. A companhia de seguros recebe a conta de quase todo o resto.

A pergunta original:

Aqui está a história ..

Os proprietários do edifício onde alugamos o espaço de escritório decidiram fazer uma renovação do exterior. Isso envolveu um trabalho bastante pesado no nível em que nossa sala de servidores está, incluindo a troca de janelas que cabem dentro de uma parede de concreto.

Meu alerta vermelho disparou quando soube que eles iam fazer a mesma coisa com a nossa sala de servidores (sim, nossa sala de servidores tem uma janela. Somos uma pequena loja com 3 prateleiras. A janela é protegida com aço Eu explicitamente disse ao empreiteiro que eles precisam colocar uma parede temporariamente entre as nossas prateleiras e a parede original - e para ter certeza de que a parede temporária é 100% à prova de ar e água. Eles prometeram fazer isso.

A parede temporária tem uma pequena porta para que os trabalhadores possam entrar / sair durante o dia (através da nossa sala de servidores, que era a única opção ...). Em várias ocasiões, eu poderia encontrar a pequena porta a meio do caminho enquanto trabalhava noites / noites. Tranquei a porta e achei que esperariam que chegassem logo e fechasse a porta. Eu até dei um eletricista quando vi que ele não fechou a porta corretamente.

A essa altura - aposto que a maioria de vocês tem uma ideia do que aconteceu. Sim, eles provavelmente deixaram a porta aberta durante a perfuração no concreto.

Apresento-lhe nosso EMC VNX de 4 semanas:

Até vou colocar um pequeno bônus, aqui está o APC UPS, um rack mais distante da parede temporária. Veja a bela pista de pouso do meu dedo?

O que devo fazer? A única coisa que vem à mente é ligar para todos os nossos fornecedores (EMC, HP, Dell, Cisco) e fazer com que eles enviem técnicos para verificar todos os equipamentos na sala do servidor ou obter algum tipo de consultor de terceiros certificado para verificar tudo isso. Você usaria sistemas de produção nesta engrenagem? Quanto tempo?

Devo notar também que a nossa ar condicionado não é exatamente de nível empresarial, dada a natureza do nosso pequeno quarto. É apenas um único inversor, que falhou uma vez antes de eu começar a trabalhar aqui (inversores com defeito geralmente levam a água pingando).

    

Answer 1

1. Junte todos os técnicos.
2. Faça com que eles verifiquem / limpem todo o equipamento.
3. Envie a fatura para o planejador do prédio.

Realmente, os servidores podem suportar algum nível de poeira, mas isso é demais. Nós limpamos nossos servidores regularmente durante o tempo de inatividade com um vácuo de PC por 3M >. É uma coisa legal ter no escritório.

Mas por enquanto, comece a limpeza. Quanto mais rápido você tirar a poeira de lá, melhor. Tente manter os dissipadores de calor e os ventiladores livres de poeira. Se um dissipador de calor ou ventilador estiver coberto de poeira, sua capacidade de dissipar o calor é muito pior do que uma unidade limpa.

    

Answer 2

Primeiro: Quando a sala do servidor se torna um canteiro de obras, você deve remover todos os servidores, por vários motivos.

• falta de energia
• falhas de refrigeração
• acesso (você não sabe quem passa pelos seus servidores, em que horas)
• estresse mecânico devido à maquinaria de construção
• dano direto causado por trabalhadores que colidem
• poeira residual do local da construção, especialmente pó metálico ou mineral

A única aposta segura é remover seus servidores para uma sala diferente. Isso significa paralisações adicionais, mas durante o andamento das atividades de construção, você provavelmente terá que fazer o desligamento de qualquer maneira.

(note que o seguinte é a minha opinião subjetiva) Agora isso aconteceu. Os ventiladores estão cobertos de pó mineral. Isso reduz potencialmente sua vida útil afetando os rolamentos.

Eu não esperaria que os servidores falhassem maciçamente, mas eu esperaria ter uma porcentagem maior de falhas. Em um cliente razoavelmente grande, as interrupções no ventilador aumentaram após a construção das atividades.

Mas, novamente, eu não iria muito longe para limpar os sistemas. Se a limpeza levar a danos, é provavelmente maior que um ventilador defeituoso. A menos, claro, se a poeira contiver partículas metálicas, que mudam todo o jogo.

O que fazer? Limpe a sala, limpe a parte externa dos servidores, reserve algum dinheiro para substituições anteriores no futuro.

O dano provavelmente não é justificável. A parte do dano que você pode provar provavelmente não vale a pena ir a tribunal. Você pode tentar obter alguma quantia de compensação do proprietário, talvez um pagamento reduzido ou algo assim.