Deseja desativar o alerta ou o monitoramento (ou ambos)?
Você poderia colocar os servidores Dev no Modo de Manutenção, mas acho que isso provavelmente também interromperia o monitoramento (o que significa que você não teria nenhum dado gravado durante a manutenção).
Se forem apenas os alertas que estão incomodando você, você poderá colocar seus servidores em grupos e alterar suas assinaturas de alertas para excluir todos os servidores que estão no grupo Dev.