Se não houver instâncias registradas com ele, ele ficará ocioso sem fazer nada, mesmo que as solicitações estejam chegando a ele. Independentemente disso, verifique Route53 para garantir que não haja registros apontando para ele (ou outro provedor de DNS; embora, os IPs associados ao ELB possam ter sido alterados), AutoScaling para garantir que um grupo não seja lançado nele e CloudFormation para garantir um template não exige isso.
Se as solicitações estiverem chegando e nenhuma instância estiver registrada, você verá erros HTTP_5XX nas métricas do CloudWatch. Você pode ativar os logs de acesso no ELB para ver de onde os pedidos estão vindo (isso seria útil mesmo se as instâncias fossem registradas).