Você faz referência a alguns recursos diferentes em sua pergunta: um é o Elastic Load Balancing, várias instâncias do EC2 e o DNS. Você precisa fornecer um pouco mais de detalhes para obter uma resposta clara.
Se o seu 'nome de domínio' estiver apenas apontado para um único IP, você não poderá associá-lo a mais de uma instância.
Você pode pegar a rota muito simples de apontar sua entrada de DNS em vários IPs (dns round robin), mas isso não faz um trabalho muito bom ao lidar com o failover.
Se você usar o Route53 da Amazon e configurá-lo para que seu nome de domínio aponte para um balanceador de carga elástico, você poderá ter quantas instâncias configuradas por trás desse balanceador de carga conforme provisionadas no EC2.
No entanto, nem tudo acontece magicamente - você precisa configurar as coisas para aproveitar várias instâncias.