O motivo do atraso é porque você tem a configuração do ELB para multi-az sem nenhuma instância de aplicativo nos outros 2 AZs configurados. Sem instâncias nessas requisições, o AZ tenderá a falhar porque o ELb ainda retorna endereços IP para aqueles AZs, mesmo que não haja instâncias de aplicativos ativos. Por favor, desative os outros AZs por enquanto e continue seus testes.
Atenciosamente,