Em suma, a resposta é não. Você o configurou de uma forma que não é possível, por meio de uma consulta DNS, obter todos os registros possíveis em uma solicitação.
O dig ou nslookup deve retornar os endereços IP ... no entanto, é provável que não retorne mais de um por vez se você estiver usando uma política ponderada - esse é o ponto, retorná-los em certas frequências - algumas mais do que outras, se os pesos são diferentes.
Não há como consultar os nomes de host, é claro, porque esses são aliases. Esse é o ponto de um alias, não para retornar o alvo, mas sim o registro que seria retornado se o alvo tivesse sido solicitado diretamente.
O aws route53 list-resource-record-sets do aws-cli deve poder ser usado para consultar isso, mas não é um comando "Unix" instalado em um sistema por padrão.