How can I set the DNS up so any lookups to *.mydomain.aws will use NameServers I specify, and everything else will use the default one?
Não é assim que o DNS funciona. Você especifica um conjunto de servidores DNS, seus clientes lançam suas solicitações neles e os servidores precisam lidar com a possibilidade ou não de obter respostas para as consultas dos clientes.
Felizmente, com a AWS, Zonas Privadas Route53 estão disponíveis. Para usá-los, você precisará configurar seus hosts de VPC para usar os resolvedores de DNS fornecidos pela Amazon. Mais detalhes sobre a configuração estão disponíveis na documentação vinculada.