Eu estava curioso, então acabei de lançar uma instância usando o AMI "Ubuntu Server 12.04.2 LTS" e tenho isso no resolv.conf:
# Dynamic resolv.conf(5) file for glibc resolver(3) generated by resolvconf(8)
# DO NOT EDIT THIS FILE BY HAND -- YOUR CHANGES WILL BE OVERWRITTEN
nameserver 172.16.0.23
search us-west-2.compute.internal
Então, talvez algo deu errado quando você criou sua instância. Tente lançar um novo.
Editar : como sua instância está em um VPC, tente Criando um conjunto de opções DHCP com domain-name-servers=AmazonProvidedDNS
e, em seguida, atribua as opções definidas ao seu VPC.