O AD é bastante leve no uso da RAM. Geralmente, é uma prática recomendada instalar o DNS no mesmo servidor, mas isso não é obrigatório. O footprint de memória de ambos irá variar com o tamanho do banco de dados do AD ou do banco de dados DNS (que é suportado pelo AD), respectivamente.
Para um ambiente de teste, ambos ocuparão muito pouca memória; uma caixa Core 2008 R2 rodando AD & DNS seria muito confortável com 512 MB de RAM, você pode ser capaz de poupar até 384 MB sem problemas. Se não for uma instalação do Core, talvez você ainda consiga 512 MB, mas 768 MB é uma ideia melhor.
O DHCP e o Acesso Remoto também são bastante leves no uso da RAM. Os serviços de implantação demoram um pouco mais, mas ainda não muito. Em todos esses casos, isso dependerá do uso.