Eu faço exatamente a mesma coisa em meus servidores dev para que eu possa ter um espelho rsynced localmente e no servidor externo com configurações idênticas.
Aqui está o que você precisa no seu dnsmasq.conf (certifique-se de reiniciá-lo) assumindo que a interface interna do seu servidor web é 192.168.0.3:
address=/.server.mydomain.com/192.168.0.3
Isso criará uma entrada curinga para * .server.mydomain.com e, desde que seus clientes usem o DNSMasq para seu DNS (e seu servidor escuta na interface interna), você está definido.