A configuração do nome do host está na página "Configuração básica" em "Configurações opcionais", na parte superior, na mesma página em que você definiu os endereços IP do roteador.
Supondo que outros hosts possam ser resolvidos como mostrado, isso deve funcionar. Caso contrário, você poderia adicionar uma entrada à configuração do dnsmasq:
address=/router.local/192.168.11.1
Observe que o uso de .local como seu TLD pode ser indesejável, pois pode entrar em conflito com o mDNS.