Pode estar dependendo do modelo, mas para a maioria você pode apontá-lo manualmente nas configurações de DNS no roteador. Veja este KB.
Não vale a pena, provavelmente, usar o nome do host do servidor na maioria dos ambientes de rede convencionais. Hostnames são geralmente mais bonitos que endereços IP?