Crie uma zona para lan e adicione os registros A e AAAA de seu equipamento. Em seguida, configure os clientes para usar este DNS.
A menos que você esteja usando o Active Directory e seu DNS seja um DC para o domínio chamado lan , adicionar hosts à zona DNS não será automático. Acho que você pode configurar a função DHCP do Winodws Server para atualizar o DNS, mas não tenho certeza.