Você precisa de um servidor de nomes. Isso é o que conecta um nome de domínio com um servidor.
Você pode fazer tudo sozinho instalando bind9 no seu servidor e configurando-o, mas isso geralmente é uma péssima ideia. Eles precisam estar online 100% (mais do que o próprio servidor) e precisam responder muito rapidamente. Você também precisará de dois endereços IP distintos. Essas são qualidades que são mais fáceis de realizar por meio de serviços DNS gerenciados.
Muitos registradores fornecem servidores de nomes nos dias de hoje (o meu certamente o faz) e até mesmo mais hosts (não tenho certeza de quem é o proprietário do seu servidor, portanto, isso pode não ser aplicável) também. Caso contrário, existem outras opções de terceiros, como o EasyDNS e ZoneEdit, ClouDNS, etc. Estes são serviços massivamente disponíveis. Eles estão fazendo melhor do que você jamais poderia fazer.
De qualquer forma, depois de ter isso em vigor, aponte o domínio para o servidor de nomes e, em seguida, você pode configurar os registros de domínio no servidor de nomes. Isso permite que um navegador resolva um endereço IP para um determinado nome de domínio.