Resposta curta: Sim, todas as opções acima ... quase.
Primeiramente, vamos esclarecer a palavra "servidor". O servidor pode se referir à máquina (virtual ou física) e aos processos individuais que lidam com solicitações do cliente. por exemplo, apache (http) ou named (dns). Nesta resposta eu vou usar "servidor" para se referir aos processos, e "máquina" para se referir, no seu caso, ao VPS.
Um servidor de nome privado geralmente significa um servidor DNS - o servidor que traduz entre endereços IP (por exemplo, 123.123.123.123) e nomes de host (example.com). Este servidor DNS pode ser um escravo usado apenas por você, ou o que é mais aplicável, um mestre de zona. Em geral, o que você faz é configurar seu servidor DNS para que ele funcione como mestre para um nome de domínio que você controla. Vamos chamar este nome de domínio example.com.
O processo de operação é aproximadamente o seguinte:
- Peter, o comedor de PC, tenta acessar o site www.example.com
- O computador Peters faz uma pesquisa de DNS para www.example.com perguntando o que o servidor DNS Peter obtém de seu ISP.
- Disse que o servidor DNS não sabe, então ele encaminha o PC da Peters para cima da cadeia. Eventualmente, o PC da Peters chega ao servidor DNS raiz, o que remete o PC da Peters ao mestre para a zona .com. Com quem você comprou o domínio, você deve ter configurado que o servidor DNS para o seu domínio está localizado no IP do seu VPS, e esta é a resposta que Peter eventualmente recebe. Embora pareça bastante entediante, uma solicitação de DNS geralmente é muito pequena, então isso raramente leva mais do que alguns milissegundos em uma conexão decente.
- Peter, sabendo que o IP do servidor DNS de example.com agora faz uma solicitação de DNS para o dito IP. As solicitações de DNS são feitas pela porta 53 e você deve ter um servidor DNS atendendo a solicitações. Se configurado corretamente, o servidor DNS responde com o IP do seu servidor da Web.
- O Peters PC conecta seu navegador para o IP retornado anteriormente e, se tudo estiver configurado corretamente, carrega o site como pretendido.
Não importa que sua máquina execute um servidor DNS e um servidor da web. Estes funcionam em portas diferentes (porta 53 e 80 respectivamente). Nem importa que todas as pesquisas e conexões acabem no mesmo IP.
Eu uso a mesma máquina para muitos serviços:
- DNS
- Web
- SSH
- Carrega mais
Por que isso funciona é que todos eles são executados em portas diferentes. Todo servidor que possui um IP possui uma porta associada a ele. As portas variam de 1 a 65535 e muitas delas são reservadas. Em particular, os abaixo de 1024. Veja aqui para uma longa lista. De particular interesse para você neste caso são as portas 53 e 80, como mencionado anteriormente.
Embora não tenha nenhum detalhe sobre o seu VPS, posso dar algumas dicas sobre o que ler para você começar:
- servidores DNS - por exemplo,
named
- Servidores da Web - por exemplo, o apache, também chamado apenas de
httpd
- Endereçamento IP e numeração de portas
- Operação básica de soquete