no seu DNS você faz um registro A que aponta para o seu ip VPS é isso aí.
seu site estará em / var / www / html adicione o material do seu site
abra o VIM (ou o editor de sua escolha)
sudo vim /etc/apache2/sites-available/000-default.conf
altere seu ServerAdmin para seu email
sudo service apache2 reload
para reiniciar o apache e você está pronto para ir