Se você está dizendo que está executando o Ubuntu Server no Virtual Box na mesma máquina em que deseja acessá-lo, a maneira mais eficiente seria alterar as configurações da VM para que o adaptador de rede fosse "anexado" ao host. apenas adaptador. Em seguida, acesse-o por endereço IP como normal.
Se você quiser acessá-lo pela rede, altere suas configurações novamente, mas, desta vez, conecte-o ao Adaptador em ponte. Acesse-o por IP como normal.