Se você já baixou um arquivo VBoxGuestAdditions.iso para o sistema de arquivos do host, deverá instalar a imagem do menu Devices da VM usando Insert Guest Additions CD Image...
Observe que, na verdade, não instala os componentes de adição do convidado, apenas disponibiliza o ISO como um CD virtual. Nos sistemas operacionais guest do Ubuntu Server, ele nem monta o CD virtual no sistema guest .
Alternativamente, você pode baixar o ISO diretamente no sistema guest a partir do repositório, usando
sudo apt-get update
sudo apt-get install virtualbox-guest-additions-iso
Depois de disponibilizar o ISO por um dos métodos acima, você deve montá-lo em algum lugar no sistema de arquivos. Suponho que você queira usar o ponto de montagem /mnt para isso, mas você pode criar um ponto de montagem diferente, se desejar.
Se você inseriu a imagem ISO como um CD virtual:
sudo mount /dev/cdrom /mnt
Se você instalou o pacote ISO de adições de convidados de dentro do Ubuntu:
sudo mount /usr/share/virtualbox/VBoxGuestAdditions.iso /mnt
Finalmente, navegue até o ponto de montagem e execute o instalador:
cd /mnt
sudo ./VBoxLinuxAdditions.run