Como primeiro você precisa baixar a imagem do instalador do VirtualBox 5.0.17 Guest Additions de aqui . (P.S .: certifique-se de baixar um para Linux 32 bits ou 64 bits, dependendo do sistema instalado em sua VM)
Depois disso, adicione essa imagem no DVD da sua VM e inicie sua VM.
Quando inicializado e logado, você pode precisar montar a imagem do CD (no caso de usar uma imagem do servidor do Ubuntu) e também precisar de algum software para instalar.
# Run those commands if youre using Ubuntu server sudo mount /dev/sr0 /media/cdrom # The following you need always sudo apt-get install build-essentials sudo sh /media/cdrom/VBoxLinuxAdditions.run