virtualbox-guest-dkms no Ubuntu 16.04.3 é 5.0.40-dfsg-0ubuntu1.16.04.2 , que é a versão do VirtualBox no repositório do Ubuntu em vez da versão 5.2.4. Isso pode estar causando seu problema.
Tente o seguinte para instalar a versão adequada das adições de comentários:
- Iniciar a máquina virtual
- No menu
Devicesdo VirtualBox, escolhaInsert Guest Additions CD image... - Abra um terminal pressionando Ctrl + Alt + T
- Executar
sudo apt purge virtualbox-guest-dkms - Executar
sudo /media/$USER/VBox_GAs_5.2.4/VBoxLinuxAdditions.run - Reinicializar
Com exceção do passo 4, é uma boa ideia fazer isso toda vez que houver uma nova versão do VirtualBox (a etapa 5 deve ser alterada para o caminho correto, é claro).

