Eu tive o mesmo problema no Ubuntu 16.04 e resolvi atualizando cada coisa e, em seguida, executando o comando sudo bash -c 'echo vboxvideo >> /etc/modules'
e, em seguida, reboot
.
Em um caso semelhante ao seu, deve-se garantir que as versões da caixa virtual e VBoxGuestAdditions sejam as mesmas. Ter uma versão mais antiga da Virtual box e instalar a versão mais recente das adições de convidados causa problemas.
Outra coisa interessante, não funcionou depois de instalar as adições do convidado quando fui notificado pela caixa virtual imediatamente após a atualização para instalar a nova versão disponível da adição Guest. Ele funcionou apenas quando eu instalei de dentro do Ubuntu via terminal.