Para que um convidado do servidor do VirtualBox Ubuntu aceite corretamente uma instalação de adições de convidado, você precisará ter uma instalação mínima do pacote xorg:
sudo apt-get install xserver-xorg xserver-xorg-core
Ao fazer isso, você terá o suporte para pasta compartilhada.
Como você descobriu, as adições dos convidados são um script muito grande - "VBoxLinuxAdditions.run"
Você pode ser capaz de remover este arquivo - eu não o recomendaria, porque à medida que versões mais novas do VirtualBox são lançadas, a versão de adições de convidados é normalmente afetada.
Além disso, eu recomendaria (se você ainda não o fez), instale dkms
. Quando os kernels mais recentes do Ubuntu são atualizados, os módulos do kernel guest-additions serão compilados automaticamente. Sem dkms
, você perderá o suporte à pasta compartilhada quando uma atualização do kernel for feita.