Eu assumo que o seu sistema operacional é o Mac OS X e você instalou o Ubuntu como o sistema operacional convidado.
Não há necessidade de montar o ISO das adições de convidados e instalar a partir dele se o seu sistema operacional convidado for o Ubuntu.
Em vez disso, abra um terminal e digite o seguinte -
sudo apt-get install virtualbox-guest-utils
Isso instalará as adições dos convidados e será mais ou menos equivalente à instalação por meio do ISO.