virtualbox-guest-utils recomenda virtualbox-guest-x11 e, por padrão, o Apt instala os pacotes recomendados como dependências. Você pode evitar isso usando o sinalizador --no-install-recommends :
sudo apt-get install --no-install-recommends virtualbox-guest-utils