Acho que você precisará do X.org instalado para aproveitar qualquer recurso de integração do host.
A única outra coisa em que consigo pensar é adicionar temporariamente os pacotes mínimos
sudo apt-get install xserver-xorg xserver-xorg-core
em seguida, instale o Guest Additions e, em seguida, remova os pacotes x. No entanto, como eu disse, acredito que você precisará do x windows para continuar instalado, a fim de aproveitar as adições dos hóspedes. Se você optar por manter os pacotes X.org, também precisará de um gerenciador de janelas como o openbox.
Como alternativa, você pode instalar o pacote xubuntu-desktop para um mínimo de gui em uma única etapa.
Atualização: Eu mexi com isso por um bom tempo e não consegui fazê-lo funcionar sem um desktop totalmente instalado. Os pacotes xserver não são suficientes por si só para ativar os recursos de integração. Eu também instalei o xubuntu-desktop em uma nova instância do servidor 9.10, remotamente via ssh para poder registrar a sessão e salvar a lista de todos os pacotes que ele estava instalando, já que remover * ubuntu-desktop apenas remove o meta-pacote. Em seguida, executei as adições de guest install, verifiquei que funcionava e, finalmente, desinstalei todos os pacotes de desktop, colando a saída de log da instalação em um script bash com o apt-get remove, seguido pelo apt-get autoremove.
Não surpreendentemente, ele voltou a exigir uma chave de host como rt-ctrl para não capturar o mouse e o teclado. Mesmo se não tivesse, eu certamente não recomendaria fazer isso em um convidado que você estava usando para algo importante. O ponto principal é que as adições de convidados parecem exigir que uma das instalações de desktop esteja presente, e embora seja verdade que o mouse é irrelevante sem x instalado, acredito que o recurso de integração de mouse é a única maneira de substituir a chave de host controle de retirada de captura (incluindo teclado) do convidado. Tendo dito tudo isso, eu acho que não exigir a chave do host deve ser uma configuração de recurso ou preferência para o próprio programa VirtualBox, em vez das adições de convidado. Se você clicar na barra de título do aplicativo do convidado (ou em sua entrada na barra de tarefas) para dar foco ao convidado, ele dará ao teclado o foco para o convidado, mas não para o mouse, não exigindo a chave do host para recuperar o mouse. Parece que pode haver uma configuração de preferência para agir da mesma maneira quando a própria janela de convidado é clicada, como "nunca capturar mouse". Não precisaria saber se o convidado era cli ou gui, só que você não queria que ele sugasse o mouse. Desculpe por não ter uma resposta melhor sobre isso, mas talvez alguém no Sun Oracle tome nota e coloque isso em uma versão futura.