Dentro do convidado (não na sua máquina, mas dentro da VM), você precisa instalar o "Guest Additions" para o Virtualbox. Do manual do Virtualbox aqui , veja este trecho:
Integração do ponteiro do mouse
Para superar as limitações do suporte ao mouse que foram descritas na Seção 1.8.2, “Capturando e liberando o teclado e o mouse”, isso fornece suporte simples ao mouse. Você terá apenas um ponteiro do mouse e não será mais necessário pressionar a tecla Host para "liberar" o mouse de ser capturado pelo sistema operacional convidado. Para fazer isso funcionar, um driver de mouse especial é instalado no convidado que se comunica com o driver de mouse "real" em seu host e move o ponteiro do mouse convidado de acordo.
Você não precisa baixar as adições de convidados separadamente, elas vêm com o Virtualbox. Veja abaixo, no mesmo link acima, instruções detalhadas de instalação para o sistema operacional convidado.