Talvez eu não tenha entendido a pergunta, ou talvez você ainda não tenha tentado. Mas eu tenho isso funcionando.
Eu tenho dois computadores, Lubuntu e Windows e cada um tem duas máquinas virtuais, uma do Win7 e outra do Lubuntu.
Instalei o Virtualbox em ambos os computadores e adicionei as adições dos convidados. Com as duas VMs em execução, meu mouse se move de um para o outro como se eu estivesse operando no sistema básico. (Eu estou atualmente na minha máquina Win10 e descobri que tinha as duas VMs em execução)
Eu fiz isso uma vez no computador Lubuntu, mas ele congelou porque os dois juntos usam todos os recursos do meu sistema, mas funcionou até que ele caiu.
No passado, lembro que depois de instalar o Vbox, eu teria que carregar as adições do convidado antes que eu pudesse processar o mouse e o teclado no sistema operacional real e no sistema operacional virtual. Mas agora, parece padrão compartilhá-los na instalação.