Eu tive o mesmo problema, mas consegui resolvê-lo fazendo o seguinte:
-
Em Virtualbox → Configurações da máquina → Sistema → Placa-mãe Eu mudei Dispositivo apontador para "Mouse PS / 2"
-
Na VM Ubuntu hospedada (o Xubuntu no meu caso) vá para Mouse e Touchpad altere "Device" para "VirtualBox mouse integration"
Isso resolveu meu problema e meu mouse voltou ao normal.