Você precisa instalar VirtualBox Guest Additions
. O mesmo acontece com o VMWare Player e outros softwares. Sem o Guest Additions, você precisa usar o Ctrl para trocar o mouse do sistema operacional host para o sistema operacional convidado.
Ao instalar o Guest Additions, isso permite que seu mouse seja usado normalmente, copie pastas / arquivos do sistema operacional host para o sistema operacional convidado, etc.
Você pode instalar isso clicando em Devices > Install Guest Additions
Se essa opção não estiver disponível, tente digitar yum install dkms
no terminal.