Acontece que tudo que eu precisava fazer do lado do VirtualBox era entrar em File->Preferences->Input
e então desmarcar o botão "Auto-Capture Keyboard"
.
E então eu posso fazer $mod+enter
para obter o terminal (e todas as outras funcionalidades funcionando.