Acontece que tudo que eu precisava fazer do lado do VirtualBox era entrar em File->Preferences->Input e então desmarcar o botão "Auto-Capture Keyboard" .
E então eu posso fazer $mod+enter para obter o terminal (e todas as outras funcionalidades funcionando.