Se a segurança não é um requisito, como no seu caso de execução do sistema operacional virtualizado. Você pode abrir as janelas do X11 diretamente na sua tela do Ubuntu não-VM. Em teoria, isso deve dar a você a melhor velocidade possível e a menor latência, embora em alguns casos eu tenha notado que o VNC faz um trabalho melhor. A única desvantagem é que, sem alguns aplicativos auxiliares adicionais, você não pode fechar a conexão do aplicativo e reconectar mais tarde.
Vamos supor que sua VM Ubuntu tenha o endereço IP de 10.0.0.2 e que o Ubuntu "real" tenha interface virtual IP 10.0.0.1 e seja o GW para a máquina virtual (isso seria algo que você teria com o modo NAT. No modo bridge, ambos os sistemas operacionais têm IP fornecido com algum servidor DHCP externo ou são configurados manualmente).
No seu Ubuntu não-VM, você precisa usar o comando xhost para permitir a conexão X11 de entrada da VM, para fazer isso no aplicativo do terminal:
xhost +10.0.0.2
Em seguida, conecte-se à máquina virtual com ssh ou com o terminal da máquina virtual e abra um aplicativo de terminal e escreva:
export DISPLAY=10.0.0.1:0.0
quando você executa um aplicativo a partir dessa janela de terminal, ele abre suas janelas diretamente em seu Ubuntu não-VM.