Sim, o desempenho do seu linux será muito melhor quando executado diretamente na sua máquina, em vez de virtualizado.
Teste um USB ao vivo de 16.04 (que é a mais recente distribuição de suporte a longo prazo) antes de instalar para ver como será trabalhos. Ele será executado mais lentamente a partir do USB, muito mais rápido depois de instalado.