Para programas de processamento de números (muito ligados à CPU), deve haver quase zero de desempenho para a VM. As instruções são executadas diretamente na CPU, que é a mesma para o host e a VM.
Mesmo para tarefas de compilação sérias, a diferença de desempenho é dificilmente notada. Nós rodamos o CentOS VMs no VMware no Windows.
Como você está executando o Linux no host, você também pode considerar o KVM (Kernel Virtual Machine) em vez do VirtualBox. É uma série de módulos do kernel que fornece serviços de virtualização no Linux, usando as extensões de virtualização Intel VT-x disponíveis na maioria das CPUs modernas. O QEMU usa o KVM como um acelerador para executar o código x86 diretamente na CPU do host.
Basta instalar o virt-manager
para testá-lo.