Eu resolvi isso comigo mesmo; use o KVM! :)
Eu tenho algumas máquinas Virtual Box existentes de outro laptop que eu copiei para o meu, então foi por isso que eu usei o VirtualBox neste laptop em primeiro lugar. Eu deveria ter instalado o KVM desde o início, embora realmente (eu era um pouco preguiçoso). Eu instalei o KVM e o desempenho é muito melhor (e todas as novas máquinas KVM foram instaladas em um disco rígido externo USB2 para tirar mais carga do meu laptop). Tudo corre muito melhor agora.
Como observação, descobri que algumas das minhas extensões do Google Chrome estão interferindo de alguma forma. Eu posso ligá-los de forma confiável e notar uma diminuição de desempenho ao executar máquinas virtuais, e desligar e confiantemente ver um aumento, estranho.