Essa alocação é o número de CPUs do GUEST não o número de CPUs HOST que podem ser usadas. Enquanto eles são frequentemente muito semelhantes, o VirtualBox tenta usar o mínimo de CPU possível, eles não são os mesmos. O Virtualbox, e qualquer outro software de VM, precisará usar uma parte de sua CPU hospedeira para emular os outros dispositivos. (como a placa de vídeo)
O fato de o mouse ter ficado "pegajoso" também indica que o VB está usando vários threads para manter essas emulações em ordem. Se estivesse usando apenas quatro, o kernel ainda estaria dando uma boa participação à sua GUI.
De acordo com isso, sugiro que você esteja usando a ferramenta errada para limitar a quantidade de CPU que o VirtualBox usa. Você não está realmente interessado no convidado usando 3 ou 4 núcleos, você está mais interessado em suas outras tarefas, recebendo uma parte justa do processador.
O recurso de kernel do Linux que eu sugiro que você pesquise é chamado de cgroups que permite classificar processos em grupos e garantir que esses grupos pegam apenas a CPU que você permite. Desta forma, o kernel pode ser configurado para dar ao VirtualBox todos os 400% da CPU, se a sua GUI não precisar, mas dar prioridade absoluta a todo o resto (digamos) dois desses processadores quando tiverem algo a fazer.