Eu experimentei o mesmo problema.
⠀ Anfitrião: Ubuntu 14.10 (64 bits)
⠀ Convidado: Windows 7 (64 bits)
Mesmo com a virtualização ativada no BIOS host, a carga da CPU estava constantemente em torno de 40 a 50% no estado inativo do hóspede.
O que me ajudou foi instalar o Guest Addition com suporte ao Direct 3D (você precisa fazer isso no modo de segurança) e ativar o Cache de E / S do host do controlador SATA.
Então, minhas configurações atuais são:
System
⠀ Memória base: 4096 Mb (8192 Mb de memória total do host)
⠀ Processador: 6 CPUs (de CPUs do host 6)
⠀ PAE / NX: ativado
⠀ VT-x / AMD-V: ativado
Pag Paginação aninhada: Ativada
Exibir
⠀ Memória de vídeo: 128 Mb
⠀3 Aceleração D: Ativado
⠀ 2 Aceleração D: Ativado
Funciona como um encanto! Versão Virtual Box: 4.3.18_Ubuntu r96516