Você já tentou certificar-se de usar a aceleração adequada para o qemu?
Tais como:
qemu-system-x86_64 -machine accel=kvm [...]
Essa opção pode fazer seu computador usar a virtualização de hardware
(uso de CPU cai para insignificante, então)