Desativar KSM parece resolver isso (com a desvantagem de desativá-lo) - todos os créditos vai para Serge Hallyn da equipe do ubuntu por sugerir isso.
Parece haver um bug (ou vários) relacionado com o KSM no Ubuntu 14.04, você pode encontrar um par aqui e aqui .
Para desativá-lo, edite /etc/default/qemu-kvm
e altere esta linha:
KSM_ENABLED=1
para
KSM_ENABLED=0
depois reinicie o qemu
sudo restart qemu-kvm
Eu atualizarei isso novamente se isso for resolvido para que seja possível ativar o KSM novamente.