Nem todos os dados em cache podem ser descartados imediatamente. Por exemplo, páginas sujas em cache precisam ser gravadas no disco antes de poderem ser removidas da RAM. Você não tem swap, então, até que as gravações sejam concluídas, simplesmente não há espaço disponível suficiente para o QEMU.
Você realmente deve adicionar uma quantidade razoável de swap. Você não pode esperar que o gerenciador de memória faça um bom trabalho com uma mão amarrada atrás das costas.