Encontrei uma solução potencial.
Instale o qemu-system-arm e no virt-manager, escolha "qemu" para o Virt Type (em vez de "kvm" que na minha configuração é a seleção padrão) e então em "Architecture" você encontrará a opção "armv7l" ".
Eu não testei ainda, mas pelo menos a opção está lá agora, deve funcionar bem.
Existe uma maneira melhor de conseguir isso?