Descobri isso no final. O truque é ignorar todo o absurdo da rede KVM. Crie uma ponte com o brctl e diga ao convidado do KVM para usar isso como um dispositivo de ponte.
<interface type='bridge'>
<mac address='00:a0:01:00:00:03'/>
<source bridge='virbr0'/>
<model type='e1000'/>
</interface>
E funciona ..