O KVM normalmente já é suportado via libvirt e os kernels nas distribuições modernas sem muita complicação. Você só precisa de uma CPU que tenha extensões VT-d (ou AMD-V para processadores AMD), e sua BIOS precisa ativá-la. Depois disso, tudo se resume a instalar os pacotes necessários para funcionar.
XEN, sim, suporta isso. Xen é literalmente sua própria plataforma. Há muito tempo atrás, já se sabia que o Xen tinha a maior parte da documentação do IOMMU e da passagem VGA. Agora, você encontrará multidões de usuários usando o KVM de maneira semelhante, com altas taxas de sucesso (eu sou um deles, usando F23, GTX970 para uma VM do Windows para jogos).
Para responder à sua pergunta, a principal diferença é que o KVM tem tido um lote de trabalho colocado pela Red Hat e pela comunidade de código aberto, já que a Red Hat abandonou o Xen em 2009 em favor de KVM. Isso não deve influenciar suas opções. Você encontrará vários benchmarks que mostram o KVM superando o Xen em várias ocasiões, com o KVM sendo apenas 5% mais lento que o bare metal. Agora, o Xen vem com um conjunto de recursos maior do que o KVM, mas muito disso é para migrações e outras coisas que você consideraria "enterprise".
Pessoalmente, acredito que você deve experimentar os dois e ver o que funciona melhor para você. Existem muitos guias para escolher e trabalhar, com base na sua distribuição de escolha.