Eu não tentei isso sozinho, mas eu li muito sobre pessoas que têm, como seria uma boa maneira de "terceirizar" o papel HTPC para o servidor.
É possível (mas não suportado) com certas configurações. Parece que os cartões Radeon e Windows são os mais tolerantes. Não deve haver nenhum problema com passagem de um teclado USB e mouse, no entanto, você provavelmente terá que repassar todo o controlador USB. As configurações são altamente dependentes de driver e hardware (precisam de suporte a VT-d).
Aqui está um bom tópico sobre o assunto (incluindo algumas histórias de sucesso): link
Tenho certeza de que há mais tópicos sobre os assuntos desde a última vez que verifiquei.
Para passagem USB (ou passagem em geral), aqui está um guia decente: link
Como sidenote, eis algumas histórias de sucesso do Xen: link