Desculpe pela resposta tardia. Xen 4.2.1 fornecido com o Ubuntu 13.04 tem um bug no toolkit xl (você está usando xl?) Que impede a reinicialização do convidado HVM.
Uma solução é usar o toolstack xm (você precisa ativá-lo), ou atualizar o Xen - veja também atualização estável do Xen para 4.2.2
Além disso, este tópico da lista de discussão do Xen lança alguma luz sobre o bug xl, com uma recomendação para usar o xm ao experimentar o passthru VGA.