A diferença entre o Xen e o Virtualbox é seu uso ou aplicativo. O Virtualbox deve ser usado como uma camada de virtualização de desktop. Portanto, o Virtualbox espera que você tenha um sistema operacional (Windows, Mac, Linux) já instalado. Em outras palavras, o Virtualbox pode adicionar virtualização a um sistema operacional host de desktop.
Xen é exatamente o oposto. Ele pode ser considerado como o sistema operacional host, mesmo que você não o use como um ambiente de área de trabalho. Em termos de desempenho, o Xen provavelmente superará o VirtualBox, já que é um hipervisor "bare-metal", já que o sistema operacional do host é para o Xen é mais ajustado para tarefas de virtualização do que para tarefas de desktop.