O Virtual Box usa a porta 80 para criar conexão entre a máquina física e a máquina virtual. Você pode alterar essas configurações indo para as preferências da caixa virtual. Desabilite a porta até a hora que você usar o Xampp, reative-o para trabalhar na caixa virtual.