Normalmente, quando você virtualiza um sistema operacional, o sistema resultante possui drivers virtuais que substituem os drivers normais. Por exemplo, se o seu sistema físico tiver um chipset Intel SATA, a VM terminará com um "chipset virtual" LSI Logic.
Esse driver não é compatível com não-VMs, por motivos óbvios. Então, se o seu objetivo é usar uma imagem de VM no hardware físico, você provavelmente está fazendo da maneira errada. A maioria dos sistemas operacionais tem uma maneira de preparar um sistema para implantação removendo todas as informações específicas do dispositivo. O Windows possui sysprep , o Ubuntu possui o MAAS. Apenas descartar a imagem da VM no hardware sem esses preparativos será uma dor de cabeça.
Agora, se você quer dizer mover a VM para diferentes hipervisores, então sim, está tudo bem, e normalmente você pode se safar disso já que cada hipervisor (aplicativo como VMWare, VirtualBox, etc) tem seu próprio conjunto de "auxiliares" ferramentas (VMWare Tools, VirtualBox Guest Additions, etc. Antes de mover a VM, desinstale as ferramentas de ajuda.
Dependendo das particularidades de como sua VM está configurada, você pode ter que usar drivers diferentes. Isso realmente depende da sua configuração. A melhor maneira de descobrir é clonar sua VM e apenas experimentá-la!
Em relação à sua segunda pergunta, sim, o VirtualBox pode ler imagens OVF.