Sim. Vai ficar tudo bem. Independentemente de onde instalado, o VirtualBox sempre apresentará os mesmos dispositivos virtuais.
Eu criei uma VM usando o VirtualBox na configuração de hardware 'A'. Posso esperar o funcionamento correto desta VM se eu copiar a imagem da unidade de disco rígido da VM e usá-la em uma configuração de hardware diferente 'B'?
A única vez que você pode ter problemas é se você "suspende" a execução em vez de parar ou desligar a máquina virtual. Caso contrário, você deve estar bem, essa é uma das vantagens das máquinas virtuais.
A imagem de convidado HD (vdi) certamente funcionará diretamente. O arquivo XML de configuração da VM não precisa ser transferido de forma limpa entre hosts que executam sistemas operacionais diferentes, mas é bem trivial criar uma nova máquina virtual usando o antigo vdi nesse caso.