De minhas experiências, eu geralmente tenho todas as minhas VMs em um disco rígido externo - o arquivo de chave que você realmente precisa é o .vdi
O que você faz é simplesmente mover o arquivo .vdi para o local desejado e no Virtual Box, selecione a VM no menu principal, clique com o botão direito, propriedades e, em seguida, vá para o armazenamento. A partir daí, você pode remover o local anterior da unidade e substituí-lo pelo local atualizado.
Foi assim que eu fiz com o CentOS e o Ubuntu Server. No que diz respeito a outros sistemas operacionais, tenho certeza de que, se suportado pela caixa virtual, você será bom.