Sim, você pode criar uma VM com seu disco virtual (vdi) em um disco externo ligado nos sistemas operacionais e criar uma VM idêntica no outro sistema operacional configurado para usar o mesmo arquivo vdi.
Tenha em atenção que o desempenho provavelmente não será estelar e que esta abordagem proíbe a utilização de instantâneos de virtualbox.
Você também deve tentar manter a mesma versão do VirtualBox em ambos os lados, ou seja, se você atualizá-lo de um lado, atualize-o para a mesma versão no outro também antes de iniciar a VM.