É possível com o VirtualBox. Ao criar uma máquina virtual, você pode escolher onde os arquivos serão salvos, para salvá-los em mídia removível. E na outra máquina, você pode dizer para executar a máquina virtual armazenada na mídia removível.
Na verdade, pode ser preferível criar máquinas virtuais separadas em ambos os sistemas e armazenar apenas o arquivo de disco virtual em mídia removível. Pense em ter dois computadores em dois lugares e apenas carregar o disco rígido.