Sim, você pode executar a mesma máquina virtual nos dois sistemas operacionais sem nenhuma alteração.
Mas você deve se certificar de que a versão do VirtualBox que você usa nas diferentes plataformas não seja muito diferente. Isso não deve fazer uma grande diferença, mas pode acontecer.
Outra característica problemática (que você aparenta não usar) pode ser a aceleração 3D, pois pode funcionar um pouco diferente de diferentes plataformas.