O Virtualbox usa seus próprios adaptadores de rede, por exemplo. Então essa é uma instalação que você não pode evitar.
O mesmo vale para o VMWare.
Mas, desde que você tenha o Virtualbox em todas as máquinas que gostaria de usar, não haverá problemas na execução da sua VM. Sobre o portátil, você está certo. Drivers seriam instalados o tempo todo. Talvez você possa usar uma máquina "timeback" com o Windows portátil, para que tudo seja revertido ao estado original. (Exceto os arquivos que você deseja manter).
Hmm. Parece que há um VBox portátil já disponível: link
Daquela pergunta: link
(No entanto, ainda precisa desses drivers e direitos de administrador.)