Primeiro, se você deixar a VM conectada à rede, ela poderá atravessar a rede virtual e infectar outros PCs.
Além disso, sua superfície de ataque é bem mínima. Acho que, salvo a rede virtual, a verdadeira questão é "pode um vírus em uma VM essencialmente 'sair' da VM e infectar meu PC"? E para essa pergunta minha resposta seria talvez ...
Eu uso VMs para executar código arbitrário e proteger meus outros PCs e servidores contra códigos maliciosos. Por enquanto, tudo bem. No entanto, cerca de um ano atrás, eu encontrei algum código (trojan) que era virtualização ciente - este tipo de me assustou um pouco. Não tenho certeza se um vírus pode sair da VM, mas acredito que seja possível. Em teoria, pode estar ciente de que ele está contido em uma VM e se escreve na memória fora da contenção da VM. Existem problemas óbvios com isso, e seria uma técnica muito avançada - mas não impossível.
Se você estiver usando apenas vírus antigos, tudo bem. Eu venho fazendo isso há anos.