Não é uma boa ideia instalar drivers de vídeo em um sistema convidado.
Os sistemas convidados não têm acesso direto ao adaptador gráfico. É por isso que eles usam drivers VBox virtuais.
Basta remover o driver da Nvidia e nunca instalá-lo nos sistemas convidados.
Se você não fez isso, instale Adições de Convidados no menu Machine
. Isso instalará os drivers virtuais.