Tente instalar o VBoxGuestAdditions indo até Dispositivos (enquanto a VM estiver em execução) e selecionando "Instalar adições de convidado ..." e, em seguida, instalando como se fosse de um disco. Esta parece ser a resposta para a maioria dos problemas gráficos no VBox.