Você precisa instalar as adições dos convidados.
Inicie uma máquina virtual, vá ao menu "Dispositivos" e selecione "Instalar adições de convidados".
O driver de vídeo do Windows será instalado.
Você poderá definir resoluções personalizadas redimensionando a janela da VM com o mouse.