O tamanho da janela é controlado pela resolução da tela da VM. Se você redimensionar manualmente a janela no host, você só ampliará a imagem retornada pela VM, então, é claro, isso dará uma qualidade de imagem muito ruim.
Altere a resolução da tela na configuração da VM, por meio da GUI, ou diretamente pela linha de comando com xrandr
.
Primeiro execute xrandr
sem argumentos, ele exibirá todas as saídas (neste caso, são apenas as saídas virtuais emuladas pelo VirtualBox).
Screen 0: minimum 320 x 200, current 1024 x 768, maximum 8192 x 8192
VGA1 connected 1024x768+0+0 (normal left inverted right x axis y axis) 0mm x 0mm
...
Agora execute xrandr --output <output> --size <resolution>
e substitua "output" e "size" pela saída conectada obtida do comando anterior (neste caso VGA1
) e pela resolução que você deseja definir. Recomendo configurá-la apenas como bit menor do que o seu monitor real para deixar espaço para a barra de tarefas e barra de título da janela do Virtualbox.
Exemplo: xrandr --output VGA1 --size 1920x1040
.
Depois de definir a resolução na VM, o VirtualBox redimensionará automaticamente sua janela no host.
Aliás, aqui está a documentação oficial do sobre sobre como alterar a resolução da tela.