Outras modificações nas respostas de @ sangsoo-kim e @ wery-nguyen para maior clareza e melhor utilidade:
- Inicie o aplicativo VirtualBox no seu host
- Selecione sua VM guest do Windows na lista de VMs
- Ir para Arquivo > Preferências no menu do aplicativo VirtualBox
- Selecione Exibir na lista de preferências
- Altere Tamanho máximo da tela do convidado puxe para baixo para Nenhuma
Agora inicie a VM e você poderá redimensionar a janela do contêiner de host para qualquer dimensão desejada e a VM se ajustará automaticamente!
Isso requer que a versão correta do VirtualBox Guest Additions esteja instalada e em execução dentro de sua VM. Verifique a barra de status dentro da sua VM do Windows para um pequeno ícone do VirtualBox (provavelmente com uma estrela amarela). Se você tiver esse ícone na barra de status da VM do Windows, isso significa que as adições de convidado estão instaladas. Confirme se o número da versão corresponde ao aplicativo VirtualBox em execução no seu host (passe o mouse sobre esse ícone para ver o número da versão Adições para convidados e faça um "Help > About" no aplicativo Virtual Box para ver esse número de versão).
p.s. Você também pode fazer isso enquanto a VM do Windows está em execução, se isso não funcionar, reinicie a VM depois de fazer a alteração.
Editar 22 de agosto de 2018 - você também pode ter que mexer com os itens Ajustar tamanho do Windows e Redimensionar automaticamente os itens de exibição do convidado o menu do aplicativo do VirtualBox Visualizar para que o redimensionamento funcione corretamente.
O erro foi registrado: /var/log/vboxadd-install.log