Passe pelos menus para as preferências de vídeo do servidor Ubuntu e aumente a resolução da tela para a mesma que a sua janela do VMware. Se você estiver usando a tela inteira do VMware, esta é a mesma resolução que você tem em seu monitor.
Se as resoluções de vídeo do seu servidor Ubuntu não forem tão altas nas preferências, você provavelmente não deu à ramificação de vídeo suficiente na máquina virtual. Você pode aumentar isso nas preferências do VMware para essa instância de máquina virtual, mas não enquanto estiver em execução, portanto, será necessário desativar essa VM para alterar as configurações de RAM do vídeo.