Para aqueles que querem manter o driver SVGA instalado e corrigir esse problema:
Acho que isso é um problema com instalações completas do GUI Windows Server (no nosso caso, 2012) que foram rebaixadas para o Server Core. Em nossa instância, a resolução provavelmente foi alterada no modo GUI.
Para corrigir isso, alterei a resolução de volta para a resolução padrão do Núcleo do Servidor de 1024x768. A maneira mais fácil de fazer isso no Server Core é usando o seguinte comando do PowerShell:
Set-DisplayResolution -Width 1024 -Height 768
O display retornou imediatamente ao normal.