Sim e Não.
O Windows Server só é diferente do Windows Client pelos serviços e recursos que ele está configurado para executar (junto com alterações de licença e alguns outros ajustes).
Dito isto, você pode executar com sucesso o QUALQUER navegador no servidor e configurá-lo para o padrão. Cada navegador em que eu posso pensar tem algum tipo de problema de segurança em algum momento e todos eles provavelmente têm alguns bugs não resolvidos que ninguém conhece.
O fato é que, no entanto, um servidor deve ser usado apenas como um servidor, você realmente não deve estar navegando em arquivos ou usando PDFs e eu recomendo que você não continue.
Se você precisar usar esta máquina, considere o uso do Hyper-V ou de outro pacote de virtualização (se você já aproveitar a virtualização) e obtenha um novo sistema operacional cliente e use-o para navegar .... para navegar.
Então, sim, deve funcionar, mas não - eu recomendo strongmente contra isso ... O servidor deve ser configurado e usado para servir, não como um desktop.
Desculpe pela palestra ... Só vi isso muitas vezes quando um servidor está atolado com tantas barras de ferramentas e lixo quando as pessoas os usam mal! Se você realmente precisar usá-lo como cliente, fique à vontade e funcionará!