Depende da arquitetura. Alguns, como Nelahem ou Opteron, possuem arquiteturas NUMA onde a memória está ligada a uma CPU física. Nesse caso, com apenas um soquete preenchido, você só pode preencher os slots de memória conectados a essa CPU.
Caso contrário, você pode adicionar tanta memória quanto a máquina puder suportar fisicamente.
O limite de 32 GB no Windows Server SE é arbitrário, mas ele só pode usar 32 GB para uma única imagem do sistema. Você pode executar várias instâncias em um hipervisor e, potencialmente, ter mais de uma instância do SE com 32 GB se o hipervisor e o hardware permitirem isso.