Você deve sempre limitar a quantidade de RAM que o SQL Server pode usar, caso contrário, o SQL Server não deixará nenhuma RAM para o sistema operacional.
Você geralmente vai querer deixar 1-2 GB de RAM para o sistema operacional e o outro software na máquina.