O SQL Server não libera a memória do buffer, a menos que o O.S. ativamente recupera; então esse é o comportamento esperado.
Se houver falta de memória (por exemplo, algum outro aplicativo no sistema precisar de algum que não esteja disponível), o SQL Server liberará memória não utilizada.