Você pode configurar o uso máximo de uma instância do SQL no Management Studio clicando com o botão direito do mouse na instância relevante no Pesquisador de Objetos, escolhendo propriedades, Memória e escolhendo o máximo, conforme detalhado aqui:
No entanto, geralmente não é necessário fazer isso, a menos que seus outros aplicativos ou instâncias estejam realmente com problemas para obter memória. Simplesmente ver que o servidor parece não ter RAM livre não é um problema em si, mas um comportamento normal.