Todas as diferentes plataformas de servidor SQL que eu conheço permitem configurá-las, limitar o uso de memória, etc. Então a resposta é usar uma que você realmente saiba ou esteja preparada para aprender e passar algum tempo com a fim de configurá-lo corretamente. Espero que isso não pareça rude, mas a resposta é entender as ferramentas, não correr por aí esperando encontrar uma que faça exatamente o que você quer sem configuração, porque mais cedo ou mais tarde isso não acontecerá e você terá que mergulhar.
Eu também tenho que perguntar se o uso da memória está causando um problema real, ou se você está apenas olhando para o uso de memória alta e ficando preocupado - novamente qualquer plataforma de servidor SQL que eu conheço vai pegar toda a memória que eles estão autorizados a , a fim de executar o melhor possível, mas irá liberá-lo se o sistema operacional requer a memória para outra coisa.