O SQL Server provavelmente é seu culpado. Essa fera tentará usar o máximo de memória possível para otimizar a si mesma. Nos fóruns do MSDN há uma conversa sobre um problema muito parecido com o seu. No próprio MSDN, há alguns artigos que ajudarão você a gerenciar a memória usada pelo SQL Server.
Opções de memória do servidor Monitorando o uso da memória
Boa sorte com seus problemas e espero que isso ajude alguns.