A resposta aqui é fácil, compre mais RAM e instale-a no servidor. Com apenas 4 Gigs de RAM, o SQL provavelmente só pode usar 2 Gigs com os outros 2 Gigs sendo usados pelo Windows. Isso só dá ao SQL cerca de 1 Gig de memória para armazenar dados em buffer. Uma vez que o buffer esteja cheio, qualquer outro dado que o SQL precise virá dos discos. Meu palpite é que você está extraindo dados do disco, deixando-os na memória por alguns segundos e depois liberando-os para liberar espaço para novos dados entrarem na memória.
Comece adicionando mais RAM. Vá para um total de 16 Gigs (mais 12) e veja como isso ajuda no desempenho.
Em seguida, peça para alguém fazer um ajuste de desempenho nos índices e ver se há algum índice que precise ser adicionado ou removido. Você usou o SQL Profiler para identificar as consultas caras e ajustá-las?