O Drupal não precisa de uma carga na memória, e você está certo de que isso não parece um problema ligado à memória. Seria muito interessante ver (a) alguns números de carga de CPU enquanto você está recebendo um carregamento de página lento e (b) um pouco mais sobre sua pilha de software.
Eu suponho que você esteja usando o Apache e o MySQL; como eles foram instalados? Você fez algum ajuste nas configurações padrão? Veja a configuração do Apache primeiro; a configuração MPM é um lugar onde alguns números "off" podem realmente atrasá-lo. Seria bom ver como o bloco <IfModule mpm_prefork_module>
está configurado, por exemplo.
Uma vez que você olhou a configuração do Apache, a configuração do MySQL. (Nick O'Neil sabiamente sugeriu investigar a latência da rede se o banco de dados não estiver no mesmo host que o seu Drupal.) Encontrei esta postagem no blog útil no ajuste de banco de dados para um site recentemente.