Você executou o topo em seu servidor para verificar o que está usando o espaço de troca? Uma alternativa mais aprofundada é htop .
Eu tenho um problema com meu servidor debian. Tem 4GB de RAM e 1GB de swap. O swap está em torno de 95% cheio e o ram ainda tem 80% restantes. Estou rodando lighttpd (max 40 usuários ao mesmo tempo) e alguns servidores de jogos (VALVe games) nele. Alguma idéia?
O sistema parece lento?
Talvez o Linux veja que alguns de seus servidores não estejam em uso e os troque para ter mais espaço para os servidores em execução.
Se você quiser mais dados no ram, tente alterar o valor de Swapiness: link