Por padrão, top classificará os processos pelo uso da CPU - assim, parece que o que está consumindo toda a sua memória não está usando muito tempo da CPU.
Para classificar top pela memória do RESID, use
top -o RES
# or
top -o MEM
# commands may vary slightly depending on distros
Na impressão de ps aux que você forneceu, podemos ver que há um processo ~ 20 link , cada um consumindo perto de 40MiB = ~ 800MiB de RAM preciosa.
Você pode querer pesquisar nos guias de ajuste do httpd / apache2.