Por padrão, top
classificará os processos pelo uso da CPU - assim, parece que o que está consumindo toda a sua memória não está usando muito tempo da CPU.
Para classificar top
pela memória do RESID, use
top -o RES
# or
top -o MEM
# commands may vary slightly depending on distros
Na impressão de ps aux
que você forneceu, podemos ver que há um processo ~ 20 link , cada um consumindo perto de 40MiB = ~ 800MiB de RAM preciosa.
Você pode querer pesquisar nos guias de ajuste do httpd / apache2.