Isso mostrará o processo top 10 que usa mais memória:
ps aux --sort=-%mem | awk 'NR<=10{print $0}'
usando top: quando você abriu o top pressione m
será um processo curto baseado no uso da memória.
Mas isso não vai resolver o seu problema, no Linux tudo é arquivo ou processo. então os arquivos que você abriu também vão comer a memória. então isso não vai ajudar.
lsof
fornecerá todos os arquivos abertos com o tamanho do arquivo ou o deslocamento do arquivo em bytes.