Primeiro, dê uma olhada em Linux Ate my RAM para entender como o gerenciamento de memória é feito pelo kernel do Linux.
Em segundo lugar, remova todos os pacotes de servidor que você não precisa, por exemplo,. apache2
, mysql
, sendmail
etc ...
Cole sua saída pstree
para que possamos ajudá-lo a descobrir o que você não precisa.