Primeiro, dê uma olhada em Linux Ate my RAM para entender como o gerenciamento de memória é feito pelo kernel do Linux.
Em segundo lugar, remova todos os pacotes de servidor que você não precisa, por exemplo,. apache2 , mysql , sendmail etc ...
Cole sua saída pstree para que possamos ajudá-lo a descobrir o que você não precisa.