Os pacotes instalados não consomem nenhuma RAM - apenas um programa em execução o faz. A maioria dos pacotes na lista não instala nada que seja executado como um serviço que consome RAM - por exemplo, diff e bzip2 são comandos de console que não são executados, a menos que você os chame do console. Removê-los economizaria alguns kilobytes no disco e exatamente zero bytes de RAM.
Embora eu definitivamente possa ver pacotes que não são estritamente necessários em um VPS (ttf-dejavu? libsane?), há também python , sudo e openssh listado como "opcional". Eu não recomendaria que você removesse esses arquivos.
Em vez disso, veja a lista de serviços em execução e desative os que você não precisa - por exemplo, desinstale o Apache e o sendmail se não for usá-los.