Remova itens indesejados usando o Gerenciador de Pacotes Synaptic. Ele irá avisá-lo que outros itens serão removidos junto com ele. Você também pode usar o Ubuntu Software Center para remover alguns itens.
Se você não usa webmail, remova o Thunderbird. Se você não usar a área de trabalho remota, remova Remmina. Se você não jogar os jogos padrão, remova-os também. Se você não usa LibreOffice, elimine-os também. Se você usar apenas o processador de texto, substitua-o por Abiword. Se você usar apenas o aplicativo de planilha, instale o Gnumeric e remova o Libreoffice.
Selecione itens necessários apenas para atualizações em 'Fontes de software'.