A parte mais importante não é quais pacotes estão instalados, mas quais servidores estão sendo executados, especialmente aqueles que estão ouvindo em uma porta voltada para a Internet. Desativar ou parar servidores que não são usados é um primeiro passo importante. Claro que remover esse serviço serve como "seguro" para que ele não seja iniciado acidentalmente de alguma forma, por isso pode ser uma boa ideia.
Para remoção, os alvos mais óbvios são quaisquer programas que vêm com executáveis de raiz suídica e não são usados. Um bug em qualquer um desses programas terá o potencial de permitir que qualquer usuário local aleatório se torne root, essa possibilidade desaparece se você remover o programa.
Você pode usar 'find' para encontrar tais programas, em um terminal digite: find / -perm -4000 -print isto lhe dará uma lista de todos os programas suid no sistema, vai levar um pouco de tempo com um disco grande.
A mera existência de um programa em disco que não é suid-root, e que não está sendo executado, não deve ter grande impacto na segurança. Talvez você ainda queira remover alguns por outros motivos, como liberar espaço em disco e reduzir a desordem.