Você pode desinstalar o que quiser. No trabalho, até mesmo excluímos o gdm e qualquer coisa relacionada à GUI, mas isso acontece porque temos um fetiche na linha de comando.
Abra o Ubuntu Software Center e dê uma olhada na lista que mostra installed
.
Qualquer coisa aqui, exceto por uncategorized
e themes and tweaks
, uma vez que elas podem conter algum software que você deseja manter, devem ser seguras para remoção e devem ser pacotes independentes. Isso inclui o firefox, thunderbird, totem, libreoffice. A lista continua e assim você não terá uma resposta perfeita para sua pergunta.