Esses pacotes extras ocuparão algum espaço em seu disco rígido - mas isso é tudo, a menos que você esteja em uma conexão medida em que todos os dados de kB importem.
Comparado com a quantidade de downloads acontecendo todos os dias dos servidores Ubuntu, sua parte não faz nenhuma diferença. Portanto, não há motivos externos para você removê-los.