É seguro remover o tar baixado assim que o programa é instalado (uma vez executado, ./configure, make, make install)?
Além disso, às vezes os pacotes instalam coisas em diretórios chamados pela versão. É aconselhável manter as fontes disponíveis para descobrir o que foi instalado para limpeza posterior.
Mas provavelmente o melhor curso de ação é criar um pacote adequado para o seu sistema e instalá-lo. O sistema de gerenciamento de pacotes continuará cuidando das dependências e lidando com atualizações. Sim, criar o pacote significa rastrear as dependências e outros dados, mas isso é algo que precisa ser feito de qualquer maneira, mais cedo ou mais tarde.