Se você está se referindo ao cenário típico de instalação usando um tarball de origem, i.e.
tar xf namepackage.tar.bz2
cd namepackage
./configure && make
sudo make install
depois, sim, você pode excluir o diretório namepackage
depois, o software instalado não precisa dele.
Mantenha o tarball original, se puder, pode ser útil no futuro (e quando você perceber que precisa, pode não estar mais disponível on-line).