Eu não sei de uma maneira de removê-los sem recompilar, mas se você quiser que eles saiam, editando as especificações de compilação para sua distribuição, você manterá as mesmas configurações de compilação (presumivelmente) conhecidas (além de remover a. / configure flag normalmente) sem ter que passar por tentativa e erro novamente.
Construir a partir dos SRPMs é geralmente bastante simples ( visão geral ), a reconstrução de pacotes baseados no Debian é uma pouco mais complicado mas ainda razoável.