O único efeito que muitos repositórios têm é que atualizar seus metadados e procurar dentro do índice de pacotes será um pouco mais lento. O sistema como um todo não deve ser afetado.
Remover o repositório depois de instalar o software significa que o software não será atualizado. Isso pode facilmente se tornar um problema, pois você perderá as atualizações de segurança dessa maneira.