Um Python- [any-version] manualmente instalado não tem desinstalação. O único método é excluir os arquivos.
Sugira: cd Python-3.5.0/ && sudo make install 2>&1 | tee install.log.txt
Analise o install.log.txt e decida se é possível excluir os arquivos instalados, sem perturbar o padrão python3.5 (/usr/lib/python3.5, etc.) e python3: / usr / lib / python3, etc.