Martin v. Löwis respondeu isso aqui :
"Você precisa remover todos os arquivos manualmente e também desfazer qualquer outra coisa que a instalação fez manualmente.
Se você não souber a lista de todos os arquivos, poderá reinstalá-la com a opção --record e dar uma olhada na lista que esta produz. "
exemplos:
python setup.py install --record files.txt para gerar a lista
cat files.txt | xargs rm -rf para remover os arquivos gravados pela etapa anterior.