Martin v. Löwis respondeu isso aqui :
"Você precisa remover todos os arquivos manualmente e também desfazer qualquer outra coisa que a instalação fez manualmente.
Se você não souber a lista de todos os arquivos, poderá reinstalá-la com a opção --record
e dar uma olhada na lista que esta produz. "
exemplos:
python setup.py install --record files.txt
para gerar a lista
cat files.txt | xargs rm -rf
para remover os arquivos gravados pela etapa anterior.