Eu resolvi isso.
Eu apaguei manualmente o diretório que contém o python dist que causa o erro.
sudo rm -R /usr/local/lib/python2.7
Então eu reinstalei python, scrapy e django manualmente de uma fonte.
Estou usando o Ubuntu Server 14.04. Eu precisava do meu novo projeto do django para compilar o python com a opção ./configure --enable-unicode=ucs4 . Eu reinstalei o python com o ucs4.
Agora, quando estou tentando executar o scrapy spider, recebo um erro como este:
ImportError: /usr/local/lib/python2.7/site-packages/lxml-3.4.2-py2.7-linux-x86_64.egg/lxml/etree.so: undefined symbol: PyUnicodeUCS2_DecodeLatin1
Eu tentei reinstalar o python novamente, mas recebi um erro:
Compiling /usr/local/lib/python2.7/zipfile.py ...
make: *** [libinstall] Error 1
Depois tentei reinstalar o libxml, mas isso também gera um erro:
/usr/bin/ld: /usr/local/lib/python2.7/config/libpython2.7.a(abstract.o): relocation R_X86_64_32S against '_Py_NotImplementedStruct' can not be used when making a shared object; recompile with -fPIC
/usr/local/lib/python2.7/config/libpython2.7.a: error adding symbols: Bad value
collect2: error: ld returned 1 exit status
A reinstalação do Scrapy não ajuda.
Como posso corrigir isso?
Eu resolvi isso.
Eu apaguei manualmente o diretório que contém o python dist que causa o erro.
sudo rm -R /usr/local/lib/python2.7
Então eu reinstalei python, scrapy e django manualmente de uma fonte.