python-nltk no Ubuntu 12.04 LTS: nltk.download ('brown') resulta no erro HTML 401

Question

Instalei o python-nltk no Ubuntu Server 12.04 usando o apt-get.

Mas quando tento fazer o download de um corpus, recebo o seguinte erro:

$ python
Python 2.7.3 (default, Feb 27 2014, 19:58:35)
[GCC 4.6.3] on linux2
Type "help", "copyright", "credits" or "license" for more information.
>>> import nltk
>>> nltk.download('brown')
[nltk_data] Error loading brown: HTTP Error 401: Authorization
[nltk_data]     Required
False

Estou perdendo alguma configuração ou pacote adicional?

    

Answer 1

O DEFAULT_URL usado em downloader.py da versão empacotada do Ubuntu ainda usa:

DEFAULT_URL = 'http://nltk.googlecode.com/svn/trunk/nltk_data/index.xml'

Mas o servidor de dados atual é:

DEFAULT_URL = "http://nltk.github.com/nltk_data/"

Você pode, claro, instalar a partir do código-fonte ou ... modificar sua versão já instalada para apontar para o novo servidor assim:

 sudo perl -pi -e 's#DEFAULT_URL = .*#DEFAULT_URL = "http://nltk.github.com/nltk_data/"#' /usr/lib/python2.7/dist-packages/nltk/downloader.py

Você pode então instalar o corpus "marrom":

$ python
Python 2.7.6 (default, Mar 22 2014, 22:59:56) 
[GCC 4.8.2] on linux2
Type "help", "copyright", "credits" or "license" for more information.
>>> import nltk
>>> nltk.download('brown')
[nltk_data] Downloading package 'brown' to /home/sylvain/nltk_data...
[nltk_data]   Unzipping corpora/brown.zip.
True
>>> from nltk.corpus import brown
>>> brown.words()
['The', 'Fulton', 'County', 'Grand', 'Jury', 'said', ...]
>>> 

    

Answer 2

É possível corrigir isso sem alterar o código-fonte. Crie um downloader personalizado em python:

>>> dl = nltk.downloader.Downloader("http://nltk.github.com/nltk_data/")

você abre uma caixa de diálogo da GUI:

>>> dl.download()

Verifique se você tem acesso de gravação ao diretório de download e faça o download do que você precisa.

    

Answer 3

pip install nltk --upgrade

Este atualiza o nltk e o nltk.download() funciona novamente.