Eu finalmente descobri o problema. O problema foi a conversão para o formato .pbm feito pelo Gimp (v2.6.11). O arquivo convertido não era binário (apenas pixels brancos ou pretos), enquanto a Wikipedia diz " O PBM é para bitmaps (preto e branco, não cinzas) ". Então eu usei ImageMagick para a conversão e agora o unpaper funciona perfeitamente e eu tenho excelentes resultados com o tesseract 3.