Desde que a última versão do LAME foi lançada em 2011, acho que você está enfrentando um bug que ocorre apenas com material longo - talvez algum problema de alocação de memória.
A menos que algo no próprio arquivo seja corrompido, eu baixaria o ffmpeg e usaria isso para fazer o trabalho:
ffmpeg -i input.mp3 output.wav