Eu resolvi o problema usando o Ghostscript em vez do Imagemagick:
gs -dNOPAUSE -dBATCH -sDEVICE=jpeg -dJPEGQ=90 -r117 -dTextAlphaBits=4 -tGraphicsAlphaBits=4 -sOutputFile="progit-%03d.jpg" "progit.pdf"
As imagens resultantes consomem muito menos memória agora e a qualidade da imagem é incrível.