Tente adicionar a seguinte opção para aumentar o cache
convert -limit memory 1GiB -limit disk 1gb *.jpg new.pdf
Se não funcionar defina os limites no arquivo de configuração da imagem da imagem /etc/ImageMagick-6/policy.xml
<policy domain="resource" name="memory" value="256MiB"/>
<policy domain="resource" name="disk" value="1GiB"/>
para
<policy domain="resource" name="memory" value="3GB"/>
<policy domain="resource" name="disk" value="2GB"/>
e tente novamente