Eu tive o mesmo problema hoje ao tentar dividir uma imagem 1700, um arquivo tif de 1G. 16G de memória não foram suficientes, então tentei ter cache em disco, mas isso foi lento e facilmente esgotou mais de 100G no disco rígido sem realizar nada (isso provavelmente foi um bug).
Mas, aparentemente, o Imagemagick pode extrair um tif específico do arquivo original sem carregá-lo completamente, então conseguiu dividir o arquivo maior com um script simples:
END=2000
for ((i=1;i<=END;i++));do
echo $i
convert bigassfile.tif[$i] -scene 1 split/smallerfile_$i.tif
done
Não tem ideia de como criar um arquivo grande sem ficar sem memória, então talvez isso seja metade de uma resposta?