O ImageMagick usa o libjpeg-turbo ( link ) e as dimensões máximas são definidas no arquivo jmorecfg.h. Eu não pude encontrar uma boa fonte porque este valor foi escolhido, mas de acordo com o comentário que foi escolhido para evitar um estouro.
#define JPEG_MAX_DIMENSION 65500L /* a tad under 64K to prevent overflows */