Você pode fazer isso usando o comando convert
do ImageMagick e do Awk:
convert *.png *.jp* -format '%w %h %f\n' info: | awk '$1==$2 { $1=$2=""; print substr($0, 3) }'
O comando acima mostrará a lista de imagens que têm exatamente o mesmo número de pixels na horizontal e na vertical. Se, em vez disso, o que você deseja encontrar são imagens que apenas aproximam visualmente um quadrado, você pode fazer isso:
# Find all images in which one side is no more than 5% larger than the other.
convert *.png *.jp* -format '%w %h %f\n' info: | awk '($1>$2?$1:$2)/($1>$2?$2:$1)<=1.05 { $1=$2=""; print substr($0, 3) }'
Note que nenhum comando funcionará corretamente se os nomes de arquivo das suas imagens contiverem caracteres de nova linha.