O seguinte script pode fazer o que você quer (eu tenho que definir para ecoar o que faria, em vez de realmente fazê-lo, assim você pode ver)
#!/bin/bash
# This variable will always be in lower case. That means that if you do
# l=Hello the result will be $l==hello.
typeset -l l
for f in *
do
l=$f # Forces to lowercase due to typeset
if [ "$l" != "$f" -a -e "$l" ]
then
echo rm "$f"
fi
done
Então, por exemplo:
$ ls
FIle.JpG File.jpg file.jpg
$ rem_case_dup.sh
rm FIle.JpG
rm File.jpg