Você poderia fazer isso usando o bash / ksh:
for i in *.svg; do test -e "${i%.*}.png" && rm "$i"; done
Ou formatado de forma diferente:
for i in *.svg; do
test -e "${i%.*}.png" && rm "$i"
done
Substitua o rm
por echo
para teste antes de fazer a exclusão real.
EDITAR:
sputnick acabou de editar uma solução muito semelhante a esta na sua resposta, você deve levar a dele como ele foi o primeiro a responder.