Você pode usar aspas duplas:
rename -n "s/'//g"
remova -n após o teste para renomear os arquivos para real
Use -exec embora ...
find -name "*'*" -type f -exec rename -n "s/'//g" '{}' \;
Se a lista não for muito longa, torne-a mais rápida ...
find -name "*'*" -type f -exec rename -n "s/'//g" '{}' +