Você pode usar aspas duplas:
rename -n "s/'//g"
remova -n
após o teste para renomear os arquivos para real
Use -exec
embora ...
find -name "*'*" -type f -exec rename -n "s/'//g" '{}' \;
Se a lista não for muito longa, torne-a mais rápida ...
find -name "*'*" -type f -exec rename -n "s/'//g" '{}' +