Como @Joe mencionou corretamente no comentário, é melhor reescrever um script tão perigoso. No entanto, se você quiser prosseguir com seu script atual, um método rudimentar é agrupar todas as suas operações rm em if conditions.
Então, por exemplo:
if pwd | grep <some-pattern>;
then rm -r */;
fi;
Você pode modificar a parte grep de acordo com suas necessidades. Meu ponto é que basta fazer uma simples verificação grep antes de emitir o comando rm .