rmdir --ignore-fail-on-non-empty faz exatamente o que diz na lata, ignora falhas quando não vazias; isto é, não faz nada.
Uma solução alternativa para o seu problema seria rm -r ou rm -rf , usando -f para "ignorar arquivos inexistentes, nunca solicitar".