A questão de interesse do Stackoverflow tem alguns bons truques, e Unix: rápido 'remove directory' para limpeza de compilações diárias
E o que é um "diretório grande" aqui?
Um diretório simples com muitos arquivos (talvez pequenos)?
ou, uma grande árvore de diretórios (que pode ser larga ou profunda ou ambas)?
Com base no que você está excluindo, convém pesquisar fastrm
.