É para isso que serve a opção -prune
:
find . -type d -name "avoid_this_directory_please" -prune -o -type f -print
Isso basicamente diz "se houver um diretório chamado avoid_this_directory_please
, não insira, caso contrário, se for um arquivo, imprima seu nome".