Infelizmente, não tenho o OS X disponível no momento, mas pelo menos no Linux isso funciona:
find . -name \*.xxx -o -path ./path/to/exclude -prune ...
Para remover mais de um diretório, repita todo o padrão -o -path ... -prune
:
find . -name \*.xxx -o -path ./path/to/exclude1 -prune -o -path ./path/to/exclude2 -prune ...