Veja as páginas man de find , em -delete :
When testing a find command line that you later intend to use with -delete, you should explicitly specify -depth in order to avoid later surprises. Because -delete implies -depth, you cannot usefully use -prune and -delete together.
Você pode muito provavelmente usar -exec rm {} + em vez de -delete neste contexto para fazer o que quiser, mas como sempre ao jogar com fogo: faça muito certeza de que funciona antes de entrar difícil.