Se você estiver em uma caixa relativamente recente usando apenas algo como
find /my/full/directory -type f -delete
Você pode ser um pouco mais sutil se quiser excluir apenas alguns arquivos ao lançar uma correspondência de padrões.
Não use find com xargs e rm, pois isso gerará um novo processo para cada grupo de arquivos xargs passados para rm, fazendo com que demore ainda mais para ser concluído.