Você pode dizer a find e xargs para usar os terminadores nulos
find . -name "*.txt" -print0 | xargs -0 rm
ou (mais simples) use a ação -delete integrada de find
find . -name "*.txt" -delete
ou (obrigado @kos)
find . -name "*.txt" -exec rm {} +
qualquer um deles deve respeitar o ARG_MAX limite do sistema sem a necessidade de xargs .