A mensagem de erro recebida provavelmente indica que nenhum arquivo correspondeu ao padrão de nome .swp$
. Uma maneira geralmente mais segura de fazer o que você escreveu (porque ele manipula qualquer nome de arquivo):
find . -name '*.swp' -print0 | xargs -0 rm -i --