O que você queria fazer é
rm .*swp
O *
não corresponde aos arquivos que começam com .
, a menos que você liga o dotglob (assumindo que você está usando o bash):
$ ls -la
-rw-r--r-- 1 terdon terdon 0 Jan 17 05:50 .foo.swp
$ ls *swp
ls: cannot access *swp: No such file or directory
$ shopt -s dotglob
$ ls *swp
.foo.swp