Os arquivos que começam com um ponto são ocultados das listagens de arquivos por padrão. A maneira mais fácil de combinar esse tipo de arquivo seria colocar um ponto no começo da expressão. No entanto, isso corresponderá apenas aos arquivos iniciados por . .
ls -al .*.swo
A alternativa é definir o dotglob antes de executar o comando, então os arquivos que começam com . serão incluídos.
shopt -s dotglob
Adicione ao seu ~/.bashrc para defini-lo por padrão.
Observe que a configuração dotglob pode levar a resultados não intencionais ao usar o shell bash, já que . (diretório atual) e .. (diretório pai) aparecerão quando usar * . Com dotglob set, nunca tente usar rm -R * .