A maioria das ferramentas GNU suporta -- para finalizar as opções.
rm -- -p
rm ./-p
Como excluo um arquivo chamado -p no bash? Tentar rm "-p" reclama que -p não é um argumento válido.
A seção NOTE na página man de rm tem algo a dizer exatamente sobre isso. Além do que Ignacio Vazquez-Abrams mencionou em sua resposta, uma outra maneira de remover esses arquivos, como mencionado na man page, é usando uma referência de caminho absoluto, como: rm /home/user/-p .