Existem muitos utilitários que podem excluir um arquivo, perl ou outros intérpretes de idiomas são candidatos óbvios. Se você tem o gcc, você pode fazer outro você mesmo:
echo "main(int argc, char **argv) {return unlink(argv[1]);}" > myrm.c && gcc myrm.c -o myrm && ./myrm myrm.c