Veja o confuso histórico de mail, nail, mailx .
Resumidamente, mail é o programa mais antigo, mailx (anteriormente nail em algumas implementações) é uma versão mais recente, com uma interface estendida na maior parte mas não totalmente compatível.
mailx ainda é bastante antigo, criado por volta de 1986 e padronizado como parte do POSIX em 1992. Existem várias implementações (mesmo em Linuxes modernos), e algumas fornecem
extensões para o padrão.
A opção -r é uma dessas extensões. Dependendo da distribuição do Linux e do pacote de mensagens que você instalou, você pode ou não ter essa opção. Consulte, por exemplo, aqui .
Se você quiser escrever scripts portáteis, é melhor não contar com isso.