Se o seu servidor de e-mail se identificar como mail.domain.com , isso deve ser o que seu registro PTR possui. Está perfeitamente bem, para o seu servidor de e-mail se identificar como frog.domain.com ao enviar e receber e-mails. Você tem um registro A para frog.domain.com , e esse é o endereço que passará pela validação do rDNS. Dado seu registro de ponteiro, você deve configurar seu servidor de correio para se identificar como frog.domain.com .
Você pode deixar seu registro MX apontando para mail.domain.com , pois os servidores de e-mail não devem verificar o nome do servidor para o qual estão enviando.
A maioria dos servidores de e-mail legítimos passa a validação do rDNS, como a sua ao usar frog.domain.com .
Considere configurar registros SPF para proteger seus domínios. Os domínios que não enviam e-mails devem ter uma política que impeça seu uso por servidores de e-mail ou como domínios de remetentes. No seu caso, eu permitiria o e-mail de frog.domain.com e domain.com e não permitiria o e-mail de www.domain.com . Se você estiver usando mail.domain.com como conveniência para acessar seu servidor de e-mail para enviar e receber e-mails, considerarei não permitir que ele envie e-mails. (O email será originado de frog.domain.com .
Você pode alterar seu registro PTR para mail.domain.com , que é um nome de servidor mais tradicional. Nesse caso, eu configuro o SPF para impedir o e-mail de frog.domain.com e permito-o de mail.domain.com .
Uma vez que você esteja trabalhando de forma satisfatória, procure adicionar DKIM e Funcionalidade DMARC .