Em geral, o servidor de recebimento examinará o cliente que se conectou a ele e solicitou a entrega de alguns e-mails. A primeira parte do protocolo SMTP é um comando de saudação (HELO ou EHLO), onde o cliente pode se identificar. A maioria dos servidores de e-mail aceita essa identidade reivindicada e a compara ao registro PTR do endereço IP do cliente. O cliente pode se identificar como quiser, e é por isso que a verificação do PTR é uma boa maneira de ver se esse cliente é confiável.
Portanto, o mais importante para você é ter um PTR no seu servidor principal que está enviando o seu email (e verifique o que o seu servidor se identifica ao enviar!). A entrada de e-mails não importa, porque essa não é a FONTE do seu e-mail, que é a única coisa que os destinatários se importam.
É possível que camadas de tecnologia anti-spam além do protocolo SMTP (incluindo as proprietárias em empresas como o Google) realizem mais verificações envolvidas em seu domínio e em seu DNS. Para isso, deve ser o suficiente para garantir que o (s) endereço (s) IP principal (es) que apontam para o seu servidor tenham um PTR sensível configurado em cada um deles.