A sua ideia foi implementada em milter-greylist , outro milter para apoiar a greylisting. Na sua página de funcionalidades , diz
Starting with version 1.1.3, milter-greylist is able to use libspf_alt to check SPF records. SPF records are DNS objects that tell the whole Internet which server(s) can legally send e-mail from a domain.
Using SPF records, milter-greylist will avoid greylisting any mail that comes from an SPF-compliant server. This feature is optionnal and requires libspf_alt
Starting with 1.1.10, libspf (James Couzens's version) is also supported. libpsf2 is supported starting with version 1.7.2.
O recurso lista de permissões automática para servidor compatível com spf é ativado por padrão. Você pode desativá-lo adicionando nospf
em sua configuração.