Quando o postfix rejeita uma mensagem por causa do postgrey, o remetente não faz ideia de quanto tempo deve aguardar antes de tentar uma nova tentativa de entrega. O protocolo SMTP não oferece, quando uma mensagem é temporariamente rejeitada, informar quando o remetente pode tentar novamente.
Assim, o remetente tenta novamente mais tarde, às vezes antes do atraso configurado do postgrey, às vezes (muito) depois. Quando é antes, o postgrey rejeitará a mensagem novamente. Quando é depois, o postgrey aceita e registra o atraso efetivo.
Não há nada que você possa fazer, do seu lado, para reduzir esse atraso.