Primeira pergunta - isso é um atraso ou um erro?
Como em: O e-mail finalmente passa depois de algum tempo ou demora por algum tempo e falha?
Basicamente - obviamente, nem tudo está bem (sua declaração contradiz).
Eu verificaria os protocolos SMTP.
De alguma forma, o Hotmail / Yahoo não gosta do seu e-mail.
Pode haver uma tonelada de motivos para isso, mas precisamos analisar melhor sua configuração.
- Existe um erro de registro SPF; então não é o domínio?
- Há algum problema de roteamento de rede?
- E quanto ao seu nome de host SMTP e o nome reverso no IP que você usa, eles correspondem?
- O seu servidor está em um endereço IP dinâmico?
Todos esses fatores podem contribuir para uma má reputação de envio do servidor, e isso leva a bons servidores que não querem retransmitir mensagens de você.