Com as informações disponíveis, meu melhor palpite é que os e-mails sejam listados em cinza, o que significa que a configuração do seu servidor de e-mail ou seus registros de domínio contêm erros que resultam em uma recusa temporária da entrega. Outra possibilidade seria, claro, que o seu domínio estivesse na lista negra de um serviço de terceiros, que é consultado pelo lado do destinatário. Verifique seu domínio com o link para ver se esse é o caso.
Normalmente, o sistema está configurado para tentar novamente a entrega do e-mail após um determinado período de tempo, o que geralmente resulta em uma entrega bem-sucedida - isso também explica que o e-mail está atrasado.
Se você fornecer o cabeçalho de e-mail de um dos e-mails enviados, poderemos fornecer mais informações.