Primeiro, verifique seus registros no seu servidor de e-mail. Se os cabeçalhos estão sendo forjados, você não está realmente tendo seu servidor de e-mail como intermediário. Seus logs de e-mail no servidor devem informar de onde o e-mail está chegando e saindo. Esteja ciente de que, se seu sistema for invadido, no entanto, os registros poderão ser falsificados ou alterados.
Em segundo lugar, encontre sites que testem se o seu sistema é um revezamento aberto.
Em terceiro lugar, verifique e confirme se o seu sistema está configurado para retransmitir e-mails somente para seus IPs autorizados.
Em quarto lugar, execute os verificadores de rootkits para verificar anomalias no seu sistema. Programas como rkhunter e chkrootkit.
Quinto, procure por tutoriais sobre como proteger seu servidor de e-mail que é específico para o seu software de servidor de e-mail e verifique novamente a configuração.
Em sexto lugar, olhe para seus roteadores para obter informações sobre conexões estranhas de e para sua rede, qualquer coisa suspeita. Se você puder dividi-lo por protocolo, você terá uma ideia do que está acontecendo em sua rede, independentemente de um sistema potencialmente comprometido.
Se o seu sistema estiver comprometido, você deve considerar seriamente a reinstalação do sistema operacional, como se ele tivesse sido invadido. NÃO HÁ NENHUMA MANEIRA de ter certeza de que os binários não foram substituídos e, por sua vez, estão escondendo outros malwares. Mesmo seus executáveis usados para detectar atividades poderiam ter sido alterados (PS ocultando processos específicos, por exemplo).
Além disso, se o seu sistema for comprometido como um retransmissor aberto, há uma chance de que você já esteja sendo bloqueado por outros servidores e listas de email. Você pode procurar em algumas das listas abertas para ver se o seu domínio está listado.