Você pode usar o comando mailq para verificar sua fila de mensagens.
Se você estiver usando o comando exim mail server use:
exim -bp
Se postfix:
postqueue -p
Se o sendmail:
sendmail -bp
Se você realmente tem muitos emails na fila, pode esvaziar a fila por comandos: exim:
exim -bp | exiqgrep -i | xargs exim -Mrm
postfix:
postsuper -d deferred
sendmail:
rm -rf /var/spool/mqueue/*
Também não se esqueça de verifique todos os registros de DNS para que sua carta não receba spam.