Você deve emitir um mailq e ver quantos e-mails estão na fila. Eu estou supondo que pode haver muito, especialmente se este é um servidor web que executa um aplicativo PHP que envia e-mails (e é abusado por spammers).
Primeiro tente e inverta a configuração padrão de gerenciamento de carga do sendmail :
define(confREFUSE_LA, 8)dnl
define(confQUEUE_LA, 12)dnl
Coloque-os no seu sendmail.mc e gere sendmail.cf e reinicie o sendmail de acordo com as instruções do seu sistema operacional.
Ao inspecionar a saída de mailq , localize os arquivos da fila e inspecione o conteúdo dos e-mails na fila. Isso lhe dará uma idéia de quem está enviando esses e-mails e por quê. Isto é, se muitos emails forem a causa dos seus problemas.
Outras causas podem ser um cliente de email abusivo (mal configurado) (seja POP3 ou IMAP) ou qualquer outra coisa que cause alta carga.
Dependendo do seu progresso, você pode precisar de monitoramento na frente da máquina para ver (e analisar) o que entra e o que sai.
Novamente, dependendo das suas descobertas, talvez seja necessário fazer essa pergunta novamente em security.stackexchange.com.
EDIT: Você deve ter em mente que o sendmail começa a rejeitar solicitações para lidar com e-mail quando a carga da máquina aumenta acima de um certo limite. Para que esse limite seja alcançado, o sendmail pode não ser responsável. Outros processos, como o servidor da web, um cronjob, uma consulta em um MySQL mal configurado que faz com que a máquina troque pode assumir a culpa.