A primeira coisa que eu tentaria é configurar alguns dns RBL, link
Se estiver corretamente implementado, você terá mensagens bloqueadas antes do início da troca SMTP e nada criado na fila. Você poderia começar com spamblue xbl e / ou sbl, há relativamente seguro e pode ajudar muito o seu problema.
A segunda coisa que gostaria de fazer é dar uma olhada na COM api :
Você tem um objeto DeliveryQueue que pode ser usado para limpar a fila. Essa pode não ser a melhor solução, mas é sempre melhor criar scripts e executá-la em uma tarefa agendada do que ter que abrir a interface e clicar manualmente em "Limpar fila". Uma vez que você tenha um script básico, você pode melhorá-lo, por exemplo, executando o Clear () somente se o tamanho da fila estiver acima de um certo limite.
Em seguida, se o tráfego de entrada for tão alto que mesmo com algumas boas RBLs de DNS e grande limpeza automatizada da fila, seu servidor não suportará o tráfego. Eu procuraria configurar um servidor MX em outro lugar e configurá-lo para proteger seu servidor de tais ataques. Um monte de servidores baseados em unix provavelmente lidará com essas situações de maneira mais eficiente, e você poderá ter um em um vps por um pequeno valor mensal.