Eu olharia para fail2ban primeiro. É bastante simples e não requer mais configurações de hardware ou de rede. O fail2ban funciona observando arquivos de log e, em seguida, bloqueando IPs com iptables / nftables, etc.
Os padrões a serem procurados nos arquivos de log podem ser definidos - assim, você pode excluir os logins de determinadas caixas de correio, excluindo-os na expressão regular.
Ofail2ban não pode atenuar todo o tipo de DDoS, mas é a primeira ferramenta que eu verifico. Além disso, você não forneceu mais detalhes sobre suas necessidades e os tipos de ataques que enfrenta.
Para cada "prisão" no fail2ban, existem os domínios de falha e ignorados. Basta inserir as expressões regulares correspondentes lá.