Usar o mysql é comum, mas não é obrigatório, existem vários backends de autenticação disponíveis. O default dovecot config não usa mysql, ele autentica via PAM (veja o comentário de MadHatter)
No entanto, parece que você está tentando resolver seu problema no lugar errado. Se você conseguir que muitas tentativas de hackers afetem seu desempenho no mysql, provavelmente você deve reduzir a carga nas tentativas de autenticação, não no banco de dados subjacente. Uma maneira comum é usar fail2ban para desativar IPs que tentam forçar suas contas.