Sugiro que você mova o servidor de e-mail para uma máquina diferente e evite que o servidor da Web real se comunique na porta 25 com algo diferente do servidor de e-mail. Isso significa que até mesmo um spambot personalizado (que não depende de nenhuma função de email e usa soquetes simples) não funcionará.
No seu servidor de e-mail, crie contas de usuário (virtuais) para cada um de seus clientes de hospedagem para que você possa identificá-las de forma exclusiva, aplicar limites de taxa e bloqueá-las se bloquearem sem bloquear outros usuários no mesmo servidor.
Por fim, instale PolicyD e aplique os limites de taxa por cliente e a verificação de spam do email de saída, para retardar o possível spammer e alertá-lo se o email de saída parecer com spam.
Nada é perfeito, claro, mas essa configuração o alertará, no mínimo, se o email de saída se parece com spam e manterá o spam relativamente lento devido aos limites de taxa até que você investigue e (espere) use toda a conta de hospedagem.