Você deveria estar fazendo isso no roteador. (Ou firewall).
O próprio servidor da VM pode ser um roteador, dependendo da sua configuração.
Infelizmente, você provavelmente estará contando conexões TCP por minuto, não RCPT TO por minuto. Mas isso não importa realmente considerando a proporção entre as taxas de e-mail que um spammer deve cometer contra alguém legítimo. (muito maior que o número de RCPT TO, eles podem colocar um e-mail de forma confiável).
Você pode exigir que eles usem seu servidor SMTP. Se eles são clientes, provavelmente não vale a pena o nível reduzido de serviço que você está fornecendo, embora você esteja aumentando seu custo. Mas se você tiver um problema significativo de spam, apesar da limitação de taxa razoável, e mudar para limites extremos, a menos que eles usem seu servidor SMTP (que pode fazer uma análise muito mais profunda do que um firewall), espero que os clientes entendam. Se os clientes estão sendo NAT para o mesmo endereço IP, pedir a eles para compartilhar um único servidor SMTP é perfeitamente razoável (eles compartilham um endereço de entrada de qualquer maneira, eles compartilham o risco de proteção anti-spam).