Para Windows, a opção mais simples disponível (das que testei) é uma solução comercial chamada RdpGuard .
Há também uma solução chamada IPBan , embora eu nunca tenha tentado isso.
Você também pode proteger o RDP exigindo certificados de clientes, verificar este artigo.
Mais artigos interessantes sobre como proteger o RDP contra ataques de força bruta:
Bloqueie automaticamente ataques RDP no seu Windows Server 2008
Proibindo automaticamente IPs com o Firewall do Windows após a verificação do log de eventos