A funcionalidade a que você está se referindo é mais frequentemente implementada por complementos como o fail2ban. Isso não está disponível ou já está incorporado no ESXi.
No entanto, o ESXi 6.0 introduziu o bloqueio da conta raiz após muitas falhas de logon. Não é o mesmo, mas definitivamente melhor que nada: link
De qualquer forma, você realmente não deve conectar a interface de gerenciamento de um host ESXi diretamente à Internet - e - você deve habilitar o acesso SSH apenas temporariamente quando necessário. Usar o firewall interno do ESXi é outra opção para restringir o acesso.