Não, não há configuração como essa: permitiria que qualquer pessoa negasse o serviço (DoS) ao servidor ao falhar em uma tentativa de login (ou 50) enquanto usuários legítimos ainda tentassem usá-lo.
Do que você descreveu, eu acho que a maneira mais fácil de adicionar um "cinto de segurança" ao uso do FTP é definir uma tarefa agendada para NET STOP FTPSVC a cada quatro horas e / ou talvez como um script de logoff para a caixa em questão - deve cuidar dos cenários mais esquecidos.
Existem pacotes de monitoramento de IDS e IPS que podem executar ações personalizadas com base em volumes de solicitação, falhas de login e assim por diante, que você pode querer examinar, mas para um serviço usado ocasionalmente, eu acho que você está entrando em um buraco de custo / benefício.