Esses programas conversam com o PAM - Pluggable Authentication Modules for Linux para acesso de login e autenticação de senha. A política padrão desses módulos pam na sua distro faz com que o atraso em segundos por logins com falha.
Se você precisa saber mais:
man pam
e veja abaixo:
/etc/pam.d