Você pode tentar as seguintes configurações, encontradas aqui: link
Desative o atraso no Ubuntu e no Debian:
Edite o /etc/pam.d/common-auth e adicione o nodelay: por exemplo:
auth [success=2 default=ignore] pam_unix.so nullok_secure
alterado para
auth [success=2 default=ignore] pam_unix.so nullok_secure nodelay
Desativar o atraso no CentOS, RHEL e Fedora:
Edite o /etc/pam.d/system-auth e adicione o nodelay: por exemplo:
auth sufficient pam_unix.so nullok try_first_pass
alterado para:
auth sufficient pam_unix.so nullok try_first_pass nodelay