Pode haver uma explicação que não esteja relacionada ao nsswitch.conf, ao mecanismo de autenticação passwd etc.
Se "su -" é lento mas "su" não é, ou "sudo" está carregando algo (como um .bashrc) então poderia ser que exista algo no seu ambiente de perfil / rc isso está causando a lentidão. Eu vi esse comportamento em sistemas onde você se conecta e por algum motivo seu perfil, ou seu daemon login / ssh, sente o desejo de fazer uma pesquisa de DNS de algum tipo (por exemplo, pesquisa reversa do IP de origem) e fica lá como um limão por 40 segundos.
Apenas um pensamento.