"O que está fazendo que leva alguns segundos para chegar a um prompt de shell?"
Ele está usando o RSA para estabelecer uma conexão autenticada e segura e, em seguida, usa uma catraca Diffie-Hellman para estabelecer a segurança, gerando uma chave única. Portanto, há muita sobrecarga de segurança com o SSH.