Provavelmente, um atraso de pesquisa de DNS reverso. Verifique sua configuração de DNS no servidor B.
Você pode verificar isso configurando 'UseDNS no' em sshd_config e ver se isso ajuda. (É preferível, no entanto, resolver qualquer problema DNS subjacente, se houver algum).