Se o servidor B estiver acessível via ssh e você precisar apenas de ssh (não é direto de scp ou sftp ), isso também funciona muito bem:
ssh -t $SERVER_A ssh $SERVER_B
A opção -t força a alocação de uma pseudo-tty mesmo ao executar um único comando na outra extremidade. Isso é útil, pois ssh precisa de uma pseudo-tty.
Como você está usando duas instâncias aninhadas de ssh , o caractere de escape na sessão interna é Enter ~ ~ (dois tildes). Um til enviará a fuga para a primeira casca.