Sim, é possível:
ssh -L 8443:serverA:443 -Nf [user@]<serverB>
Isso permitirá apontar o navegador da área de trabalho na porta 8443 e enviá-lo para a porta 443 (a porta HTTPS) no servidor A. O -Nf
armazenará a sessão em segundo plano e sairá imediatamente para a sua área de trabalho, não estabelecendo uma real sessão de shell para o servidor B.