O que você está procurando é chamado de "ssh multi-hop". É bem possível fazer isso de forma transparente, usando a diretiva ProxyCommand em .ssh/config (ou uma opção de configuração equivalente no PuTTY ou o que você tem):
Host linux-server-b
ProxyCommand ssh -q linux-server-a nc -q0 linux-server-b 22
O que isso faz quando você tenta se conectar a linux-server-b :
- abre uma conexão SSH com
linux-server-a - executa
netcate abre uma conexão TCP paralinux-server-b - encaminha essa conexão de volta para você
Dessa forma, você pode usar todos os recursos do SSH, como se estivesse conectado diretamente a linux-server-b ; você pode até encadear vários saltos juntos (servidor A para o servidor B para o servidor C para o servidor D ...)
Veja também: