Descobri que eu poderia configurar outro túnel SSH para o meu servidor de desenvolvimento e acessar as páginas da web através da minha máquina local dessa maneira.
A razão pela qual eu não pude acessar o SSH no Windows Remote Server foi porque ele não tem um servidor SSH disponível apenas na área de trabalho remota.