Existem várias causas possíveis. Talvez o mais provável é que o computador com o servidor SSH possa ter um firewall. Solução de problemas que precisariam de mais detalhes (no mínimo, qual sistema operacional).
Você pode querer verificar se o tráfego chega ao computador. Se o seu roteador é um sistema em que você pode usar SSH (ou Telnet), tente usar o tcpdump. Se você tiver uma interface da Web, veja se há diagnósticos. Para realmente esclarecer as coisas, você pode configurar um proxy transparente para ver o tráfego, embora isso possa ser mais trabalho.