Existem vários problemas possíveis, mas os 2 mais prováveis são um firewall (no roteador ou no servidor ssh) ou seu roteador sabe sobre SSH e lida com a porta separadamente - ou seja, acha que qualquer tráfego para a porta 22 é destinado a isto. É também concebível que o seu ISP esteja bloqueando o tráfego na porta 22.
Tente usar uma porta alternativa.