Se você estiver acessando um sistema em sua rede via SSH, não precisará da porta 22 aberta em todas as redes que visitar. A porta é usada pelo seu roteador para apontar essa solicitação específica para o lugar certo.
Em uma nota lateral, sugiro não usar a porta padrão para o SSH. Torna a vida fácil para as crianças e robôs de script começarem a cutucar sua segurança. Coloque-o em um bom número de porta de quatro dígitos.