Na configuração padrão, o servidor SSH está escutando na porta 22, ou seja, esta porta está aberta para conexões de entrada. O cliente abre uma conexão de uma porta TCP (alta) aleatória (por exemplo, porta 12345) em seu lado para a porta 22 no lado do servidor.
Portanto, a porta 22 só precisa estar aberta no lado do servidor.