Quando você faz uma conexão de saída, o endereço de destino pode ser visto no pacote, o endereço de origem do seu host interno está no pacote, então a caixa NAT "apenas" substitui o endereço de origem com o seu próprio e configura uma entrada em uma tabela interna, de modo que, para pacotes que correspondam a "características desta conexão", ela saiba substituir o endereço de destino pelo endereço original, para que os pacotes voltem para você.
Para um servidor, o pacote entra no NAT do lado de fora e não há nada para dizer para qual host interno ele está destinado. Não há tabela atual de conexões. Então, em vez disso, você precisa definir uma regra dizendo "novas solicitações de conexão para a porta 22 devem ser passadas para essa caixa aqui".
Além disso, o software executado em seus computadores pode optar por falar com qualquer caixa NAT local com NAT-PMP (Apple) ou UPnP (protocolo da Microsoft) para configurar essas associações automaticamente. Mas isso só ajuda muito quando você não se importa com qual número de porta externo você tem.