A menos que seu roteador esteja configurado para encaminhar o tráfego para seu servidor, ele já deve estar inacessível de fora de sua LAN.
No entanto, para uma camada extra de segurança, você pode configurar o firewall padrão para aceitar apenas conexões LAN, especificando um intervalo de IP apropriado, seja por iptables ou via ufw , por exemplo.
sudo ufw allow from 192.168.1.0/24 to any port 22
sudo ufw enable