Contanto que você não permita que o servidor SSH seja acessível de fora da sua rede, o que não parece ser. Então você deveria ficar bem. Se você quiser aumentar a segurança de dentro de sua rede e do servidor SSH, poderá procurar usando certificados para efetuar login.
Geralmente sim, se o invasor não conseguir passar pelo roteador, sua rede deverá estar segura. Mas isso é com a suposição de que você não tem portas abertas ou encaminhadas para algo dentro de sua rede e um firewall decente.
Da minha experiência, você deve sempre se preocupar com segurança :)