Desative a autenticação baseada em senha e altere a porta SSH para outra, provavelmente manterá você relativamente seguro contra ataques de força bruta. (Isso é feito através do arquivo de configuração sshd).
Além disso, se você conhece IPs de pessoas que precisam acessar seu servidor doméstico, você pode ajustar o iptables para permitir apenas conexões desses IPs.