Bem, primeiro você deve estar atrás de um roteador e, se o roteador estiver configurado corretamente, não será possível acessar o servidor de fora ("a internet").
Caso contrário, use seu firewall. O UFW é um front end fácil de usar para o iptables
sudo ufw default deny
sudo ufw allow from 192.168.0.0/24
altere "192.168.0.0/24" sua máscara de rede.
Veja
link
link
Veja também como proteger seu servidor (IMO você deve rsync por ssh)
link