Você só estará acessando localmente pelo endereço de host local?
Você pode usar o firewall iptables para permitir somente conexões de saída do seu computador (e tráfego de entrada relacionado a isso):
iptables -I OUTPUT -o eth0 -d 0.0.0.0/0 -j ACCEPT
iptables -I INPUT -i eth0 -m state --state ESTABLISHED,RELATED -j ACCEPT
onde eth0 seria sua interface de rede (poderia ser wlan0 caso você esteja usando um wireless, verifique com ifconfig).