Sim ... o que você está usando como firewall?
A implementação mais simples disso é configurar uma regra que negue todo o tráfego de redes externas à sua rede interna e adicione uma exceção para o servidor VPN em ip [blah] nas portas [foo].
Não é uma grande segurança, mas a menos que você esteja disposto e seja capaz de criar uma rede DMZ, é com isso que você tem que trabalhar. E como parece que sua rede local está diretamente conectada à internet, sinto-me obrigado a apontar que isso está apenas implorando por problemas.