Tome nota da versão do software que você está executando, que irá ouvir o tráfego na porta aberta (por exemplo, o apache). Também tome nota de outros pacotes relacionados que você está usando com o Apache (por exemplo, versão do PHP, versão do MySQL, versão do Wordpress).
Verifique se há vulnerabilidades para este software no link - e aplique patches / atenuações / soluções alternativas.
Mantenha o seu sistema atualizado e mantenha-se atento ao uso de novas vulnerabilidades / explorações para o software que está executando, e você deve estar OK. Isso nunca pode ser 100% garantido.
Você descobrirá que seu servidor da web é varrido por todos os tipos de criminosos. Você poderia instalar o Fail2Ban para procurar tráfego abusivo e bloquear os IPs.
Ou, se seus amigos são as únicas pessoas que precisam vê-los, e eles sempre acessam dos mesmos intervalos de IP, você sempre pode bloquear o acesso a endereços IP desconhecidos via htaccess (ou talvez IPTables).