As outras respostas presumem que você tenha escrito um aplicativo CGI / modular apache - suponho que você tenha escrito seu próprio aplicativo personalizado que também escuta na porta 80, para fins de administração.
Em uma caixa Linux, o método mais simples (não envolve a necessidade de escrever o seu próprio sistema .htaccess ACL ou similar) , é usar iptables para evitar qualquer coisa além do acesso local à sua porta de escolha:
iptables -A INPUT -p tcp --dport 80 -s 127.0.0.1 -j ACCEPT
iptables -A INPUT -p tcp --dport 80 -j DROP
Obviamente, isso é mais indicado para colocar em um script de inicialização que será carregado durante a inicialização e poderia ser feito mais robusto, mas para seus propósitos atuais limitados, como definido, isso deve fazer o trabalho. :)