Se você tem / não se importa em ativar o mod_rewrite, pode ocultar o diretório de IPs desconhecidos reescrevendo solicitações para o diretório de depuração (em um .htaccess no diretório pai) para retornar um 404 se o IP for desconhecido e deixe uma autenticação básica padrão .htaccess em seu diretório debug para autenticar usuários que o fazem tão longe.
RewriteEngine on
RewriteCond %{REMOTE_ADDR} !=<vpn ip>
RewriteRule ^debug($|/) - [L,R=404]
(Este exemplo foi retirado diretamente de Retornando o código 404 para tentativas não autorizadas quando eu estava procurando a sintaxe exata que você precisa)