Dependeria inteiramente de quão confiante você está em relação à sua instalação do PHP. Se você acha que é sólido, mesmo que um invasor saiba tudo sobre sua instalação do PHP, você pode deixá-lo no lugar.
Mas realmente, por que você deixaria isso em um sistema de produção? Pode haver exploits dos quais você não está ciente em sua versão do PHP - as pessoas podem agora ou no futuro verificar sua versão do PHP, ou opções específicas que você ativou, porque elas sabem como executar essas explorações. Então, ao manter isso público, você se adicionou à lista de sucesso deles.
Se você quiser mantê-lo, você pode colocá-lo em um diretório protegido por senha ou apenas ligá-lo quando precisar. Dado o pequeno custo dessas opções, eu não correria o risco de mantê-lo público.