Eu pesquisei em torno de uma quantidade decente, e parece que não há nenhuma configuração que torne os bugs reportados pelo bugzilla privados. Eu acabei indo com o Redmine em vez disso, pois queria que o servidor fosse acessado de fora da nossa rede, mas não queria que ninguém visse os bugs.