Isso definitivamente não é permanente e pertence ao servidor X afetado. Se este servidor X for reiniciado, esta configuração será perdida.
Se você deseja remover essa configuração, reinicie o servidor X ou use o comando acima:
xhost -localhost
(ou xhost - para remover todos os direitos de acesso)