Quando você executa software como outro usuário, você está de fato iniciando o novo ambiente mínimo e isolado que não carrega algumas variáveis "excessivas" (entre outras variáveis responsáveis por injetar bibliotecas ou configurar certos privilégios). Substitua sua chamada sudo nautilus
pelo seguinte - ela executará as configurações do servidor x específicas do usuário a partir da sessão atual:
pkexec env DISPLAY=$DISPLAY XAUTHORITY=$XAUTHORITY nautilus