vncserver é um script em perl, portanto, olhe dentro para ver se ele executa xauth para adicionar um valor MIT-MAGIC-COOKIE-1 aleatório recém-criado (obtido de mcookie ) para o servidor que está prestes a iniciar. Por padrão, ele diz ao xauth para usar o arquivo ~/.Xauthority , mas parece que você definiu XAUTHORITY=/root/.xauthVdNayr em seu ambiente, e isso tem precedência.
O arquivo de autoridade a ser utilizado normalmente está no diretório inicial do usuário que criará clientes para o servidor.
Você provavelmente está herdando o XAUTHORITY de xdm ou algum gerenciador de exibição semelhante, e é provavelmente o processo que bloqueou o arquivo. Use o comando lslocks para listar quais comandos têm quais arquivos bloqueados.
Você pode simplesmente unset da variável de ambiente XAUTHORITY para que o arquivo padrão seja usado.