A maioria dos artigos menciona a desativação de "require encryption", mas você também precisa alterar o "modo de segurança", caso contrário, ele nunca será conectado. Existem duas mudanças que você deve fazer no dconf-editor.
Embora o artigo seja muito mais detalhado, abaixo está uma visão geral, vá para um artigo vinculado para obter uma explicação mais detalhada e outras coisas que você pode querer fazer. Mesmo que seja para uma versão mais antiga do Ubuntu, algumas delas ainda podem ser úteis e a maioria das configurações para esse problema específico é a mesma. Isso foi testado em 16.04.
1) Instale as ferramentas do dconf
sudo apt-get install dconf-tools
2) execute dconf-editor
3) edite org > gnome > área de trabalho > acesso remoto desativar requer criptografia (não pressione set-default)
4) Mude método de autenticação de 'none' para 'vnc' (não pressione set default)
5) saia do editor dconf
6) No tipo de terminal
vino-preferences
e selecione "Exigir que o usuário insira essa senha:" e insira uma senha.
Vá para o seu Mac e conecte-se através do Connect no localizador vnc: //yourhostname.local, ele deve funcionar em vez de mostrar um controle giratório.