Isso depende se você deseja que essa alteração se aplique a toda a sua instalação do Ubuntu ou apenas à sua conta de usuário.
Se você quiser que ele seja aplicado somente à sua conta de usuário, execute estes comandos:
cp /usr/share/applications/nautilus.desktop ~/.local/share/applications
cp /usr/share/applications/nautilus-folder-handler.desktop ~/.local/share/applications
cp /usr/share/applications/org.gnome.Nautilus.desktop ~/.local/share/applications
Em seguida, abra os arquivos que você acabou de copiar para ~/.local/share/applications em um editor de texto.
Se você quiser que a alteração se aplique a toda a sua instalação do Ubuntu, abra os arquivos que você vê como fontes nos comandos de cópia acima. Observe que você precisa abrir esses arquivos com privilégios de root e, portanto, não deve usar um editor de texto gráfico.
Exemplo de comando:
sudo nano /usr/share/applications/nautilus.desktop
Na segunda ou terceira linha desses arquivos, diz Name=Files . Altere para Name=Finder e salve. Em seguida, efetue logout e faça login novamente.