Não é um problema nemo vs nautilus. É um problema GTK + 2 vs GTK + 3. Os aplicativos escritos para o GTK + 2 usarão a caixa de diálogo de seleção de arquivos com temas humanitários, enquanto os aplicativos escritos para o GTK + 3 usarão o tema padrão oco e estranho para o GTK + 3.
Infelizmente, a única maneira de obter um UX consistente é usar todos os aplicativos GTK + 2 ou alternar para um DE baseado em Qt, como o LXQT ou o KDE.
Desculpe.