O Nautilus deve ser controlado pelo tema GTK +, enquanto o Gnome Shell usa seu próprio tema. Você precisará alterar o tema do GTK + para algo que pareça melhor com o tema do Gnome Shell.
A maneira mais fácil é pegar o Gnome Tweak Tool e mudar o tema (acho que há um tema "Adwaita" GTK + para acompanhar o tema Shell). Se isso não lhe der controle suficiente, provavelmente você poderá encontrar um alternador de tema GTK + que lhe dará o controle que está procurando.