A diferença entre as duas capturas de tela é que sua versão do Nautilus usa o GTK + 3.x para sua interface gráfica, enquanto o Firefox usa o seletor de arquivos do GTK + 2.xe essas versões do GTK usam formatos de tema incompatíveis. Seu tema GTK atual não suporta o GTK3, então você está vendo o padrão embutido (também conhecido como "Raleigh").
Instale o pacote gnome-themes-standard e edite ~/.config/gtk-3.0/settings.ini :
[Settings]
gtk-theme-name=Adwaita