O Nautilus é escrito em C principalmente, como é evidente na página github do projeto:
De acordo com Wikipedia , ele usa o GTK3 a partir da versão 2.32.
Se você quiser criar GUI com C, não há muita escolha - o GTK é a melhor opção (embora eu sugira algo conhecido como Turbo C da Borland , que é como a partir da década de 1980). Eu sugiro que você mude para C ++. Com o C ++, há opções de GTK e Qt.