Ao criar o GIMP a partir do código fonte, você pode acrescentar -Os a CFLAGS para dizer ao compilador para otimizar espaço e não velocidade de execução. Isso causará uma pegada de memória menor.
Outra técnica, se você estiver executando apenas um programa, é usar a vinculação estática. Usando a vinculação estática, um binário incorporará suas dependências e poderá ficar menor, já que é conhecido em tempo de compilação exatamente quais fragmentos de código podem ser alcançados e quais não são. Normalmente, as bibliotecas são construídas dinamicamente (arquivos .so) e o compilador não pode saber quais recursos serão usados posteriormente.
No entanto, é improvável que essas técnicas obtenham uma vantagem significativa, já que você provavelmente está usando as dependências do GIMP em outros programas ao mesmo tempo (ou seja, GTK + 2). Se esse for o caso, a vinculação estática fará com que o uso da memória aumente drasticamente.