No GIMP, as camadas podem ter um canal alfa ou não ter canal alfa. Quando você tenta apagar partes de uma imagem quando não há canal alfa, você obtém cor de fundo.
Para adicionar um canal alfa, você pode abrir a caixa de diálogo Camadas pressionando Ctrl + L , clique com o botão direito na camada que deseja editar e selecione Adicionar canal alfa lá.
A partir daí tudo é muito parecido com o Photoshop - ou seja, a ferramenta Eraser apaga para transparência, você pode fazer uma seleção (usando, por exemplo, a ferramenta Magic Wand) e apagar tudo nela pressionando Del, etc.