Puppy, Lubuntu, Debian ou qualquer outra distro leve como as listadas aqui vai funcionar bem.
Sugiro que você não instale um ambiente gráfico e opte por uma instalação mínima, ou seja, trabalhe em um console somente de texto, para evitar o desperdício de recursos. Enquanto um IDE é bom ao fazer o desenvolvimento de software, você pode aprender uma linguagem de programação sem ele. Tudo o que você precisa é de gcc
e alguns outros pacotes.