Adquira qualquer máquina barata. Algo parecido com um netbook (mas tenha cuidado, alguns dos átomos mais novos têm placas gráficas perdidas), ou alguma pequena área de trabalho (existem máquinas pequenas reais, projetadas para uso como pontos de venda ou similares) deve funcionar bem. Vá vasculhar na pilha de "máquinas descartadas" na universidade local, pegue algo em uma venda de garagem, ... Para o que você quer, você não precisa de uma máquina poderosa.
Não pense em uma distribuição auto-compilada, para usá-los requer um sólido pedaço de Linux. E em uma máquina limitada, levará meses para compilar tudo. Seja o que for que você possa aprender por auto-compilação, você pode aprender da mesma forma compilando alguns pacotes selecionados de interesse particular. Tome cuidado para não perder a visão da madeira para as árvores, aprenda como as diferentes peças se encaixam, como os diferentes serviços funcionam e como configurá-los e solucioná-los. Um sistema Linux é um animal muito complexo.
Obtenha uma distribuição simples de usar, com um ambiente de área de trabalho leve (LXDE ou XFCE). Olhe ao seu redor para verificar qual a distribuição que a parte mais amigável da multidão Linux local usa, você terá que fazer perguntas e pedir ajuda prática.