A melhor maneira de começar é ir a uma loja de computadores usada e comprar um laptop mais antigo - você não precisa de muito para rodar o Ubuntu. Em seguida, peça à loja para ajudá-lo a instalar o Lubuntu (uma versão leve do Ubuntu para laptops).
Se você realmente queria ir nu ossos chupar apenas para aprender a programar, como uma alternativa para o laptop, por que não ir com um Raspberry Pi?
Basta adicionar um monitor e teclado baratos e você está pronto para usar.
Você pode usar o Linux - mas provavelmente não o Ubuntu.
Todd