Se você instalar o Ubuntu a partir do mini.iso, eu não acho que você instalará nenhum pacote de programas não-livres. Depois de reiniciar o Ubuntu, você pode adicionar o Universe e instalar o gerenciador de pacotes Synaptic
sudo add-apt-repository universe
sudo apt-get update
sudo apt-get install synaptic
e, em seguida, você pode usar o Synaptic para gerenciar seus repositórios (selecione quais deles você deseja usar). Selecione
Configurações - Repositórios
e você pode desativar o repositório de drivers proprietários. Você também deve verificar nas outras guias os repositórios que você não deseja. (Eu uso um driver gráfico proprietário e uso software não-livre para multimídia, mas posso entender por que você quer evitá-lo.)