Haveria pouco benefício a partir da fonte. Se você está pronto para isso, provavelmente seria melhor mudar uma distribuição Linux voltada para esse tipo de usuário, como o Gentoo. Isso é projetado em torno do usuário compilando a partir da fonte e, portanto, seria mais adequado para você.
O Ubuntu é simplesmente uma coleção de ferramentas de código aberto reunidas de forma a torná-lo um bom sistema operacional para as pessoas usarem. Não é um único software a ser compilado. Se você quisesse compilar um sistema Ubuntu a partir do código-fonte, você teria que descobrir todas as partes do software (Kernel, X windows, todos os outros softwares acima) que o Ubuntu usa e compila você mesmo. Em seguida, adicione todo o software de gerenciamento de pacotes, como o apt no topo também.
A menos que haja uma boa razão para tentar isso, eu não me incomodaria. Como eu disse antes, mude para o Gentoo se você quiser compilar tudo sozinho, o Ubuntu não seria a primeira escolha.