Você pode instalar a partir da fonte e dizer ao sistema para compilar o software com um caminho específico. Maior problema: dependências ... você precisa resolver isso sozinho. E instale-os a partir da fonte também.
Eu aconselharia usar uma distribuição baseada em fontes em vez do Ubuntu se você quiser seguir esse caminho. Como o Gentoo, LFS, Crux.