Sistema instalado
Você pode instalar o Ubuntu em uma unidade USB como se fosse instalada em uma unidade interna (mas em uma unidade USB).
Após a instalação, é possível instalar outros kernels, também um kernel personalizado, se você encontrar um pacote ppa ou deb para ele.
Se o computador estiver sendo executado no modo UEFI e você desejar inicializar diretamente a partir da unidade USB, será mais fácil remover a unidade interna antes de iniciar a instalação. Em seguida, a unidade USB será considerada como uma unidade interna e a instalação será fácil. Eu recomendaria pelo menos 16 GB para tal instalação (um pendrive USB 3 rápido estaria bem).
Sistema vivo ou persistente
Um live drive e um live drive persistente farão o computador inicializar a partir do kernel, que vem com o arquivo iso. Você não pode fazê-lo inicializar a partir de outro kernel, e é muito complicado criar um arquivo iso, então eu recomendo que você use um sistema instalado.
Links
Veja estes links e links deles para mais detalhes,
Experimente o Ubuntu (Kubuntu, Lubuntu, Xubuntu, ...) antes de instalá-lo