Sim, você pode . Você apenas tem que apontar o instalador do Ubuntu para a unidade USB manualmente durante a instalação, escolhendo "outra coisa". (Lembre-se que você não pode instalar a partir de um pendrive para si)
CONTUDO , eu não recomendaria. Vai ser lento para iniciar e pode executar gravações excessivas, eventualmente causando falha na unidade USB.
Em vez disso, sugiro criar um USB "ao vivo" ficar com "persistência".