Sim, você pode. Você precisa dar ao live USB uma área de armazenamento persistente de arquivos (chamada Casper)
Aqui está um guia link
Outra alternativa é realmente instalar o Ubuntu no seu disco USB e executá-lo (o USB 3.0 ou superior é melhor, e você precisa de um BIOS que irá inicializá-lo de forma confiável. Eu tive sucesso misturado com diferentes caixas neste ).