Sim, você pode usar o Ubuntu apenas como um disco ao vivo e particionar o espaço de armazenamento para arquivos e sessões salvas (se o seu flashdrive for grande o suficiente - pelo menos 8GB). Não vai ser muito bom a longo prazo, mas bom por um tempo.
Qualquer sistema operacional será executado com menos velocidade em um flash drive, então eu recomendaria usar o 3.0 se você o tiver.