Se você já tem o Ubuntu instalado no seu pc, você pode usar o Criador de disco de inicialização que já está pré-instalado. Tem a opção de armazenar documentos e configurações em um espaço reservado, do qual você pode definir o tamanho. Não será tão rápido quanto uma instalação normal ao usar o USB2 (não tenho certeza sobre o USB3), mas será rápido o suficiente assim que o Ubuntu tiver sido carregado na sua RAM, pelo menos para mim.