Uma unidade flash USB 2.0 de 32 GB sem marca não é muito rápida. Eu acho que o que você está vendo é indicativo do desempenho que você verá quando você executar o Ubuntu fora dessa unidade flash. Não será não uma alegria usar.
Se você estiver planejando usar essa instalação em diferentes máquinas físicas, poderá descobrir que ela está instalada para o software em que estava sendo executada no momento em que você a instalou. Executá-lo em hardware diferente pode causar problemas adicionais.