O problema que você está encontrando é que, por padrão, o USB está carregando o ISO de instalação do Ubuntu como um CD que é somente leitura. Isto significa que, sim, "Try Ubuntu" irá carregar o Ubuntu na RAM e tudo o que for feito dentro do Ubuntu será apagado após o Shutdown of the PC. No entanto, você pode criar um USB inicializável que salve seus arquivos e configurações.
Basta seguir os passos descritos abaixo e certifique-se de que escolhe a opção "Armazenado em espaço extra reservado":
Crie um dispositivo USB inicializável usando o Ubuntu - Ubuntu.com