Método 1
Use um criador Linux Live USB que suporte persistência - tendo arquivos e configurações transportados entre reinicializações. Você deve notar que isso realmente suga a vida do seu USB. Não durará mais do que alguns meses de uso.
Método 2
Para algo um pouco mais longo prazo, consiga 2 USBs. Em um, faça o que você tem feito até agora. Por outro lado, faça o que você quiser - ele será apagado e o Ubuntu será instalado nele. Vamos chamar este segundo o 'outro' USB.
Inicialize a partir do seu Live USB como você já fez antes. Conecte seu outro USB. Na sua área de trabalho ao vivo, você deve ver um pequeno ícone chamado Instalar o Ubuntu 12.04. Rode isto. Pode demorar um pouco toda vez que você clicar em algo, mas seja paciente. A propósito, não se esqueça de marcar as duas caixas sobre a instalação de atualizações durante o download e sobre o uso de software proprietário.
Ao escolher o tipo de instalação, aperte Something Else e escolha o seu outro USB. Você provavelmente pode se safar fazendo uma partição nela que preencha a coisa toda. Além disso, instale o carregador de boot no seu outro USB. Isso está em uma caixa suspensa na tela de particionamento.
O resto da instalação é bastante auto-explicativo.
Você sabe como inicializar a partir de um USB, então, se tudo correr bem, isso deve ser perfeito.
Boa sorte.