Você não precisa instalar o Ubuntu. Basta fazer uma mídia USB ao vivo usando o Linux Live USB Creator do Windows.
Aqui é o guia.
Ao criar a persistência de uso do USB.
O que é persistência?
Normalmente, em um CD ao vivo ou chave USB ao vivo, todas as modificações são descartadas quando você reiniciar.
A persistência permite que você mantenha suas preferências e dados após a reinicialização.
Os dados são armazenados em um arquivo especial chamado casper-rw (para o Ubuntu) e sobreposição-USBLABEL-UUID (para o Fedora). Isso é completamente processo transparente para o usuário.
Normalmente, 300 MB são suficientes para instalar algum software, mas você pode usar mais.
O Linux Live USB Creator também tem uma opção para rodar dentro do Windows usando uma caixa virtual que será baixada se a opção estiver marcada.