Sim, você pode criar um dispositivo USB que carregue o Ubuntu quando conectado ao seu computador durante a inicialização. Instruções detalhadas sobre isso estão aqui: link
Atualmente sou usuário do windows 7, mas estou interessado em experimentar o Ubuntu. Como posso baixá-lo em USB sem instalá-lo no disco rígido do meu computador?
Se você também gostaria de experimentar o procedimento de instalação, sugiro instalá-lo virtualmente usando, por exemplo, o Virtualbox (que é gratuito).
Existem algumas opções para experimentar o Ubuntu sem instalá-lo no seu disco rígido.
Você pode usar um drive USB ou outro e rodar um "live-cd" de lá link
Você pode gravar um CD ou DVD do instalador do ubuntu e realmente instalar o sistema operacional em uma unidade USB
Você pode executar algo como VMWare Player ou Virtualbox e configurar uma VM para experimentar o ubuntu enquanto estiver no seu sistema operacional atual.