Você pode fazer uma instalação completa na unidade USB do Windows usando o Virtual Box.
A partir do Windows, instale o VirtualBox, se você ainda não o tiver, há muitas instruções para isso em outro lugar.
Inicie o VBox e crie uma nova máquina Ubuntu.
Inicie a máquina Ubuntu e aponte para o arquivo iso do Ubuntu.
Quando o processo chegar à janela Try / Install, selecione "Try".
Conecte seu USB e confirme que ele está visível para o VBox.
Selecione o ícone Instalar o Ubuntu na área de trabalho.
Quando chegar ao particionamento, selecione "Outra coisa"
Selecione o USB como destino da instalação.
Continue a instalação normalmente até concluir.
Eu tentei isso com as versões mais recentes do Ubuntu e do VirtualBox. (e com versões anteriores de cada um.
Sudodus, (mkusb), tem trabalhado na instalação do Ubuntu para USB a partir do Windows. Uma versão de teste preliminar está aqui: link A versão de teste instala uma versão do Persistent Live para USB usando o gravador de imagens, no entanto, é possível uma versão de instalação completa.
O Ubuntu também oferece arquivos de imagem do servidor, mas não do desktop.