Se você está apenas olhando para executar um terminal unix a partir do Windows e não um sistema operacional completo, você pode tentar algo como MobaXterm, que permite executar um Xterm no Windows, dando-lhe os mesmos comandos que você bash / cygwin.
Em termos de inicialização do ubuntu a partir de um USB, isso deve funcionar bem, desde que o seu USB seja grande o suficiente. O Ubuntu em si é um sistema operacional bastante leve, então deve ser bom rodar em qualquer PC que também possa rodar o Windows. Se inicializar a partir de uma unidade flash do Ubuntu, você pode ter que abrir o menu de inicialização ao iniciar a seleção da unidade flash como a fonte para o sistema operacional.
Qual software de máquina virtual você tentou? Eu acho que o VMWare Player pode ser executado com requisitos de sistema bastante baixos para carregar e executar uma imagem do SO do Ubuntu.
Quais são seus requisitos e objetivos do sistema?
Se o desempenho e os requisitos do sistema são realmente um problema, você pode dar uma olhada em lubuntu , que é uma versão leve do Ubuntu. Você pode até mesmo tentar isso com uma imagem dual boot, usb boot ou VMWare Player.
Obrigado.