Você provavelmente observaria uma queda de desempenho se executasse o Ubuntu de forma nativa (não como uma máquina virtual) em uma unidade USB em comparação à sua execução como uma máquina virtual no Windows. Você reduziria drasticamente suas velocidades de acesso ao disco (cerca de 40 MB / s para uma unidade flash USB comparado a cerca de 130 MB / s para o HDD padrão ... mais ou menos alguns MB / s para cada um dependendo da marca e quais não ).
Já considerou a inicialização dupla? Isso daria o melhor para o Ubuntu e o Windows.
Devo acrescentar que enquanto a velocidade do seu disco diminuiria se você rodasse o Ubuntu nativamente, você seria capaz de fazer uso total de toda a sua memória RAM em vez de compartilhá-la com o Windows. Ainda assim, eu provavelmente ficaria com a máquina virtual se fosse eu.