O Ubuntu agora inclui uma opção "instalar para USB" no menu do sistema. Esta é a sua melhor aposta e não requer tentar empinar um arquivo grande no stick - em vez disso, os arquivos são armazenados "normalmente", o que significa que você será capaz de contornar a barreira de 4Gb.
Instale gparted para ajudar com isso:
sudo apt-get install gparted
sudo gparted
Se o método da GUI não funcionar, tente formatá-lo diretamente na linha de comando.
A limitação de tamanho de arquivo ainda se aplica, portanto, se você planeja ter arquivos grandes, o Ext2 ainda é sua melhor escolha. Formate-o como Ext2 e use a ferramenta fornecida para fazer a instalação.
Se você está preso em uma situação de galinha e ovo (só tem uma instalação do Windows para trabalhar, mas sem instalação Linux ao vivo) você pode gravar o ISO em um CD, inicializar o CD, baixar e instalar o programa de partição , execute-o para particionar o bastão e, em seguida, execute a instalação via USB a partir de lá.