Quanto à instalação levar muito tempo, muitos dispositivos USB são simplesmente uma coisa: lenta. Quanto a 8GB swap em USB, se isso for usado para qualquer coisa, será ainda mais lento. É melhor não ter nenhuma troca se for uma mídia USB lenta. Também ext4 (journaling em geral) pode ser a escolha errada para USB, requer ciclos extras de gravação (mais uma vez, lento) e pode reduzir consideravelmente a vida útil do stick USB. Eu iria com ext2 mesmo que isso significasse um tempo de espera no caso de fsck.
Instalar e inicializar a partir do USB deve funcionar bem. Talvez o Grub tenha detectado uma ordem errada de disco; o dispositivo que é usado para inicializar normalmente será o primeiro, ou seja, o que o Grub vê como (hd0). Nesse caso, você pode ter que instalar o Grub manualmente (chroot após a instalação, adapte o device.map, grub-install / dev / yourstick). Mas mesmo assim, o Grub deve pelo menos aparecer e imprimir uma mensagem de erro ou algo assim quando você tentar inicializar a partir do stick.
Se a caixa tiver uma unidade de CD, a inicialização a partir do CD pode ajudar a evitar confusão em relação à ordem das unidades de dois pen drives USB. Ou qualquer outra maneira de se livrar da mídia de instalação antes de instalar (BootToRam ou similar - desculpe, eu não estou atualizado se a mídia de instalação atual oferece esse recurso).