Sugiro que você formate a partição ext4 antes de instalar - no caso de cometer um erro e a partição com o Live CD estiver danificada.
Em seguida, continue a instalar. Claro, não são condições ideais, mas deve funcionar.
Você pode achar mais fácil simplesmente criar uma partição de 4 GB e formatá-la como gordura - depois use o UNetBootin ou similar e trate-a como um pendrive padrão.