Um USB ativo (ou persistente) usa o sistema de arquivos FAT32. O Windows pode ver e acessar arquivos em uma partição FAT32 muito bem (desde que seja a primeira partição na unidade).
Adicionar arquivos a esta partição não interromperá a instalação do Live, a menos que os arquivos do Ubuntu sejam excluídos ou sobrescritos.
Se você precisar acessar qualquer um desses arquivos armazenados durante a inicialização do USB, abra o sistema de arquivos / cdrom como root.
Todos os meus drives USB têm uma instalação do Linux neles.
Se você está falando sobre fazer uma instalação completa para o USB, use o particionamento manual, (Something Other), e faça a primeira partição na unidade FAT32 ou deixe-a NTFS.