I recently installed fedora 12 on my USB drive
Você instalou ou copiou a ISO do Live CD no disco flash? Parece que você copiou o live CD ISO no disco flash do que o instalou.
Você precisa criar um Live USB com modo de persistência, dê uma olhada em este artigo para obter instruções sobre como fazer então.