Você está inicializando a partir do usb, e o Ubuntu está em sdb1? Ou se você estiver usando um CD real, as coisas podem ser diferentes, mas para todos no usb:
Aparentemente, o Ubuntu pode usar um arquivo casper-rw existente na partição "principal" (sdb1) primeiro, você tentou renomear ou excluir o arquivo casper-rw (depois de fazer o backup ou quaisquer dados nele desejados) e reiniciando? Então deve tentar usar a partição casper-rw.
Eu esperava que você tivesse que editar alguns parâmetros de inicialização para dizer ao Ubuntu qual casper-rw usar, como se você quisesse tê-lo em um disco rígido ou outro drive externo, mas eu não encontrei maneiras de fazer que (ainda), alguém mais sabe?