A principal diferença para uma sessão live pura é a persistência de suas modificações no sistema através de reinicializações, não importando onde você instala o Ubuntu, ou seja, modificações são apagadas se você desligar a sessão live não persistente (ou alguém tirar o thumbdrive de Plug USB e pede educadamente se ele pode emprestar isso por um segundo). É possível adicionar um modo de persistência a uma sessão ao vivo, no entanto, consulte link ou comece com multisystem , portanto que essa diferença pode ser compensada.
Nota: não respondendo sobre as diferenças para uma instalação no HDD, conforme solicitado na pergunta:)