Deve ser simples fazer uma instalação persistente diretamente em um pendrive, como se fosse um disco interno. Conecte sua mídia de instalação do Ubuntu (eu recomendo não colocá-lo no mesmo stick, para que os dois sejam inicializáveis separadamente), o seu stick USB, e aponte o instalador para o pau.
O instalador do servidor (CD alternativo) suporta a criação e instalação em uma partição criptografada (com dm-crypt ).